FACTS: Table Summarization via Offline Template Generation with Agentic Workflows

1. 문제 정의 (Problem Statement)

쿼리 기반 테이블 요약 (Query-focused Table Summarization) 은 사용자의 특정 질문이나 요구사항에 맞춰 표 (Table) 데이터를 자연어 요약문으로 변환하는 작업입니다. 이는 단순한 사실 조회를 넘어 통찰력을 제공하는 것을 목표로 합니다.

기존 접근 방식들은 다음과 같은 한계점을 가지고 있습니다:

• Table-to-Text 모델: 비용이 많이 드는 파인튜닝 (Fine-tuning) 이 필요하며, 복잡한 추론이나 수치적 정확도에서 어려움을 겪습니다.
• 프롬프트 기반 LLM 방법: 토큰 제한과 효율성 문제가 있으며, 민감한 데이터 (원본 테이블 값) 를 외부 LLM 에 노출시켜 프라이버시 위험이 있습니다.
• 기존 에이전트 파이프라인: 분해 (Decomposition), 계획 (Planning), 또는 수동 템플릿에 의존하여 견고성 (Robustness) 과 확장성 (Scalability) 이 부족합니다. 특히 동일한 스키마를 가진 여러 테이블에 대해 매번 LLM 을 호출해야 하는 비효율성이 있습니다.

이러한 문제를 해결하기 위해 빠름 (Fast), 정확함 (Accurate), 프라이버시 준수 (Privacy-Compliant) 인 솔루션이 필요합니다.

2. 제안 방법론: FACTS (Methodology)

저자들은 FACTS라는 새로운 에이전트 워크플로우를 제안합니다. 핵심 아이디어는 오프라인 템플릿 (Offline Template) 을 생성하여 재사용하는 것입니다. 이 템플릿은 SQL 쿼리와 Jinja2 템플릿으로 구성되며, 동일한 스키마를 가진 모든 테이블에 적용 가능합니다.

FACTS 는 크게 3 단계로 이루어진 에이전트 워크플로우와 LLM Council을 통해 검증하는 구조를 가집니다.

3 단계 워크플로우

1. 스키마 기반 명세 및 필터링 (Schema-Guided Specification and Filtering):
   • 사용자 쿼리와 테이블 스키마 (원본 데이터는 접근하지 않음) 를 기반으로, SQL 생성을 안내할 가이드 질문과 필터링 규칙을 생성합니다.
   • 예: "지출 (expense) 카테고리는 제외한다"와 같은 추상적인 규칙을 정의합니다.
2. SQL 쿼리 생성 (SQL Queries Generation):
   • 위 단계에서 승인된 명세를 바탕으로 실행 가능한 SQL 쿼리를 생성합니다.
   • 생성된 쿼리는 로컬에서 실행되어 오류를 확인하고, LLM Council 의 피드백을 통해 반복적으로 수정 (Refinement) 됩니다.
3. Jinja2 템플릿 생성 및 정렬 (Jinja2 Template Generation and Alignment):
   • 검증된 SQL 의 결과를 자연어로 변환하는 Jinja2 템플릿을 생성합니다.
   • SQL 결과와 템플릿 간의 정합성 (필드 매칭, 데이터 구조 등) 을 LLM Council 이 검증하여 불일치가 없도록 조정합니다.

LLM Council (검증 메커니즘)

• 단일 모델이 아닌, 이질적인 여러 LLM (예: GPT-4o-mini, Claude, DeepSeek 등) 으로 구성된 앙상블입니다.
• 각 단계 (가이드 질문, SQL, 템플릿, 최종 요약) 에서 생성된 아티팩트를 독립적으로 평가하고 (YES/NO), 다수결 투표 (Majority Voting) 를 통해 최종 승인을 결정합니다.
• 실패 시 피드백을 제공하여 에이전트가 아티팩트를 개선하도록 유도합니다. 이는 환각 (Hallucination) 을 줄이고 정확도를 높이는 핵심 요소입니다.

3. 주요 기여 (Key Contributions)

1. 오프라인 템플릿 생성 (Offline Template Generation):
   • 재사용 가능하고 스키마 특화적인 템플릿 (SQL + Jinja2) 을 프라이버시 준수 방식으로 생성합니다.
   • 동일한 스키마를 가진 대용량 테이블에 대해 LLM 호출 없이 SQL 실행만으로 요약이 가능하여 확장성과 효율성을 극대화합니다.
2. FACTS 프레임워크 설계:
   • 가이드 질문 생성, SQL 합성, Jinja2 렌더링을 통합한 에이전트 워크플로우를 설계했습니다.
   • LLM Council 을 통한 반복적 피드백 루프를 도입하여 생성된 아티팩트의 정확성과 일관성을 보장합니다.
3. 실용성 입증:
   • FeTaQA, QTSumm, QFMTS 등 3 개의 공개 벤치마크에서 광범위한 실험을 수행하여 기존 최첨단 방법론 (SOTA) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 성능: FeTaQA, QTSumm, QFMTS 데이터셋에서 BLEU, ROUGE-L, METEOR 점수 면에서 대부분의 프롬프트 기반 모델 및 에이전트 프레임워크 (Binder, Dater, SPaGe 등) 를 능가했습니다.
• 정확도 및 인간 평가:
  • 인간 평가에서 FACTS 는 의도 일치 (97%), SQL 실행 정확도 (94%), 템플릿 렌더링 정확도 (98%) 에서 매우 높은 점수를 받았습니다.
  • 환각 (Hallucination) 감소와 사실적 정확성 측면에서 가장 강력한 베이스라인인 SPaGe 대비 선호도가 높았습니다.
• 재사용성 및 확장성:
  • 재사용성: 동일한 스키마를 가진 100 개의 테이블에 대해 첫 번째 템플릿 생성 후, 이후 모든 요약은 LLM 호출 없이 SQL 실행만으로 처리되어 기존 방법론보다 훨씬 빠른 속도를 보였습니다.
  • 확장성: 테이블 행 (Row) 수가 증가할수록 FACTS 는 실행 시간이 거의 일정하게 유지되는 반면, 기존 방법들은 테이블 데이터를 LLM 에 전달해야 하므로 비용과 시간이 기하급수적으로 증가했습니다.
• 프라이버시: 원본 테이블 데이터 (민감한 값) 를 LLM 에 노출하지 않고, 스키마와 쿼리만 전달하여 GDPR/HIPAA 등 규제 준수 가능성이 높습니다.

5. 의의 및 결론 (Significance)

FACTS 는 쿼리 기반 테이블 요약 분야에서 다음과 같은 혁신을 가져왔습니다:

• 실무 적용 가능성: 금융, 의료, 법률 등 민감한 데이터를 다루는 분야에서 프라이버시를 보호하면서도 대규모 데이터를 빠르게 처리할 수 있는 실용적인 솔루션을 제시했습니다.
• 비용 및 효율성 최적화: 매번 LLM 을 호출하는 비효율적인 방식을 탈피하여, 재사용 가능한 템플릿을 통해 운영 비용을 절감하고 처리 속도를 높였습니다.
• 신뢰성 확보: LLM 의 환각 문제를 SQL 실행과 다중 모델 검증 (Council) 을 통해 근본적으로 해결하여, 신뢰할 수 있는 사실 기반 요약을 제공합니다.

결론적으로 FACTS 는 단순한 텍스트 생성을 넘어, 정확성, 재사용성, 확장성, 프라이버시라는 4 가지 핵심 요건을 모두 충족하는 차세대 테이블 요약 프레임워크로 평가받습니다.