TraceBack: Multi-Agent Decomposition for Fine-Grained Table Attribution

1. 문제 정의 (Problem)

구조화된 테이블 (Table) 에 대한 질문 응답 (QA) 시스템은 정확한 답변뿐만 아니라, 그 답변을 뒷받침하는 구체적인 셀 (Cell) 단위의 근거 (Attribution) 를 제공해야 신뢰할 수 있습니다.

• 기존의 한계:
  • 기존 시스템은 답변이 맞더라도 근거가 불투명하거나, 근거가 행 (Row) 또는 열 (Column) 단위로만 제공되어 **세부적인 문구 - 셀 정합성 (Phrase-to-Cell Alignment)**이 부족합니다.
  • 복잡한 추론 과정 (예: 중간 필터링, 계산) 에서 사용된 **암시적 증거 (Implicit Evidence)**를 포착하지 못합니다.
  • 기존 벤치마크 (TabCite 등) 는 문구 수준의 정합성이 부족하고, 노이즈가 많은 레이블을 사용하여 미세한 평가가 어렵습니다.
• 핵심 질문: 구조화된 테이블에서 답변과 중간 추론 단계를 모두 정밀한 셀 단위 증거로 추적할 수 있는 해석 가능하고 확장 가능한 프레임워크는 어떻게 설계할 수 있는가?

2. 방법론 (Methodology)

가. CITEBENCH (새로운 벤치마크)

기존 데이터셋의 한계를 극복하기 위해 ToTTo, FetaQA, AITQA에서 추출한 1,500 개의 예제로 구성된 새로운 벤치마크를 제안했습니다.

• 특징:
  • 문구 - 셀 정합성 (Phrase-to-Cell Alignment): 답변의 각 의미 단위 (구/절) 를 테이블의 특정 셀과 명시적으로 연결합니다.
  • 중간 추론 단계 포함: 최종 답변뿐만 아니라, 답변을 도출하는 데 필요한 중간 단계 (예: 비용 필터링, 확장성 필터링) 의 증거도 포함합니다.
  • 데이터 구성:
    • Gold Set: 인간이 직접 주석한 1,500 개의 정밀 데이터 (ToTTo 500, FetaQA 500, AITQA 513 전수).
    • Silver Set: 원래 데이터셋의 노이즈가 있을 수 있는 레이블을 유지한 대규모 데이터 (ToTTo 7,200, FetaQA 2,504).

나. TRACEBACK (프레임워크)

단일 테이블에 대한 사후 (Post-hoc) 셀 단위 속성을 위한 모듈식 멀티 에이전트 LLM 프레임워크입니다. 5 단계 파이프라인으로 구성됩니다.

1. 열 관련성 식별 (Column Relevance Identification): 답변 도출에 필요한 열을 식별합니다. (예: '지속 시간'을 묻는 질문에 '시작 시간'과 '종료 시간' 열을 식별).
2. 증거 범위 추출 (Evidence Span Extractor): 관련 열을 기반으로 행을 필터링하여 필요한 데이터 행만 선별합니다. (SQL 기반 필터링 전략 적용).
3. 쿼리 분해 (Query Decomposition): 원래 질문을 중간 추론 단계에 대응하는 의미론적으로 일관된 하위 질문 (Sub-questions) 으로 분해합니다. (예: "마라톤 행사의 지속 시간은?" → "시작 시간은?", "종료 시간은?"으로 분해).
4. 하위 쿼리 속성 (Sub-Query Attribution): 각 하위 질문에 대해 이를 지지하는 구체적인 셀 좌표를 할당합니다. 이를 통해 명시적/암시적 증거를 모두 포착합니다.
5. 최종 속성 (Final Attribution): 모든 중간 속성을 통합하여 원래 답변의 각 문구와 셀 좌표를 매핑합니다.

다. FAIRSCORE (새로운 평가 지표)

셀 단위 주석 (Human Cell Labels) 이 없는 상황에서도 확장 가능하게 평가할 수 있는 참조 없는 (Reference-less) 지표입니다.

• 작동 원리:
  1. 셀 → 사실 변환: 예측된 셀들을 자연어 형태의 원자적 사실 (Atomic Facts) 로 변환합니다.
  2. 답변 → 사실 변환: 모델의 답변을 원자적 사실로 분해합니다.
  3. 사실 정렬 (Fact Alignment): 두 사실 집합을 비교하여, 답변을 지지하는 예측 셀의 비율 (Precision) 과 답변을 완전히 커버하는 예측 셀의 비율 (Recall) 을 계산합니다.
• 장점: 인간 주석 없이도 추론의 정확성과 누락/할루시네이션을 평가할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. CITEBENCH: 최종 답변과 중간 추론 단계를 모두 포함하는 문구 - 셀 정합성 주석이 있는 최초의 대규모 벤치마크를 공개했습니다.
2. TRACEBACK: 스키마 인식 가지치기, 질문 분해, 미세한 셀 기반 정합성을 결합한 멀티 에이전트 프레임워크를 제안했습니다.
3. FAIRSCORE: 인간 레이블 없이도 셀 단위 속성 품질을 추정할 수 있는 확장 가능한 평가 지표를 개발했습니다.
4. 실험적 검증: 다양한 데이터셋과 세분화 수준 (행, 열, 셀) 에서 강력한 베이스라인을 압도하는 성능을 입증하고, FAIRSCORE 가 인간 판단과 높은 상관관계를 보임을 확인했습니다.

4. 실험 결과 (Results)

• 성능 비교 (ToTTo, FetaQA, AITQA):
  • TRACEBACK 은 행 (Row), 열 (Column), 셀 (Cell) 모든 세분화 수준에서 기존 베이스라인 (Few-shot ICL, Post-hoc Retrieval, GENERATEPROGRAMS, INSEQ 등) 을 압도적으로 능가했습니다.
  • 특히 **셀 단위 (Cell-level)**에서 가장 큰 격차를 보였습니다. (예: FetaQA 에서 정밀도 56.50 → 89.81, 재현율 46.16 → 78.84 로 대폭 향상).
  • Ablation Study: 테이블 가지치기 (Pruning) 와 쿼리 분해 (Decomposition) 가 모두 필수적임을 확인했습니다. 특히 쿼리 분해는 중간 증거를 포착하는 데 결정적인 역할을 했습니다.
• FAIRSCORE 유효성:
  • FAIRSCORE 는 인간이 주석한 Gold Set 의 실제 정밀도/재현율과 높은 상관관계를 보이며, 방법론 간의 상대적 순위 (Ranking) 를 잘 유지했습니다.
  • Silver Set(주석 없음) 에 적용 시에도 TRACEBACK 의 우수성을 일관되게 보여주어 대규모 평가에 적합함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 테이블 QA: 고위험 환경 (High-stakes settings) 에서 모델의 답변이 어떤 구체적인 데이터 셀에 기반하는지 투명하게 증명함으로써 신뢰도를 높였습니다.
• 해석 가능성: 단순한 답변 제공을 넘어, 복잡한 추론 과정 (필터링, 계산 등) 의 각 단계를 셀 단위로 추적 가능하게 하여 모델의 의사결정 과정을 해석 가능하게 만들었습니다.
• 확장성: FAIRSCORE 를 통해 인간 주석의 높은 비용 없이도 대규모 테이블 QA 시스템의 성능을 체계적으로 평가할 수 있는 길을 열었습니다.
• 한계 및 향후 작업: 현재는 단일 테이블에 국한되어 있으며, 다중 테이블 조인이나 복잡한 스키마에는 적용이 제한적입니다. 향후 다중 테이블 추론 및 FAIRSCORE 의 강건성 향상이 필요합니다.

이 논문은 구조화된 데이터 기반 QA 의 신뢰성과 해석 가능성을 높이기 위한 **데이터 (CITEBENCH), 모델 (TRACEBACK), 평가 (FAIRSCORE)**의 삼박자를 모두 갖춘 종합적인 솔루션을 제시한다는 점에서 의의가 큽니다.