A Multi-Agent Approach for Claim Verification from Tabular Data Documents

1. 문제 정의 (Problem)

자연어 처리 (NLP) 분야에서 **표 (Table) 기반 문서의 주장 검증 (Claim Verification)**은 허위 정보 대응을 위해 매우 중요한 과제입니다. 과학 논문, 재무 보고서, 기업 지속가능성 보고서 등에는 복잡한 수치 및 관계적 데이터가 표로 저장되어 있으며, 이러한 표와 텍스트 문맥을 통합하여 주장이 사실인지 ('support'), 거짓인지 ('refute'), 정보가 부족한지 ('not enough info') 를 판단해야 합니다.

기존의 LLM 기반 접근법들은 다음과 같은 한계를 가집니다:

• 복잡한 전처리/파인튜닝: 대규모 데이터로 모델을 미세 조정 (Fine-tuning) 하거나 복잡한 사전 학습이 필요하여 재현성과 확장성이 낮음.
• 단방향 작업 분해: 주장을 하위 작업으로 분해하는 과정에서 오류가 후속 단계로 전파 (Error Propagation) 되는 경향이 있음.
• 설명 가능성 부족: 검증 과정에 대한 명확한 추론 경로 (Trace) 를 제공하지 못함.
• 다양한 표 구조 처리의 어려움: 계층적 헤더, 병합 셀, 텍스트와 표의 혼합된 문맥을 이해하는 데 한계가 있음.

2. 방법론 (Methodology: MACE Framework)

저자들은 **MACE (Multi-Agentic framework for Claim vErification)**라는 새로운 프레임워크를 제안합니다. 이는 복잡한 파인튜닝 없이 **제로샷 (Zero-shot) Chain-of-Thought (CoT)**를 기반으로 한 세 가지 전문화된 에이전트 (Agent) 로 구성된 다중 에이전트 시스템입니다.

핵심 에이전트 구성

1. Planner (계획자):
   • 사용자의 주장 (Claim) 과 증거 (표/문단) 를 분석합니다.
   • 부정어 ('not', 'no' 등) 인식, 모호한 표현의 정량화, 복합 주장의 분해 등을 수행합니다.
   • Executor 가 명확하게 따를 수 있는 **단계별 검증 전략 (Action Plan)**을 생성합니다.
2. Executor (실행자):
   • Planner 의 계획을 실행하여 데이터 추출, 계산, 비교를 수행합니다.
   • 구체적인 계산 과정과 추론 흔적 (Reasoning Traces) 을 남깁니다.
   • 계획이 불명확할 경우 '수정 (revise)' 요청을 보내고, 명확할 경우 초기 판정 ('support', 'refute', 'not enough info') 을 내립니다.
3. Verifier (검증자):
   • Executor 의 추론 과정과 판정을 감사 (Audit) 합니다.
   • 논리적 일관성, 증거와의 부합 여부, 수치적 정확성을 확인합니다.
   • 오류나 불일치를 발견하면 Executor 에게 수정을 요청하는 **피드백 루프 (Feedback Loop)**를 작동시킵니다.

작동 방식

• 구조화된 그룹 채팅: AutoGen 라이브러리를 기반으로 User → Planner → Executor → Verifier → User 순서로 에이전트들이 대화합니다.
• 반복적 수정 (Iterative Refinement): Executor 가 Planner 에게, Verifier 가 Executor 에게 수정을 요청할 수 있는 양방향 피드백 메커니즘을 도입하여 오류 전파를 방지합니다.
• 도메인 적용:
  • Closed-domain: 특정 표와 주장이 짝지어진 경우.
  • Open-domain: 문서 코퍼스에서 관련 표를 검색 (Retrieval) 한 후 검증하는 경우.

3. 주요 기여 (Key Contributions)

1. 효율적인 다중 에이전트 협업: 복잡한 파인튜닝 없이, 세 가지 에이전트의 협업과 피드백 루프를 통해 높은 정확도와 설명 가능성을 달성했습니다.
2. 해석 가능한 검증 흔적 (Interpretable Traces): 각 에이전트가 생성하는 명시적인 추론 과정 (어떤 행/열을 선택했는지, 어떤 수식을 적용했는지) 을 제공하여 '블랙박스' 문제를 해결했습니다.
3. 소규모 모델의 성능 극대화: 거대 모델 (235B 파라미터) 에 비해 훨씬 작은 모델 (27~92B 파라미터) 로도 최상위 성능에 근접하는 결과를 달성하여, 메모리 효율성을 크게 개선했습니다.
4. 오류 전파 방지: 기존 단방향 파이프라인의 한계를 극복하기 위해 검증 단계에서 오류를 발견하고 수정을 요청하는 메커니즘을 도입했습니다.

4. 실험 결과 (Results)

저자는 SciTab, SemTab, FinDVer, SciTab-OD 등 4 개의 데이터셋 (폐쇄형 및 개방형 도메인 포함) 에서 MACE 를 평가했습니다.

• 성능 (Performance):
  • Closed-domain (SciTab, SemTab): MACE 는 파인튜닝 기반의 SOTA 모델들 (TART, ProTrix 등) 과 비교하여 **최고의 성능 (SOTA)**을 기록했습니다.
  • Open-domain (FinDVer, SciTab-OD): 기존 최상위 모델들과 동등한 성능을 달성했습니다.
  • 소규모 모델 효율성: 2792B 파라미터를 가진 모델들이 235B 파라미터 모델의 **80100% 성능**을 달성했습니다. 특히 8B 모델 (Ll-8B) 은 235B 모델의 성능을 90% 이상 유지하면서도 메모리 사용량은 11.5~39.1% 수준으로 줄였습니다.
• 자원 효율성 (Memory & Runtime):
  • 메모리: 거대 모델 대비 **11.5~39.1%**의 메모리만 사용하여 동급의 성능을 냅니다.
  • 런타임: 다중 에이전트 조정으로 인해 단일 모델 추론보다 실행 시간이 5~27 배 증가하는 오버헤드가 존재하지만, 정확도 향상과 메모리 절감 측면에서 타당한 트레이드오프로 평가됩니다.

5. 의의 및 결론 (Significance)

이 연구는 표 기반 주장 검증 분야에서 다음과 같은 중요한 의의를 가집니다:

• 접근성 향상: 거대하고 비싼 LLM 이나 파인튜닝 없이도, 상대적으로 작은 오픈소스 모델과 프롬프트 엔지니어링을 통해 산업 수준의 검증 성능을 달성할 수 있음을 증명했습니다.
• 신뢰성 확보: 검증 과정의 모든 단계를 투명하게 보여줌으로써 (Explainability), 금융 및 과학 분야와 같이 높은 신뢰도가 요구되는 환경에서의 적용 가능성을 높였습니다.
• 확장성: 피드백 루프를 통한 자기 수정 메커니즘은 복잡한 추론 작업에서 오류를 줄이는 효과적인 패러다임을 제시하며, 향후 다양한 도메인으로의 확장에 기여할 것으로 기대됩니다.

결론적으로 MACE 는 성능, 메모리 효율성, 그리고 투명성을 모두 충족시키는 차세대 표 기반 사실 검증 프레임워크로 자리매김했습니다.