기술 요약: MoCA-Agent

문제 정의

금융 및 표 형식의 질의응답(QA) 시스템은 답변이 정확한 사실, 공식, 단위, 부호 및 규모에 근거해야 한다는 결정적인 과제에 직면해 있습니다. 개방형 대화 작업과 달리, 금융 추론에는 "유창하지만 틀린" 유도 과정에 대한 허용 오차가 거의 없습니다. 단 하나의 셀을 잘못 읽거나, 공식을 뒤바꾸거나, 100% 단위 오류를 범하는 것만으로도 주변의 문장은 그럴듯하게 유지되면서 최종 수치 결과는 소리 없이 오염될 수 있습니다.

저자들은 기존 금융 코드 에이전트에서 발생하는 세 가지 반복적인 실패 모드를 식별했습니다:

1. 침묵하는 오계산 (Silent Miscomputation): Program-of-Thought (PoT) 방식에서 에이전트는 한 번 생성된 프로그램을 확정합니다. 구문적으로는 유효한 프로그램이라 할지라도 잘못된 셀을 나누거나 잘못된 단위를 적용할 수 있으며, 다운스트림 검증은 하위 가정이 아닌 최종 출력만을 관찰하는 경우가 많습니다.
2. 불투명한 집계 (Opaque Aggregation): 다중 에이전트 토론 시스템에서 에이전트들은 전체 답변이나 비판을 집계합니다. 만약 여러 에이전트가 유창하게 동일한 오답을 도출한다면, 합의된 결과는 높은 신뢰도를 가진 채로 틀리게 됩니다. 이러한 시스템은 에이전트의 출력을 독립적으로 도전할 수 있는 유형화된 주장(typed claims)의 집합이 아니라 불투명한 투표로 취급합니다.
3. 불충분한 구조적 검증 (Insufficient Structural Verification): 기존의 자가 개선(self-refine) 및 코드 수정 프레임워크는 실행 실패나 자유 형식의 비판에 의존합니다. 이들은 성공적으로 실행되었으나 잘못된 사실, 부호 또는 규모(예: 세후 순이익의 부호를 반대로 바꾸거나 비율을 100배로 스케일링하는 경우)를 사용하는 프로그램을 감지하는 데 어려움을 겪습니다.

방법론: MoCA-Agent

본 논문은 자유 형식의 다중 에이전트 토론을 구조화된 클레임 수준(claim-level) 검증 프로토콜로 대체하는 MoCA-Agent (Market-of-Claims Code Agent) 프레임워크를 소개합니다. 이 시스템은 질문을 유형화된 원자적 클레임으로 분해하고, 시뮬레이션된 시장을 통해 증거를 집계하며, 시장에서 지지받는 증거만을 사용하여 실행 가능한 코드를 합성합니다.

핵심 파이프라인

1. 클레임 카탈로그 빌더 (Claim Catalog Builder): 시스템은 입력 튜플 (질문 $q$, 표 $T$, 컨텍스트 $C$)을 $M$개의 원자적이고 거래 가능한 클레임($K$) 카탈로그로 분해합니다. 각 클레임은 사실(fact), 공식(formula), 단위(unit), 부호(sign), 방향(direction) (예: 증가/감소) 또는 **기타(other)**로 유형화됩니다. 카탈록은 실행 가능성을 보장하기 위해 최대 10개로 제한됩니다.
2. 전문 트레이더 시장 (Specialist Trader Market): 네 명의 서로 다른 트레이더 에이전트($R$)가 각 클레임을 독립적으로 평가합니다:
   • EXTRACTOR (추출가): 표를 바탕으로 사실 관계 셀을 근거화합니다.
   • FORMULA (공식 전문가): 제안된 공식이 요청된 연산을 준수하는지 검증합니다.
   • ACCOUNTANT (회계사): 단위 및 회계 관행(예: 매출 vs 비용)을 교차 확인합니다.
   • SKEPTIC (회의론자): 증거가 부족한 클레임에 대해 적극적으로 매도(의구심 제기)합니다.
     트레이더들은 특정 가격과 명목 규모를 가진 가중치 기반의 "매수"(지지) 또는 "매도"(의구심) 주문을 냅니다.
3. 시장 청산 (Market Clearing): 시스템은 주문을 집계하여 각 클레임에 대한 청산 가격($\pi_m$)과 신뢰도 점수($\gamma_m$)를 계산합니다. 클레임에는 다음과 같은 상태가 부여됩니다: 수락(accepted), 거부(rejected), 또는 불확실(uncertain).
   • 수락: $\pi_m \geq 0.62$
   • 거부: $\pi_m \leq 0.38$
   • 불확실: 그 외의 경우
4. 합성 (Synthesis): 합성기는 거부되지 않은 클레임만을 엄격히 사용하여 실행 가능한 파이썬 프로그램($P$)을 작성합니다. 거부된 클레임은 코드 생성 전에 필터링됩니다.
5. 코드 인지 검증 및 수정 (Code-Aware Verification & Repair):
   • **코드 인지 검증기 (Code-Aware Verifier)**는 샌드박스에서 프로그램을 실행하고 연산 인지 구조적 체크(예: 부호 반전, 퍼센트 스케일링, 공식 일관성 검증)를 적용합니다.
   • 프로그램이 구조적 체크를 통과하지 못하면, 일반적인 피드백 대신 특정 구조적 오류 목록(예: "missing_formula_or_unit_claim")을 합성기에 제공하는 시장 인지 수정 (Market-Aware Repair) 라운드가 트리거됩니다.
6. 갈등 해결 (Conflict Resolution): 시장 기반 후보가 구조적으로 취약한 경우, **하이브리드 선택 위원회 (Hybrid Selector Committee)**가 이를 베이스라인 후보(클레임 시장 없이 단일 에이전트가 작성한 후보)와 비교합니다. 불일치가 지속되면, **갈등 중재자 (Conflict Arbiter)**가 두 후보의 승인된 부분을 모두 활용하여 제3의 프로그램을 생성합니다.

멀티모달 확장

차트 추론을 위해, 시스템은 차트의 VLM(Vision-Language Model) 전사(transcription) 데이터를 표 슬롯에 채웁니다. 나머지 파이프라인(트레이더, 합성기, 검증기)은 텍스트 전용 구성과 동일하게 유지됩니다.

주요 기여

1. 실패 모드 분석 및 시스템 설계: 저자들은 금융 에이전트의 주요 실패 모드로 침묵하는 오계산, 불투명한 집계, 불충분한 구조적 검증을 공식적으로 식별했습니다. 이들은 유형화된 원자적 클레임을 통해 가정을 명시적으로 만들기 위해 MoCA-Agent를 제안합니다.
2. 클레임 시장 프로토콜 (Market-of-Claims Protocol): 전문 역할을 수행하는 트레이더들이 유형화된 클레임에 가중치 기반 주문을 넣는 새로운 프로토콜입니다. 이는 가정에 대한 명시적인 감사 추적(audit trail)을 생성하며, 시스템이 전체 프로그램을 거부하지 않고도 과도하게 확신하는 공식을 "공매도(short)"할 수 있게 합니다.
3. 코드 인지 검증 및 갈등 복구: 검증기는 특정 침묵 오류 패턴(부호, 규모, 단위)을 타겟팅하는 핵심 라우팅 구성 요소로 격상되었습니다. 시스템은 시장 기반 후보와 베이스라인 후보 간의 미해결된 불일치를 처리하기 위해 하이브리드 선택기와 갈등 중재자를 포함합니다.
4. 벤치마크 결과: 10개의 공개 벤치마크에 대한 광범한 평가를 통해 원자적 클레임 수준에서 증거를 집계하는 것의 효능을 입증했습니다.

실험 결과

MoCA-Agent는 고정된 Qwen3.6-27B 백본을 사용하여 네 가지 카테고리에서 평가되었습니다:

• 금융 수치 추론 (Financial Numerical Reasoning):
  • FinQA: 78.3% (Fino1-14B의 74.2% 대비)
  • FinanceMath: 76.0% (GPT-4o PoT의 67.0% 대비)
  • DocMath-Complong: 50.7% (DeepSeek-V3의 42.3% 대비)
• 일반 표 추론 (General Tabular Reasoning):
  • MultiHiertt: 71.2% (Fortune RL의 56.8% 대비)
  • TabMWP: 96.0%
  • WTQ: 81.4%
• 도메인 지식 QA (Domain Knowledge QA):
  • ESGenius: 86.9% (가장 강력한 RAG 베이스라인인 83.8% 및 제로샷 베이스라인을 능가)
• 멀티모달 차트 추론 (Multimodal Chart Reasoning):
  • FinChart-Bench: True/False, 객관식, Open QA 전반에 걸쳐 평균 85.6% 달성. Open QA에서는 74.65%를 기록하여 Claude Sonnet 4(63.59%)를 크게 상회함.

절제 연구 (Ablation Studies): 트레이더 시장, 코드 수정, 베이스라인 제안자 또는 갈등 중재자를 제거했을 때 평균 2.8%에서 5.1%의 성능 저하가 발생하여, 이들 구성 요소의 상호 보완적인 성격을 확인했습니다. 이러한 이득은 모델 크기(9B에서 31B)와 상관없이 유지되었으므로, 에이전트 아키텍처 덕분임을 보여주었습니다.

의의 및 주장

본 논문은 전체 답변이 아닌 원자적 클레임 수준에서 증거를 집계하는 것이 높은 수준의 수치 추론에서 견고성을 향상시킨다고 주장합니다. 가정을 명시적으로 만들고 전문 역할이 특정 사실, 공식 및 단위를 독립적으로 지지하거나 도전하게 함으로써, MoCA-Agent는 파이프라인을 통해 침묵하는 오류가 전파되는 위험을 완화합니다.

저자들은 이 접근 방식이 특히 다중 셀 추출 및 공식 구성이 필요한 환경에서 효과적이라고 강조합니다. 또한, 시스템이 추적 가능성을 높이고 오류율을 줄이지만, 오답의 위험을 완전히 제거하는 것은 아니라고 언급합니다. 따라서 저자들은 MoCA-Agent를 고위험 금융, 법률 또는 규제 맥락에서 사용하기 전 자격을 갖춘 인간의 검토를 거쳐야 하는 의사 결정 지원 도구로 규정합니다.

인정된 한계점

논문은 네 가지 한계점을 명시적으로 언급했습니다:

1. 비용: 파이프라인은 쿼리당 약 6~10회의 LLM 호출이 필요하며, 이는 단일 패스 PoT 에이전트보다 약 5배 더 많은 비용이 듭니다.
2. 분포 외 레이아웃 (Out-of-Distribution Layouts): 시스템은 질문이 $\leq 10$개의 클레임으로 분해될 수 있다고 가정합니다. 따라서 미세 조정된 전문가들이 우수한 성능을 보이는 열 헤더 정규화(예: HiTab)가 주된 벤치마크에서는 성능이 떨어집니다.
3. 단일 멀티모달 단계: 차트의 초기 VLM 전사 과정에서의 오류는 트레이더 패널에 의해 재평가되지 않습니다.
4. 도메인 특수성: 역할 편향 및 검증기 체크는 영어 금융/회계 관행에 맞춰 조정되었으며, 과학, 생물 의학 또는 비영어권 맥락에 대해서는 검증되지 않았습니다.