技術要約: MoCA-Agent

問題提起

金融および表形式の質問回答（QA）システムは、極めて重要な課題に直面している。それは、回答が正確な事実、数式、単位、符号、およびスケールに基づいている必要があるという要件である。オープンエンドなチャットタスクとは異なり、金融推論には「流暢だが誤っている」導出に対する許容範囲が実質的に存在しない。単一のセルの読み間違い、数式の入れ替え、あるいは100パーセントの桁違いのミスが、周囲の文章がもっともらしく見える中で、最終的な数値結果を密かに汚染してしまう可能性がある。

著者らは、既存の金融コードエージェントにおける3つの繰り返される失敗モードを特定している：

1. サイレントな計算ミス（Silent Miscomputation）: Program-of-Thought (PoT) アプローチでは、エージェントはプログラムを発行した時点でそれを確定させてしまう。構文的には正しいプログラムであっても、誤ったセルを分割したり、誤った単位を適用したりする場合があり、ダウンストリームのチェックは、基礎となる仮定ではなく最終的な出力のみを観察することが多い。
2. 不透明な集約（Opaque Aggregation）: マルチエージェント討論システムにおいて、エージェントは回答全体や批判を集約する。もし複数のエージェントが流暢に同じ誤った数値を導き出した場合、コンセンサスは高い信頼度を持って誤ったものになる。これらのシステムは、エージェントの出力を、独立して検証可能な「型付けされた主張（typed claims）」の集合としてではなく、不透明な投票として扱ってしまう。
3. 不十分な構造的検証（Insufficient Structural Verification）: 既存の自己洗練（self-refine）およびコード修復フレームワークは、実行失敗や自由形式の批判に依存している。これらは、実行には成功するものの、誤った事実、符号、またはスケール（例：税引後純額の符号を反転させる、あるいは比率を100倍にするなど）を利用しているプログラムを検出することに苦慮している。

手法: MoCA-Agent

本論文では、自由形式のマルチエージェント討論を、構造化された主張レベルの検証プロトコルに置き換えたMoCA-Agent（Market-of-Claims Code Agent）フレームワークを導入する。このシステムは、質問を型付けされた原子的な主張へと分解し、シミュレートされた市場を通じて証拠を集約し、市場によって支持された証拠のみから実行可能なコードを合成する。

コア・パイプライン

1. 主張カタログ・ビルダー（Claim Catalog Builder）: システムは、入力タプル（質問 $q$、テーブル $T$、コンテキスト $C$）を、$M$ 個の原子的かつ取引可能な主張（$K$）のカタログへと分解する。各主張は、事実（fact）、数式（formula）、単位（unit）、符号（sign）、方向（direction）（例：増加/減少）、または**その他（other）**として型付けされる。カタログは、計算可能性を確保するために10個の主張に制限される。
2. スペシャリスト・トレーダー市場（Specialist Trader Market）: 4つの異なるトレーダー・エージェント（$R$）が、各主張を独立して評価する：
   • EXTRACTOR（抽出者）: テーブルに対して事実となるセルを根拠付ける。
   • FORMULA（数式担当）: 提案された数式が要求された操作に従っているかを検証する。
   • ACCOUNTANT（会計士）: 単位と会計慣行（例：収益 vs 費用）をクロスチェックする。
   • SKEPTIC（懐疑論者）: 証拠が不十分な主張を積極的に売る（疑う）。
     トレーダーは、特定の価格と想定サイズを用いて、重み付きの「買い（支持）」または「売り（疑念）」の注文を出す。
3. 市場清算（Market Clearing）: システムは注文を集約して、各主張の清算価格（$\pi_m$）と信頼スコア（$\gamma_m$）を算出する。主張には、受理（accepted）、拒絶（rejected）、または**不確実（uncertain）**のステータスが割り当てられる。
   • 受理: $\pi_m \geq 0.62$
   • 拒絶: $\pi_m \leq 0.38$
   • 不確実: それ以外
4. 合成（Synthesis）: シンセサイザーは、拒絶されていない主張のみを厳格に使用して、実行可能なPythonプログラム（$P$）を記述する。拒絶された主張は、コード生成前にフィルタリングされる。
5. コード認識型検証および修復（Code-Aware Verification & Repair）:
   • **コード認識型検証器（Code-Aware Verifier）**は、サンドボックス内でプログラムを実行し、操作を認識した構造的チェック（例：符号の反転、パーセント・スケーリング、および数式の整合性の検証）を適用する。
   • プログラムが構造的チェックに失敗した場合、**市場認識型修復（Market-Aware Repair）**ラウンドがトリガーされ、シンセサイザーに対して、汎用的なフィードバックではなく、具体的な構造的エラーリスト（例：「missing_formula_or_unit_claim」）を提供する。
6. 競合解決（Conflict Resolution）: 市場に基づいた候補が構造的に弱い場合、**ハイブリッド・セレクター・コミッティー（Hybrid Selector Committee）**が、ベースライン候補（主張市場を使用しない単一エージェントのライター）と比較を行う。不一致が続く場合、**コンフリクト仲裁者（Conflict Arbiter）**が、両方の候補の承認された部分を用いた第3のプログラムを生成する。

マルチモーダル拡張

チャート推論については、テーブルのスロットを、VLM（視覚言語モデル）によるチャートの転写データで埋める。残りのパイプライン（トレーダー、シンセサイザー、検証器）は、テキストのみの設定と同一である。

主な貢献

1. 失敗モードの分析とシステム設計: 著者らは、金融エージェントにおける主要な失敗モードとして、サイレントな計算ミス、不透明な集約、および不十分な構造的検証を正式に特定した。彼らは、仮定を型付けされた原子的な主張にすることで、MoCA-Agentを提案している。
2. 主張の市場プロトコル（Market-of-Claims Protocol）: 特殊な役割が型付けされた主張に対して重み付きの注文を出す、新しいプロトコル。これにより、仮定の明示的な監査証跡が作成され、システムがプログラム全体を拒絶することなく、自信過剰な数式に対して「空売り」することを可能にする。
3. コード認識型検証と競合回復: 検証器は、特定のサイレント・エラーのパターン（符号、スケール、単位）を標的とするコアなルーティング・コンポーネントへと昇格されている。システムには、市場に基づいた候補とベースライン候補との間の未解決の不一致を処理するための、ハイブリッド・セレクターとコンフリクト仲裁者が含まれている。
4. ベンチマーク結果: 10の公開ベンチマークにわたる広範な評価により、原子的な主張レベルでの証拠集約の有効性が示された。

実験結果

MoCA-Agentは、固定の Qwen3.6-27B バックボーンを使用して、4つのカテゴリで評価された：

• 金融数値推論（Financial Numerical Reasoning）:
  • FinQA: 78.3% (Fino1-14Bの74.2%に対し)
  • FinanceMath: 76.0% (GPT-4o PoTの67.0%に対し)
  • DocMath-Complong: 50.7% (DeepSeek-V3の42.3%に対し)
• 一般的な表形式推論（General Tabular Reasoning）:
  • MultiHiertt: 71.2% (Fortune RLの56.8%に対し)
  • TabMWP: 96.0%
  • WTQ: 81.4%
• ドメイン知識QA（Domain Knowledge QA）:
  • ESGenius: 86.9% (最強のRAGベースラインである83.8%およびゼロショット・ベースラインを上回る)
• マルチモーダル・チャート推論（Multimodal Chart Reasoning）:
  • FinChart-Bench: True/False、多肢選択、およびOpen QAの平均で85.6%。Open QAでは74.65%を達成し、Claude Sonnet 4 (63.59%) を大幅に上回った。

アブレーション研究: トレーダー市場、コード修復、ベースライン・プロポーザー、またはコンフリクト仲裁者を削除すると、平均で2.8%から5.1%の性能低下が見られ、これらのコンポーネントの相補的な性質が確認された。これらの利得は、バックボーン・モデルではなくエージェント・アーキテクチャに起因することが示されており、結果は異なるモデルサイズ（9Bから31B）においても維持された。

重要性と主張

本論文は、証拠を回答全体ではなく、原子的な主張のレベルで集約することが、高リスクの数値推論における堅牢性を向上させると主張している。仮定を明示的にし、専門的な役割が特定の事実、数式、および単位を独立して支持または異議を唱えることを可能にすることで、MoCA-Agentはパイプラインを通じてエラーが伝播するリスクを軽減する。

著者らは、このアプローチが特に、複数セルの抽出と数式の合成を必要とする設定において効果的であることを強調している。彼らは、MoCA-Agentはトレーサビリティを向上させエラー率を減少させるものの、誤った回答のリスクを完全に排除するものではないと述べている。したがって、彼らはMoCA-Agentを、高リスクの金融、法律、または規制の文脈で使用される前に、資格を持つ人間によってレビューされるべき意思決定支援アーティファクトとして位置付けている。

認められた限界

論文では、以下の4つの限界を明示的に述べている：

1. コスト: パイプラインはクエリあたり6〜10回のLLM呼び出しを必要とし、シングルパスのPoTエージェントの約5倍のコストがかかる。
2. 分布外（Out-of-Distribution）のレイアウト: システムは、質問が $\leq 10$ 個の主張に分解できることを前提としている。そのため、微調整されたスペシャリストが優れた性能を発揮する、列ヘッダーの正規化が支配的なベンチマーク（例：HiTab）では性能が低下する。
3. 単一のマルチモーダル・ステップ: チャートの初期のVLM転写におけるエラーは、トレーダー・パネルによって再評価されない。
4. ドメイン固有性: 役割のバイアスと検証器のチェックは、英語の金融/会計慣行に合わせて調整されており、科学、生物医学、または非英語の文脈については検証されていない。