💬 NLP

CLAIR-Fin: An Adversarial Multi-Agent Framework for Claim-Level Verification and Adaptive Debate in Cross-Modal Financial QA

本論文は、クエリをアトミックな主張へと分解することで厳密かつ型を意識した検証と適応的な討論を行い、既存のベースラインと比較して忠実性を大幅に向上させ、ハルシネーションを低減させる、クロスモーダルな金融質問回答のための敵対的9エージェント・フレームワークであるCLAIR-Finを導入するものである。

原著者： Fatema Tuj Johora Faria, Mukaffi Bin Moin, Jubayer Al Mahmud, M. F. Mridha, Md. Alam Hossain

公開日 2026-08-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fatema Tuj Johora Faria, Mukaffi Bin Moin, Jubayer Al Mahmud, M. F. Mridha, Md. Alam Hossain

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、手がかりが3つの全く異なる種類のノートに散らばっている、謎を解こうとしている探偵だと想像してください。そのノートとは、物語が詰まった手書きの日記、数字が詰まったスプレッドシート、そしてカラフルな図表で満たされたスケッチブックです。人工知能の世界では、コンピュータが複雑な財務報告書について質問に答えようとする際、まさにこのようなことが起こります。これらの報告書は膨大で、数百ページに及ぶこともあり、テキスト、表、グラフが混在しています。問題は、AIモデルが、非常に賢いけれど時々空想にふけってしまう学生のような存在であるため、これらすべての異なる形式を一度に読み取ろうとすると混乱してしまうことです。彼らは、表の中の数字をテキストの中の物語と混同したり、「ハルシネーション（幻覚）」を起こして、実際には文書には存在しないものの、もっともらしく聞こえる事実を作り上げたりすることがあります。これは、金融の世界においては、間違った数字や作り話が誤った判断につながる可能性があるため、非常に重大な問題です。科学者たちは、コンピュータが自分の仕事をチェックするためのより優れた方法を構築しようと試みてきましたが、ほとんどの手法は、すべての手がかりを平等に信頼してしまうか（例えば、特定の数字に対してスケッチが不適切な手がかりである場合でも）、あるいは、修正するにはあまりにも遅すぎる、最後の方になってから物語が理にかなっているかどうかを確認するというものでした。

そこで登場するのが、財務報告書のファクトチェックを行うために、まるで9人の精鋭探偵チームが協力して動いているかのように設計された、巧妙で新しいシステム「CLAIR-Fin」です。CLAIR-Finは、一つのAIに文書全体を一度に飲み込ませるのではなく、あらゆる質問を、個々のパズルのピースのような、小さく「原子的な主張（atomic claims）」へと分解します。例えば、「質問が『昨年、銀行はいくら稼いだか？』である場合、システムは単に推測するのではなく、これを『年は2025年である』および『利益は1億3900万ドルである』といった小さな主張へと分割します。そして、これらの小さな主張を専門のエージェントへと送り出します。テキストを読むエキスパート、表から数字を算出するエキスパート、そしてチャートを解釈するエキスパートといった具合に、エージェントは分かれています。

ここからが魔法の始まりです。CLAIR-Finは、すべての手がかりが等しく価値を持つわけではないことを知っています。それは「非対称的証拠権威（Asymmetric Evidence Authority）」と呼ばれるルールを使用しています。これは、裁判所の裁判官が、正確な数字が必要な場合はスプレッドシートのセルが黄金基準であるが、何がなぜ起きたのかを知りたい場合は書かれた物語が最良の証拠であることを知っているようなものです。システムは、すべての情報を同じものとして扱うのではなく、数字についてはスプレッドシートを、理由については物語を信頼します。もし証拠が不確かな場合や欠けている場合、システムは無理に推測することはありません。単に分からないと認め、回答を拒否します。これは、AIが勝手に作り話をしてしまう現象に対する大きな改善です。

もし主張が難解であったり、証拠が矛盾していたりする場合、システムは「適応型反論サイクル（Adaptive Rebuttal Cycle）」へとそれを投げ込みます。これは、あるAI弁護士が主張を支持し、もう一人のAI弁護士がその穴を突こうとするディベート・クラブのようなものです。しかし、賢い点は、彼らは必要な限りにおいてのみ議論を行うことです。もし主張が簡単であれば、彼らは議論をスキップします。もし難しければ、彼らはより深く議論します。これにより、時間とエネルギーを節約できます。最終的な回答が書かれる前には、研究者と討論者の間での受け渡し中に証拠が入れ替えられたり改ざんされたりしていないかを確認する、セキュリティガードのような「証拠保管の連鎖（Chain-of-Custody）」チェックが行われます。最後に、「判事兼監査官（Judge-Auditor）」が最終的な判決を下し、「ハルシネーション・リスク指数」を算出します。これは、その回答が晴天の真実である可能性が高いか、それとも嵐のような嘘であるかの天気予報のようなものです。

研究者たちは、この新しいシステムを、バングラデシュ銀行の実際の財務報告書に基づいた500の質問を用いてテストしました。その結果、CLAIR-Finは従来のメソッドよりもはるかに真実を伝えるのが上手いことが分かりました。標準的なAIシステムが事実を正しく答えられた割合が78%であったのに対し、CLAIR-Finはそれを89%近くまで引き上げました。さらに印象的なことに、証拠が質問に答えるのに十分でない場合、システムは間違った答えを無理に提示するのではなく、5.4%の割合で沈黙することを選択しました。このことは、質問を細分化し、適切な仕事に対して適切な種類の証拠を信頼させ、AIエージェントが必要な時だけ議論させることで、複雑な金融データに対してより信頼性が高く、誠実なAIを構築できることを示唆しています。

技術要約: CLAIR-Fin

問題の定義

金融機関は、文章、表、チャートを含む長大なマルチモーダル文書（例：中央銀行の年次報告書）に対して質問に答えるために、大規模言語モデル（LLM）への依存を強めています。現在のシステムは、信頼性を確保する上で以下の3つの決定的なギャップに直面しています。

一律的な証拠信頼性: 既存の検索拡張生成（RAG）およびマルチエージェント・フレームワークは、すべてのモダリティを等しく信頼できるものとして扱っており、チャートの値が表のセルやテキストと矛盾する場合の裁定を行うことができません。
遅延した検証: 検証はドラフトが生成された後、あるいはパイプラインの出口でのみ行われることが多く、エージェント間のエラーやハルシネーション（幻覚）が最終的なテキストへと伝播することを許してしまいます。
静的な討論: 敵対的討論フレームワークは、個々の主張の難易度や論争の可能性に関わらず、レポート全体または包括的な命題に対して固定された回数のラウンドを適用します。

これらの制限は、特に正確な数値や因果関係の帰属が誤読されたり混同されたりしやすいクロスモーダルなタスクにおいて、ハルシネーションを引き起こします。

メソドロジー: CLAIR-Fin フレームワーク

CLAIR-Fin（Claim-Ledger Adversarial Inference and Retrieval for Financial document understanding：金融文書理解のための主張台帳に基づく敵対的推論と検索）は、質問を原子的な主張へと分解し、それらを個別に検証し、選択的な棄却を行いながら回答を合成するように設計された9エージェント構成のフレームワークです。プロセスは8つのフェーズで構成されています。

1. 文書インジェスチョン（フェーズ I）

ソースとなるPDFは、オフラインでインデックス化されたコーパスへと処理されます。システムはハイブリッド抽出戦略を採用しています。

ネイティブ抽出: クリーンなテキストレイヤーがあり、チャートを含まないページに使用されます。
ビジョンモデル抽出: チャートや画像を含むページに使用され、視覚的な複雑さに応じてモデルの強度をスケールさせます。
表の検証: 表は最大3回の独立した抽出パスを経て処理されます。ペアワイズの一致度が0.8を超える場合にのみ、高い信頼性が割り当てられます。
チャンク分割: コンテンツは、ソース、ページ、およびモダリティの特定のタグ付けを伴う、文を意識したチャンク（約1,000文字）に分割されます。

2. 主張の分解（フェーズ II）

プランナー・オーケストレーターが、ユーザーのクエリを、1〜8個の原子的かつ型付けされた言明（ $C = \{c_1, \dots, c_n\}$ ）を含む**金融主張台帳（Financial Claim Ledger: FCL）**へと分解します。各主張には以下のタイプが割り当てられます。

FACT_NUMERIC（数値的事実）
FACT_TREND（傾向的事実）
CAUSE_ATTRIBUTION（因果帰属）
RATIO_IDENTITY（比率の同一性）

3. マルチモーダル証拠検索（フェーズ III）

3つの特化型エージェントが、各主張に対して並行して証拠を検索します。

ナラティブ・エージェント: テキストの節を検索します。
タブラー・エージェント: 表のセルを検索し、派生指標のために計算機を使用します。
ビジュアル・エージェント: チャートの知見を検索し、ヘッジ（ぼかし）を加えた近似値を出力します。
証拠は、高密度ベクトル類似度と語彙の重複のハイブリッドによってスコアリングされます。

4. 証拠の融合と権威による重み付けによるエスカレーション（フェーズ IV）

**レジャー・ガーディアン（Ledger Guardian）は、証拠を型付けされたマルチグラフへと融合します。ここでは非対称証拠権威（Asymmetric Evidence Authority: AEA）**を適用します。これは、主張のタイプに応じてモダリティへの信頼度を変える重み付けスキームであり（例：数値的事実には表を重視し、因果帰属にはテキストを優先する）、クロスモーダルな衝突を解決します。

カバレッジ計算: 主張のカバー率スコア $A(c_i)$ は、利用可能なモダリティの重みの合計です。
エスカレーション: $A(c_i) < 0.75$ の場合、その主張は敵対的討論へとエスカレートされます。それ以外の場合は、直接ターミナル監査へと進みます。

5. 敵対的検証と適応的反論（フェーズ V）

エスカレートされた主張は、肯定側カウンセル（Affirmative Counsel）と敵対側カウンセル（Adversarial Counsel）による**適応的反論サイクル（Adaptive Rebuttal Cycle: ARC）**に入ります。

敵対側カウンセルは、6つの次元（数値エラー、範囲、時間的一貫性、因果関係の過剰主張、引用の欠落、視覚的過剰精度）に基づいてドラフトを攻撃します。
適応性: 討論の深さは固定されていません。高深刻度の攻撃が見つかった場合にのみ拡張され、最大2ラウンド（ $\rho_{max}=2$ ）までとなります。

6. 鎖の管理（Chain-of-Custody）検証（フェーズ VI）

最終監査の前に、**鎖の管理検証（Chain-of-Custody Verification: CoCV）**ステップを実行し、肯定側カウンセルのドラフトが元の証拠に基づいたままであるかを確認します。ドラフトが逸脱（含意に失敗）した場合、単一の限定的な修復が試みられます。再度失敗した場合は、その主張は「管理の鎖が切れた」とマークされます。

7. 権威による重み付けターミナル監査（フェーズ VII）

ジャッジ・オーディター（Judge-Auditor）が最終的な含意チェックを行います。

判定: 主張は InsufficientEvidence（証拠不十分）、Supported（支持される）、または StronglySupported（強く支持される）に分類されます。
ハルシネーション・リスク指数（HRI）: 含意の確信度、支持の強さ、修復の試行回数、および高深刻度の攻撃に基づいて、連続的なリスクスコアが算出されます。これにより、精査を生き残った主張と、一度も争われなかった主張を区別します。

8. 回答の合成と選択的棄却（フェーズ VIII）

ブリーフ・シンセサイザー（Brief Synthesizer）が最終的な回答を構成します。サポートされた主張には引用を含め、証拠が不十分な主張については明示的に棄却します。システムは、すべての主張が検証を通過できなかった場合にのみ回答全体を棄却しますが、それ以外の場合は、引用付きの部分的な回答を提供します。

主な貢献

主張レベルの分解: 検証をレポートレベルから原子的な主張レベルへと移行させることで、粒度の高い監査と選択的な棄却を可能にしました。
非対称証拠権威（AEA）: モダリティを一様に扱うのではなく、主張のタイプに応じて証拠の信頼性を条件付けるメカニズムであり、監査可能な事前分布を通じてクロスモーダルな衝突を解決します。
鎖の管理検証（CoCV）: ドラフト作成と敵対的レビューの間のハンドオフ・チェックを行い、最終監査前の属性のドリフトを防ぎます。
適応的反論サイクル（ARC）: 固定された予算ではなく、主張の難易度に基づいて深さをスケールさせる討論メカニズムです。
連続的なリスク推定: バイナリの合格/不合格判定に加え、より情報量の多い信頼性シグナルを提供するハルシネーション・リスク指数（HRI）を導入しました。

実験結果

本フレームワークは、バングラデシュ銀行の年次報告書から派生した、クエリのタイプ、形式、および難易度によって層別化された500問のクロスモーダル・データセットである BB-FinQA-X を用いて評価されました。

忠実性（Faithfulness）: CLAIR-Finは 0.889 の忠実度スコアを達成し、単一パスのRAGベースライン（0.780）およびHyDE（0.874）やGraph-RAG（0.832）といった強力な検索戦略を大幅に上回りました。
厳密な正確性（Exact Correctness）: システムは 0.592 の厳密な正確性を達成しました。
棄却（Abstention）: 証拠が不十分な場合、システムは 5.4% の質問に対して棄却を行い、支持されない回答を回避しました。
アブレーション研究:
- **適応的反論サイクル（ARC）**を除去すると、最大の性能低下（忠実度: 0.889 $\to$ 0.770）が発生し、これが最も重要なメカニズムであることを示しました。
- ターミナル監査を除去すると、忠実度は0.845に低下しました。
- AEAを除去した場合の影響は最小（0.889 $\to$ 0.883）でしたが、それでも一貫した劣化が見られ、モダリティ認識型重み付けの価値が確認されました。
フォーマット感度: パフォーマンスは証拠のフォーマットによって異なり、「テキスト + 表」が最も高い忠実度（0.915）を、「チャートのみ」が最も低い忠実度（0.850）を示し、視覚的解釈における残された課題を浮き彫りにしました。

意義と主張

本論文は、CLAIR-Finが、長い金融文書における相反するクロスモーダルな証拠を調整するという特定のギャップに対処していると主張しています。質問を型付けされた主張に分解し、モダリティ固有の権威重みを適用することで、証拠の信頼性は一様ではなく、文脈依存的であることを保証します。

著者らは、彼らのアプローチが一般化に関しては**控えめ（modest）**であることを強調しています。

本フレームワークは、金融統計報告（中央銀行文書）に特化して設計されており、学習されたパラメータではなく、固定された手指定の事前分布（例：AEAの重み）に依存しています。
評価は、単一の機関（バングラデシュ銀行）、単一の言語（英語）、および単一の文書ファミリーに限定されています。
システムは、専門家による判断の代わりではなく、専門知識を持つユーザーのための意思決定支援ツールとして位置付けられています。選択的棄却と連続的なリスクスコアリングの導入は、証拠の質に関わらず回答を強制するシステムよりも、自動化された金融QAをより透明かつ監査可能にすることを目的としています。

結論として、これらの具体的な重みや閾値は、この設定における設計上の選択事項ですが、主張レベルの分解、モダリティ条件付きの権威、ハンドオフ検証、および連続的なリスクスコアリングといったアーキテクチャの原則は、他の高リスク領域への適応に向けた実行可能な方向性を示しています。