技術サマリー：RealFin – ユーザーが言及しない事項について、LLM はどの程度金融を推論できるか？

1. 問題提起

現在の金融分野における大規模言語モデル（LLM）の評価は、致命的な欠陥を抱えています。すなわち、「クローズドワールド仮説」の下で動作しており、すべての問いが完全に特定され、単一の正解を許容すると前提としています。しかし、現実の金融実務においては、問題が「未特定」であることが頻繁に起こります。重要な前提（規制基準、時間軸、会計規則、またはマクロ経済的仮定など）は、しばしば暗黙のうちに置かれるか、欠落しています。

このような「条件欠落」の問いに直面した際、現在の LLM は以下のような傾向を示します。

1. 過剰なコミット: 学習されたデフォルトやトレーニングデータのバイアスを用いて欠落部分を無言で補完し、自信を持って回答を生成する。
2. 棄権の欠如: 問いが論理的に未決定であり、提供された情報からは有効な回答を導き出せないことを認識する認識論的意識が欠けている。
3. 曖昧性の誤解釈: この失敗は特に中国語において顕著です。文脈依存型の用語が欠落した条件を隠蔽し、モデルが正当化されていないが説得力のある結論を幻覚として生成してしまうためです。

本論文は、信頼性の高い金融 AI は、情報が十分である場合に正しく回答するだけでなく、条件が欠落している場合にそれを特定し、回答を棄権する能力も備えなければならないと主張しています。

2. 手法

A. REALFIN ベンチマーク

著者らは、不完全な情報下での金融推論を評価するために設計されたバイリンガル（英語/中国語）ベンチマーク「REALFIN」を導入しました。

• データセット構築: 1,178 件の専門的で適切に構成された試験形式の質問（英語は CFA 形式、中国語は CPA 形式）を出発点とし、著者らは手動で「条件欠落」版のペアを作成しました。
• 条件の除去: 論理的に不可欠な前提を体系的に除去しましたが、残されたテキストが言語的に妥当であるよう保証しました。除去された条件は以下の 4 種類に分類されます。
  1. 初期仮定: （例：金利レジーム、インフレ期待）。
  2. 中間連結条件: （例：CAPM/DCF などの特定のバリュエーションモデル、ヘッジの論理）。
  3. 制約定義情報: （例：金融契約、優先順位属性）。
  4. 基準選択の手がかり: （例：IFRS 対 GAAP、規制枠組み）。
• タスク設定: ベンチマークは、3 つの異なる設定下でモデルを評価します。
  1. オリジナル（完全条件）: 完全な情報による標準的な QA。
  2. 改訂版（条件欠落）: 前提が除去された質問；モデルは明確化するか、単一の回答が不可能であることを認識する必要があります。
  3. 上記のいずれでもない（NOTA）: 改訂版セットにおける正解オプションを「上記のいずれでもない」に置き換えます。これにより、モデルは「最も可能性が高い」オプションを推測するのではなく、欠落した情報を明示的に特定することを強制されます。

B. 実験設定

• 評価対象モデル: 15 の LLM がテストされ、以下のカテゴリに分類されました。
  • 汎用モデル: （例：GPT-5.1-mini、Claude-3.5-Sonnet、DeepSeek-V3）。
  • 金融特化モデル: （例：XuanYuan3-70B、Fin-R1-7B、DISC-FinLLM）。
  • 推論強化モデル: （例：DeepSeek-R1、GPT-OSS シリーズ、DianJin-R1）。
• 評価プロトコル: 厳格な JSON 出力形式（reason、answer、confidence を必須）を用いたゼロショット設定。
• 指標: オリジナルセット対改訂版セットの精度、および新しい指標である推論精度（モデルの説明が欠落した前提を正しく特定しているかを確認）対回答精度（NOTA を選択すること）を評価します。

3. 主な貢献

1. RealFin ベンチマーク: 未特定の問題における金融推論を体系的に評価する初のデータセットであり、学術的ベンチマークと現実世界の曖昧さの間のギャップを埋めます。
2. バイリンガル評価: 英語（CFA）と中国語（CPA）の金融分野を網羅する包括的なデータセットにより、モデルの行動における顕著な言語間格差を明らかにしました。
3. 新しい評価パラダイム: 単純な回答精度を超え、欠落した情報を検知し、正当化される場合に回答を拒否する能力である認識論的慎重さを評価することへの転換。
4. 包括的なモデル分析: 汎用、特化、推論強化モデルの厳密な比較を行い、ドメイン特化型のファインチューニングが過剰コミットの問題を自動的に解決するわけではないことを浮き彫りにしました。

4. 主な結果

A. 性能の低下と過剰コミット

• 汎用モデル: 驚くべきことに、汎用モデル（例：GPT-5.1-mini、Claude-3.5）は、改訂版タスクにおいて金融特化モデルを上回る性能を示すことがありました。しかし、この「成功」は、欠落した情報を認識するのではなく、偶然またはトレーニングデータのデフォルトに依存して欠落条件を正しく推測したことに起因する暗黙の仮定整合性によるものが大半でした。
• 金融特化モデル: 初期の金融モデル（例：DISC-FinLLM、FinGPT）は性能が低く、欠落した条件を認識できず、ドメイン知識を積極的に引き出して強制的に回答しようとする傾向があり、NOTA 設定ではほぼ 0% の精度に留まりました。
• 推論強化モデル: Fin-R1-7B などのモデルは優れた性能を示しました。適切な場合に欠落した前提を特定し、棄権（NOTA の選択）する能力がより高かったのです。しかし、欠落条件を特定した後でも「過剰推論」に陥り、長い仮説シナリオを生成してしまう場合もありました。

B. 中国語 CPA における「デッドゾーン」

• 重要な発見として、中国語固有の失敗モードが挙げられます。中国語の CPA タスクにおいて、モデル（大型モデルさえも）は条件欠落の質問に回答できない「デッドゾーン」を示し、複雑な計算では 0% 近くのスコアに留まることがありました。
• 原因: 中国語の金融用語は文脈依存性が極めて高いです。条件が除去されると、残されたテキストは依然として整合的な文を形成し、モデルを誤って、正当化されていない積極的な推論へと導いてしまいます。

C. 回答と推論の間のギャップ

• 回答精度対推論精度: NOTA 設定において、多くのモデルは正しい「上記のいずれでもない」オプションを選択しましたが、その「なぜ」を説明できず（推論精度が低い）、以下のような事例が見られました。
  • 例: GPT-OSS-120B は英語の NOTA において約 89% の回答精度を達成しましたが、推論精度は約 20% でした。論理的なギャップを理解することなく、安全策として NOTA を選択していました。
• 自信の不一致: モデルは、推論に欠陥がある場合や推測している場合でも、高い自信（例：>90%）を示すことが頻繁にありました。

D. スケーリングは問題を解決しない

• モデルサイズを増大させること（例：20B から 120B パラメータへ）は回答精度を向上させましたが、推論のギャップを悪化させました。大規模モデルは正当化されていない仮定に対してより自信を持つようになり、過剰コミットがさらに高まりました。

5. 意義と示唆

• 信頼性の再定義: 本論文は、信頼性の高い金融 LLM は以下の 3 つの基準を満たさなければならないと主張しています。(1) 情報が十分であれば正しく回答する、(2) 欠落している場合に条件を特定する、(3) 有効な回答が存在しない場合に棄権する。
• 自動化のリスク: 適切に構成された質問における回答精度のみを測定する現在のベンチマークは、高リスクの金融意思決定における LLM の信頼性を危険なほど過大評価しています。
• 将来の方向性: 著者らは、専門知識のための特化型 SFTと、推測を罰し欠落情報の明示的特定を報酬とする論理駆動型 RLを組み合わせたトレーニングパイプラインを提案しています。また、受動的な拒絶から、欠落データをユーザーに求める能動的な明確化への移行も提案しています。

結論: RealFin は、サイズやドメイン特化の有無にかかわらず、現在の LLM が「解決可能」と「解決不可能」な金融問題を見分けることに苦労していることを示しています。金融における真の信頼性は、必要な情報が欠落している際に自信を持って解決策を幻覚させるのではなく、「知らない」と言う謙虚さを持つモデルに依存します。