FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

技術要約：FinAbstain

問題提起
金融予測は、証拠の到着が非同期であり、シグナルの乖離（例：決算報告 vs ニュースのセンチメント vs テクニカル指標）が頻繁に発生するため、本質的に困難である。大規模言語モデル（LLM）は金融的なナラティブを合成できる一方で、証拠が乏しい、古い、あるいは矛盾している場合でも、高い自信（確信度）を示してしまう傾向がある。意思決定の文脈において、この過剰な自信は、認識論的な限界を知らず知らずのうちに回避可能なトレーディング・リスクへと転換させてしまう。既存の検索拡張生成（RAG）および金融特化型言語モデルには、以下の3つの決定的な欠陥が存在する：

1. 時間的リーク（Temporal Leakage）： 標準的なRAGは、取得された文書が特定の予測タイムスタンプ時点で公開されていたことを保証しないため、バックテストにおける汚染を招く。
2. 隠れた不一致（Hidden Disagreement）： 単一の合成ナラティブは、ファンダメンタルズ、ニュース、市場ソースからの相反するシグナルを、単一の出力へと崩壊させてしまう。
3. 選択的拒絶の欠如（Lack of Selective Refusal）： 確信度スコアが、不確実性が高い場合に予測を拒絶（棄権）するという運用上の選択肢をサポートするために校正（キャリブレーション）されることは稀である。

手法：FinAbstainフレームワーク
FinAbstainは、不確実性が校正された、マルチモーダルRAGと選択的予測のための研究フレームワークである。そのアーキテクチャは、以下の4つのコアコンポーネントで構成されている：

1. 時点（Point-in-Time）マルチモーダル・リトリーバー：
   本システムは、提出書類（10-K, 10-Q, 8-K）、決算電話会議、ニュース、価格、出来高、およびテクニカル指標を取り込む。極めて重要な点として、厳格な時間制約を課し、予測時刻 $t$ より前に公開（$\tau_{pub}$）および取り込み（$\tau_{ing}$）のタイムスタンプが存在する文書のみを許容する。これにより、将来情報のリークを防ぐ。リトリーバーは、テキストに対してはハイブリッドなDense/BM25スコアを用い、時系列データに対してはレジーム/新近性マッチングを用い、ニュースのボリュームによって提出書類が駆逐されないよう、モダリティ間でトップ-$k$の予算を配分する。

2. 役割分離型エージェント・プロトコル：
   証拠は、集計される前に独立したエージェントによって処理される：

• ファンダメンタル・エージェント： 売上高、マージン、キャッシュフロー、およびガイダンスを分析する。
• ニュース・エージェント： イベントの極性、新規性、およびソースの多様性を推定する。
• テクニカル・エージェント： 数値的特徴のみを用いて、トレンド、モメンタム、およびボラティリティを分析する。
• リスク・エージェント： 反論を構築し、不足している証拠を特定する。
• 検証器（Verifier）： クレーム（主張）を取得されたスパン（記述範囲）と照合し、ソース間の矛盾を検出する。
  エージェントはアンカリングを軽減するために独立して動作し、第2の集計パスでは、引用されていない事実を導入することなく信頼性ウェイトを使用する。

3. ハイブリッド不確実性定式化：
   システムはエージェントからの確率的評価を集計し、複合的な不確実性スコア（$U_{i,t}$）を算出する。このスコアは以下を統合する：

• 不一致（Disagreement）： エージェント間の平均イェンセン・シャノン・ダイバージェンス。
• 矛盾（Contradiction）： 相対的な重み付けがなされた矛盾する主張の確率。
• 一貫性（Consistency）： 繰り返される推論サンプル間の分散。
• 取得の不備（Retrieval Deficiency）： 裏付けとなる証拠の欠如。
• エントロピーと校正ギャップ（Entropy and Calibration Gap）： 予測エントロピーおよび過去の校正誤差。
  これらの要素は、検証データに適合させたウェイトを用いたロジスティック関数を介して結合される。

4. 選択的コントローラー（Selective Controller）：
   コントローラーは、不確実性スコア $U_{i,t}$ が検証済みの閾値 $\theta$ を下回る場合にのみ、方向性（強気、弱気、中立）を予測する。それ以外の場合、システムは棄権（abstain）する。棄権は一つの決定として扱われ、「さらなる証拠の要求」「ポジションサイズの縮小」「人間によるレビューへのルーティング」などのアクションをトリガーする。閾値は、最小限のカバー率制約の下で選択的リスクを最小化するように、検証データ上で最適化される。

主な貢献
本論文は、以下の4つの具体的な貢献を概説している：

• 提出書類、ニュース、および市場データの可用性を、予測タイムスタンプにおいて強制する時間的安全なRAG仕様。
• 単一のナラティブに崩壊させるのではなく、不一致、矛盾、および引用のサポートを明示的に露出させるマルチエージェント証拠プロトコル。
• 校正、カバー率、選択的リスク、およびポジションサイジングを連結するハイブリッド不確実性スコアと形式的なコントローラー。
• シミュレーションされた計画値と経験的な知見を明確に区別する、再現可能な時系列評価ブループリント。

結果と評価
本論文は、完了したバックテストからの経験的な知見ではなく、シミュレーションによる例示的な結果を提示している。これらのシミュレーションは、レポート・パイプラインと提案された指標の一貫性をテストするために設計されている。

• パフォーマンス： シミュレーションにおいて、FinAbstainは最高の校正精度（ECE: 0.026）と選択的精度（68.8%）を達成し、同時に72%のケースをカバーしている。
• リスク・カバー率のトレードオフ： シミュレーションによるリスク・カバー率曲線は、同等のカバー率において、FinAbstainが（標準的なRAGや校正されていないマルチエージェントモデルを含む）ベースラインよりも低い選択的エラーを維持していることを示している。
• アブレーション解析： 時間的フィルタリングを除去すると、シミュレーションにおいて欺瞞的に高い精度（70.4%）が得られるが、著者らはこれを将来情報の混入による無効なものとして明示的にラベル付けしている。校正または棄権能力を除去するとパフォーマンスが低下し、選択的メカニズムの必要性が浮き彫りになる。
• 指標： 評価フレームワークには、精度、F1、ブライア・スコア、期待校正誤差（ECE）、シャープレシオ、最大ドローダウン（MDD）、および取引コスト調整後リターンが含まれる。

意義と主張
本論文は、FinAbstainを証明されたトレーディング戦略としてではなく、証拠に基づいた選択的な金融予測のための**「時間的に安全なアーキテクチャ」および「再現可能な評価ブループリント」**として位置づけている。

• 核心的な仮説： 著者らは、校正された棄権が、カバー率を犠牲にして選択的エラーとドローダウンを低減させ得ることを提唱している。
• 主張の謙虚さ： 著者らは、報告された数値は「シミュレーションによるアーティファクト（人工物）」であり、手法およびレイアウトをテストするためのものであると明言している。彼らは経済的利益や経験的な妥当性を主張していない。
• 今後の課題： 本論文は、シミュレーション値を経験的な結果に置き換えるために、凍結されたデータ・マニフェスト、実行可能な特徴量パイプライン、および独立した監査を備えた、事前登録された時系列研究を求めている。また、本フレームワークが、不可避な市場の不確実性や戦略的な誤情報（misinformation）を排除できないことも認めている。

要約すると、FinAbstainは、認識論的な謙虚さ（いつ予測すべきでないかを知ること）と時間的な完全性（将来情報のリークを防ぐこと）を優先する、金融予測のための構造的なアプローチを提供しており、LLMがいつ金融上の決定を控えるべきかを評価するための厳格なフレームワークを提供するものである。