Detecting Lookahead Bias in LLM Forecasts

技術要約：LLMの予測におけるルックアヘッド・バイアス（先読みバイアス）の検出

問題提起
大規模言語モデル（LLM）は、ニュースの見出しや決算説明会のトランスクリプトなどの非構造化テキストから企業レベルの予測を生成するために、実証経済学や金融の分野でますます活用されている。これらのモデルは、伝統的な計量経済学のベンチマークと同等、あるいはそれを上回る予測力を実現された結果（例：株価収益率、設備投資額）に対して示すことが多い。しかし、重大な懸念は、その予測能力が入力テキストに対する真の経済的推論に由来するのではなく、事前学習中に取り込まれた実現済みの結果に対するモデルの「記憶」に由来している可能性があることである。モデルが自身の学習コーパスに含まれる日付範囲で評価される場合、特定の企業と日付のペアにおける実現済みの結果が、回顧的なナラティブと共に吸収されている可能性があり、これにより、モデルがプロンプトを通じて推論しているのではなく、答えを「想起」しているという「ルックアヘッド・バイアス（先読みバイアス）」が生じる。既存の緩和策（エンティティのマスキングや、カットオフ後のデータへの評価限定など）は、部分的である（微細な記憶の経路が残っている）か、あるいは統計的に制限的である（アウトオブサンプル期間が短い）ため、不十分である。特定のタスクにおいて、LLMの予測が記憶に基づいているのか、それとも推論に基づいているのかを判断するための、ポータブルな診断ツールの欠如が存在する。

手法
著者らは、Lookahead Propensity (LAP：先読み傾向) と呼ばれる指標を中心とした統計的手法を提案している。これは $LAP^{(known)}_{i,t+1}$ と表記される。

1. LAPの構築:

   • この手法は、「日付のみの想起クエリ（date-only recall query）」を利用する。これには、企業の名称、ティッカー、および対象となる日付（または四半期）のみが含まれ、同時期の情報は一切含まれない（見出し、トランスクリプト、ファンダメンタルズなどは含まない）。
   • モデルに対し、結果の方向性（例：「上昇」または「下落」）を予測させるか、あるいは「不明」として棄権するように促す。
   • $LAP^{(known)}$ は、方向性ラベルに割り当てられた最初のトークンの確率の合計（$P_{up} + P_{down}$）として計算される。
   • 値が1に近い場合は、モデルが結果を「知っている」（高い記憶力）ことを示し、0に近い場合は、棄権（想起なし）を示している。

2. 計量経済学的フレームワーク:

   • 著者らは、LLMの予測（$\hat{\mu}_t$）を、真の条件付き期待値と汚染項の和としてモデル化している：$\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$。
   • ここで、$L_t$ は企業・期間ごとの記憶強度（$LAP^{(known)}$ によってプロキシされる）を表し、$\gamma$ は、テキストを条件とした予測に記憶された内容を漏洩させるモデルの傾向を表す。
   • 検出テストでは、実現された結果（$Y_{t+1}$）を、LLMの予測（$\hat{\mu}_t$）、LAPの尺度、およびそれらの相互作用に対する精度回帰を行う：
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • 命題1： 緩やかな条件下において、正で有意な相互作用係数（$\beta_3 > 0$）は、$\gamma > 0$ に対する片側診断として機能し、モデルの予測力が記憶された内容によって増幅されていることを示す。

3. バリデーションとプレースボ:

   • バリデーション（妥当性確認）： 想起クエリの方向成分（$(U-D) = P_{up} - P_{down}$）を、実現された結果に対してテストする。ここでの予測力は、記憶の存在（$L_t > 0$）を裏付ける。
   • プレースボ（偽薬テスト）： 学習カットオフ後の期間（モデルの知識カットオフ以降の日付）に対してテストを適用する。このウィンドウ内では、$LAP^{(known)}$ はゼロに収束すべきであり、相互作用項は有意ではなくなる。これにより、インサンプルでの増幅効果が学習時の露出によって引き起こされたことが確認される。

主な実証結果
著者らは、このフレームワークを Llama-3.3-70B（学習カットオフ：2023年12月）を用いた2つの予測タスクに適用した。

1. 株価ニュースによるリターン予測:

   • ブルームバーグの見出しを用いて、翌日の株価リターンを予測する（インサンプル：2012年–2023年）。
   • ベースラインのLLMシグナルはリターンを予測する（$t=12.18$）。
   • 相互作用項（$LLM \times LAP$）は正で極めて有意である（$t=3.64$）。$LAP^{(known)}$ の1標準偏差の増加により、LLMシグナルの限界効果は約32%上昇する。
   • 想起クエリ単体（見出しなし）もリターンを予測するが（$t$-統計量は3.53）、これは $LAP^{(known)}$ が高い企業・日に対してのみである。
   • アウトオブサンプル（2024年）： $LAP^{(known)}$ の平均はゼロ近くに崩壊し、相互作用項は統計的に有意ではなくなる（$t=1.06$）。これにより、ルックアヘッド・バイアスの仮説が検証された。

2. 決算説明会による設備投資予測:

   • トランスクリプトを用いて、2四半期先の設備投資（Capex）を予測する（インサンプル：2006年–2020年）。
   • ベースラインのLLMシグナルは将来の設備投資を予測する（$t=16.69$）。
   • 相互作用項は正で有意である（$t=2.01$）。$LAP^{(known)}$ の1標準偏差の増加により、限界効果は約12%上昇する。
   • アウトオブサンプル（2023Q3–2024Q1）： 相互作用項は有意性を失い（$t=1.35$）、想起日が学習カットオフを厳密に過ぎているため、増幅効果は消失する。

3. 内的確信度（Inner Confidence）との比較:

   • 著者らは、$LAP$ 尺度を「内的確信度」（メインのプロンプトにおけるモデルの選択した回答の確率）と比較検討している。
   • 両方の相互作用項（$LLM \times LAP$ および $LLM \times Inner Confidence$）は、同時に含めても有意なままであり、これらが予測パフォーマンスの異なる構成要素を捉えていることを示している。すなわち、$LAP$は記憶を捉え、$Inner Confidence$ は推論におけるモデルの確信度を捉えている。

意義と主張
本論文は、LLMが生成する予測の妥当性を評価するための、ポータブルでコスト効率の高い、モデルレベルの診断ツールを提供すると主張している。

• 診断的有用性： 研究者は、再学習や独自の学習データへのアクセス、あるいはリークのないモデルの構築を必要とせずに、LLMの明らかな予測力のどれほどが記憶に由来しているのか、あるいは推論に由来しているのかを定量化できる。
• タスク固有の性質： 著者らは、ルックアヘッド・バイアスはLLMの普遍的な失敗ではなく、入力ドメイン、ターゲット変数、モデル、およびプロンプトに依存するタスク固有の現象であることを強調している。
• 実用的な適用： このテストは、モデルにクエリを投げ、最初のトークンのラベル確率を読み取る能力のみを必要とする。これにより、研究者は記憶の影響を「差し引く」ことができ、予測の真の経済的内容を判断することが可能になる。
• 限界： このテストは、汚染の負荷量（$\gamma > 0$）の正確な大きさではなく、その「符号」を特定するものである。これはLLMの予測を破棄することを提案するものではなく、むしろ特定の文脈における信頼性を解釈するためのツールを提供するものである。

結論として、LLMベースの金融予測における予測内容の非自明な部分は、学習時の記憶を反映していることが示されており、提案された $LAP^{(known)}$ テストは、このバイアスを検出し、対処するための厳密な手法を提供する。