技術要約：LLMによる予測：特徴量ステアリングを通じた汎化性能の向上

問題提起

大規模言語モデル（LLM）を予測タスクに適用する際、極めて重要な課題に直面する。それは、真に汎用的な推論を行っているのか、それとも単に学習データ内の記憶された結果を想起しているのかを区別することである。LLMが学習ウィンドウ内に発生した事象について予測を求められた場合、モデルは、その予測が行われるべき時点において利用可能であった情報に基づいて推論するのではなく、単に過去の結末を想起してしまう可能性がある。この現象は**先読みバイアス（Look-Ahead Bias: LAB）**として知られ、正解は導き出すものの、汎化性能を欠き、サンプル外の観察に対しては十分に機能しないという結果をもたらす。

既存の緩和策（時系列的に制限されたモデルや入力レベルのアノニミゼーションなど）は、モデルの能力を低下させるか、あるいは現代的な学習パラダイムに対しては不十分であることが多い。さらに、システムプロンプトやファインチューニングを通じて時間的認識を誘導することは可能だが、これらの振る舞いを支える内部表現（および、それらが個別の因果的な特徴に対応しているかどうか）については、依然として理解が進んでいない。

手法

著者らは、**スパース・オートエンコーダ（SAE）**を用いて、高密度なトランスフォーマーの活性化を、スパースで人間が解釈可能な特徴量へと分解する手法を採用している。このアプローチにより、時間的推論に関連する特定の内部表現を特定し、それらに対して因果的な介入を行うことが可能となる。

1. 特徴量の発見:

   • 著者らは、歴史的な期待値のグラウンドトゥルースとして、予測市場データ（具体的にはKalshi）を利用する。
   • 特定の「知識カットオフ日」を含むプロンプト（例：「今日は{日付}です...」）を構築し、モデルに結果を予測させる。
   • 以下の2つの対照的な振る舞いのモードを特定する：
     • 時間認識的推論（Time-Aware Reasoning）: モデルがカットオフ時点での市場の有力候補を選択する。
     • 先読みバイアス（LAB）: モデルが最終的な実現結果を選択する。これは、カットオフ後の情報へのアクセスを示唆している。
   • これら2つのモード間におけるSAE特徴量の活性化率を対比させることで、各振る舞いに関連する候補となる特徴量を浮き彫りにする。

2. 因果的介入（ステアリング）:

   • $\hat{x}_{steered} = W_{dec} (z + \alpha e_j) + b_{dec}$ という式を用い、デコード前にステアリング振幅（$\alpha$）を加えることで、特定の機能活性化（$z$）を増幅させる。
   • この介入は、生成中に特定の機能の活性化を強めることで、モデルの振る舞いが因果的に変化するかどうかをテストするために適用される。

3. 評価:

   • 発見設定: 予測市場の質問（Kalshi）。
   • 汎化設定: 先読みバイアスが固定された選択肢形式ではなく、自然なテキスト形式で識別可能な、2つのドメイン外の自由形式の予測タスク：
     • M&A予測: 公的な発表の1年前に買収対象を予測する。
     • 製薬予測: 特定の企業に関する、特定の時点までに利用可能な情報に基づいた成長ドライバーを予測する。
   • ユーティリティ・チェック: ステアリングが一般的な推論能力を損なわないことを確認するため、MMLU-CoTおよびMMLU-Pro CoTにおけるパフォーマンスを監視する。

主な貢献と結果

1. 解釈可能な時間的特徴の特定

本研究は、時間的推論の振る舞いと相関する特定のSAE特徴量を特定することに成功した。

• 時間認識的特徴: 「〜まで及び〜以前に（by and before）」に関連する L40:24283 や、「年および日付（years and dates）」に関連する L53:9448 といった特徴量が特定された。
• 先読みバイアス（LAB）特徴: L31:2450 や L53:9987 といった特徴量が、当初LABの候補として特定された。

2. 先読みバイアスの因果的低減

核心となる発見は、時間認識的特徴を増幅させることで、先読みバイアスを因果的に減少させられるということである。

• L40:24283 (Gemma 3) や L48:28961 (Qwen 3.5) といった特徴量を増幅させた際、モデルはM&Aおよび製薬の予測タスクの両方において、カットオフ後の知識への依存を大幅に減少させた。
• モデルは、将来の出来事を引用すること（例：「Goldcorpは2019年に買収された」）から、プロンプトの日付における戦略的状況に基づいた推論（例：「2018年のデータに基づくと、Kinrossは論理的なターゲットである」）へとシフトした。
• 決定的なことに、このバイアスの減少は、一般的な有用性を損なうことなく、MMLUベンチマークにおける安定したパフォーマンスによって示された。

3. 特徴量ステアリングの非対称性

本論文は、ステアリングの有効性における顕著な非対称性を報告している：

• 時間認識特徴を増幅させることは、LABを効果的に抑制する。
• 一方で、候補となる先読みバイアス特徴を増幅または抑制しても、同等の効果は得られなかった。著者らは、LABは容易に「オフ」にできる特定の機能というよりも、時間認識的特徴によって能動的に制約されていない場合にモデルが陥るデフォルトの状態である可能性を示唆している。

4. タスク間の汎化

予測市場データを通じて特定された特徴量は、全く異なるドメイン（M&Aおよび製薬）に対しても効果的に汎化しており、これらの時間的表現がデータセットのアーティファクトではなく、モデルの推論プロセスの根本的な構成要素であることを示している。

意義と主張

本論文は、先読みバイアスを単なる記憶の結果として扱うのではなく、特定および因果的な操作が可能な内部的な振る舞いの傾向として捉えることで、LLMの予測に関する理解を深めたと主張している。

• 解釈可能性: 本研究は、時間的推論がモデルの潜在空間内の特定の、解釈可能な特徴によって支えられていることを実証している。
• 因果的制御: これらの特徴を操作することで、より歴史に根ざした推論を誘導できるという証拠を提供しており、予測タスクにおけるLLMの信頼性を向上させるための潜在的なメカニメントを提示している。
• 限界と今後の方向性: 著者らは、特徴量ステアリングは「完全なスタンドアロンの解決策」ではないと述べ、主張は控えめである。強力な介入は最終的にモデルの品質を低下させる可能性があると指摘している。彼らは、中程度の強度の内部ステアリングを、教師ありファインチューニング（SFT）、時間認識のための強化学習（RL）、アンラーニング（unlearning）の手法、および改善されたプロンプト構築などの他の手法と組み合わせることが、最も有望な道筋であると考えている。

要約すると、本論文は、解釈可能な時間的特徴がLLM内に存在し、これらの特徴を増幅することで先読みバイアスを因果的に減少させ、将来の観察に対する予測モデルの汎化性能を向上させることができることを確立している。