技術的サマリー：忘却の幾何学

問題定義

大規模言語モデル（LLM）は、しばしば正しい回答と同等の流暢さと自信を持って、時代遅れの回答を生成します。モデルの学習カットオフ以降に変更された事実（現在の政府首脳やスポーツのコーチなど）について問われた場合、モデルは古びた事実を想起したり、学習前の保有者を名乗ったり、あるいは新しい事実を捏造したりします。出力レベルの統計（トークンエントロピー、意味エントロピーなど）に依存するか、一般の正しさや不確実性のために訓練された隠れ状態プローブに依存する既存の検出手法は、これらの失敗モードを区別できません。具体的には、学習時には正しかったが現在は時代遅れになった事実を想起する「古びた想起（Stale Recall）」と、存在しなかった事実を捏造する「虚構（Confabulation）」を区別することができません。この不透明性により、展開されたシステムは、学習時の回復可能な誤りと幻覚を区別することができません。

著者らは、これはエンジニアリングの失敗ではなく構造的な問題であると主張します。つまり、「時間的ドリフト（学習以降に保存された事実が変更されたかどうか）」は、モデルの残差ストリームにおいて、正しさおよび不確実性の両方と幾何学的に直交する表現軸として符号化されているのです。したがって、正しさまたは不確実性のシグナルのみに依存して動作するあらゆる手法は、構造的にドリフトに対して本質的に盲目です。

手法

データセット構築

著者らは、2026 年 4 月の凍結された Wikidata スナップショットから導出された日単位の在任期間精度を有する 4 つの関係（head_of_government、head_coach、chair_of、owned_by）にまたがる、1,342 の一意の事実を含む 3,511 のクエリからなるデータセットを構築しました。

• 時間的知識状態: 各（サンプル、モデル）ペアは、事実のタイムラインおよびモデルの学習カットオフ（$\tau_\theta$）に対するモデルの出力に基づき、以下の 5 つの状態のいずれかに分類されます。
  1. 安定 - 正解: 正解、ドリフトなし。
  2. 時代錯誤: 不正解（過去の保有者）、ドリフトなし（事実が変更されたことはない）。
  3. 古びた想起: 不正解（過去の保有者）、ドリフトあり（学習後に事実が変更された）。
  4. 陳腐化 - 現在: 不正解（学習時の現在の保有者、後に交代）、ドリフトあり。
  5. 虚構: 不正解（捏造）、ドリフトあり。
• 制御された評価: モデルが単にクエリ年を検出すること（交絡因子）を防ぐため、評価はクエリ年が $\tau_\theta + 1$ 以上の場合に制限されます。

プロービングと分析

本研究では、4 つのアーキテクチャファミリーにわたる 6 つの指示微調整モデル（Llama-2、Mistral、Llama-3.1、Qwen-2.5、Gemma-2）を評価しました。

1. 線形プローブ: 残差ストリームの活性化（$h^{(\ell)}$）に基づいて is_drifted ラベルを予測するために、L1 正則化された線形プローブが訓練されます。著者らは、すべての層を走査してピーク性能を示す層を特定します。
2. 幾何学的独立性テスト: ドリフト軸が正しさおよび不確実性と独立していることを検証するために、5 つの補完的な測定法が採用されます。
   • 重みコサイン: ドリフト、正しさ、および不確実性プローブの重みベクトル間の角度を測定します。
   • スコア相関: プローブスコア間のピアソン相関。
   • 双方向ヌル空間射影: 残差ストリームをノイズ方向（正しさ/不確実性）に直交する部分空間に射影し、ターゲットプローブを再訓練します。
   • 反復ヌル空間射影（INLP）: ノイズ変数に関連する方向を反復的に除去し、分散依存性をテストします。
   • 平均シフトの分離: 訓練されたプローブを、訓練されていない平均差（DoM）方向と比較し、最適化のアーティファクトを排除します。
3. 機械的介入:
   • 活性化パッチング: 汚染された隠れ状態をクリーンなものに置き換えて、時間的処理を局所化します。
   • 直接対数尤度帰属（DLA）: 出力対数尤度を分解し、古びた想起と虚構の MLP 軌跡を比較します。
   • 因果的ステアリング: ドリフト方向を増幅または抑制し、保有者対数尤度の変化を観察します。

主要な結果

1. ドリフトの線形分解可能性

ドリフトラベルに直接訓練された線形プローブは、6 つのモデルすべてでAUROC 0.83–0.95を達成します。これに対し、既存のベースライン（トークンエントロピー、意味エントロピー、SEP、SAPLMA、CCS）は偶然に近い値（0.49–0.57）にとどまります。これは、ドリフトが残差ストリームにおいて線形に分解可能なシグナルであることを確認しますが、ドリフトに明示的に訓練されていない手法には不可視であることを示しています。

2. 幾何学的直交性

5 つのテストにより、ドリフト軸が正しさ - 不確実性部分空間と幾何学的に独立していることが確認されました。

• 重みコサイン: ドリフトと正しさ/不確実性ベクトル間の $|\cos| \le 0.14$。
• スコア相関: ドリフトスコアと正しさ/不確実性スコア間の $|r| \le 0.20$。
• ヌル空間射影: 正しさおよび不確実性の方向を除去しても、AUROC の低下は無視できるレベル（$|\Delta| \le 0.008$）であり、ドリフトがそれらの張る空間に存在しないことを確認します。
• INLP: 各ノイズ変数に対して 10 方向を除去しても、ドリフトは検出可能なままです。
• 平均シフトの分離: 訓練されていない平均シフト方向が高度に相関している場合でも、訓練されたプローブはほぼ直交しており、独立性はスパース性のアーティファクトではなく構造的であることを示しています。

3. モデル固有性と入力独立性

バイト同一の入力を使用したクロスカットオフ実験において、ドリフトプローブは、事実の移行前に学習カットオフを持つモデルで発火し、より遅いカットオフを持つモデルでは静黙します。モデルペア間での確率 $P(A > B)$ は0.975 から 0.998の範囲です。これは、プローブがエンティティの親しみやすさやクエリ年などの入力特性ではなく、モデルの内部知識状態を検出することを証明します。

4. 機械的説明

• 同一の想起ダイナミクス: 直接対数尤度帰属（DLA）は、古びた想起と虚構に対して MLP 想起回路がほぼ同一の軌跡を生成することを明らかにします（$r > 0.81$）。両方の失敗モードは同じ層でピークに達するため、想起強度を反映する出力の自信は、これらを区別できません。
• 潜在性だが活性化可能: 因果的ステアリングは、ドリフト方向が通常の推論下では潜在（抑制しても出力変化なし）であることを示しますが、増幅されると保有者対数尤度を再構成し、時間的想起回路を選択的に活性化します。

意義と主張

本論文は、時間的ドリフトが LLM の固有の表現特性であり、正しさおよび不確実性と構造的に直交していると主張します。この幾何学的独立性は、以下の理由を説明します。

1. 既存の幻覚検出手法が古びた事実に対して失敗する理由。
2. モデルがドリフトした事実に対して自信を持って誤る（高い自信、低い不確実性）理由。それは、時代遅れの学習データの真の想起を行っているためです。
3. 時間的ドリフトを検出するには、ドリフトラベルに直接訓練されたプローブが必要であり、正しさや不確実性のプローブを流用することは不十分である理由。

著者らは、展開されたシステムは、表面的なエラーを待つか不確実性推定に依存するのではなく、この特定のドリフト軸を読み取ることで古びた知識を特定すべきであると結論付けています。この研究は、モデルが時間的妥当性をどのように符号化するかの機械的説明を提供し、このシグナルが線形プローブを通じてアクセス可能であることを実証することで、LLM アプリケーションにおけるより堅牢な時間的事実確認への道を開きます。