技術的サマリー：TRACE（Hallucination 低減のためのクロスレイヤー証拠に基づく軌道補正）

1. 問題定義

規模の拡大とポストトレーニングアライメントの進展にもかかわらず、大規模言語モデル（LLM）は依然として自信に満ちた事実誤認、すなわちハルシネーションを生成し続けます。既存の修正戦略は一般的に以下の 3 つのカテゴリーに分類されます：

1. 外部証拠: 外部データに依存する検索拡張生成（RAG）と検証システム。
2. 活性化操作: 推論時の介入（ITI）など、固定的な「真実性」方向に沿って活性化を操作する手法。
3. レイヤー対比: 最終レイヤーに対する中間レイヤーからの信号を対比または集約するデコーディング戦略（DoLa、SLED など）。

本論文は、これらのアプローチが、レイヤーの深さと真実性の間に均一な関係が存在すると仮定しているため、構造的に不完全であると主張します。経験的観察によれば、中間レイヤーは最終レイヤーよりも一様に真実であるわけでも、一様に信頼性が低いわけでもありません。むしろ、ネットワークの深さ全体にわたる候補支援の進化は大きく異なります：

• 後期修正可能: 真実の支援が内部に存在するが、最終レイヤーによって抑制されている。
• 早期信頼性: 真実の支援が初期レイヤーで最も強く、後続のレイヤーによって侵食されている。
• 多方向性: 複数の競合候補が深さ全体にわたってアクティブなまま残っており、スカラー補正では不十分である。

現在の固定形式の介入は、これらの変化する「候補軌道」に適応できないため失敗します。単一の符号付きスカラー補正を仮定する手法は、競合が真に多方向である場合には不十分です。

2. 手法：TRACE

TRACE は、モデル内部のクロスレイヤー候補軌道から適切な補正演算子を直接導出することによりハルシネーションを修正する、決定論的かつトレーニング不要の推論時アルゴリズムです。ラベル、検索、事前学習、ファインチューニング、モデルごとの較正は不要です。

中核コンポーネント

この手法は、2 つの構造的な量に依存します：

1. アイテム側：クロスレイヤー候補軌道 $S(x)$

   • モデル自身の出力ヘッド（logit-lens 構築）を通じて各レイヤーの残差ストリームを読み取ることで構築されます。
   • 深さ全体にわたる一連の候補完了に対する長さ正規化された対数確率の進化を表します。
   • これより、実効軌道次元（$d_{eff}$）が計算されます。この指標（軌道のグラム行列の固有値の参加比）は、候補競合が実質的に 1 次元（ランク 1）か多次元かを決定します。

2. モデル側：重みのみ不変量 $I(M)$

   • モデルの重みテンソルから一度計算される無次元比（具体的には、初期/中期のキー/バリュー投影の行ノルム統計対、後期の出力投影および最終ノルム）。
   • $I(M)$ は、モデルのアーキテクチャが後期レイヤーの証拠を増幅する傾向があるか、信頼性の高い初期状態から逸脱する傾向があるかを特徴付けます。

修正レジームと演算子

$d_{eff}$ と $I(M)$ に基づき、TRACE は 3 つの補正演算子のいずれかを動的に選択します：

1. 多方向レジーム（$d_{eff} > \tau_{dim}$）:

   • 条件: 候補競合が複数の独立した方向（ランク > 1）にまたがっている。スカラー混合は数学的にこれらのケースを修正するには不十分である。
   • 演算子: 候補空間補正。 TRACE は、候補ランキングが最も鋭い（エントロピーに対するトップ 2 のマージンを最大化する）レイヤー $\ell^*$ を特定し、そのレイヤーの完全な対数確率分布を補正として使用します。
   • ゲーティング: このオーバーライドは、選択されたレイヤーが最終レイヤーよりも著しく鋭く、かつ最終レイヤーが十分に不確実な場合にのみ適用されます。

2. スカラーレジーム（$d_{eff} \le \tau_{dim}$）:

   • 条件: 競合が単一の符号付き軸に収束する。補正は、最終レイヤーのスコア $b(x)$ と軌道由来のスコア $t(x)$ のスカラー混合に帰着します。
   • $I(M)$ によるサブ分岐:
     • 符号付き混合（$I(M) > \tau_I$）: モデルの後期レイヤーが信頼できる場合、TRACE は軌道を再読み取りして深さ横断的な整合性（トークン支援の傾き、ジャンプ、曲率）を確認し、$t(x)$ を計算します。その後、軌道がベースを強化するか矛盾するかによって決定される符号付きスカラー $\lambda$ で $b(x)$ と $t(x)$ を混合します。
     • 初期状態回復（$I(M) \le \tau_I$）: モデルの後期レイヤーが信頼できず（逸脱しやすい）、軌道の要約を無視し、最終レイヤーの信頼性が低い（自然な下限未満）場合のみ、初期レイヤーのスコア $s_0(x)$ にフォールバックします。

アルゴリズムフロー

1. 単一の候補条件付きフォワードパスから $S(x)$ と $b(x)$ を計算します。
2. $d_{eff}(x)$ を計算します。
3. 多方向の場合: 決定的なレイヤー $\ell^*$ を選択し、その分布を抽出してゲートを適用します。ゲートが通過すれば、決定的なレイヤーの argmax を返します。そうでなければ、ベースの argmax を返します。
4. スカラーの場合: $I(M)$ を計算します。
   • $I(M)$ が高い場合: $t(x)$ を計算し、混合の符号を決定して、混合された argmax を返します。
   • $I(M)$ が低い場合: 最終レイヤーの信頼性をチェックします。低い場合は、初期レイヤーの argmax を返します。そうでなければ、ベースを返します。

3. 主要な貢献

1. 軌道レベルの定式化: 固定プローブレイヤーや固定操作方向に代わり、推論時補正の主要な対象としてクロスレイヤー候補軌道を特定します。
2. 補正の構造理論: 補正レジームは明確に異なることを証明します。ランク 1 の軌道はスカラー補正を許容しますが、多方向の軌道は候補空間演算子クラスを必要とします。
3. 汎用アルゴリズム（TRACE）: この理論を、軌道構造とモデル重みからその補正演算子を誘導する、決定論的かつトレーニング不要のアルゴリズムとして具体化します。
4. 包括的評価: 単一の凍結ハイパーパラメータ設定が、15 のモデル、8 のファミリー、3 つのベンチマークにおいて、回帰なしに事実性を向上させることを実証します。

4. 実験結果

この手法は、15 の事前学習済みモデル（LLaMA、Gemma、Qwen、GPT-OSS、Mixtral、Phi、Ministral、DeepSeek を含む）を対象に、TruthfulQA、HaluEval-QA、HaluEval-Sum 上で評価されました。

• 性能: TRACE はすべての評価セル（モデルとベンチマークの 45 の組み合わせ）を改善しました。
  • 平均向上: MC1 スコアで +12.26 ポイント、MC2 様式スコアで +8.65 ポイント。
  • 最大向上: +47.20 MC1 ポイント、+43.38 MC2 様式ポイント（Gemma-3-1B で観測）。
  • 回帰: 0/45。
• 頑健性: この手法は、モデルごとのチューニングなしに、すべてのモデルに対して単一の凍結ハイパーパラメータセット $\Theta$ を使用しました。
• オーバーヘッド: 壁掛け時間のコストは、ベースラインの候補条件付きパスと比較して 1.33 倍から 3.42 倍（平均 2.27 倍）増加します。これは主に追加のレイヤー読み取りによるものです。

5. 意義と主張

本論文は、事前学習済み LLM のフォワード計算には、介入が固定ヒューリスティックによって課されるのではなく、軌道自体によって誘導される場合、単一の汎用ハルシネーション低減アルゴリズムを維持するのに十分な構造化された証拠が含まれていると主張します。

• 構造的必要性: この研究は、スカラーのみの補正戦略が、多方向の候補空間に対して数学的に不完全であることを実証しており、TRACE の候補空間分岐を必要とします。
• モデル適応: 重みのみ不変量 $I(M)$ の使用により、アルゴリズムは再トレーニングなしにアーキテクチャの違い（モデルが逸脱するか、後期を増幅するか）に適応できます。
• 限界: 著者は、TRACE は現在、英語、候補制限された事実性（MC1/MC2 プロトコル）に限定されていることを認めています。これは、反復的な長文生成ではなく、完了したフォワードパスに対して作用し、ハルシネーションのトレーニング時の原因には対処しません。また、追加の読み取りにより推論レイテンシを導入します。

本論文は、以前の固定形式手法の失敗はチューニングの問題ではなく、補正クラスと軌道構造の間のミスマッチであると結論付けています。TRACE は、データ自体から正しい補正レジームを推論することでこれを解決します。