論文要約：LLM Reasoning as Trajectories (LLM の推論を軌道として捉える)

タイトル: LLM Reasoning as Trajectories: Step-Specific Representation Geometry and Correctness Signals
著者: Lihao Sun, Hang Dong, Bo Qiao, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan (Microsoft)
発表日: 2026 年 4 月 7 日 (arXiv:2604.05655v1)

---

1. 背景と課題 (Problem)

大規模言語モデル（LLM）は、自己回帰的にトークンを生成する際、高次元の表現空間（Representation Space）を順次更新しながら推論を行います。特に数学的推論などの複雑なタスクでは、Chain-of-Thought (CoT) プロンプトを用いて思考のステップを明示させることが一般的です。

しかし、従来の研究では、LLM の内部状態が「推論の各ステップ」においてどのように組織化されているか、また「正解」と「誤答」の推論過程が表現空間内でどのように異なる軌道を描くのかについて、体系的な幾何学的理解が不足していました。また、推論中の誤りを検知し、介入して修正する手法は、無条件に行われることが多く、本来正しい推論を壊してしまう（オーバーシンキング）という副作用がありました。

本研究は、**「LLM の推論ステップが表現空間内で構造化された『軌道（Trajectory）』を形成しているのか？もしそうなら、その軌道から正誤の予測や制御は可能か？」**という問いに答えることを目的としています。

2. 手法 (Methodology)

本研究では、LLM の推論過程を「表現空間内を移動する時系列軌道」として捉え、以下の分析と介入手法を提案しました。

2.1 データセットとモデル

• タスク: 数学的推論タスク（GSM8K, MATH-500）。
• モデル: Llama 3.1 8B の 3 つのバリエーション（Base, Instruct, R1-Distill/推論特化モデル）。
• データ抽出: 各推論ステップの直前（"Step k:" の前のトークン）および最終回答の直前の隠れ状態（Hidden Activations）を抽出し、推論の軌道として時系列データを構築しました。

2.2 幾何学的分析

1. ステップ固有部分空間の特定:
   • 各ステップの直前アクティベーションが、表現空間内で線形に分離可能な領域（Subspace）を形成しているかを検証しました。
   • t-SNE 可視化と線形プローブ（Linear Probe）を用いて、ステップごとの識別可能性を層ごとに評価しました。
2. 正誤軌道の分岐分析:
   • 正解と誤答の軌道間の距離（ユークリッド距離、コサイン距離）をステップごとに比較し、どの段階で軌道が分岐するかを特定しました。
3. 正誤予測モデル:
   • 推論の途中（最終回答出力前）の軌道特徴量を用いて、最終回答の正誤を予測する分類器を訓練しました。

2.3 軌道ベースの介入 (Trajectory-Based Interventions)

• 正誤制御: 推論軌道が「理想的な正解軌道」から逸脱した場合、低ランクのスティ어링（Steering）更新を適用し、軌道を修正方向へ誘導します。
• 推論長さ制御: 終結に関連する部分空間（Termination Subspace）を定義し、アクティベーションをその方向へ誘導することで推論を短縮（SHORTEN）、または逆方向へ誘導することで推論を延長（PROLONG）させます。

3. 主要な発見と結果 (Key Results)

3.1 ステップ固有の幾何学的構造

• 層深さと分離性: 推論ステップに対応するアクティベーションは、モデルの深い層になるほど線形に分離しやすくなります。
• ベースモデルへの存在: このステップ固有の構造は、推論特化トレーニング（Distillation）を行う前の Base モデルにも既に存在しており、トレーニングは「新しい構造の創出」ではなく、「終結領域への収束を早期の層で加速する」ことによる幾何学構造の再編成であることが示されました。
• トレーニング体制の横断性: 異なるトレーニング体制（Base, Instruct, R1-Distill）間でも、ステップ固有の線形構造は高い転移性（Transferability）を示し、共通の表現空間の組織化が存在することが確認されました。

3.2 正誤軌道の分岐と予測

• 後期ステップでの分岐: 初期の推論ステップでは正解・誤答ともに類似した軌道を描きますが、後期ステップ（最終回答に近い段階）で両者の軌道が系統的に分岐します。
• 高精度な正誤予測: 後期ステップの軌道特徴量を用いることで、最終回答を出力する前に正誤を予測する ROC-AUC が0.87（平均 0.83）に達しました。これは、初期ステップの特徴量（AUC 0.63）やステップ数ベースの予測、Logit レベルの予測を大幅に上回ります。
• 軌道分岐の重要性: 正誤の予測性は、モデルが「どこに到達したか」だけでなく、「どのように到達したか（軌道の分岐）」に強く依存していることが示されました。

3.3 介入による性能向上と制御

• エラーターゲッティング: 予測モデルが「失敗が予期される」場合のみ介入を行うことで、無条件の介入（Always-on）による性能低下を防ぎ、GSM8K において最大 +35.4% の精度向上（ベースライン対比）を実現しました。
• 軌道修正: 長い推論チェーン（6 段階以上）を持つ問題において、軌道ベースのスティ어링により、正解率を 75.44% から 83.04% へ向上させることに成功しました。
• 推論長さの制御: 終結部分空間への誘導により、推論ステップ数を最小限の精度損失（約 1% 以内）で制御可能であることが示されました。ただし、過度な介入（|α| > 0.8）はモデルをループ状態に陥らせるため、適度な強度が重要です。

4. 貢献と意義 (Contributions & Significance)

本研究は、LLM の推論メカニズムを理解し、制御するための新しい幾何学的視点を提供しています。

1. 理論的貢献:
   • LLM の CoT 推論が、表現空間内における構造化された「軌道」として記述可能であることを実証しました。
   • 正解と誤答の軌道が後期で分岐するという発見は、推論プロセスの内部ダイナミクスに対する重要な洞察です。
2. 実用的貢献:
   • 中盤での失敗検知: 推論の途中段階で失敗を予測し、介入をトリガーするメカニズムを確立しました。これにより、計算リソースの無駄遣いや、正しい推論への不要な干渉を防ぎます。
   • 動的制御: 推論の長さや方向性を、モデルの内部状態に基づいてリアルタイムに制御するフレームワーク（Trajectory-based Steering）を提案しました。
3. 将来の展望:
   • このアプローチは、推論の忠実性（Faithfulness）の評価や、トレーニング目的への幾何学的制約の導入、さらには回路レベルの解釈性との統合など、今後の LLM 研究の重要な基盤となります。

結論

本論文は、LLM の推論を単なるトークンの列ではなく、表現空間内を移動する「軌道」として捉えることで、推論の正誤を予測し、制御する新たな道筋を開拓しました。特に、推論の終盤における軌道の分岐を利用したエラー検知と修正は、LLM の信頼性と効率性を高めるための強力な手法として期待されます。