技術要約：推論の幾何学的シグネチャー

問題提起

Chain-of-Thought (CoT) プロンプティングは、中間的な推論ステップを生成させることで大規模言語モデル（LLM）に複雑な問題を解く能力を与えてきたが、このプロセスの内部メカニズムに関する根本的な疑問が依然として残っている。具体的には、何がタスクをLLMにとって「困難」にするのか、タスクの難易度がモデルの内部表現にどのように現れるのか、そして生成が完了する前に解の正解性を予測できるのかが不明である。既存の文献は、推論チェーンの長さやテキストの内容、あるいはテスト時計算量（test-time compute）のスケーリングに焦点を当ててきたが、「オーバーシンキング（考えすぎ）」のように、計算量の増加がパフォーマンスを低下させる現象もしばしば観察されている。本論文は、トランスフォーマーモデルの隠れ状態空間における推論軌跡の**内部幾何学（internal geometry）**が、生成されるテキストとは独立して、タスクの難易度と解の品質の両方に関する決定的な情報を符号化していると仮定している。

手法

形式的フレームワーク

著者らは、CoTによる推論を、$d$次元の隠れ状態空間 $\mathbb{R}^d$ における離散曲線 $\gamma = (h_1, \dots, h_n)$ として定式化している。ここで、各 $h_t$ はトークン位置 $t$ における隠れ状態を表す。彼らは、これらの曲線から特性を抽出するための**幾何学的汎関数（Geometric Functionals）**を導入しており、それらは以下のように分類される：

1. スペクトル汎関数（Spectral Functionals）: 軌跡の共分散行列を分析し、その固有の次元数を決定する。
2. 位置および運動学的汎関数（Positional and Kinematic Functionals）: 平均位置、位置分散、初期/最終隠れ状態、平均速度、平均速さ、および速さの分散などの特徴量を抽出する。

主要指標：有効次元 ($d_\rho$)

中心的な貢献は、軌跡の複雑さの尺度としての有効次元（Effective Dimension） ($d_\rho$) の定義である。共分散行列 $C(\gamma)$ と固有値 $\nu_1 \ge \dots \ge \nu_d \ge 0$ を持つ軌跡 $\gamma$ に対して、$d_\rho$ は、全分散の少なくとも一定の割合 $\rho$ を捉えるために必要な主成分の最小数として定義される：
$$d_\rho(\gamma) := \min \left\{ k \in \{1, \dots, d\} : \frac{\sum_{i=1}^k \nu_i}{\text{tr}(C(\gamma))} \ge \rho \right\}$$
著者らは、理論的に「平坦な」固有値スペクトル（分散がより多くの次元に均等に分散している状態）は、より高い有効次元に対応することを確立した。彼らは、主要化（majorization）の議論を用いて、平坦なスペクトルが $d_\rho$ を最大化することを証明しており、これは、より困難なタスクが、隠れ状態空間のより広い部分空間を探索するような軌跡を誘発することを示唆している。

実験設定

• モデル: Qwen2.5-0.5B-Instruct (24レイヤー、隠れ次元 896)。
• データセット: MATH500。特に、「容易」（難易度1）および「困難」（難易度5）とラベル付けされた代数、計数・確率、および前計算数学の分野を選択。
• データ生成: 温度 $T=0.7$ で問題ごとに10個の推論軌跡を生成。すべてのレイヤーにおいて、すべてのトークン位置で隠れ状態を抽出。
• 評価:
  • 難易度予測: $d_\rho$ を用いて、leave-one-question-out 交差検証により問題を「容易」または「困難」に分類。
  • 正解性予測: 軌跡の最初の $\alpha$ 分割（$\alpha \in (0, 1]$）から抽出された運動学的および位置的特徴量を用いて、最終的な回答が正しいかどうかを予測。分類器には、ロジスティック回帰（LR）、MLP、およびGRUを用いた。

主要な結果

1. タスクの難易度の尺度としての有効次元

本研究は、推論軌跡の有効次元とタスクの難易度の間に強い相関があることを示している。

• 予測力: 有効次元という特徴量のみを使用した場合、モデルは数学の問題を「容易」なものと「困難」なものと区別する上で AUC > 0.93 を達成した。
• レイヤーのダイナミクス: シグナルはすべてのレイヤーに存在するが、最終レイヤーに向かって強まり、レイヤー21でピークに達する（AUC = 0.93）。
• 定量的差異: 困難な問題は、平均有効次元が $\approx 170$ の軌跡を誘発するのに対し、容易な問題の平均は $\approx 122$ であり（40%の差）、統計的に有意な $p$ 値 ($5.79 \times 10^{-166}$) を示した。これは、困難なタスクほど、モデルがより高次元の部分空間を利用する必要があるという理論的主張を支持している。

2. 運動学的特徴による早期の正解性予測

初期の軌跡の幾何学には、生成が完了する前に解の正解性を予測するのに十分な情報が含まれている。

• パフォーマンス: 生成されたトークンのわずか 最初の20% から抽出された7つの運動学的および位置的特徴量を用いることで、クロス・クエスチョン設定において、ロジスティック回帰分類器は AUC 0.806（および AUPRC $\approx 0.868$）で正解性を予測できた。
• シグナルの飽和: 同一問題の設定（トレーニング時にモデルが同じ問題を見ている場合）では、パフォーマンスは早期に飽和する（20%の観測で AUC $\approx 0.90$）。これは、正解性に関する幾何学的シグナルが非常に早期に現れ、より多くのトークンを得ても大幅には改善しないことを示している。
• モデル比較: 単純な線形モデル（LR）が、全シーケンスに対するより複雑なアーキテクチャ（GRU）よりも優れた性能を示した。これは、粗い幾何学的構造がシグナルの主要な要因であることを示唆している。

意義と主張

本論文は、モデルの内部推論軌跡の形状が、タスクの難易度と解の品質の両方の原理的な指標であることを確立したと主張している。

• 理論的洞察: スペクトルの平坦さとタスクの難易度の間の理論的なつながりを提供し、困難なタスクは問題を解決するために、より多くの潜在次元を利用する必要があるため、より高次元の軌跡を必要とするという議論を展開している。
• 実用的有用性: これらの知見は、軌跡の幾何学を用いて（生成が完了するのを待たずに）、早期終了戦略（軌跡の幾何学が低い正解確率を示したときに生成を停止する）や、Best-of-n ランキング（初期の軌跡の幾何学的特性に基づいて候補となる解の優先順位をつける）に利用できる可能性を示唆している。
• 補完性: CoTのテキスト内容を監視する従来の研究とは異なり、本アプローチは隠れ状態のレベルで動作するため、自然言語出力の判読性に依存しない、モデル内部のシグナルを提供する。

限界

著者らは、実験が単一の小型モデル（パラメータ数 0.5B）および MATH500 データセットの3つの特定のカテゴリに限定されており、より大きなモデルや他のドメインへの汎用性は未解決の課題であることを認めている。さらに、理論的分析はスペクトルの平坦性と有効次元を結びつけているものの、なぜタスクの難易度がこのような特定のスペクトル構造を訓練済みトランスフォーマーに誘発するのかというメカニズム的な理由を完全には説明していない。最後に、AUC の結果は有望であるが、これらの幾何学的シグネチャーを早期終了や Best-of-n の効率化といった具体的な利点へとどのように変換するかは、今後の課題として残されている。