Reasoning Models Don't Just Think Longer, They Move Differently

技術的サマリー：推論モデルは単に長く考えるのではなく、異なるように移動する

問題定義
推論訓練された大規模言語モデル（LLM）は、頻繁に難しい問題に対してテスト時の計算リソースをより多く割り当て、その結果として思考の連鎖が著しく長くなる。しかし、既存の文献では、これらのモデルが単に計算ステップをより多く実行しているのか、それとも本質的に内部推論の軌道を変化させているのかを区別することに苦労してきた。隠れ状態の軌道を分析する際の決定的な交絡因子は生成長さである。モデルの内部論理に関わらず、長い経路は機械的により直接的でない（より「屈曲した」）ものとなる。その結果、生きた幾何学的分析は、経路長の機械的効果を問題の難易度やモデルのアーキテクチャに誤って帰属させることが多く、推論訓練が異なる内部ダイナミクスを誘発するかどうかを不明瞭にする。

手法
著者は、競技プログラミング（Codeforces）、数学（MATH）、ブーリアン充足可能性（SAT）の 3 つのドメインにわたって、マッチングされた実験デザインを採用した。

1. 難易度の較正: プラットフォーム固有のラベルに依存しない連続的な難易度スケールを確立するため、著者は 1,500 個のアイテムに対する 32 モデルのパフォーマンスを用いてラッシュモデル（項目反応理論）を適合させた。これにより、各問題に対して潜在的な難易度変数（$b_i$）が得られる。
2. 軌道の抽出: 隠れ状態の軌道は、解決セグメントの生成中に 5 つの均等間隔の層における残差ストリームから抽出される。推論モデルの場合、このセグメントは明示的な思考ブロックであり、指示チューニングされたベースラインの場合、検出された回答境界に先行するテキストである。
3. 幾何学的指標: 2 つの主要な統計量が計算される。
   • 直接性（$D$）: 正味変位と全経路長の比率（$\Delta / L$）。終点の効率性を測定する。
   • 曲率変動性（$V$）: 連続する 3 点に対するメーガー曲率の標準偏差。局所的な曲げの不均質性を測定する。
4. 長さの補正: 生幾何学が生成長さ（$N$）によって支配されていることを認識し、著者は残差化手順を実行する。各モデルと層に対して長さのみの回帰（$\bar{D} \sim \log N$）を適合させ、その後、残差（$D_\perp$）とアイテム難易度（$b_i$）との相関を計算する。これにより、経路長に依存しない難易度と幾何学の結合を分離する。
5. 比較分析: 本研究は、R1 蒸留、SFT+RL、または o3-mini 蒸留を使用した 6 つのマッチングされた推論訓練モデルペアを、指示チューニングされたベースラインと比較する。
6. 補助分析: 著者は、プロンプト段階における難易度のデコード可能性をテストするために線形プローブを採用し、生成されたトレースに対して推論行動（例：戦略の転換、不確実性の監視）を注釈付けるために独立した LLM 判定者を活用する。

主要な結果

1. 長さ補正による符号の反転: 生の軌道では、より長い経路を生成するため、難しい問題はより直接的でないように見える。長さ補正後、この関係は 3 つのドメインすべてで反転する。つまり、難しい問題はより直接的な補正済み軌道を引き起こす。これは、生幾何学が推論組織の忠実な表現ではなく、長さの構造的アーティファクトであることを示している。
2. ドメイン依存の推論分離:
   • 競技プログラミング: ここで最も明確な区別が現れる。6 つの推論モデルすべては、難易度と補正済み直接性の間に強い正の相関（$\rho_{D_\perp} \approx +0.41$）を示すのに対し、マッチングされたベースラインはゼロ付近または負（$\approx -0.06$）にとどまる。推論モデルはまた、難しい問題において曲率変動性の低下を示す。
   • 数学: 分離は弱く、より不均質である（推論モデルで $\rho_{D_\perp} \approx +0.05$、ベースラインで $-0.07$）。
   • ブーリアン充足可能性: 推論モデルとベースラインモデルの両方が正の補正済み結合を示す。これは、このドメインにおいて特定の推論訓練なしでも指示チューニングモデルに難易度と幾何学の結合が現れうることを示唆している。
3. 線形プローブからの脱離: プロンプト段階の線形プローブは、補正済み幾何学で観察された推論モデルとベースラインの分離を反映していない。コードドメインでは、幾何学的ギャップは大きいが、線形難易度デコード可能性の差は無視できる。これは、効果が単に難易度情報へのより強力な線形アクセスによるものではなく、生成中に軌道がどのように進化するかの変化によるものではないことを示唆している。
4. 行動相関: より強い補正済み幾何学的結合は、特に R1 蒸留モデルにおいて、「戦略の転換」や「不確実性の監視」といった観測可能な推論行動と共起する。これらの注釈は、同じトレースから測定された記述的相関であり、因果メカニズムではない。

意義と主張
本論文は、生成時間における軌道分析において生成長が構造的交絡因子であり、長さ補正が妥当な解釈のための前提条件であることを確立する。著者は、推論訓練が異なる補正済み軌道幾何学と関連していることを主張するが、この効果はドメインに依存しており、競技プログラミングで最も顕著である。

これらの知見は、推論モデルが単に「長く考える」だけでなく、問題の難易度が増すにつれてより直接的になり、局所的な不均質性が減少する異なる内部経路をたどることを示唆している。これは特に、複雑な戦略選択を必要とするドメインにおいて顕著である。本論文は、この幾何学的シグナルが線形難易度デコード可能性の言い換えではなく、それを補完するものであると提唱する。最後に、著者は、推論の内部ダイナミクスに関する将来の研究を促進するため、生成された思考の連鎖とサンプリングされた隠れ状態の軌道を対応させた大規模な軌道アーカイブを公開する。

限界
著者は、この分析が因果メカニズムではなく、堅牢な幾何学的関連性を特定していることを認めている。解決セグメントの分割はベースラインに対してヒューリスティックに依存しており、行動注釈は幾何学と同じデータから導かれた記述的相関であるため、特定の行動が幾何学的シグナルをどのように駆動するかについての因果的主張は排除される。さらに、固定ストライドのサンプリングは、より微細な時間的構造を見逃す可能性がある。