技術的概要：LLM の推論痕跡からの探索木の抽出は、短視眼的な計画を明らかにする

問題提起

大規模言語モデル（LLM）、特に推論モデルは、将来の出来事をシミュレートしているように見える拡張された思考の連鎖（CoT）痕跡を生成し、人間の計画に似ている。しかし、これらの痕跡が真の体系的な探索を構成するのか、それとも単なるパターン完成に過ぎないのかは不明なままである。既存の行動ベンチマークは、深い計画を通じてタスクを成功裡に解決するモデルと、浅いヒューリスティックや暗記に依存するモデルを区別することにしばしば失敗する。さらに、LLM が探索に似た構造を生成するとしても、これらの構造が意思決定を因果的に駆動しているのか、あるいはモデルが異なる未観測のメカニズムに基づいて行動しているのかは不明である。本論文は、LLM 推論の表面構造と、手選択を駆動する背後のアルゴリズム的プロセスとの間のギャップに取り組む。

手法

著者らは、ボードゲーム「4 つ並べ（4×9 グリッド）」の領域において、LLM の推論痕跡から探索木を抽出、定量化、およびモデル化するフレームワークを導入する。

1. 実験設定: 27 種類の LLM（プロプライエタリおよびオープンウェイトの両方）が 1,404 試合を戦うラウンドロビン・トーナメントを実施した。完全にアクセス可能な推論痕跡を持つモデル（14 モデル）のみを分析に含め、9,696 の推論痕跡が得られた。
2. 探索木の抽出: 構造化されていない CoT 痕跡を形式化された探索木に解析するために、LLM ジャッジ（GPT-5）が用いられた。ジャッジは明示的に熟考された手を特定し、モデルの候補手（深さ 1 のノード）とシミュレートされた相手の返答（深さ 2 のノード以降）を区別し、ネストされたリスト構造を出力した。
3. 計算モデル: 抽出された木を LLM がどのように利用するかを決定するため、著者らは人間の計画に関する文献（Van Opheusden et al., 2023）から適応された計算認知モデルを適合させた。4 つのモデル変種がテストされた。
   • フルツリー: 葉ノードからルートまでヒューリスティック値を伝播させるためにミニマックスバックアップを使用する。
   • 短視眼的（Myopic）: 最初の ply による移動の結果生じる即時の状態のみを評価し、それより深いすべてのノードを無視する。
   • 割引（Discount）: 割引係数 $\gamma$ を使用してフルツリーと短視眼的の間を補間する。
   • 木なし（No-tree）: 抽出された探索木を完全に無視し、現在の盤面の状態のヒューリスティック関数のみに基づいて手をスコアリングする。
4. 因果的介入: 推論痕跡が意思決定を因果的に駆動するかどうかをテストするため、著者らは外科的な剪定研究を実施した。彼らは CoT から特定の段落（最終決定、枝全体、または特定の深さレベルなど）を削除し、モデルを再実行して手選択の変化を観察した。

主要な結果

1. 探索努力とパフォーマンス

探索努力（木全体の総サイズ）と勝率の間には正の相関がある。より大きな探索木を生成するモデルは、より良いパフォーマンスを発揮する。この関係はモデルファミリー内でも成り立ち、同じモデル（GPT-OSS-120B）において推論努力（トークン予算）を増加させることで、より大きな木と高い勝率が生じるという観察によって因果的に支持されている。

2. 浅い探索と幅対深さ

LLM は、人間の専門家よりも著しく浅い探索を示す。モデル全体の平均最大探索深さは 1.00 から 3.48 プライ（ply）の範囲であったのに対し、同様のゲームにおける人間の専門家は通常 4〜6 プライを探索する。重要なのは、パフォーマンスが探索深さではなく、探索幅（ルートで考慮される候補手の数）によって予測されることである。幅を統制した場合、探索深さは勝率の追加的な変動を説明しない。

3. 短視眼的な意思決定

痕跡内で深いノードを生成しているにもかかわらず、LLM の手選択は短視眼的モデルによって最もよく説明される。

• 短視眼的モデル（深いノードを無視）は、すべてのアーキテクチャにわたって LLM の手予測においてフルツリーモデルを一貫して上回った。
• 「深さの害（depth harm）」指標（短視眼的モデルに対するフルツリーモデルのパフォーマンス低下）はすべてのモデルで正であり、探索深さが増加するにつれて増大した。これは、深いノードからの値のバックアップが予測精度を能動的に損なうことを示している。
• 割引モデルにおける割引係数 $\gamma$ はほぼゼロに収束し、LLM が意思決定を行う際に深い先読みに対して無視できる重みしか割り当てていないことを確認した。

4. 推論深さの因果的役割

因果的介入研究は、手選択が主に浅いノードによって駆動されていることを明らかにした。

• 最終決定の段落を削除しても、変化は最小限（2.1%）であった。
• 選択された手に対応する枝全体を削除すると、変化率は 32.0% となった。
• しかし、深さ順に段落を徐々に元に戻した際、深さ 1の段落（即時の結果）のみを復元すると、変化率はベースラインに近い値（4.1%）まで減少した。それより深い段落（深さ 2 以降）を追加しても、変化率のさらなる減少はなかった。
• これは、LLM が深い先読みについて記述している一方で、その決定は因果的に候補手の即時評価によって決定され、深い探索内容によって決定されていないことを示している。

意義と主張

本論文は、LLM と人間の計画の間の根本的な分離を明らかにすると主張する。

• 人間の専門性: より深い探索によって駆動される。パフォーマンスは、将来により先までシミュレートする能力に比例して向上する。
• LLM の計画: 探索木の表面構造を生成するが、短視眼的なメカニズムに基づいて行動する。CoT 痕跡内の深いノードは、最終的な決定を導くために利用されていない。

著者らは、LLM の計画に関する中心的な問いを「彼らは計画できるか？」から「彼らの決定はどのような種類の計画アルゴリズムを反映しているか？」へと再定義すべきであると論じる。モデルが深いノードからの価値情報をルートへ効果的に伝播できない場合、テスト時の計算量の増加やより長い推論痕跡に依存する現在の手法では不十分である可能性があると示唆している。これらの発見は、深い先読みが生成されるものの意思決定ポリシーに統合されていないという点（おそらく注意機構や深さにおける不確実性に関連する）における現在の LLM アーキテクチャの限界を浮き彫りにしている。この研究は、LLM 計画の構造を解釈するための汎用可能なフレームワークを提供し、推論痕跡を熟考の透明な記録として扱うことへの警告を示している。