技術要約: TSLM: 発散的思考のための木構造言語モデリング

問題提起

現在の大規模言語モデル（LLM）は、本質的に逐次的な生成器として動作しており、線形な履歴に基づいて次のトークンの確率をモデリングしている（$p(y|x) = \prod p(y_t | x, y_{<t})$）。近年の推論モデル（例：o1、DeepSeek-R1）は、拡張された推論トレースを通じて印象的な能力を示しているが、依然としてこの逐次的な性質による制約を受けている。このアーキテクチャは、単一のパスへの「線形的なコミットメント」を強いるため、複数の代替案を体系的に探索したり、初期のミスから回復したり、無関係な探索パスを切り離したりすることが困難である。

この問題に対する既存の解決策は2つのカテゴリーに分類されるが、いずれも重大な限界を抱えている：

1. 逐次的モデリング: モデルは単一の決定論的なパスを生成するため、代替案の探索が制限される。
2. 外部探索（例：Tree-of-Thoughts）: これらの手法は、外部のオーケストレーションを用いて複数の独立した軌跡をサンプリングする。しかし、このアプローチは、断片化された分布、共有プレフィックスの冗長な計算、および分岐間の調整の欠如という問題に直面する。さらに、外部探索手法は、問題の複雑さが増大した場合（例：大きなGridworld環境での大幅な性能低下）に、堅牢にスケールできないことが多い。

特定された核心的な課題は、モデルが単一の生成プロセス内で、多様な探索ブランチを首尾一貫して構築できないことであり、これが早期のコミットメント、あるいは非効率で断片的な並列サンプリングの一因となっている。

手法: 木構造言語モデリング (TSLM)

著者らは、教師あり学習を通じて、言語モデルが木構造の推論をネイティブに生成・管理することを可能にするフレームワークである木構造言語モデリング (TSLM) を導入する。

コアメカニズム

TSLMは、標準的な言語モデリングの目的関数を修正し、独立した軌跡ではなく、完全な探索ツリーを単一のフォワードパス（または一連の整合性のあるパス）で生成するようにする。

• トークンベースのシリアライズ: モデルは、特殊なトークンを使用して、標準的なTransformerアーキテクチャと互換性のある線形シーケンスに木構造をエンコードする：
  • [SEP]: さらに展開可能な実行可能なアクションを示す。
  • [FAIL]: 実行不可能なアクション（行き止まり）を示す。
  • [GOAL]: 目的の状態をマークする。
  • [BOS]/[EOS]: 子ノードの展開におけるシーケンスの境界をマークする。
• 条件付き依存性: すべてのトークンが全プレフィックスに依存する標準的な逐次モデルとは異なり、TSLMは**選択的なコンテキスト分離（selective context decoupling）**を採用する。あるノードの生成は、その祖先パスと同一ノード内の以前に生成された兄弟ノードにのみ条件付けられ、無関係なサブツリーには依存しない。これにより、モデルは冗長な再計算を行うことなく、分岐構造を体系的に学習できる。
• 学習目的: モデルは、成功したパスと失敗した試みの両方を含む完全な探索ツリーを用いて学習される。損失関数は、シリアライズされたシーケンスに適用される標準的なクロスエントロピー損失であり、モデルに以下を教え込む：
  1. 各決定ポイントにおいて複数のアクションを生成すること。
  2. 適切な生存マーカー（[SEP], [FAIL], [GOAL]）を割り当てること。
  3. 探索を体系的に構造化すること。

データ構築

• 構造化タスク: 事前に定義された探索ツリーを持つタスク（例：ボードゲーム）では、モデルは直接、木構造を再現するように学習される。
• オープンエンド型タスク: 明示的なツリーを持たないタスク（例：GSM8K, ProntoQA）については、著者らはブートストラップ法を採用している。彼らは、監督モデル（例：Tree-of-Thoughtsサンプリング）を使用して擬似的な探索ツリーを生成し、既知のゴールド・トレクトリーを高優先度のブランチとして組み込み、残りのブッチを報酬関数を用いて順序付けする。

推論手順

推論時、TSLMは一貫した木構造を生成する。その後、構造トークンを解析して実行可能なブランチ（[SEP]）を特定し、これらのブランチを独立したシーケンスとして分岐させ、並列展開を行う。これにより、完全な探索トポロジーを内部的に維持しながら、体系的な探索（例：幅優先探索による）が可能となり、外部探索に固有の冗長なサンプリングを回避できる。

主な貢献

1. 新しいフレームワーク: 整合性のある探索トレースを用いた教師あり学習を通じて、逐次型LMが木構造の推論を学習することを可能にする、トークンベースのシリアライズ・フレームワークであるTSLMの導入。
2. 性能向上: 多様なタスクにおける一貫した性能向上の実証：
   • Game of 24: 精度100%（逐次型ベースラインの17%に対し）。
   • Gridworld (外挿): 未知の20×20グリッドにおいて91.5%の精度（Tree-of-Thoughtsの42.7%に対し）、高い外挿性能を実証。
   • オープンエンド推論: ProntoQAおよびGSM8Kにおける性能向上。
3. 創発的能力: 完全な探索パターンを学習することで得られる新たな能力の発見：
   • 解決不能問題の検出: TSLMは、幻覚を起こすことなく、解決不能なインスタンスを特定し終了できる（例：Game of 24の解決不能なケース97/100件）。これは逐次型ベースラインにはない能力である。
   • 堅牢な外挿: 学習時の複雑さを超えて、より大きな環境や高い分岐数へと汎化する能力。
4. 新しいスケーリング・パラダイム: 「$k$ 個の独立した軌跡の並列サンプリング」から、「単一の整合したツリー内での $k$ 個のブランチの探索」への転換。このアプローチは、優れた推論効率と高い収束精度を提供する。

実験結果

著者らは、TSLMをSequence Cloning (SC)、Procedure Cloning (PC)、GRPO (強化学習)、およびTree-of-Thoughts (ToT) の各ベースラインと比較評価した。

• 構造化プランニング (Game of 24): TSLMは**100%**のpass@1精度を達成し、SC (17%)、PC (47%)、GRPO (15%) を大幅に上回った。ToT@100（pass@100指標）と比較しても、TSLM (pass@1) は優れた結果を示した。
• Gridworldのスケーリング: ドメイン内（10×10）テストでは、TSLMは100%に達した。極めて重要なことに、ドメイン外（20×20）テストにおいて、TSLMは**91.5%の精度を維持したが、ToTは42.7%**へと崩壊した。これは、TSLMが外部探索アルゴリズムよりも優れた汎化を行う探索手順を内部化していることを強調している。
• オープンエンド推論: GSM8Kにおいて、TSLM (61.6% pass@1) は、ToT (62.3% pass@100) や PC (55.9%) と同等またはそれをわずかに上回り、かつ大幅に計算効率が高かった。
• 効率性: TSMは、冗長なサンプリングと計算共有の欠如により「時間の爆発」に苦しむToTと比較して、大幅に速い推論時間を示した。TSLMは、単一の生成ツリー内で共通のプレフィックスに対する計算を共有する。

意義と主張

本論文は、言語モデルの堅牢な推論能力には、強化学習（RL）や複雑な推論時探索のオーケストレーションが必要であるという一般的な仮定に異議を唱えるものである。代わりに、著者らは、適切に構造化された木形式の推論トレースの教師あり学習が、強化された推論とプランニングへのより直接的かつ効率的な道を提供すると主張している。

著者らが主張する主な含意は以下の通りである：

• 探索の内部化: 完全なツリーで学習することにより、モデルは体系的な探索戦略を内部化し、外部探索手法よりも優れた汎化を実現する。
• 効率性: TSLMは、単一の整合した構造内でより多くのブランチを探索する新しいテスト時スケーリング・パラダイムを提供し、独立した並列サンプリングによる計算の冗長性を回避する。
• 堅牢性: このアプローチにより、モデルは解決不能な問題を扱い、外部探索手法で見られるような壊滅的な性能低下なしに、複雑性の増大に対応できる。

著者らは、TSLMを単なる性能向上としてではなく、言語モデルがどのように推論するように訓練されるべきかに関する根本的な転換点として位置づけており、「ボトルネック」は推論計算量ではなく、学習時における探索空間の体系的な構築にあることを示唆している。