💬 NLP

CoLT: Reasoning with Chain of Latent Tool Calls

本論文は、モデル構造の拡張や網羅的な学習を必要とせずに、シードトークンを生成して外部モデルにそれらを完全な推論ステップへと展開させることで、高い精度と短い推論長の両立を実現し、大規模言語モデルの推論効率を向上させる新しいフレームワークであるCoLTを提案している。

原著者： Fangwei Zhu, Zhifang Sui

公開日 2026-02-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fangwei Zhu, Zhifang Sui

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、複雑な数学の問題を解こうとしている、天才的だが非常に多忙なシェフ（大規模言語モデル）を抱えています。通常、問題を解くために、シェフは思考の全ステップを、一言一句、長い紙に書き留めなければなりません。これは「思考の連鎖（Chain-of-Thought）」と呼ばれます。これは優れた手法ですが、すべての言葉を書き、読み取るには時間がかかり、プロセスが遅くなり、コストもかさんでしまいます。

ある研究者たちは、このプロセスをスピードアップさせるために、シェフに何も書き留めずに「頭の中で静かに考える」よう指示することを試みました。しかし、これはシェフに、メモなしでレシピ全体を記憶の中に保持するように求めるようなものです。それは困難であり、シェフの脳（モデルの構造）を作り直す必要があったり、シェフがステップを忘れたり混乱したりすることもあります。

ここに CoLT（Chain-of-Latent-Tools）が登場します。

CoLTは、自分の考えを説明する能力を失うことなく、シェフが素早く思考できるようにするための賢い方法です。以下に、シンプルな比喩を用いてその仕組みを説明します。

「秘密のメモ」システム

シェフは、長い段落を書き出す代わりに、小さな秘密のメモ（「シード・トークン」と呼ばれます）を書きます。

メモ： このメモは、わずか数個の特殊な記号で構成されています。文章には見えませんが、圧縮されたパッケージの中に、思考のステップ全体の「風味」と情報がすべて詰まっています。
デコーダー（翻訳者）： シェフがこの秘密のメモを書くと、ベルが鳴ります。すると、小さくて素早い助手（「デコーダー」）がその音を聞き、秘密のメモを掴み取り、それを即座に完全で読みやすい文章へと翻訳します。
ループ： シェフは翻訳された文章を読み、それを自分の作業に付け加え、そして次のステップのために「次の秘密のメモ」を書きます。

なぜこれが優れているのか？

スピード： 秘密のメモを書くことは、段落全体を書くよりもずっと速いです。シェフは「タイピング」に時間を費やすのではなく、より多くの時間を問題解決に充てることができます。
明快さ： 「静かな思考」を用いる手法とは異なり、思考が永遠に隠されてしまうことがありません。CoLTは、メモを普通のテキストへと再び翻訳します。ですから、一日の終わりには、問題がどのように解かれたかを示す、明確で読みやすい物語が手に入ります。シェフは話す能力を失ったのではなく、単に速記術を学んだだけなのです。
再構築が不要： シェフの脳を作り直す必要はありません。ただ、メモを翻訳する方法を知っている小さな助手（デコーダー）を追加するだけでよいのです。メインのシェフは全く同じままです。

「ツール・コール」の魔法

論文では、これを「ツール・コール（Tool Call）」と呼んでいます。これは、シェフが「このステップのために翻訳者が必要だ！」と言うようなものです。

シェフは特別なトリガー・トークン（ボタンを押すようなもの）を生成します。
システムはそのボタンに基づいて、適切な翻訳者（デコーダー）を選択します。
翻訳者は、そのボタンの中に隠された「思考」を取り出し、言葉へと展開します。

何が判明したのか？

研究者たちは、これらを算数の文章題（小学校レベルの単語問題など）でテストしました。

高速： 「秘密のメモ」を用いる方法は、すべてを書き出すよりも思考の連鎖が短くなり、他の「静かな思考」の手法よりも高速でした。
スマート： 他のショートカット手法よりも高いスコア（精度の向上）を実際に叩き出しました。
柔軟性： 彼らは異なる種類の「翻訳者」（単純なものから複雑なものまで）を試しました。最も優れたものは、メインのシェフの脳の小型で高速なバージョン（Transformer）でしたが、より単純な翻訳者でも十分に機能しました。
学習： 彼らは、強化学習という手法を用いて、システムに失敗から学ぶ方法さえも教えました。システムはさまざまな経路を試し、フィードバックを受け取り、難しい問題を解くためにさらに上手くなっていくことができます。

まとめ

CoLTは、超スマートなAIに速記言語を与えるようなものです。これにより、AIは思考を小さく効率的なパケットへと圧縮し、助手にそれを瞬時に展開させ、作業を継続することができます。これは、「静かな思考」のスピードと、「すべてを書き出す」ことの明快さを両立させ、しかもAIの脳をゼロから作り直すことなく実現するのです。

技術要約：CoLT – 潜在的ツール呼び出しによる推論（Chain of Latent Tool Calls）

問題提起

思考の連鎖（Chain-of-Thought: CoT）プロンプティングは、複雑な問題を逐次的なステップに分解することで、大規模言語モデル（LLM）の推論能力を向上させるために不可欠であることが証明されています。しかし、明示的なCoTは推論過程をトークンごとに生成する必要があるため、推論時の計算コストが高くなります。これに対し、連続的な潜在空間内で推論を行うことでトークン長を削減する潜在的CoT手法（COCONUT、CODI、COLARなど）が提案されていますが、これらは一般的に以下の2つの決定的な限界を抱えています：

構造的な硬直性： モデルアーキテクチャの大幅な変更と徹底的な学習を必要とする場合が多い。
適用性： これらの制約により、異なるタスクやモデル構造への幅広い採用が制限されている。

さらに、既存の潜在的推論手法は、多くの場合、完全に「ブラックボックス」な潜在空間内で動作するため、ベースモデルの解釈性や事前学習された推論能力を犠牲にする可能性があります。

手法：CoLTフレームワーク

著者らは、潜在的推論を「パラメトリックなツール呼び出し」として実装する新しいフレームワークである**CoLT (Chain-of-Latent-Tools)**を提案しています。CoLTは、メインのLLMが明示的なトークン空間で動作することを許容しつつ、推論ステップの展開を外部の微分可能なデコーダにオフロードすることで、推論全体を潜在空間内で行うのではなく、情報の圧縮と展開を制御します。

コアメカニズム

シード・トークンと潜在的ツール呼び出し：
推論プロセス中、メインのLLMは凝縮された推論ステップを表す特別な「シード・トークン」を生成します。これらは以下で構成されます：
- ボディ・トークン (<BDY>)： 推論ステップの圧縮された情報を含む潜在埋め込みの担い手。
- トリガー・トークン (<TRG>)： 潜在的ツール呼び出しの終了を合図し、どの外部デコーダを呼び出すかを指定するインジケーター。
典型的な潜在的ツール呼び出しのシーケンスは次のようになります：[質問] [前のステップ] <BDY> ... <TRG>。
微分可能なデコーディング：
トリガー・トークンが提示されると、シード・トークンの隠れ状態が抽出され、外部の微分可能なデコーダ（軽量なTransformer、RNN、またはMulti-hotデコーダなど）に渡されます。
- デコーダは、隠れ状態を完全で明示的なテキスト・トークン（例：数式）へと展開（アンパック）します。
- これらのデコードされたトークンはコンテキストに結合され、メインのLLMは更新された読み取り可能なコンテキストを用いて自己回帰的な生成を継続します。
学習目的関数：
本フレームワークは、2つの教師あり損失成分を用いてエンドツーエンドで学習されます：
- メイン損失 ( $L_{main}$ ): メインモデルがシード・トークンとトリガー信号を正しく生成することを保証する。
- 潜在損失 ( $L_{lat}$ ): デコーダがシード埋め込みからテキスト・トークンを正しく再構成することを保証する。
- 合計損失: $L_{sup} = L_{main} + L_{lat}$ 。
強化学習（RL）との互換性：
デコーダは微分可能でありサンプリングをサポートしているため、推論プロセス全体をマルチラウンドの対話としてモデル化できます。これにより、手動でノイズを注入することなく、多様な推論パスを探索し、正しい連鎖を強化するために、Group Relative Policy Optimization (GRPO) を適用することが可能になります。

主な貢献

新しいフレームワーク： CoLTは、潜在的推論をツール呼び出しとして実装する方法を導入し、メインモデルが事前学習されたテキスト空間で推論しながら、中間ステップをシード・トークンに圧縮することを可能にしました。
デコーダの柔軟性： 著者らは様々なデコーダ構造（Transformer、RNN、Multi-hot）を設計・評価し、Transformerが最も優れた性能を示す一方で、フレームワークが異なる形式にも適応可能であることを示しました。
効率性と性能： CoLTは、既存の潜在的推論のベースラインと比較して、高い精度と短い推論長を実現しており、より少ない学習エポック数と少ない構造変更で動作します。
RL統合： フレームワークが強化学習アルゴリズムと互換性があることが示されており、探索を通じて困難なデータセットに対する性能向上を実現できることが証明されました。

実験結果

著者らは、4つの数学的推論ベンチマーク（GSM8k、GSM8k-hard、SVAMP、MultiArith）を用いてCoLTを評価しました。

精度 vs 長さ： CoLTは、精度と推論連鎖の長さの両方において、既存の潜在的推論ベースライン（COCONUT、CODI、COLAR、SIM-CoTを含む）を上回りました。例えば、GSM8k-Augにおいて、CoLTはCOLAR (2x) に対して5%の精度向上を達成しつつ、推論トークン長を12.7から7.73へと短縮しました。
汎化性能： モデルは強力なドメイン外汎化能力を示しました。特にMultiArithデータセットにおいては、教師ありCoTベースラインを上回りました。
アブレーション研究：
- デコーダ層： デコーダの層数とシード・トークンの長さを増やすことで精度は向上しましたが、計算コストに対する収穫逓減が見られました。
- デコーダ構造： Transformerデコーダが最高の性能を示し、次いでRNNとなりました。Multi-hotデコーダは性能が悪く、パックされたシードを展開するには再帰的構造の方が適していることが示唆されました。
強化学習： GSM8k-AugおよびMATHデータセット（DeepSeek-R1-Distill-Qwen-1.5Bを使用）に対してGRPOを適用したところ、性能がさらに向上し、多様な推論パスから学習できる本フレームワークの能力が証明されました。

意義と主張

本論文は、CoLTが推論の効率性とモデル能力のトレードオフに対する実用的な解決策を提供すると主張しています。メインモデルを事前学習されたテキスト空間に固定し、外部デコーダを使用して「潜在的」な展開を処理することで、CoLTは推論連鎖の解釈性（最終出力は完全にテキスト形式）を維持しながら、推論コストを大幅に削減します。

著者らは、CoLTが元のモデル構造への変更を最小限に抑えるため、重いアーキテクチャ変更を必要とする従来の潜在的推論手法よりも広く適用可能であることを強調しています。さらに、フレームワークが強化学習と互換性を持っていることは、ツール呼び出しの粒度やデコーダ構造を特定のドメインに合わせて適切に調整すれば、潜在的推論をより複雑なタスクへとスケールアップできる可能性を示唆しています。論文は、現在は数学的推論に焦点を当てているものの、潜在的ツール呼び出しの概念は、エンティティ検索やマルチモーダル推論を含む幅広いアプリケーションへの可能性を秘めていると結論付けています。