💬 NLP

CoT-Space: A Theoretical Framework for Internal Slow-Thinking via Reinforcement Learning

本論文は、思考の連鎖（Chain-of-Thought）による推論を連続的な意味空間内における最適化プロセスとしてモデル化する理論的枠組みであるCoT-Spaceを導入し、それによって最適な推論長への収束をアンダーフィッティングとオーバーフィッティングの間のトレードオフとして説明し、それゆえに強化学習を通じたテスト時スケーリングのための原理的な基礎を提供するものである。

原著者： Zeyu Gan, Hao Yi, Yong Liu

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zeyu Gan, Hao Yi, Yong Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問い：なぜAIは永遠に考え続けられないのか？

難しい数学の問題を解こうとしている場面を想像してみてください。ステップを一つ書いて、答えを確認して、そこで止まることもできます。あるいは、完全に確信が持てるまで、すべての数字をダブルチェックしながら、千ものステップを書き出すこともできます。

AIの世界では、研究者たちが奇妙な現象に気づきました。大規模言語モデル（LLM）に、強化学習という手法を使って「より深く考える」ように訓練すると、モデルは無限に長い思考の連鎖を生成し続けるわけではないのです。代わりに、彼らは自然と特定の「スイートスポット（最適値）」の長さで停止します。思考が短すぎると答えに辿り着けず、逆に長すぎても、答えを間違えたり時間を無駄にしたりしてしまいます。

この論文は、次のような問いを投げかけています。なぜAIは自然にこの完璧な長さを見つけ出し、そこで止まるのでしょうか？

問題点：言葉を数えるのか、思考を理解するのか

長い間、科学者たちはAIを単語ごと（トークンごと）に分析してきました。これは、AIの思考を、一つの駅（単語）から次の駅へと進む列車のように扱う方法です。

著者たちは、これは「個々の星を数えることで銀河系を理解しようとするようなものだ」と述べています。それはあまりにも乱雑で、不連続すぎます。代わりに、彼らは銀河そのもの（「意味空間」）を見ることを見出しました。

旧来の視点（トークンレベル）： すべての葉っぱが別々の独立したステップである森の中を歩いているようなものです。これでは道筋が見えにくくなります。
新しい視点（推論レベル）： 著者たちはズームアウトします。たとえAIが同じアイデアを表現するために異なる多くの言葉（例：「合計を計算する」「和を求める」「計算を行う」など）を書いたとしても、それらの異なる言葉の組み合わせはすべて、同じ一つの思考を表しているのだと彼らは言います。
比喩： AIの推論空間を、滑らかで連続的な丘だと考えてください。たとえAIが「具体的な言葉を書く」という「離散的なステップ」を踏んでいたとしても、その根底にある「アイデアの風景」は、滑り台のように滑らかで連続しています。

中心的な発見：「ゴルディロックス」のトレードオフ

この論文は、AIが完璧な推論の長さを見つけられる理由は、**アンダーフィッティング（学習不足）とオーバーフィッティング（過学習）**の間の古典的なバランス調整によるものだと主張しています。

1. アンダーフィッティング（思考不足）

比喩： 幅の広い川をジャンプして渡ろうとしている場面を想像してください。もし、わずか一、二回の小さなジャンプしかしなければ、水の中に落ちてしまいます。
論文の主張： 推論の連鎖が短すぎると、AIは解決策に到達するための「ステップ」を十分に踏めていないことになります。これは、必要な中間計算を行わずに複雑な数学の問題を解こうとするようなものです。AIは、十分に考えなかったために失敗します。

2. オーバーフィッティング（考えすぎ）

比喩： 同じ川を渡っているのですが、今度は1,000歩もの細かく震えるステップを踏んでいるとします。あなたは混乱し始め、足元の小石一つひとつに気を取られ、分析しすぎるあまり、誤って道から外れて水の中に足を踏み入れてしまうかもしれません。
論文の主張： 推論の連鎖が長すぎると、AIは一般的な論理を学ぶのではなく、問題固有の癖を「暗記」し始めてしまいます。質問の正確な言い回しに対して敏感になりすぎるのです。これは、練習テストの解答集を丸暗記したものの、本番で問題が少し変わっただけで失敗してしまう学生のようなものです。過剰な思考は「ノイズ」と混乱をもたらします。

「ノイズ」のメタファー：完璧なステップサイズを見つける

著者たちは、物理学や機械学習におけるノイズ（ランダム性）を用いた巧妙な比喩を用いています。

設定： AIが谷の底（正解）を見つけようとしているとします。
短すぎる場合（低ノイズ）： もしAIが大きく自信満々なステップ（非常に短い推論）を踏むと、谷の底を飛び越えて反対側に着地してしまい、解決策を逃してしまう可能性があります。
長すぎる場合（高ノイズ）： もしAIが小さくためらうステップ（非常に長い推論）を踏むと、細部に迷い込みます。動きが激しく揺れ動き（ノイズ）、滑らかな道を見失ってしまいます。
スイートスポット： AIがターゲットに飛び越したり、迷ったりすることなく、谷を下るための適切な探索ができるよう、ちょうど良い量の「ノイズ」が存在するのです。

実験が示したこと

研究者たちはこの理論を実際のAIモデルでテストし、4つの重要な事実を発見しました。

難しい問題ほど長い経路を必要とする： 難しいパズルに多くのピースが必要なのと同様に、難しい数学の問題は、AIが「アンダーフィッティング」を避けるために、自然とより長い思考の連鎖を生成するように促しました。
賢いモデルほど短い経路を必要とする： 驚くべきことに、より大きく強力なモデルは、むしろ短い推論の連鎖に落ち着きました。なぜでしょうか？それらは学習能力が非常に高いため、過剰に説明する必要がないからです。もし考えすぎてしまうと、特定の質問に対して「オーバーフィット（暗記）」してしまいます。汎用性と堅牢性を保つためには、もっと早く思考を止める必要があるのです。
訓練方法には関係ない： 異なる種類の強化学習など、どのようなアルゴリズムを使用しても、AIは常に与えられた問題に対して同じ「最適な長さ」へと収束しました。長さは訓練手法の特性ではなく、問題とモデルの特性なのです。
ノイズが多いほど、経路は短くなる： 訓練環境がより「ノイジー（ランダム性が高い）」であるとき、AIは混乱を避けるために、より短く堅牢な経路を辿ることを学習しました。

結論

この論文は、「推論の長さの収束」はバグではなく、むしろ機能（フィーチャー）であると結論づけています。それは、問題を解決するために十分な作業を行うこと（アンダーフィッティングの回避）と、混乱したり間違ったことを暗記したりするほど作業をしすぎないこと（オーバーフィッティングの回避）の間で、AIがバランスを取ろうとする自然な結果なのです。

AIの推論を、断片的な言葉のリストとしてではなく、滑らかで連続的な旅として捉えることで、著者たちは、これらのモデルが人間や古典的な機械が数十年にわたって従ってきた基本的な学習ルールに従っていることを示しました。彼らはただ、考えるための完璧な「ゴルディロックス」の長さを見つけているだけなのです。

技術要約：なぜ推論の長さは収束するのか？Chain-of-Thoughtにおけるアンダーフィッティングとオーバーフィッティングのトレードオフを解明する

問題提起

大規模言語モデル（LLM）、特に「テスト時スケーリング（test-time scaling）」（DeepSeek-R1、OpenAI o1など）のために強化学習（RL）を利用するモデルの最近の進展は、モデルが最適な思考の連鎖（Chain-of-Thought: CoT）戦略を自律的に発見できることを示している。経験的に、これらのモデルは学習中に特定の最適な推論の長さ（ $L_{opt}$ ）へと収束する。しかし、重大な理論的空白が存在する。従来のトークンレベルの分析は、推論を疎な状態空間上の離散的なマルコフ決定過程（MDP）としてモデル化するため、推論レベルのスケーリングというマクロなダイナミクスを捉えることができない。その結果、「考えすぎ（overthinking）」（モデルが無限に成長するのではなく、特定の長さに収束してしまう現象）に対して、古典的な学習理論に基づいた明確なメカニズム的説明が欠如している。

手法：CoT-Spaceフレームワーク

トークンレベルの離散的な生成と連続的な学習理論の間の溝を埋めるため、著者らは、推論プロセスを連続的な推論レベルのセマンティック空間内での最適化問題として再構成する新しい理論的フレームワークであるCoT-Spaceを導入する。

1. トークンレベルから推論レベルへ

著者らは、CoTをトークンレベルでモデル化することは、アクションが単一のトークンではなく抽象的な思考であるという推論の性質と乖離していると主張する。彼らは「ズームアウト」の視点を提案する：

意味的等価性（Semantic Equivalence）: 複数の異なるトークンシーケンスが、同一の抽象的な推論ステップを実現し得る。
連続体近似（Continuum Approximation）: 推論トークン予算（ $K$ ）が増加するにつれ、意味的に等価な状態の密度は指数関数的に増加する（仮定 2.9）。これにより、離散的な推論状態空間を連続的な多様体（ $\tilde{S}$ ）として近似することが可能になる。
定式化: フレームワークは、推論状態（ $s_o$ ）、到達可能な最小値（成功した解）、および最近接の最適解への距離を定量化する推論損失関数（ $C$ ）を定義する。

2. 収束の理論的分析

連続的な多様体の観点を用いて、著者らは最適化ノイズと推論リスクという2つのレンズを通じてCoTの長さの収束を分析する。

ノイズの観点（最適化ドリフト）:
著者らは、CoT生成をセマンティック多様体上の確率微分方程式（SDE）としてモデル化する。彼らは、最適化ノイズのスケール（ $\sigma$ ）が推論の長さ（ $L$ ）に反比例するという関係式（ $\sigma \propto 1/L$ ）を導出する。
- 短いCoT: ノイズスケールが高く、収束に失敗する可能性のある不安定な軌道をもたらす（アンダーフィッティング）。
- 長いCoT: ノイズスケールが低く、軌道が硬直化し、特定のプロンプトパターンに対して過剰適合（オーバーフィット）しやすくなる。
リスクの観点（汎化境界）:
著者らは、期待される母集団リスク（ $R_{pop}$ ）に関する情報理論的な汎化境界を導出する。この境界は、2つの競合する項で構成される：
1. 最適化ドリフト（アンダーフィッティング領域）: $L\sigma^2$ （または $1/L$ ）に比例する。これは、過度なノイズによる最適パスからの逸脱を表す。
2. 情報複雑性（オーバーフィッティング領域）: $\sqrt{L \log L}$ に比例する。これは、推論パスと入力の間の相互情報量を表し、長さとともに増加し、プロンプト固有のショートカットの記憶（メモライゼーション）と汎化性能の低下を招く。

$L_{opt}$ への収束は、これら2つの項の和を最小化することの結果であり、実質的にアンダーフィッティングとオーバーフィッティングのトレードオフをバランスさせるものであることが示されている。

主な貢献

CoT-Spaceフレームワーク: 離散的なLLMの推論を、連続的な多様体に収束する推論レベルの状態空間へと接続する、理論的な架け橋。
$L_{opt}$ のメカニズム的説明: RL訓練されたモデルにおける推論の長さの収束が、恣意的なものではなく、アンダーフィッティングとオーバーフィッティングのトレードオフという根本的な帰結であることを証明した。
理論的予測: 本フレームワークは、 $L_{opt}$ $L_{o pt}$ を支配する要因に関する4つの具体的な検証可能な主張を導き出す：
- タスクの難易度: より複雑なタスク（より高い平滑化パラメータ $\beta$ ）は、最適化ノイズを減らすために、より長い $L_{opt}$ を必要とする。
- モデルの容量: より大きなモデル（より高い容量）は、オーバーフィットしやすいため、必要な確率性を導入するために、より短い $L_{opt}$ へと収束する。
- アルゴリズムの独立性: 最終的に収束する $L_{opt}$ は、タスクとモデルに固有の特性であり、使用される特定のRLアルゴリズムにはほとんど依存しない。
- ノイズの相関: 最適化ノイズのスケールが高いほど、最適な推論の長さは短くなる。

実験結果

著者らは、様々なサイズのモデル（Qwen、Llamaシリーズ）を用い、数学的推論ベンチマーク（GSM8K、MATH）において、様々なRLアルゴリズム（GRPO、PPO、DAPOなど）を使用して、理論的主張を実証的に検証した。

タスクの難易度: タスクの難易度が増すにつれて（GSM8KからMATH Level 5へ）、 $L_{opt}$ が単調に増加することを実験で確認した。
モデルの容量: 同一のタスクにおいて、大きなモデルは小さなモデルと比較して一貫して短い推論の長さに収束しており、これは「大きなモデルはオーバーフィットを避けるために、より少ない『思考』を必要とする」という仮説を支持している。
アルゴリズムの非依存性: 異なるRLアルゴリズムは、初期のダイナミクスこそ異なるものの、与えられたタスク・モデルのペアに対して同様の最終的な $L_{opt}$ 値へとポリシーを導く。
ノイズスケール: 最適化ノイズのスケール（KL損失によってプロキシされる）と、収束した $L_{opt}$ の間には、明確な逆相関が観察された。

意義と主張

本論文は、LLMにおける内部的なテスト時スケーリングを理解するための原理的な理論的基礎を提供すると主張している。基礎的な古典的機械学習の原則（特にノイズ分析と汎化境界）を復活させることで、著者らは、これらの理論が時代遅れなのではなく、適用するためには分析の視点（トークンレベルから推論レベルへ）を転換する必要があると述べている。

本研究の意義は以下の点にある：

「考えすぎ（Overthinking）」の説明: モデルが推論の長さを増やすのを止めるメカニズム的な理由を提示し、それをオーバーフィッティングを防ぐための必要なトレードオフとして位置づけた。
最適化のガイダンス: 推論の軌道を最適化するための理論的根拠を提供し、目標は単に長さを最大化することではなく、総誤差を最小化する特定の $L_{opt}$ を見つけることであることを示唆している。
現象の統一: 本フレームワークは、幻覚（ファントムの極小値へのトラップ）、プロンプト感受性（ランドスケープの不安定性）、創発的能力（状態密度のトポロジカルな相転移）といった他のLLM現象を説明できる可能性のある概念的ツールとして提示されている（ただし、これらは主要な実験的検証ではなく、フレームワークの潜在的な拡張として提示されている）。

著者らは、CoT-Spaceが、現代のLLMの挙動を確立された学習理論と整合させることで、より原理的なアルゴリズムを設計し、より信頼性の高いAI推論システムを構築するための道筋を提供すると結論付けている。