🤖 AI

Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation

本論文は、Group Relative Policy Optimizationを通じて「NoThink」、「Short」、「Long」の推論モードの選択を学習させることで、テスト時計算量を適応的に割り当てる手法を導入し、様々なベンチマークにおいて精度を維持または向上させつつ、大幅なトークン削減を実現する方法を提案する。

原著者： Gijs Kassenaar, Zhao Yang, Vincent François-Lavet

公開日 2026-08-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gijs Kassenaar, Zhao Yang, Vincent François-Lavet

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデルは、人間が難しい数学の問題を紙に書き留めて解く時のように、問題を一連の長い中間ステップへと分解することで、複雑な問題を解決する驚くべきスキルを獲得してきました。この「思考の連鎖（chain-of-thought）」として知られるステップ・バイ・ステップのアプローチにより、これらのシステムは数学やコーディングのタスクにおいて高い精度に到達することができます。しかし、この能力には大きな代償が伴います。モデルはしばしば必要以上に膨大なテキストを生成し、膨大な計算資源と時間を消費してしまうのです。たとえ単純な問題であっても、モデルは長大で冗長な説明を行い、即座に解決できるはずのタスクに対してリソースを浪費することがあります。研究者たちは以前から、これらのシステムには特定の課題にどれほどの労力が必要かを判断する能力が欠けており、その結果、簡単な質問にも難しい質問と同じような重い処理が行われる状況を招いているのではないかと疑っていました。

アムステルダム自由大学の研究チームは、モデル自身にこの判断を行わせる方法を模索しました。彼らは、数学の問題を解くように訓練された、15億パラメータを持つ比較的規模の小さい推論モデルを用いました。常に一定の時間をかけて思考するように強制する代わりに、回答の冒頭でモデルに単純な選択肢を与えました。つまり、思考せずに即座に回答するか、短く推論するか、あるいは長く深い推論を行うかを、モデル自身に決めさせたのです。モデルは、回答が正しいかどうか、およびそこに到達するまでの効率性に基づいてフィードバックを受け取る「強化学習」という手法を用いて訓練されました。目標は、モデルが問題の難易度に応じて自らの労力を調整することを学習し、簡単なタスクでは時間を節約しつつ、難しい問題を解くためには十分なリソースを割けるようにすることでした。

研究者たちは、モデルが自身の動作モードを示すために、最初のトークンとして単一の単語を出力するシステムを設計しました。もしモデルが「NoThink（思考なし）」を選択した場合、直接回答を試みます。「Short（短め）」を選択した場合は、短い説明が許可されますが、使用できる単語数には厳格な制限が設けられます。「Long（長め）」を選択した場合は、制限なく長々と推論を行うことが許可されます。モデルがこれらの選択を確実に守るようにするため、研究者たちは短いモードに対して回答の長さにハードリミット（硬い制限）を課しました。もしモデルが「Short」モードを選択しながらも制限を超えて記述した場合、最終的な答えが正しかったとしても、システムはその試行を不正としてマークしました。これにより、モデルは冒頭で選んだラベルが自身の振る舞いに実質的な結果をもたらすことを学習せざるを得なくなりました。

モデルが単に選択を無視して、常に最も安全な「最も長い選択肢」にデフォルト設定してしまうのを防ぐため、研究者たちはモデルが受け取る報酬を調整しました。非常に短い回答に対しては「NoThink」と「Short」のモードにより高い報酬を与え、一方で「Long」モードは長さに関わらず一定の報酬を与えるようにしました。これにより、最適な戦略は問題の内容によって決まるような環境が作られました。つまり、些細な質問に対しては最も早い回答が最高スコアをもたらし、一方で困難な問題には「Long」モードによる拡張された努力が必要になるという仕組みです。また、モデルがすべての問題に対して単一の戦略のみを使用する状態に陥らないよう、3つの選択肢すべてを使用するように緩やかに促すバランシング・メカニメントも追加されました。

結果として、モデルは問題の難易度を分類することを学習できました。500個の保持された数学問題のセットにおいて、モデルは簡単な問題を「NoThink」または「Short」モードへ、難しい問題を「Long」モードへと振り分け始めました。訓練の過程を通じて、モデルの精度は元の修正されていないバージョンとほぼ同一を維持しましたが、回答の平均的な長さは大幅に減少しました。研究者たちは、この新しいポリシーによって、平均生成単語数が41パーセント減少し、回答の長さが約4,800トークンから約2,800トークンに削減されたことを見出しました。これは、モデルが同じ数の問題を正しく解きながら、半分以下の計算量で実行できたことを意味します。

極めて重要な点は、この効率化が、モデルが未だ見たことのない問題に対する性能を犠牲にしていないことです。別の初等数学の文章題を用いたテストにおいて、モデルはさらに多くのテキストを節約し、トークン数を76パーセント削減しながら高い精度を維持しました。深い推論がほぼ不可欠となる非常に難易度の高い競技数学のセットにおいては、モデルはほぼすべての質問に対して正しく「Long」モードを選択し、ショートカットによる時間の浪費を行うことなく、ベースラインと同等のパフォーマンスを発揮しました。この研究は、推論モデルが自らの努力を自己調節し、問題が要求する場合にのみより多くの思考時間を割り当てることができることを示しています。これは、人工知能をより効率的にするための道筋を示唆しており、システムを単に饒舌にするのではなく、賢く、かつ経済的なものにできる可能性を提示しています。

技術要約：思考のタイミングを学ぶ：テスト時計算量割り当てのための適応的推論

問題提起

推論言語モデル、特に検証可能な報酬を用いた強化学習（RLVR）で微調整されたモデルは、通常、すべてのプロンプトに対して一律に適用される固定されたトークン予算の下で動作します。この静的なアプローチには、主に以下の2つの非効率性が存在します：

過剰計算（Over-computation）: 簡単な問題に対して過剰な推論トークンが割り当てられ、精度を向上させることなく推論レイテンシとコストが増大する。
計算不足（Under-computation）: 難しい問題に対して、解が見つかる前に固定された上限によって打ち切られてしまう。
小規模モデルにおける非効率性: 小規模なモデルは、限られた容量を補うために不必要に長い説明を生成する「冗長性補償（verbosity compensation）」を示すことが多く、誤答は正解よりも著しく長くなる傾向がある。

GRPO（Group Relative Policy Optimization）における時間的割引（temporal discounting）のような既存の解決策は、問題の難易度に関わらず一律の長さペナルティを課します。これは、適応的な計算量割り当てに失敗しており、本来異なる最適な推論予算を持つはずの容易な問題と困難な問題の両方に対して、一様に簡潔であることを強いてしまいます。さらに、従来の適応的なモード選択の試みは、「ルーティング崩壊（routing collapse）」（ポリシーが単一のモードに収束してしまう現象）を防ぐために、教師あり事前学習ステージ、蒸留、または複雑なカリキュラム・ステージングに依存することが一般的です。

手法

本論文では、1.5Bの蒸留された推論モデルが、個別のルーターネットワークや教師ありウォームアップなしに、エンドツーエンドで自身の推論量を自律的に割り当てることを学習する、**「Three-Mode Self-Routing GRPO」**フレームワークを提案しています。

コアメカニズム

モデルは応答の最初のトークンとして離散的なルーティングトークンを出力し、以下の3つのモードから1つを選択します：

NoThink: 可能な限り迅速に回答する（最小限の推論）。
Short: ハードなトークン上限内で簡潔な推論を行う。
Long: ハードな上限なしで拡張された推論を行う。

主要な技術的コンポーネント

離散的なルーティングにおける典型的な失敗（単一モードへの収束）を防ぐため、著者らは以下の3つの具体的なメカニズムを採用しています。

モードごとのハード・トークン上限（Hard Per-Mode Token Caps）:
- NoThink: 1,024トークンに制限。
- Short: 3,000トークンに制限。
- Long: 上限なし。
- 機能: これらの上限は、行動の明確な区別を保証します。「Short」の応答が上限を超えた場合、内容に関わらず不正解としてスコア付けされます。これにより、より多くのトークンを必要とする難問が簡潔なモードに隠れて吸収されることを防ぎ、各モード間に真の精度差を維持します。
成形された報酬表面（Shaped Reward Surface）:
- 各モードには、ルーティングトークンの後に生成されるトークン数に対して、個別のベース報酬（ $b$ ）とパー・トークン割引率（ $\gamma$ ）が適用されます。
- 定式化: 正解の場合、報酬は $r_i = b \cdot \gamma^{L_i}$ となります（ここで $L_i$ はトークン数）。
- パラメータ: $b_{NT}=1.3, b_{S}=1.2, b_{L}=1.0$ 。これらの割引率は、報酬が最適となる選択が特定の長さで切り替わるように調整されています（交差点は約800および3,000トークン）。これにより、各モードが特定の難易度や長さの範囲において最適となるような報酬ランドスケープが構築されます。
アドバンテージ・バランシング項（Advantage Balancing Term）:
- 離散的な選択に伴う自己強化的な性質に対抗するため、アドバンテージ推定にバランス項を直接追加します： $\hat{A}_i \leftarrow A_i + \beta_{bal}(p^* - f_{mode}(i))$ 。
- この項は、過剰に表現されているモードを罰し、過少に表現されているモードを促進します。重要な点として、これは非対称に適用されます。負の補正は誤答のロールアウトにのみ適用され、正の補正は正解のロールアウトにのみ適用されます。これにより、バランス項が精度のシグナルを歪めないようにしています。
学習の修正:
- KLペナルティの撤廃: ベースとなる蒸留モデルがほとんど生成しない挙動（迅速な回答など）を探索できるように、参照ポリシーに対するKLペナルティを削除しています（ $\beta=0$ ）。
- トークン平均集約（Token-Mean Aggregation）: シーケンス平均集約の代わりにトークン平均集約を使用することで、長いシーケンスが短いシーケンスよりも弱い勾配を受け取ることがないようにしています。
- 強制ウォームアップ: 初期ステップでは、初期のダイナミクスを安定させるために、モデルに各モードにつき1回のロールアウトを強制的に生成させ、その後自由なロールアウトに切り替えます。

主な貢献

エンドツーエンドの適応的ルーティング: 1.5Bの推論モデルが、単一の離散トークンを用いて問題の難易度に応じてルーティングすることを、個別のルーターネットワークや教師あり事前学習、蒸馏なしに、GRPO内でのみ完全に学習できることを示しました。
安定化メカニズム: ハードなモード別上限、成形された報酬、およびアドバンテージベースのバランス項の組み合わせが、離散的なモード選択における永続的な課題であるルーティング崩壊を効果的に防ぐことを示しました。
パレート図における効率性: 得られたポリシーは、ベースモデルと同等の精度を達成しながらトークン使用量を大幅に削減しており、単一モードのベースラインが描く精度と長さのパレート図よりも厳密に高い位置に位置しています。

実験結果

本手法は、MATHで学習され、MATH-500、GSM8K、AIMEで検証された1.5Bモデル（DeepSeek-R1-Distill-Qwen-1.5B）を用いて評価されました。

モードの出現: 3つのシードすべてにおいて、3つのモードは崩壊することなく持続しました。最終チェックポイントでは、分布は 20% (NoThink)、32% (Short)、47% (Long) の近傍に落ち着きました。
難易度のソート: ルーティングは意味のあるものでした。
- イン・ディストリビューション (MATH-500): モデルは簡単な問題に "NoThink" と "Short" を、難しい問題に "Long" を割り当てました。モード別の精度は学習中に逆転しました。つまり、簡潔なモードが割り当てられた問題において、Longモードよりも高精度になったことは、難易度によるソートが成功したことを示しています。
- 相関関係: ルーティング分布は、MATH-500の難易度レベル（1〜5）と単調に相関していました。"NoThink" はレベル1で支配的であり、"Long" はレベル5で支配的でした。
効率性の向上:
- MATH-500: ポリシーは 0.782 の精度（ベースの 0.796 に対比）を達成しながら、平均応答長を 4,796 から 2,811 トークンへと減少させました（41% の削減）。
- パレート図: 適応型ポリシーは、単一モードのベースライン（NoThinkのみ、Shortのみ、Longのみ）のパレート図よりも厳密に上に位置し、同じトークン予算に対してより高い精度を、あるいは同じ精度に対してより少ないトークンを提供しました。
アウト・オブ・ディストリビューションへの転移:
- GSM8K (容易なタスク): ベースモデルと比較して 76% のトークン削減を達成しつつ、同程度の長さを持つ固定式の簡潔なベースラインの精度を上回りました。
- AIME (困難なタスク): ルーターはほとんどの問題に拡張された推論が必要であることを正しく識別し、ほぼすべてのクエリを "Long" に割り当て、フロントの精度を維持しながら 12% のトークン削減を実現しました。

意義と主張

本論文は、問題ごとにどれだけ考えるべきかを適応的に選択できる推論モデルの構築を主張しています。その意義は以下の通りです：

トークン効率: 精度の低下なしに、推論コストを大幅に削減できます（容易なタスクでは最大76%）。
シンプルさ: 複雑な外部ルーターや教師あり事前学習、多段階のカリキュラムなしに、適応的な挙動を実現しています。
汎用性: ルーティングメカニズムは、異なる難易度分布を持つデータセット（GSM8K, AIME）に対してゼロショットで転移し、問題が容易な場合には計算資源を節約し、困難な場合には予算を確保します。

著者らは、単一のモデルサイズとタスク分布への依存、およびトークン上限のタスク固有のチューニングの必要性といった限界についても述べています。結論として、主要な貢献は、潜在的な推論能力を根本的に向上させるメカニズムではなく、精度と長さのトレードオフを外側へ押し出すトークン効率化メカニズムであるとしています。