💬 NLP

CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning

CopT は、まず草案の回答を生成し、その後、必要に応じてのみオンポリシーの振り返りを動的にトリガーするために連続空間の対照的検証器を採用することで、標準的な思考連鎖のパラダイムを逆転させるトレーニング不要の推論フレームワークであり、これにより多様な推論タスクにおいて精度を大幅に向上させ、トークンコストを削減する。

原著者： Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが謎を解こうとする天才的な探偵だと想像してください。

従来の方法（思考連鎖）：
従来、大規模言語モデル（LLM）が問題を解決しようとする際、犯人を特定する前に 10 ページの警察報告書を書くことを強要される探偵のように振る舞います。彼らは考え、考え、考え、すべての手順を書き留め、その後に答えを提示します。

問題点： 時には、探偵が最初の瞬間にすでに答えを知っていることもあります。しかし、「まず考えよ」という規則があるため、彼らはそれでも報告書を書き続けます。これは、答えが明白であったとしても、時間（トークン）とエネルギーを浪費します。これは「パフォーマンスとしての推論」、つまり思考のための思考と呼ばれます。

新しい方法（CopT）：
この論文は CopT（対照的オンポリシー思考）を導入します。これは脚本を逆転させます。答えを出す前に考えるのではなく、CopT は即座に草案の答えを叫ぶ探偵のように振る舞います。

ステップ 1：直感チェック。 モデルは「答えは X だと思います」と言います。
ステップ 2：魔法の鏡。 この答えを受け入れる前に、CopT は答えが信頼できるか確認するために特別な「魔法の鏡」（対照的メカニズム）を使用します。
- 標準的な視点（離散トークン）を使って答えを見ます。
- 「ぼやけて不確かな」視点（モデルが考慮したすべての「かもしれない」可能性を保持する連続埋め込み）を使って答えを見ます。
- モデルが自信を持っている場合、この二つの視点は完全に一致します。モデルが推測していたり混乱していたりする場合、この二つの視点は衝突します。
ステップ 3：決定。
- 鏡が「良さそう」と言う場合： 探偵は即座に答えを受け入れます。長い報告書を書く必要はありません。結果： 時間と費用の大幅な節約。
- 鏡が「怪しい」と言う場合： 探偵は「わかった、もっと考えよう」と言います。しかし、ここが巧妙な点です。彼らは最初の推測を単に忘れるわけではありません。「可視性スイッチ」を使用します。最初の推測が混乱を招く場合はそれを隠し、有益なヒントである場合は可視化したままにしながら、それを修正するための深い思考を行います。

核心的な比喩：「ぼやけたレンズ」対「鮮明なレンズ」

「魔法の鏡」（対照的検証器）を理解するために、二つの異なるレンズを通して絵画を見てみましょう。

鮮明なレンズ（離散入力）： モデルが描き決めた最終的で鮮明な筆致が見えます。これが「草案の答え」です。
ぼやけたレンズ（連続入力）： モデルが最終的な筆致を選ぶ前に考慮していた、すべての色合いのパレットが見えます。これにはすべての「もしも」と不確実性が含まれます。

CopT の使用方法：
CopT は問いかけます。「鮮明なレンズはぼやけたレンズと同じように見えますか？」

はい： モデルは確信していました。答えはおそらく正しいです。思考を停止し、トークンを節約します。
いいえ： ぼやけたレンズは、モデルが実際には非常に混乱していたか、特定の色を選んだにもかかわらず多くの異なる可能性を考慮していたことを示しています。答えはおそらく間違っています。それを修正するために思考（オンポリシー思考）を開始します。

なぜこれが重要なのか（論文によると）

この論文は、この方法がモデルが不要な思考を「演じる」ことを防ぐため、ゲームチェンジャーであると主張しています。

速度とコスト： モデルが即座に答えを知っている簡単な問題では、CopT は長い思考プロセスを完全にスキップします。論文によると、これは場合によっては「コスト」（生成された単語数/トークン数）をほぼ半分に削減します。
賢い思考： 最初の推測が間違っている難しい問題では、CopT は諦めません。「魔法の鏡」を使って「待てよ、私は混乱している」と気づき、必要とされる場合のみ深い思考を行います。
トレーニング不要： これは何年ものトレーニングを必要とする新しいモデルではありません。既存のモデルを使う新しい方法です。それは、新しい言語を教えるのではなく、賢い探偵に新しい規則セットを与えるようなものです。

「可視性スイッチ」

モデルがさらに考える必要があると気づいたとき、それは最初の（おそらく間違った）推測を見続けるかどうかを決定しなければなりません。

思考プロセスが混乱する場合、CopT はモデルが自分の間違いで混乱しないように、最初の推測を隠すことができます。
最初の推測に良いヒントが含まれている場合、CopT はそれを表示して修正を導くのを助けます。
これは、思考プロセス中の二つ目の「魔法の鏡」チェックによって制御されます。

まとめ

CopT は、AI 推論をより賢く使う方法です。AI に話す前に長時間考えさせる代わりに、AI にまず話させ、特殊な「不確実性検出器」を使ってその発言が信頼できるか確認し、検出器が「おい、あれは正しくないようだ」と言う場合のみ、深く考えさせます。これにより、AI はより速く、より安価になり、難しい問題においても同じくらい賢く（あるいはそれ以上に）なります。

技術概要：CopT：汎用的およびエージェント的推論のための連続空間を用いた対照的オンポリシー思考

問題定義

Chain-of-Thought（CoT）プロンプトは、大規模言語モデル（LLM）において推論能力を引き出すための標準となっています。しかし、支配的な CoT パラダイムは、思考を回答を出すための厳格な前提条件として扱い、モデルに最終的な回答を生成する前に完全な推論経路を生成させることを強制しています。最近の観察では、LLM は内部で妥当な回答を特定した後でも、推論ステップの生成を継続する「パフォーマンスとしての推論」を示すことが多く、この行動は正しい回答へのアクセスを遅らせ、不要なトークンコストを発生させます。さらに、連続埋め込みを利用する既存の方法（Latent CoT）は、明示的な推論の可読性を犠牲にしたり、生成に直接使用された際に未見の表現やノイズへの漂移といった問題を引き起こしたりすることがあります。

手法：CopT

著者らは、標準的な操作順序を逆転させる「Answer First, Then Think（まず回答、その後思考）」というトレーニング不要の推論パイプラインであるCopT（Contrastive On-Policy Thinking）を提案します。この手法は、2 つの主要な段階と、新しい対照的検証メカニズムで構成されています。

1. 逆転した推論パイプライン

ドラフト回答の誘発: まず思考を行う代わりに、モデルは即座に <answer> トークンを出力し、入力質問（ $q$ ）に基づいてドラフト回答（ $a$ ）を生成するように強制されます。
オンポリシー思考: ドラフト回答が信頼できないと判断された場合、モデルはドラフトに条件付けられた後続の思考フェーズをトリガーします。これにより、必要に応じてのみ反省と修正が可能になります。

2. 対照的信頼性推定

ドラフト回答を信頼すべきか、さらなる思考が必要かを判断するために、CopT は正規化されたシーケンスレベルの逆 KL 推定量（ $\kappa$ ）を導入します。このメカニズムは、生成に使用することなく、連続埋め込みを推論時の検証器として活用します。

離散入力と連続入力: 生成中、モデルは各ステップで 2 つの表現をキャッシュします。
1. 離散プレフィックス: 離散トークン履歴に基づいて選択されたトークンの標準的な確率 $p_t$ 。
2. 連続プレフィックス: 語彙全体の埋め込みの確率加重平均として計算された連続埋め込み $e_t$ 。これは不確実性の情報を保持します。
推定量: 長さ $T_a$ のドラフトを生成した後、モデルは、離散プレフィックス下での生成トークンの確率（ $p_\theta(a_t | q, a_{<t})$ ）と、連続プレフィックス下での確率（ $p_\theta(a_t | q, e_{<t})$ ）を比較します。
$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$
解釈: 高い $\kappa_a$ は、不確実性情報（連続埋め込み）を考慮すると回答が著しく支持されなくなることを示し、ドラフトが信頼できないことを意味します。 $\kappa_a$ が閾値 $\tau_a$ を超える場合、モデルはオンポリシー思考段階に入ります。

3. 動的可視性制御

オンポリシー思考フェース中、ドラフト回答には有用な部分的な情報が含まれている可能性がありますが、根本的に欠陥がある場合、モデルを誤解させる可能性もあります。CopT は、後続の思考チャンクにおけるドラフト回答の可視性を動的に制御することでこれを解決します。

思考軌跡はチャンクに分割されます。
各チャンクに対して 2 番目の KL 推定量（ $\kappa_r$ ）が計算され、現在の思考プロセスの安定性が評価されます。
$\kappa_r$ が不安定（高い不一致）を示す場合、モデルが誤解されるのを防ぐために、次のチャンクに対してドラフト回答は非表示（ $m_k=0$ ）になります。安定している場合、ドラフトは可視のまま（ $m_k=1$ ）です。

4. 理論的基盤

本論文は、「混合線形」仮定の下で、逆 KL 推定量の期待値が、未解決の潜在推論状態 $S$ と放出された回答トークン $A$ の間の相互情報量 $I(S; A)$ に等しいことを示す理論的分析を提供します。これにより、この推定量が潜在状態における任意の不確実性ではなく、回答に関連する不確実性を測定することが証明されます。その結果、スコアは、連続埋め込みに保持された不確実性が実際に生成トークンに対するモデルの支持を変化させた場合にのみ増加します。

主要な貢献

逆転したパラダイム: LLM がまずドラフト回答を生成し、ドラフトが信頼できないと判断された場合のみオンポリシー思考を呼び出すトレーニング不要のパイプラインを提案します。これにより、回答への早期アクセスと選択的な修正が可能になります。
対照的検証: 以前は Latent CoT で生成に使用されていた連続埋め込みを、推論時の検証器として再定義するメカニズムを導入します。離散入力と連続入力を対照させることで、ドラフトの信頼性を推定し、明示的 CoT の可読性を犠牲にすることなくドラフトの可視性を調整します。
理論的洞察: 提案された推定量が潜在状態と回答の間の相互情報量を測定することを示し、それがなぜ回答に関連する不確実性を効果的に捉えるのかを説明します。
実証的検証: 数学、コーディング、エージェント的推論タスクにわたって方法を広範に検証し、標準的な CoT ベースラインに対して一貫した改善を示しました。

実験結果

著者らは、Qwen3 および Qwen3.5 モデル（2B、8B、35B スケール）を、GSM8K、Math500、AIME、HumanEval、LeetCode-Contest、およびエージェント的ベンチマーク（BFCL v4、ZebraArena）を含む 10 のベンチマークで評価しました。

精度と効率: CopT は、標準的な CoT と比較して、同等または高い精度レベルでピーク精度を最大**23%向上させ（例：ZebraArena の大規模分割）、トークン使用量を最大57%**削減しました。
数学とコーディング: GSM8K では、CopT は 55.1% のトークン削減で +0.23% の精度向上を達成しました。困難な AIME ベンチマークでは、AIME24 で +3.34%、AIME25 で +2.92% の精度向上を達成しました。
エージェント的推論: 多ターンエージェントタスク（ZebraArena）において、CopT は大規模分割で +23.03% の精度向上を達成し、トークン使用量を 19.6% 削減しました。
潜在的方法との比較: 連続埋め込みを生成に使用するトレーニング不要の方法（Soft-Thinking、SwiReasoning など）とは異なり、CopT はより少ないトークンでより高い精度を達成しながら、完全に明示的で可読な推論を維持します。
レイテンシ: トークンの節約は直接的にレイテンシの削減につながり、HumanEval において CopT はサンプルあたりの平均レイテンシを最大 69% 削減しました。

意義と主張

本論文は、CopT が追加のトレーニングを必要とせずに推論時により費用対効果の高い LLM 推論への実用的な道筋を提供すると主張しています。思考と回答の順序を逆転させ、連続埋め込みを対照的検証器として活用することで、CopT は精度、効率、推論の透明性の間のトレードオフを成功裡にバランスさせています。著者らは、このアプローチが直接連続生成の落とし穴（多様性の低下やノイズなど）を回避しつつ、連続空間に内在する不確実性情報を活用して、いつ思考し、いつ停止するかをより賢明に決定することを強調しています。この手法は、さまざまなモデルアーキテクチャおよび推論ドメインに適用可能な汎用的なフレームワークとして提示されています。