💻 computer science

When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning

本論文は、推論時間と早すぎるコミットメントの間のトレードオフをバランスさせるために、生成中のコンテンツ開示のタイミングを動的に制御することを可能にするサイド・バイ・サイド（SxS）インターリーブ推論という枠組みを導入し、それによって各種ベンチマークにおける精度と遅延の性能を向上させるものである。

原著者： Jiaqi Wei, Xuehang Guo, Pengfei Yu, Xiang Zhang, Wanli Ouyang, Siqi Sun, Qingyun Wang, Chenyu You

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiaqi Wei, Xuehang Guo, Pengfei Yu, Xiang Zhang, Wanli Ouyang, Siqi Sun, Qingyun Wang, Chenyu You

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが複雑なパズルの解決を、非常に慎重だが天才的な友人に頼んでいると想像してください。

古い方法：「沈黙税」
現在の大規模言語モデル（LLM）の仕組みでは、その友人は声に出して考えなければなりません。しかし、ここには落とし穴があります。一度言葉を発すると、その言葉は公開されてしまい、取り消せなくなるのです。

深く考えるために沈黙していると、あなたは気まずい沈黙の中で待たされることになります（これが「沈黙税」です）。
礼儀正しくするためにすぐに話し始めると、間違ったり、未熟なことを言ったりする可能性があります。一度言ってしまった以上、その考えに「コミット」したことになるため、後で軌道修正することが難しくなります。彼らは、早口で話しすぎたという理由だけで、揺るぎない土台の上に建て続けることを強いられます。

新しいアイデア：並列推論（Side-by-Side: SxS）
この論文は、AI が話す新しい方法として**並列推論（Side-by-Side: SxS Interleaved Reasoning）**を導入します。

これは、秘密の材料を使った生放送の料理番組のようなものです。

「考える」モード（非公開）： 料理人（AI）はキッチンで、材料を切り、味見をし、混ぜています。この部分は見ることができません。これは彼らのプライベートな作業スペースです。
「話す」モード（公開）： 料理人はカウンターに出て、「今、塩を加えます」とあなたに伝えます。
魔法のルール： 料理人がカウンターに出て話すことができるのは、すでに料理を味見し、塩を加えるのが正しいと 100% 確信している場合に限られます。沈黙を埋めるために推測を叫ぶことは許されません。

仕組み（「含意」のトリック）
この論文は AI に特定のルールを教え込みます：「話す前に、その発言を支える思考が整うまで待て」。

料理人の訓練： 研究者たちは、AI が問題を解決した数千の例を取り上げ、「監督者（別の AI）」を使ってチェックさせました：「この特定の思考ステップは、本当にこの特定の答えのステップを証明しているか？」
並列のダンス： 彼らは、「思考（非公開）」と「発言（公開）」の間を行き来する新しい訓練形式を作成しました。
- 思考： 「面積を計算する必要がある」（非公開）
- 思考： 「公式は長さ×幅だ」（非公開）
- 発言： 「面積は 50 です」（公開。なぜなら思考がそれを証明したから）
- 思考： 「待て、単位を再確認しよう」（非公開）
- 発言： 「つまり、50 平方メートルです」（公開）

結果：両方の利点
この論文は、2 つの異なるサイズの AI モデルを用いて、数学問題（AIME25）と科学問題（GPQA-Diamond）でこれをテストしました。

より速い更新： 最終的な答えを待つために 20,000 トークン（非常に長い時間）を待つのではなく、AI は今や検証済みの小さな答えの断片を、はるかに早く提供します。まるで、回転するロードアイコンではなく、実際に動くプログレスバーを得たようなものです。
「つなぎ言葉」の排除： AI は証明がある場合のみ話すように訓練されているため、沈黙を埋めるために意味のないおしゃべりをすることはありません。
精度は高いまま維持： 通常、AI に早期に話させることは、それを愚かにさせることがあります。しかし、この方法は 2 段階の訓練プロセス（まずモードの切り替え方を学び、次に強化学習を用いて答えがまだ正しいことを確認する）を使用しているため、AI は賢さを保ちます。
「パレート」の勝利： この論文は、これがより良いバランス（「パレートのトレードオフ」）を生み出すと主張しています。最終的な答えの質を犠牲にすることなく、より速く、より頻繁な更新を得ることができます。

まとめ
この論文は、AI に自信に満ちた、検証済みの話者になることを教えることで、「沈黙税」を解決します。これにより、モデルは作業中は「思考の帽子」を被ったままにし、その一部が確実であると分かっている場合のみ、それを外して解決策の一部を共有できるようになります。これにより、AI が沈黙を埋めるために推測したり嘘をついたりすることを強いることなく、インタラクションはより速く、反応性のあるものになります。

技術的概要：思考するタイミングと発言するタイミング：LLM 推論における開示ポリシーの学習

問題定式化

現在の単一ストリーム自己回帰型大規模言語モデル（LLM）は、内部状態の更新と公開開示の結合という構造的な限界に直面している。標準的なインターフェースでは、生成されるすべてのトークンが、モデルの隠れ状態を更新すると同時に、不可逆的な公開のコミットメントとなる。これにより「沈黙税」が生じる。ユーザーはタスクに関連するコンテンツを見るために推論プロセス全体が完了するのを待たなければならないか、あるいはモデルが早期にストリーミングすることで、根拠のない主張がその後の生成を偏らせる可能性を伴う「早すぎるコミットメント」のリスクに晒される。

Chain-of-Thought（CoT）プロンプティングは、中間推論を誘発することで精度を向上させるが、 deliberation（熟考）を長くユーザーに見える前文として顕在化させることで、この緊張関係を悪化させる。既存の解決策は、開示のための固定テンプレートやヒューリスティックに依存するか、低情報のフィラーを促す形で早期出力をインセンティブ化するかのいずれかである。ここで扱われる核心的な問題は、標準的な自己回帰デコーディング内で開示のタイミングを学習可能な決定変数とし、早期に見えるテキストがその時点までに生成された推論によって厳密に裏付けられることを保証する方法である。

手法：並列（Side-by-Side: SxS）インターリーブ推論

著者は、単一のトークンストリーム内で可視性を制御可能な属性として扱うフレームワークである並列（Side-by-Side: SxS）インターリーブ推論を提案する。モデルは各ステップで以下の 2 つの行動のいずれかを選択する：

思考（R）: 非公開の熟考（秘匿）。
発言（A）: ユーザー向け開示。

両方の行動は同じ自己回帰コンテキスト内で発生する。「発言」トークンは、モデルがより早期に公開することを選択する最終応答のプレフィックスを形成し、「思考」トークンは、以前のコミットメントと矛盾することなく、継続的な非公開の洗練を可能にする。

学習パイプライン

このアプローチは、フィラーをインセンティブ化せずにペース配分を学習するための 2 段階の学習プロセスを採用する：

帰属整合 Supervised Fine-Tuning（SFT）:
- データ構築: 標準的な $(x, r, a)$ 三つ組（入力、推論、回答）をインターリーブされた軌道に変換する。
- 整合: 帰属チェッカー（大規模 LLM を実装）が、与えられた推論プレフィックスによって支持される最大の回答プレフィックスを決定する。
- インターリーブ: モデルは、帰属境界が前進したときのみ回答ブロックを出力するように学習される。これにより、「早期」の開示は「支持された」開示と同義となることを保証する。
- 追跡推論: 完全な回答が推論シーケンスの終了前に支持される場合、残りの推論は、解決後の行動（例：自己チェック）を保持するために追跡ブロックとして付加される。
強化学習（RL）:
- 目的: SFT は二重行動のセマンティクスを教えるが、インターリーブ形式は最終タスク精度を低下させる可能性のある分布シフトを引き起こす。RL は、この新しい形式下で推論性能を回復するために使用される。
- アルゴリズム: グループ相対方策最適化（GRPO）が、最終回答の正否のみを報酬とする（outcome-only reward）とともに使用される。
- 粒度制御: 著者は、正解と不正解のロールアウトを分離して正しさのシグナルを厳密に保持しつつ、より短い推論ブロック（より高い粒度）を促すためのオプションの報酬成形メカニズムを、二次計画を用いて検討する。

主要な貢献

制御としての開示: 本論文は、標準的な自己回帰デコーディング内で開示のタイミングを（思考対発言の）逐次決定問題として形式化し、アーキテクチャの変更や個別のモデルを必要とせずに可視性を制御可能な属性へと変える。
正当化された早期開示: 帰属整合されたインターリーブ軌道を構築することで、この手法は早期開示が安全に提示されることを保証し、早すぎるコミットメントやフィラーを回避する。
パレートトレードオフの学習: SFT と RL の組み合わせは、異なるモデルアーキテクチャ（MoE 対 Dense）、スケール、ドメインにわたって、精度とレイテンシのトレードオフを改善することを示している。

実験結果

著者は、SxS を 2 つの Qwen3 アーキテクチャ（MoE の Qwen3-30B-A3B と Dense の Qwen3-4B）で評価し、ドメイン内（AIME25）およびドメイン外（GPQA-Diamond, LiveCodeBench, KOR-Bench）のベンチマークで検証した。

沈黙税の打破: SxS は、ユーザーの待ち時間のトークンレベルの代理指標である**平均応答間待ち時間（Average Inter-Response Wait: AIRW）**を大幅に削減する。例えば、Qwen3-4B において、AIRW は標準 CoT の約 21,316 トークンから SxS の約 8,519 トークンに低下し、より頻繁な部分開示を示している。
精度の回復: SFT は、分布シフトにより当初精度を低下させる（例：Qwen3-30B-A3B は SFT 後、76.9% から 50.8% に低下）。しかし、その後の RL ステージは、インターリーブ構造を維持しつつ、精度を 79.2% まで回復させることに成功した。
ドメイン外での頑健性: SxS は、ドメイン外タスクにおける破滅的忘却を緩和する。GPQA-Diamond において、数学特化の RL 後の標準 CoT は大幅な低下（例：Qwen3-4B で 55.9% から 19.0%）を示したが、SxS は 49.3% と実質的に高い精度を維持した。
粒度の安定性: インターリーブ動作は、結果のみの RL 下でも頑健である。RL はインターリーブ頻度をわずかに減少させる傾向があるが、単一の巨大な推論ブロックに崩壊することはない。必要に応じて、報酬成形を通じて粒度を能動的に制御できる。

意義と主張

本論文は、応答のペース配分を、推論モデルにとっての実用的かつ未探索の制御次元として位置づけている。著者は、SxS がアーキテクチャの変更なしに精度・コンテンツ・レイテンシのパレートトレードオフを改善すると主張する。開示を、具体的な支持条件（帰属）に結びつけられた学習されたコミットメントポリシーとすることで、この手法はモデルが信頼性を維持しつつ、部分的な進捗をより早期に明らかにすることを可能にする。

これらの知見は、熟考と応答性の間の認識されたトレードオフは、単一ストリーム開示の慣習によって大きく形作られていることを示唆している。SxS は、ペース配分がヒューリスティックによって強制されるのではなく、安定した行動ポリシーとして学習可能であることを実証しており、モデルが正当化された部分的な進捗を早期に開示し、非公開で熟考を継続する「いつでも相互作用（anytime interaction）」を可能にする。著者は、絶対的な精度の向上が時として穏やかである一方で、意味のある可視更新間の遅延の一貫した削減が、ユーザーが知覚する応答性の大幅な改善を表していると指摘している。