技術的サマリー：OpenDeepThink

問題定義

大規模言語モデル（LLM）におけるテスト時計算の拡張に向けた現在のパラダイムは、主に単一の推論経路の深さの拡張（例えば、より長い思考の連鎖や木探索）に焦点を当てています。これらは効果的ですが、これらの逐次的手法は決定的な脆弱性に悩まされています。すなわち、初期の単一の誤りが全体の軌道を台無しにしてしまうという点です。一方、複数の候補を生成するベスト・オブ・N サンプリングのような並列的手法は、「選択のボトルネック」に直面します。プールから最良の候補を選択するには、通常、真の答えを持つ検証器（オープンエンドなタスクでは利用不可能）、訓練された報酬モデル、またはポイントごとの LLM 審判が必要です。本論文は、ポイントごとの LLM 審判は本質的にノイズが多く、肯定的なバイアスがかかっており、外部検証がない場合、正しい解と誤った解を区別する信頼性の低い手段であると指摘しています。

手法：OpenDeepThink

著者らは、外部検証器やドメイン固有のインフラを必要とせずに推論の幅を拡張するように設計された、集団ベースのテスト時計算フレームワークであるOpenDeepThinkを導入します。このシステムは、$n$個の候補解の集団を維持し、生成者と審判の両方として機能する単一の LLM（$\pi$）を用いて、$T$世代にわたってそれらを進化させます。

パイプラインは、各世代において 3 つの明確なフェーズで動作します。

1. 並列サンプリングとペアワイズ比較:

   • システムは$n$個の候補解で初期化されます。
   • 各世代において、候補はランダムにペアリングされます（各候補あたり$K$人のピア）。
   • LLM 審判はペアワイズ比較を行い、仮想的なオンライン審判に受理される可能性が高い解を決定します。重要なのは、審判が判決を説明する自然言語の根拠（批評）も生成することです。
   • 位置バイアスを軽減するため、候補の提示順序はランダム化されます。

2. ブラッドリー・テリー集約:

   • 生勝率に依存するのではなく、システムはブラッドリー・テリー（BT）モデルを用いてペアワイズの結果を集約します。
   • BT モデルは、対戦相手の強さを考慮して観測された比較の対数尤度を最大化することで、各候補のグローバルなスキルスコア（$s_i$）を推定します。この「ソフト検証器」は、ノイズの多いペアワイズ投票を整合性のあるグローバルな順位付けに変換します。
   • 選択: 上位 25% の候補は「エリート」として維持されます。下位 25% は破棄されます。中間 50% とエリート（合計上位 75%）は変異に進みます。

3. フィードバック駆動型変異:

   • 上位 75% の候補は、ペアワイズ比較から集約された自然言語の批評に基づいて変異します。
   • 変異のプロンプトは、モデルが現在の解を洗練させるか、あるいは根本的に異なるアプローチのために完全に放棄するかを選択することを明示的に許可します。これは、モデルが単に欠陥のある戦略を「パッチ」することを防ぐように設計されています。
   • このプロセスは$T$世代繰り返されます。

4. 最終選択:

   • 最終世代後、残りの集団に対して、より密なペアワイズ比較（$M$人のピア）が実施されます。
   • 最終的なブラッドリー・テリー順位付けにより、提出される解が選択されます。

パイプライン全体は、各ラウンド内で「驚くほど並列的」に設計されており、逐次的な深さは 8 回の LLM 呼び出しのみを必要とします（1 回の初期サンプリング、$T=3$の場合の世代あたり 2 ラウンド、および 1 回の最終選択ラウンド）。

主要な貢献

1. 検証器不要のフレームワーク: OpenDeepThink は、ブラッドリー・テリーを介して集約されたペアワイズ LLM 審判を「ソフト検証器」として使用することで、真の答えを持つテストケースや訓練された報酬モデルの必要性を排除します。
2. 集団ベースの進化: 単一の経路を反復する自己洗練手法とは異なり、OpenDeepThink は多様な集団を維持し、自己評価ではなく直接対決による比較を通じて誤りを表面化させます。
3. モデル間転移性: このフレームワークは、単一のハイパーパラメータセットが、再チューニングなしで能力の異なるモデル（Gemini 3.1 Pro、3 Flash、および 2.5 Pro）間で推論を効果的に拡張できることを示しています。
4. CF-73 データセット: 著者らは、事前学習の汚染を避けるように特別に設計された、99% の一致率を持つローカル評価と公式判決を備えた、73 問の専門家による注釈付き Codeforces 問題（評価 2000–3100）からなる CF-73 を公開します。

実験結果

このフレームワークは、ベースモデルとして Gemini 3.1 Pro を使用し、192 問の競技プログラミング問題（CF-73 および NOI-119）と、マルチドメイン HLE ベンチマークの 82 問で評価されました。

• 競技プログラミング（Codeforces）:

  • OpenDeepThink は、8 回の逐次ラウンド（ウォールクロック時間約 27 分）で、Gemini 3.1 Pro の有効な Codeforces Elo を**+405 ポイント**（約 2851 から約 3256）増加させました。
  • この gain は、LiveCodeBench Pro においてベースモデルに対して「Gemini 3 Deep Think」が達成した +411 ポイントの改善と同等です。
  • 「Hard」な問題（ベースの pass@1 が約 11%）において、このフレームワークは進化を通じて合格率を 36% に、選択を通じて 50% に向上させました。
  • このフレームワークは、ハイパーパラメータのチューニングなしに、より弱いモデル（Gemini 3 Flash）およびより強力なモデル（Gemini 2.5 Pro）へも正常に転移しました。

• クロスドメイン（HLE ベンチマーク）:

  • 結果は混合しており、ドメインに依存しました。客観的に検証可能なドメイン（数学、生物学、物理学）では、フレームワークは改善を示しました（例：物理学で +17 ポイント）。
  • 主観的なドメイン（人文科学、社会科学）では、パフォーマンスは著しく低下しました（例：人文科学で -25 ポイント）。
  • 著者らは、これをペアワイズ審判の信頼性に起因すると結論付けています。審判が正しさを信頼性を持って区別できる場所では、BT 集約は信号を増幅しますが、判断が曖昧な場所では、反復的な選択はノイズを増幅します。

• アブレーション研究:

  • ペアワイズ対ポイントワイズ: ペアワイズ審判は診断セットで 86% の精度を達成し、ポイントワイズ審判の 59% と比較して、絶対スコアリングに対する相対比較の優位性を確認しました。
  • フィードバック信号: 否定的フィードバック（何が間違っていたかの批評）が変異の改善のほぼすべてを牽引しました。肯定的フィードバックはほとんど利益をもたらさなかったのです。
  • 進化対選択: 簡単な問題では、選択（BT 集約）が支配的な要因でした。難しい問題では、進化的変異プロセスが改善の主要な駆動力でした。

意義と主張

本論文は、OpenDeepThink がテスト時計算拡張における根本的なボトルネック、すなわち外部検証なしに並列プールから最良の候補を選択できないという問題に対処していると主張しています。ペアワイズ・ブラッドリー・テリー集約とフィードバック駆動型変異を組み合わせることで、このフレームワークは LLM がオープンエンドなドメインにおいて推論の品質を反復的に改善することを可能にします。

著者らは、このフレームワークの有効性がペアワイズ審判の信頼性と密接に結びついていると主張しています。これは「ソフト検証器」として機能し、客観的な正しさの基準を持つドメイン（競技プログラミングなど）ではパフォーマンスを大幅に向上させますが、審判が正しい推論と誤った推論を信頼性を持って区別できない主観的なドメインでは、パフォーマンスを低下させる可能性があります。この研究は、基礎となる判断メカニズムが堅牢である限り、将来の拡張努力は絶対的な自己評価ではなく、相対比較を活用する集団ベースの設計に焦点を当てるべきであることを示唆しています。