テクニカル・サマリー: TTRL-CoCoV

問題提起

テスト時強化学習（Test-Time Reinforcement Learning: TTRL）は、人間によるアノテーションやオラクルラベルを必要とせず、自己サンプリングと内部報酬構築を通じてポリシーを最適化することで、大規模言語モデル（LLM）の推論能力を向上させるラベルフリーのパラダイムとして台頭しています。近年のTTRL手法は、シングルパス生成の精度（Pass@1）の向上には成功していますが、Pass@k（$k$個のサンプル内における生成カバレッジ）の最適化については、ラベルフリーの設定下において極めて未開拓な領域のままです。

標準的な「検証可能な報酬を用いた強化学習（RLVR）」におけるPass@k最適化戦略を、そのままTTRLに適用することは、経験的な分析によって特定された以下の3つの根本的な課題により、失敗に終わります：

1. ノイズの多い探索シグナル: Pass@kの最適化は、低信頼度のサンプルを探索することに依存しています。ラベルフリーの設定では、これらのサンプルは深刻な疑似ラベルノイズにさらされており、それが探索シグナルを汚染し、パフォーマンスを低下させます。
2. 長さの分散崩壊（Length Variance Collapse）: 教師ありの設定とは異なり、TTRLにおけるPass@k最適化は、応答の多様性を維持することに失敗します。モデルは「長さの崩壊」を示し、応答の標準偏差が縮小し、硬直的で反復的な推論テンプレートへと早期収束する傾向があります。
3. 定式化の失敗: 標準的な教師ありPass@k用のアドバンテージ定式化は、非教師あり環境には効果的に転移せず、意図した探索空間の拡大ではなく、実際のPass@k性能の低下を招きます。

手法: TTRL-CoCoV

著者らは、生成器（Generator）と検証器（Verifier）の両方の役割を果たす単一の共有重みモデル（$\pi_\theta$）を用いる新しいフレームワーク、TTRL-CoCoV（Confidence-Conditioned Verificationを用いたTest-Time Reinforcement Learning）を提案しています。その中核となる革新は、モデルの内部コンセンサス信頼度（$C_{maj}$）に基づいて検証リソースを動的に割り当てる信頼度条件付きメカニズムであり、これにより特定された課題を解決します。

本フレームワークは、サンプルを以下の3つの異なる最適化ゾーンに分類します。

1. 高信頼度探索ゾーン ($C_{maj} \ge \tau_{high}$)

• 状態: モデルが高いコンセンサスを示しており、疑似ラベルは信頼できるとみなされます。
• アクション: 多数決による回答を疑似ラベルとして使用します。ここでは、フィルタリングのためではなく、高品質なデータを用いて検証器をブートストラップ（立ち上げ）するために、検証が有効化（$I_{verify}=1$）されます。これにより共進化が可能になります。
• 多様性メカニズム: 標準的なTTRLで見られる「長さの崩壊」を防ぐため、**探索強化報酬（$R_{div}$）**が適用されます。この報酬は、正しくラベル付けされたサンプルに対して、軌跡の多様性（平均応答長からの偏差）をインセンティブとして与え、習得済みの問題に対してもモデルが多様な推論戦略を探索し続けられるようにします。

2. 低信頼度検証ゾーン ($C_{mj} < \tau_{low}$)

• 状態: モデルのコンセンサスが低く、多数決による疑似ラベルは非常にノイズが多い状態です。
• アクション: フレームワークは、疑似ラベルの選択を検証器に委ねます。モデルは候補となる回答に対して、複数の検証軌跡を生成します。
• フィルタリング: 高い検証通過率（VPR）を持つ候補のみが信頼セットに採用されます。もしどの候補も通過しない場合は、誤ったグラディエントでモデルを汚染することを防ぐために、そのサンプルはスキップされます。これにより、「ノイズの多い探索シグナル」の課題を解決します。

3. 中間信頼度遷移ゾーン ($\tau_{low} \le C_{maj} < \tau_{high}$)

• 状態: 検証を行っても多数決と比較して顕著な利点が得られない、曖昧な信頼度レベルです。
• アクション: 推論オーバーヘッドを削減するため、検証はバイパス（$I_{verify}=0$）されます。追加の探索報酬なしで、多数決による回答が直接ジェネレータの更新に使用されます。

学習目的

総損失は、生成ポリシー損失（$L_{first}$）と検証ポリシー損失（$L_{second}$）の加重和です。検証損失には非対称ソフト報酬行列を採用しており、誤った回答を誤って検証してしまう「偽陽性」を「偽陰性」よりも重く罰することで、検証器が厳格なフィルターとして機能するように設計されています。

2段階のアニーリング戦略

ラベルフリーと教師あり学習のギャップをさらに埋めるために、著者らはポストトレーニングにおけるポリシー・アニーリングフェーズを導入しています。初期の「探索」フェーズ（TTRL-CoCoV）の後、多様性報酬を取り除き、シングルパスのPass@1最大化に焦点を当てた「活用（Exploitation）」フェーズへと移行します。これにより、探索中に蓄積された多様な推論軌跡を、高度に最適化された解へと洗練させることができます。

主な貢献

1. 経験的診断: 本論文は、非教師ありTTRLにおけるPass@k最適化の失敗モードに関する初の体系的な調査を提供し、ノイズの多いシグナル、多様性の崩壊、および定式化の不一致を根本原因として特定しました。
2. 信頼度適応型フレームワーク: TTRL-CoCoVは、生成器と検証器が共進化するメカニズムを導入しています。高信頼度のサンプルが検証器を訓練し、その検証器が低信頼度のサンプルのためのノイズをフィルタリングするという、好循環を生み出します。
3. 探索強化報酬: 高信頼度領域において特に軌跡の多様性を維持するために設計された、カスタマイズされた報酬メカニズム（$R_{div}$）を提供し、早期収束を防ぎます。
4. SOTA（最先端）の性能: 本手法は、Qwen3-4BおよびQwen3-8Bバックボーンを用い、複数のベンチマークにおいて最先端の結果を達成しました。

実験結果

実験は、Qwen3-4BおよびQwen3-8Bのバックボーンを使用し、6つの推論ベンチマーク（MATH500, AIME24/25, AMC, GPQA, DAPOを含む）で実施されました。

• Pass@1の向上: TTRL-CoCoVは、Qwen3-4Bにおいて標準的なTTRLに対し平均絶対利得**+9.8%、Qwen3-8Bにおいて+6.2%**を達成しました。
• Pass@16の向上: 生成カバレッジにおいて劇的な向上が見られ、TTRLと比較して平均絶対改善率は、Qwen3-4Bで**+18.7%、Qwen3-8Bで+13.0%**に達しました。
• 教師ありベースラインの超越: 2段階のアニーリング戦略を通じて、完全非教師ありのTTRL-CoCoVは、特定の複雑な推論ベンチマーク（AIME25, GPQAなど）において、完全教師ありのGRPOベースラインに対して最大**+5.0%**のPass@1向上を実現し、教師あり手法によって確立された性能の天井を事実上打ち破りました。
• 安定性: フレームワークは、学習を通じて安定した報酬精度（>0.8）を維持し、競合する手法で見られる学習終盤の疑似ラベル崩壊を回避しました。

意義と主張

本論文は、TTRL-CoCoVが非教師あり学習における「検証と生成のギャップ」を根本的に解決していると主張しています。検証能力は一般に生成能力につながることを示すことで、本フレームワークは、自身の出力を検証する能力を利用して、学習シグナルを洗練させています。

著者らは、彼らのアプローチが、探索空間（Pass@k）をまず拡大し、その後に精緻化（アニーリング）することで、学習プロセス中にグラウンドトゥルース（正解ラベル）を一切必要とせずに、困難な推論タスクにおいて、完全教師ありのベースラインの性能上限に匹敵、あるいはそれを超えることができることを実証したと断言しています。