技術的サマリー：自信調整型自己進化（COSE）

問題定義

自己進化型大規模言語モデル（LLM）は、生成した学習タスクを自ら生成し、解決し、人間が手作業でキュレーションした監督に完全に依存せずに自己生成フィードバックから学習することで、推論能力の向上を目指しています。しかし、コードの実行や数学的な厳密な一致による検証が不可能な領域においては、重大なボトルネックが存在します。これらの「オープンドメイン」設定では、モデルはタスクの妥当性を判断する「バリデーター」と、回答の正しさを評価する「ジャッジ」の両方の役割を担わなければなりません。

核心的な課題は「ノイズの多い自己生成フィードバック」です。困難なタスクを生成できる能力を持つモデルが、それらのタスクを正しく検証したり、提案された解決策の正しさを判断したりする能力を欠く可能性があります。モデルが誤って欠陥のあるタスクを承認したり、誤った回答を正解として誤って判断したりする場合、これらの誤りは報酬信号に変換されます。標準的な自己進化ループにおいて、これらの誤った信号は勾配更新を駆動し、誤った推論パターンを強化することで、最適化の不安定性や性能の低下を招きます。既存のアプローチは、外部検証器への依存（汎用性の制限）や、すべての自己生成フィードバックを同様に信頼できる監督として扱うこと（フィードバック生成プロセスに内在する不確実性を考慮しないこと）に依存しています。

手法：COSE

著者は、LLM の内在的な自信を軽量な不確実性シグナルとして利用し、学習プロセスを調整するフレームワーク「COSE（Confidence-Orchestrated Self-Evolution）」を提案します。COSE は、4 つの役割を担うようプロンプトされた単一のバックボーンモデル $\pi_\theta$ を採用します：提案者（質問を生成）、バリデーター（質問の品質をスコアリング）、ソルバー（回答を生成）、ジャッジ（回答の正しさをスコアリング）。

核心的な革新は、フィードバックを真のラベルとして扱うのではなく、フィードバック生成中にバリデーターとジャッジのトークンレベルの出力分布から直接自信を推定することにあります。

1. 自信推定

COSE は、モデルのトークンレベルの出力分布の正規化エントロピーに基づいて自信（$c$）を計算します。語彙 $\mathcal{V}$ 上の確率分布 $P_t$ を持つ生成トークン $t$ について：
$$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$$
シーケンスレベルの自信（$c_{seq}$）は、トークンレベルの自信の平均です。この指標は不確実性のヒューリスティックとして機能します。低エントロピー（高自信）はモデルが判断について確信を持っていることを示し、高エントロピー（低自信）は不確実性を示します。

2. 自信重み付け PPO

COSE は、これらの自信スコアを近接方策最適化（PPO）の目的関数に統合し、各サンプルの勾配寄与をスケーリングします。

• 提案者重み（$w_P$）： 質問の品質（$v$）とバリデーターの自信（$c_V$）に基づいて更新をスケーリングします。
  $$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$$
• ソルバー重み（$w_S$）： 質問の品質、バリデーターの自信、およびジャッジの自信（$c_J$）に基づいて更新をスケーリングします。
  $$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$$
  不確実なサンプルを完全に破棄するのではなく、重みの下限を 0.1 に制限することで、COSE は探索を維持しつつ、高分散で低自信のフィードバックが最適化を支配するのを防ぎます。

3. 自信優先リプレイ

リプレイバッファは、有効であるだけでなく、モデルの現在の能力境界付近にある質問のサンプリングを優先します。優先度は以下のように定義されます。
$$\text{priority}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$$
ここで、$p(q)$ は平均解決率です。項 $4p(q)(1-p(q))$ は $p(q) \approx 0.5$ のときに最大化され、モデルが約半数の確率で解決できる質問（「学習の最前線」）に学習を集中させます。自信の項は、検証が不確実な質問が過剰にサンプリングされないことを保証します。

主要な貢献

1. 最適化ボトルネックの特定： 本論文は、単なるデータの不足とは区別される、自己進化型 LLM における中心的な最適化ボトルネックとして、ノイズの多い自己生成フィードバック（検証および判断の両方）を特定しました。
2. 学習制御の定式化： 著者は、フィードバック信号が学習に与える影響をその内在的な自信によって調整する、サンプルごとの学習制御タスクとして問題を定式化しました。
3. 実証的検証： 19 のホールドアウトベンチマークおよび 4 つのモデルバックボーン（Qwen および Llama ファミリー、0.6B–4B パラメータ）にわたる広範な実験を通じて、著者は COSE がベースモデルに対して一貫して改善し、以前の自己進化ベースライン（AZR、MAE、R-Zero）を上回るか、あるいは競争力のある性能を示すことを実証しました。

実験結果

評価は、一般推論、数学、コード生成を網羅しています。

• 一般推論： COSE は、すべての 4 つのバックボーンにおいて平均性能が最も高くなりました。特に、より弱い Qwen3-0.6B および Llama-3.2-3B モデルにおいて、COSE は大幅な改善（Qwen3-0.6B で +28.5 ポイントなど）をもたらし、ベースラインを大幅に上回りました。著者は、弱いモデルほどノイズの多いフィードバックを生成するため、COSE の自信重み付けがこれらの誤りの影響を効果的に減衰させるのに対し、ベースラインはそれらを強化してしまうことに起因すると述べています。
• 数学： COSE は、困難な数学ベンチマーク（Olympiad-Bench、Minerva など）で最も大きな改善を示しました。結果は、ジャッジがもっともらしいが誤った導出を区別しなければならない場合に、自信制御が特に重要であることを示唆しています。これは、単純な自己判断がしばしば失敗するシナリオです。
• コード生成： 実行可能な検証が可能なドメイン（コード）において、COSE は競争力のある性能を維持しています。外部検証器に依存する手法（AZR など）は特定のバックボーンでわずかに良いパフォーマンスを示すことがありますが、COSE は重大な後退を被っていません。これは、フィードバックがすでに信頼できるドメインにおいて、自信重み付けが性能を損なわないことを示しています。
• アブレーション研究： 自信重み付け PPO を除去すると、特に数学において最も顕著な性能低下が生じ、勾配強度の制御が成功の主要な要因であることを確認しました。リプレイ優先度の除去は、より小さいながらも一貫した負の影響を及ぼしました。

意義と主張

本論文は、モデルが自身のフィードバックから学習するだけでなく、不確実なフィードバックが学習にどの程度強く影響するかを制御する場合、自己進化がより効果的になると主張しています。

• ロバスト性： COSE は、自己進化ループにおける誤りの増幅を防ぐメカニズムを提供します。モデルが自身の不確実性を認識できる限り、バリデーター/ジャッジが不完全であっても、自己生成データから恩恵を受けることを可能にします。
• 汎用性： 実行可能ドメインに限定された手法とは異なり、COSE は外部検証器が利用できないオープンドメインの推論タスクにおける自己進化を可能にします。
• 謙虚さ： 著者は明確に、自信は正しさの保証ではなく、ヒューリスティックな不確実性シグナルであると述べています。高自信の出力であっても、特に敵対的または分布外の問題においては誤り得ることを認めています。さらに、この手法はトークンレベルの確率（ロジット）へのアクセスに依存しており、追加のサンプリング戦略なしにはブラックボックス API への直接的な適用を制限します。実験は比較的小さなオープンウェイトモデル（0.6B–4B）で行われており、より大規模なモデルへのスケーリング挙動は今後の課題として残されています。

要約すると、COSE は、自己生成フィードバックを均一な監督として扱うことから、モデルがその信号を生成する際の自身の自信によって重みが決定される加重信号として扱うことへの転換を表しています。このアプローチは、モデルが改善しつつあるものの、自己評価能力がまだノイズの多い過渡的な中間領域において、自己進化プロセスを安定化させます。