技術的サマリー：G-Zero

1. 問題定義

自己進化型大規模言語モデル（LLM）は、プログラムによるオラクルが強化学習（RLVR）の真実を提供する検証可能な領域（例：数学、コード）において顕著な成功を収めています。しかし、これらのモデルは、客観的な検証者が存在しないオープンエンドな領域（例：創造的ライティング、対話、指示遂行）では苦戦しています。

これらの検証不可能なタスクに対する現在のアプローチは、代理報酬信号を生成するためにLLM-as-a-Judgeメカニズムに大きく依存しています。本論文は、このパラダイムに2つの決定的な限界を特定しています：

1. 能力のボトルネック：進化中のモデルの性能天井は、本質的にジャッジモデルの能力によって制限されます。
2. 報酬ハッキング：モデルは、応答品質を真に向上させるのではなく、ジャッジのスタイル上の脆弱性（例：バイアス、フォーマットへの好み、冗長性）を悪用する傾向があります。

ここで扱われる中心的な問いは、**「外部のジャッジに依存せず、また代理報酬信号の病理を内化することなく、検証不可能な領域において自己進化をどのように拡張できるか？」**です。

2. 手法：G-Zero フレームワーク

G-Zero は、外部検証者を必要とせず、内部分布ダイナミクスからのみ監督信号を導出する検証者不在の共進化フレームワークです。これは、提案者（$\pi_P$）と生成器（$\pi_G$）の2つのモデル間の相互作用を通じて機能します。

2.1 内在的信号：Hint-$\delta$

中核的な革新は、自己生成されたヒントを条件とした際の生成器の分布における予測シフトを定量化する内在的報酬信号、Hint-$\delta$です。

• メカニズム：クエリ $q$ に対して、生成器は支援なしの応答 $a_{hard}$ を生成します。その後、ヒント $h$ が提供され、生成器はヒント条件付き応答 $a_{assisted}$ を生成します。
• 計算：Hint-$\delta$ は、支援なし分布とヒント条件付き分布との間のトークンごとの平均対数尤度差です：
  $$\delta(q, h, a_{hard}) = \frac{1}{T} \sum_{t=1}^{T} \left[ \log \pi_G(a_t | q, a_{<t}) - \log \pi_G(a_t | q, h, a_{<t}) \right]$$
• 特性：大きな $\delta$ 値は、クエリが生成器にとって真に困難である場合（支援なし応答に欠陥がある）かつ、ヒントが必要かつ欠落した情報を提供する場合にのみ発生します。この信号は応答長に対して不変であり、生成器自身の対数確率から完全に計算されるため、外部ジャッジのバイアスを排除します。

2.2 共進化ループ

このフレームワークは、2つのフェーズを含む反復ラウンドで動作します：

フェーズ 1：提案者のトレーニング（GRPO）

• 目的：生成器の $\delta$ を最大化する、挑戦的なクエリ（$q$）と有益なヒント（$h$）のペアを合成するように $\pi_P$ を訓練します。
• 最適化：グループ相対方策最適化（GRPO）を使用します。
• 報酬関数：$r(q, h) = \delta(q, h, a_{hard}) - P_{length} - P_{BLEU}$。
  • $P_{length}$：冗長な報酬ハッキングを防ぐため、文字数予算（約200文字）を超えるヒントにペナルティを課します。
  • $P_{BLEU}$：探索カバレッジを確保するため、反復的なクエリ生成にペナルティを課します。
• 結果：提案者は生成器の「盲点」を標的とし、次第に困難になるタスクのカリキュラムを創出します。

フェーズ 2：生成器のトレーニング（DPO）

• 目的：$\pi_G$ を、ヒントが示唆する構造的・論理的改善を内化するように訓練します。
• データ選定：
  • 提案者が $(q, h)$ ペアを生成します。
  • 生成器は $a_{hard}$（ヒントなし）と $a_{assisted}$（ヒントあり）を生成します。
  • フィルタリング戦略：高い $\delta$ を目指す提案者とは異なり、生成器のトレーニングデータセット（$D_{R+1}$）は、$\delta$ 分布の下半分に位置するペアを保持します。
    • 根拠：高 $\delta$ ペアはしばしば「答えの漏洩」（ヒントが解答を明かすこと）を表し、DPO の暗黙的な KL 制約に違反します。低 $\delta$ ペアは「区別が難しい」信号を表し、ヒントが些細な修正ではなく、微妙で構造的な洗練を誘発する場合に該当します。
• 最適化：長さ正規化された損失を用いた直接選好最適化（DPO）を使用します。
  • 選択済み（$y_w$）：$a_{assisted}$（ヒント誘導型）。
  • 棄却済み（$y_l$）：$a_{hard}$（支援なし）。
  • 参照モデル：ラウンド開始時の $\pi_G$ の固定スナップショット。

3. 理論的解析

本論文は、G-Zero の理想化された標準 DPO 変種に対して理論的保証を提供します。

• 仮定：このフレームワークは、線形報酬構造、ブラッドリー - テリー選好モデル、および提案者が（BLEU 報酬を通じて）十分な探索カバレッジを誘発し、$\delta$ フィルタが疑似ラベルノイズ（$\eta_\delta$）を低く保つことを仮定しています。
• 結果（定理 1）：これらの条件下において、部分最適性ギャップ $J(\pi^*) - J(\pi_{t_0})$ がサンプル複雑性およびノイズレベルに関連する項によって有界となるような反復 $t_0$ が存在します。具体的には、この境界は提案者によって誘発されるカバレッジと、$\delta$ 認証された疑似ラベルスコアのノイズに依存します。これは、外部検証者なしで共進化ループがほぼ最適な方策に収束し得ることを証明します。

4. 実験結果

実験は、2 ラウンドの自己進化を通じて、Qwen3-8B-BaseおよびLlama-3.1-8B-Instructに対して実施されました。

• オープンエンドなタスク：
  • AlpacaEval 2.0（チャット）：G-Zero は大幅な向上を達成しました。Llama-3.1 の場合、長さ制御付き勝率はベースの 24.12% からラウンド 2 で 27.86% に増加しました。
  • IFEval（指示遂行）：両モデルにおいて、厳密および緩やかな指示遵守の両方で改善が観察されました。
• 検証可能なタスク（転移）：
  • 数学（AIME24/AIME25）：主に検証不可能なオープンエンドデータで訓練されたにもかかわらず、G-Zero は顕著な推論の向上を示しました。
    • Qwen3-8B-Base：AIME25 スコアはラウンド 2 後に 7.19% から 12.40% に跳ね上がりました。
    • Llama-3.1-8B-Instruct：AIME25 は 0.42% から 0.63% に改善しました（ベースが非常に低かったことに留意しつつ、獲得は一貫していました）。
• R-Zero との比較：
  • R-Zero（検証者ベースの手法）は数学において強力な向上を示しましたが、会話や指示遂行タスクでは能力の崩壊を招きました（例：Qwen3 チャットは 8.94% から 8.04% に低下）。
  • G-Zero はすべての指標（チャット、IFEval、数学）で性能を維持または向上させ、ジャッジベースの手法で見られるトレードオフなしに、堅牢な汎化性を示しました。

主要な分析結果：

• 構造的転移：トレーニングデータの 70% 以上は検証不可能なタスク（アドバイス、ライティング）で占められていました。数学における推論の向上は、ドメイン固有の暗記ではなく、これらのオープンエンドなタスクからの論理的深さと構成的複雑性の内化に起因すると考えられます。
• 共進化の軍拡競争：Hint-$\delta$ の分布はラウンド 2 で右方向にシフトしました。これは、生成器が向上するにつれて、提案者が学習信号を維持するために、より複雑で影響力のあるヒントを成功裡に合成したことを示しています。

5. 意義と貢献

本論文は、3 つの主要な貢献を主張しています：

1. 検証者不在の共進化フレームワーク：G-Zero は、モデル自身の予測シフトから導出される内在的信号（Hint-$\delta$）を外部ジャッジに代わるものとして用いることで、オープンエンドな領域における継続的な自己改善を可能にします。
2. 理論的特徴付け：著者らは共進化ループを形式化し、最良反復の部分最適性保証を証明しました。これにより、提案者が探索を確保し、フィルタがデータ品質を維持する限り、自己進化は理論的に健全であることが示されました。
3. ドメイン間転移の実証的検証：この研究は、モデルが検証不可能なオープンエンドタスクから論理的推論パターンを内化し、数学のような厳密で検証可能な領域へ成功裡に転移し得ることを示しています。これは、自己進化の拡張に検証可能なオラクルや外部ジャッジが必要であるという考え方に挑戦するものです。

結論：
G-Zero は、自律的な LLM 自己進化のためのスケーラブルで堅牢な道筋を提供します。内部分布ダイナミクスから監督を導出することで、外部ジャッジの能力天井と報酬ハッキングの脆弱性を回避し、モデルが内在的フィードバックのみを用いて能力を向上させ得ることを証明しています。