論文要約：Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

1. 概要と背景

本論文は、大規模言語モデル（LLM）の共進化（Co-evolution）学習における「多様性の崩壊（Diversity Collapse）」問題を解決し、自律的なカリキュラム学習を可能にする新しい手法「語彙ドロップアウト（Vocabulary Dropout, VD）」を提案しています。

従来の共進化フレームワーク（例：R-Zero）では、あるモデルが問題（Proposer）を生成し、別のモデルがそれを解く（Solver）という対戦形式で学習を進めます。しかし、実際には Proposer が報酬関数を満たすための狭い問題テンプレートに急速に収束し、Solver にとって学習価値のある多様なカリキュラムが失われる現象が発生します。これは、ゲーム環境における「ルール」のような構造的制約が自然言語には欠如していることに起因すると著者は仮説を立てています。

2. 問題設定

• 多様性の崩壊: Proposer は、Solver の能力の限界付近の問題を生成するように最適化されますが、報酬関数（Solver の自己整合性など）を満たすために、表面的には異なるように見えても本質的に同じ問題テンプレートに収束してしまいます。
• 既存手法の限界: 従来の多様性維持手法は、報酬設計やサンプリング戦略の調整に依存しており、Proposer の「行動空間（Action Space）」そのものを直接制約するものではありませんでした。
• ゲームとの対比: ゲーム（囲碁や将棋など）では、合法手（Legal Moves）という構造的制約が探索を促進し、戦略の多様性を保ちます。一方、言語生成では、トークン空間に同様の制約が欠如しており、モデルが容易に局所最適解に陥ります。

3. 提案手法：語彙ドロップアウト (Vocabulary Dropout, VD)

著者は、ゲームにおける「合法手」の制約に相当するものを言語生成に導入するため、語彙ドロップアウトを提案しました。

• 仕組み:
  • Proposer の出力ログit（logits）に対して、バッチごとにランダムなマスクを適用します。
  • マスクされたトークンは、確率分布に関係なく生成不可能（logit を $-\infty$ に設定）になります。
  • 保護トークン: 構造的に重要なトークン（例：<question>, \boxed{} などの形式記号）はマスクから除外されます。
  • 非定常性: マスクは各バッチで再サンプリングされるため、Proposer は特定のトークン列に固定されず、常に異なる語彙のサブセットから生成を行うことを強いられます。
• 適用タイミング:
  1. トレーニング中: GRPO による方策勾配更新時のサンプリング段階で適用。
  2. カリキュラム生成時: 実際の問題生成フェーズでも適用。
• 効果: 行動空間に「ハード（hard）」かつ「非定常（non-stationary）」な制約を課すことで、Proposer が特定の高報酬テンプレートに収束するのを防ぎ、探索を維持します。

4. 実験設定

• フレームワーク: R-Zero（Huang et al., 2025）の共進化ループを採用。
• モデル: Qwen3-4B と Qwen3-8B のベースモデルを使用。Proposer と Solver は同じモデルから初期化され、交互に更新されます。
• タスク: 数学的推論（GSM8K, MATH, AMC, Olympiad, AIME など）。
• 評価指標:
  • Solver の性能: 各種ベンチマークでの正答率（Pass@1）。
  • Proposer の多様性:
    • 語彙レベル：Self-BLEU。
    • 意味レベル：Vendi Score（埋め込み空間での多様性）、Novelty Rate。
    • 機能的レベル：Epiplexity（カリキュラムの学習可能な情報量）。

5. 主要な結果

5.1 Solver の性能向上

• 8B モデル: 語彙ドロップアウト（保持率 $\alpha=0.75$）を適用した場合、ベースライン（$\alpha=1.0$）と比較して平均 +4.4 ポイント の性能向上を達成しました。特に AMC、Olympiad、AIME などの競争レベルのベンチマークで顕著な改善が見られました。
• 4B モデル: 保持率 $\alpha=0.85$ の場合に最も良い結果（+1.0 ポイント）を示しましたが、$\alpha=0.75$ は強すぎたため性能が低下しました。これはモデル容量とマスク強度のバランスが重要であることを示唆しています。
• Proposer の能力: 共進化によって Proposer 自体の推論能力が向上したわけではありません（むしろ若干低下）。これは Proposer が「問題生成」に特化しており、「問題解決」能力への転移が限定的であることを示しています。

5.2 多様性の維持

• ベースラインの崩壊: ベースライン（VD なし）では、共進化の 1 回目と 2 回目の間で Proposer の多様性が急激に低下し、その後は停滞しました。従来の指標（Self-BLEU など）ではこの機能的な停滞を検出できませんでした。
• VD の効果: VD を適用したモデルは、トレーニングを通じて語彙、意味、機能的なすべてのレベルで多様性を維持しました。
  • Epiplexity: VD 適用群はベースラインより約 35% 高い学習可能な構造を持ちました。
  • Vendi Score: 有効な問題タイプの数がベースラインより約 15 種類多く維持されました。
  • 構造的特徴: VD 適用モデルは、より長い問題文、より多様な数値、より多くのユニークなトークンを使用していました。

5.3 アブレーション研究

• フェーズの重要性: トレーニングフェーズのみ、または生成フェーズのみで VD を適用する実験では、両方のフェーズで適用した場合が最も高い多様性と性能を示しました。
• スケール依存性: 8B モデルは 4B モデルよりも VD の制約を吸収する能力が高く、より強いマスク（$\alpha=0.75$）でも性能を維持・向上させました。
• クロススケール: 8B Proposer と 4B Solver の組み合わせでは、VD が逆に性能を低下させました。これは Proposer と Solver の能力差が大きい場合、VD による多様性圧力が難易度のミスマッチを悪化させるためです。

6. 考察と意義

• 行動空間制約の重要性: 言語モデルの共進化において、報酬設計だけでなく、行動空間（語彙）そのものへの構造的制約が、ゲームにおけるルールと同様に重要な役割を果たすことを実証しました。
• 単純な実装: 追加のモデルや報酬関数の複雑な変更なしに、サンプリング段階でのみマスクを適用するだけで、効果的な多様性維持が可能であることを示しました。
• 今後の展望: VD は「多様性」と「問題の質（正解率）」のトレードオフを生む可能性があります（VD 適用時、Proposer の回答正解率は低下する傾向がありました）。将来的には、より強力な検証機構（コード実行や記号ソルバー）と組み合わせることで、多様性を保ちつつノイズを除去するハイブリッドなアプローチが期待されます。

結論

本論文は、LLM の共進化学習における「多様性の崩壊」を、語彙ドロップアウトという単純ながら強力な手法で解決し、Solver の性能を大幅に向上させることに成功しました。これは、言語モデルの自律的学習において、ゲームのような構造的制約を模倣することが有効であることを示す重要な知見です。