技術要約：対照的弱モデルから強モデルへの汎化（ConG）

問題提起

弱モデルから生成されたサンプルを用いてより強力なモデルを学習させる手法は、人間によるフィードバックや明示的な報酬モデルを必要とせずに、大規模言語モデル（LLM）をスケールアップするための有望なパラダイムとして、弱モデルから強モデルへの汎化（W2SG）として台頭してきました。しかし、W2SGの現実的な適用可能性は、現在、弱いモデルが生成する出力に内在するノイズ、バイアス、および低品質によって阻害されています。これらの欠陥は、結果として得られる強力なモデルの堅牢性と汎化能力を制限し、信頼性の高い能力転移をしばしば妨げます。本研究が取り組む中心的な課題は、明示的な報酬（例：人間のフィードバックや個別の報酬モデル）に依存することなく、いかにして高品質でデノイズ（ノイズ除去）されたサンプルを弱モデルから抽出するかという点です。

手法：対照的弱モデルから強モデルへの汎化（ConG）

著者らは、暗黙的報酬（implicit rewards）と対照的デコーディング（Contrastive Decoding: CD）の間の構造的等価性を活用して高品質な学習データを生成するフレームワークであるConGを提案しています。

1. 理論的基礎：CD–暗黙的報酬の相関

本論文の核心的な洞察は、CD–暗黙的報酬相関の定式化にあります。

• 暗黙的報酬: 選好アライメント（例：DPO）において、暗黙的報酬は、アライメント後のポリシー（$\pi_r$）とアライメント前の参照ポリシー（$\pi_{ref}$）の間の対数尤度比としてパラメータ化されます。
• 対照的デコーディング (CD): CDは、強力なモデルの確率分布を、より弱いモデル（または参照モデル）と対照させることでトークンを生成するデコーディング戦略です。
• その関連性: 著者らは、トークンレベルの暗黙的報酬が、数学的にCDにおける対照項と等価であることを示しています。具体的には、CDは暗黙的報酬を近似的に最大化するトークンを生成します。対照係数 $\alpha$ を調整することで、暗黙的報酬の重みを制御でき、標準的な弱モデルからのサンプリングに存在するノイズやバイアスを効果的にフィルタリングできます。

2. ConG フレームワーク

ConGは、弱モデルのペア（$\pi_{ref}^w$ および $\pi_r^w$）を用いて強力なモデル（$\pi_s$）を学習するために、2つのステージで動作します。

• ステージ I: ConG-S (SFTのための対照的デコーディング)

  • アライメント済みの弱モデル（$\pi_r^w$）とアライメント前の弱モデル（$\pi_{ref}^w$）を使用して、対照的デコーディングを実行します。
  • このプロセスにより、一連のプロンプトに対して高品質な「選択された（chosen）」応答（$y_w$）を生成します。
  • 強力なモデルは、これらのCD生成サンプルを用いた教師あり微調整（SFT）を通じて初期化され、そのポリシーを高報酬の選好分布へと移動させます。

• ステージ II: ConG (DPOによる汎化)

  • 強力なモデル（$\pi_{SFT}^s$）は、直接選好最適化（DPO）を用いてさらに洗練されます。
  • 各プロンプトに対して、CD生成（ステージ I）から「選択された」応答（$y_w$）を抽出し、「拒絶された（rejected）」応答（$y_l$）は、標準的なデコーディングを用いて強力なモデル自身からサンプリングします。
  • 理論的分析により、CD応答の暗黙的報酬は、標準的なサンプルの報酬よりも厳密に高いこと（$\hat{r}_w > \hat{r}_l$）が確認されています。
  • 強力なモデルは、$y_w$ と $y_l$ の間の選好ギャップを最大化するように最適化され、分布の一貫性を維持しながら、弱モデルからのデノイズされた信号を活用します。

主な貢献

1. 理論的統一: 本論文は、暗黙的報酬と対照的デコーディングの間の形式的な繋がりを確立し、CDが暗黙的報酬を最大化するメカニズムであることを証明しました。これにより、CDを用いて弱モデルの出力をデノイズすることの理論的正当性が与えられました。
2. ConG フレームワーク: 対照的デコーディング（アライメント前およびアライメント後の弱モデル間）を利用して、強力なモデルに対して優れた監督信号を生成する、新しい2ステージ学習パイプライン（ConG-S + ConG）を提案しました。
3. 自己アライメント能力: 本フレームワークは、弱モデルと強モデルを同一のモデルとしてインスタンス化した場合、自然に自己アライメントへと帰着するため、弱モデルから強モデルへのシナリオを超えた幅広い適用性を備えています。
4. 実証的検証: Qwen2.5 および Llama3 の異なるモデルファミリーにわたる広範な実験により、ConG が従来の W2SG ベースラインを一貫して上回ることが示されました。

実験結果

著者らは、Qwen2.5 および Llama3 モデルファミリーを用いて、AlpacaEval2 および Arena-Hard ベンチマークで ConG を評価しました。

• 性能向上: ConG は、従来の弱モデルから強モデルへの手法（例：Weak SFT, WeakTeacher, WSPO）およびベースラインモデルを大幅に上回りました。
  • 平均して、ConG は異なる設定においてベースモデルに対して ~16.5% の向上をもたらしました。
  • 弱モデルから強モデルへのアライメントにおいて、ConG (w→s) はベースに対して平均約 16.3% スコアを向上させましたが、他のベースラインはベースに対して性能が低下する場合が多く見られました。
  • 自己アライメントの設定では、ConG (self) は参照モデルに対して平均 ~17.8% の向上を達成しました。
• 堅牢性と汎化:
  • モデル能力の差: 本手法は、弱モデルと強モデルの能力差が小さい場合（例：7B→7B）や、強モデルが大きい場合に、より大きな改善を示すことが分かっており、これは強力なモデルが有能な弱教師からの選好信号をより良く活用できることを示唆しています。
  • 対照係数 ($\alpha$): 適度な値の $\alpha$ (0.3–0.5) が、報酬の最大化と生成の安定性のバランスを取り、最良の性能を発揮します。
  • ダウンストリームタスク: 一般的な能力ベンチマーク（MMLU, ARC, GSM8K など）での評価では、劣化は無視できる程度（平均変化は 1.0 ポイント以内）であり、ConG が汎用的な能力を維持しながらアライメントを改善していることが示されました。
• クロスファミリーの汎化: 本手法は、弱モデルと強モデルが異なるファミリーに属する場合（例：Llama3 弱 $\to$ Qwen 強）でも有効ですが、同一ファミリー内の設定と比較すると絶対的な利得はわずかに低くなります。

重要性と主張

本論文は、ConG が、人間によるフィードバックや明示的な報酬モデルという膨大なコストをかけずに、LLM が自己強化し、能力をより強力なモデルへと転送することを可能にすることで、人工汎用知能（AGI）への有望な道筋を提供すると主張しています。

本研究の重要性に関する主な主張は以下の通りです：

• 限界の緩和: ConG は、従来の W2SG 手法の限界、特にこれまでその適用を制限してきた弱モデルの出力に含まれるノイズやバイアスの問題を大幅に軽減します。
• 信頼できる転移: 対照的デコーディングと暗黙的報酬の相関関係を活用することで、本フレームワークは、より信頼性の高い能力転移、効果的なデノイズ、および改善された堅牢性を実現します。
• スケーラビリティ: 本アプローチは、専門家の能力を超えると不十分になる人間による監督に大きく依存している現在のアライメント・パイプラインに対する、スケーラブルな代替案を提供します。
• 汎用性: 本フレームワークは、異なるモデルアーキテクチャ、スケール、およびアライメント・シナリオ（弱モデルから強モデルへの転移および自己アライメントの両方）において汎用的であることが示されています。

著者らは、ConG が最先端の技術を進展させている一方で、弱モデルからのバイアスが不注意に伝播しないように、責任ある展開が必要であることを強調しており、慎重なデータセットのキュレーションと安全メカニズムの必要性を指摘しています。