技術概要：CROCO – 自己生成に基づくクロスリンガル対照的選好チューニング

問題定義

大規模言語モデル（LLM）を人間の選好に整合させることは、ポストトレーニングの決定的な最終段階であり、通常、直接選好最適化（DPO）を通じて達成されます。最近の進展により、DPO が人間の注釈ではなく、報酬モデルを用いてポリシー自身の出力をスコアリングする自己生成サンプルに適用可能であることが実証されましたが、これらの手法は英語においてのみ確立されています。

これを多言語設定に拡張することは、重大な課題を伴います。従来の多言語選好整合に関する研究は、翻訳に基づくシグナルに依存するか、英語と他の言語間の能力差を暗黙の報酬として利用するか、ノイズの多いペアに対して損失を再重み付けする手法に頼っています。しかし、分布内の相対的報酬スコアに基づいて選好ペアを構築する自己生成に基づく対照的選好チューニングという特定のメカニズムが、言語固有の選好注釈なしに言語間で転移するかどうかは、未解決の問いのままです。さらに、英語の選好のみで訓練された報酬モデル（RM）が、多言語整合を推進するために他の言語での応答を効果的にランク付けできるかも不明です。

手法：CROCO

著者は、Xiao ら（2025）の「スイートスポット」選好構築を複数の言語に拡張するフレームワークであるCROCO（Cross-Lingual Contrastive Preference Tuning on Self-Generations）を提案します。

中核メカニズム

1. 自己生成: 対象言語 $\ell$ の与えられたプロンプト $x$ に対して、ポリシーモデル $\pi_\theta$ が $K$ 個の候補応答 ($Y_x$) を生成します。
2. 報酬スコアリング: 外部の既存の報酬モデル（RM）がこれらの応答にスコアを付けます。重要なのは、この RM は英語の選好で訓練されていますが、多言語ベースモデル（例：Qwen3-8B）の上に構築されている点です。
3. 対照的ペア構築: 最高スコアの応答を絶対最低の応答とペアリングするのではなく、制御された対照性を誘発する「スイートスポット」を選択します。
   • 採用 ($y_c$): 最大報酬を持つ応答。
   • 棄却 ($y_r$): 報酬が $\mu_x - 2\sigma_x$ に最も近い応答（ここで $\mu$ と $\sigma$ は、そのプロンプトに対する報酬分布の平均と標準偏差です）。
4. トレーニング: 構築されたペアを用いて、モデルを DPO で微調整します。著者は 2 つのモードを評価しました。
   • 単一言語: 各言語のデータに対して独立してチューニング。
   • 多言語: 全言語にわたるデータの結合に対して共同でチューニング。

実験設定

• モデル: 異なるスケールの 2 つのモデルをテストしました。EuroLLM-9B（90 億パラメータ）とaya-3B（30 億パラメータ）です。
• データ: Dolci-Instruct-SFT コーパスからの 20,000 件のインストラクションチューニングインスタンスを、TranslateGemma-27B を用いて 6 つのヨーロッパ言語（デンマーク語、オランダ語、フランス語、ドイツ語、イタリア語、スペイン語）に翻訳しました。
• 報酬モデル: 多言語ベースを持つ英語選好訓練型の RM である Skywork-Reward-V2-Qwen3-8B。
• ベースライン: 翻訳データに対する標準的な教師あり微調整（SFT）、最高報酬応答のみに対する SFT（Max-R）、既存の多言語選好チューニング手法（ICR、MAPO）。

主要な貢献

1. 対照的チューニングのクロスリンガル転移: 本論文は、自己生成に基づく対照的選好チューニングが言語間で効果的に転移することを示しています。ペアリングされた自己生成に対する DPO は、SFT ベースラインおよび既存の多言語手法を上回り、翻訳データに対する標準的な SFT は壊滅的な忘却を引き起こしました。
2. 言語固有注釈の排除: 本研究は、多言語選好チューニングに言語固有の選好注釈を必要としないことを示しています。多言語ベースの上に構築された英語のみで訓練された RM は、言語内での一貫したランキングを生み出し、ほとんどの言語で改善を推進します。
3. スケールとタスク全体での堅牢性: この手法は、構造化タスク（EuroEval）とオープンエンド生成（m-ArenaHard 2.1）の両方でパフォーマンスを向上させます。EuroLLM-9B では構造化タスクで 7 言語中 6 言語、aya-3B では 4 言語でベースモデルと同等かそれ以上の性能を示し、オープンエンド生成では評価された 11 言語すべてでベースモデルに対して勝利しました。
4. アブレーションの知見:
   • オンポリシーの必要性: 改善にはオンポリシーデータが必要です。オフポリシー応答（異なるモデルによって生成されたもの）は利益を減少させ、外部 RM を使用する場合、オンライン選好最適化はオフライン変形よりも改善をもたらすことができませんでした。
   • プロンプト言語: 最適なパフォーマンスのためには、プロンプト言語は採用された応答言語と一致する必要があります。
   • 翻訳の有用性: SFT は翻訳データによって劣化しますが、DPO における対照的シグナルは、絶対目標ではなく相対的報酬ギャップに依存するため、翻訳がノイズを追加しても依然として有益です。

結果

• EuroEval（構造化タスク）:
  • SFT の失敗: 翻訳データに対する単一言語および多言語の SFT の両方が壊滅的な忘却を引き起こし、パフォーマンスの低下は 0.1 から 11.3 ポイントの範囲でした。
  • DPO の成功: ペアリングされた DPO は、aya-3B では 14 設定中 12 設定で非負となり、EuroLLM-9B では 14 設定中 10 設定でベースラインを改善しました。最大の改善は、イタリア語（単一言語）における EuroLLM-9B で +3.6 ポイントでした。
  • 比較: ペアリングされた DPO は、すべての言語で平均的に非負のままだった唯一の手法であり、多くの場合パフォーマンスを劣化させた ICR や MAPO を上回りました。
• m-ArenaHard 2.1（オープンエンド生成）:
  • ペアリングされた DPO は、7 言語すべてにおいて EuroLLM-9B ベースに対して、長さ制御（LC）勝率を 54.5% から 58.4% の範囲で達成しました。
  • aya-3B の場合、LC 勝率は 55.5% から 66.3% の範囲で、ほとんどの言語で 2 桁の改善が見られました。
  • この手法は、ほとんどの言語でベースモデルと大規模な参照モデル（Gemma3-12B および Gemma3-4B）との間の性能ギャップを効果的に狭めました。
• 一般化: この手法は EuroEval において、保持された言語（ノルウェー語、ポルトガル語、スウェーデン語）に対して肯定的に一般化しましたが、多言語 SFT はすべての保持データセットでパフォーマンスを劣化させました。

意義と主張

本論文は、CROCOが、報酬モデルが英語の選好のみで訓練されている場合でも、相対的報酬ギャップが言語間で転移する堅牢なシグナルであることを実証することで、多言語選好チューニングへの有望な方向性を提供すると主張しています。

著者は、DPO の目的関数が絶対的な較正ではなく、ペアリングされた応答の相対的順序に依存しているため、翻訳ノイズやクロスリンガルの較正誤差を許容できると仮定しています。この発見は、対照的ペアを構築するためにオンポリシーの自己生成が使用される限り、言語ごとの選好注釈という莫大なコストなしに高品質な多言語整合を達成できることを示唆しています。

本研究は、オンポリシーデータが重要な要素であることを浮き彫りにしています。なぜなら、対照的シグナルは、ペアリングされた応答がポリシー自身の分布に由来する場合にのみ有益だからです。さらに、固定された報酬モデルを用いたオフライン DPOが、報酬モデルのバイアスを増幅し真の選好を学習するのではなくフィードバックループを作成するオンライン DPO よりもこの設定では優れていることを確立しています。

最終的に、本論文は、対照的ペア構築を介して自己生成された多言語データに適用される単一の英語訓練報酬モデルが、標準的な教師あり微調整に伴う壊滅的な忘却を回避しつつ、多様な言語とモデルスケールにわたって一貫した改善を推進するのに十分であると論じています。