技術概要：分布内（In-Distribution）の gains が失敗する時：分布シフト下における弱から強への報酬モデルの評価

1. 問題定義

本論文は、スケーラブルな監督（scalable oversight）における**弱から強への一般化（Weak-to-Strong: W2S）**の重要な欠落に焦点を当てる。W2S フレームワークは、弱い教師からのラベルを用いてより強力な学生モデルを訓練し、教師自身の性能を超えた能力を誘発することを目的としているが、既存の評価は通常、一致した訓練・テスト分布に依存している。

著者らは、この設定が実世界での展開におけるアライメントの信頼性を過大評価していると主張する。具体的には、ゼロショット分布シフト下における W2S 選好学習を調査する。核心的な問題は、ソースドメインからの弱い選好ラベルで訓練された強力な学生モデルは、分布内（ID）では成功しているように見えるが、学習したアライメント行動を未見のターゲットドメイン（分布外：OOD）へ転移させることに失敗する点にある。

本論文は、特定の失敗モードを特定している：表現の失敗（representational failure）。弱教師あり微調整は、広く転移可能な選好表現を維持する代わりに、学生モデルの内部表現をソースドメイン固有のアーティファクト方向へ引き寄せる可能性がある。その結果、モデルはソースデータに適合するが、一般化能力を失う。

2. 手法：表現アンカリング（ANCHOR）

表現のドリフトを軽減するため、著者らは**表現アンカリング（Representation Anchoring: ANCHOR）**を提案する。これは、弱教師あり微調整中に学生モデルを制約するように設計された正則化手法である。

中核メカニズム

ANCHOR は、標準的な弱から強への選好学習目的関数を、微調整前のチェックポイントから初期化された同一のチェックポイントに由来する、凍結された事前学習済み参照モデルの隠れ状態に学生モデルの隠れ状態を近づける正則化項で拡張する。

訓練目的関数は以下の 2 つの項を組み合わせる：

1. 弱選好損失（$L_{w2s}$）：標準的なブラッドリー・テリー損失であり、強力な学生モデルは弱い教師が生成するソフトな選好確率（$q_i$）に一致することを学習する。
2. アンカリング損失（$L_{anchor}$）：学習可能な学生モデルと凍結された参照モデルの隠れ状態間の、マスクされた平均二乗誤差（MSE）。この損失は、プロンプトおよびパディングトークンを除外し、応答トークンのみに適用される。

サンプル $i$ に対する総損失は以下の通り：
$$L(i) = L_{w2s}(i) + \lambda L_{anchor}(i)$$
ここで、$\lambda$ は表現の保持の強さを制御する。

変種

著者らは、どの層をアンカリングするかに基づき 2 つの変種を評価する：

• 最終層 ANCHOR（デフォルト）：損失を最終トランスフォーマー層に適用する。これは計算効率が良く、報酬ヘッドが使用する表現を直接正則化する。
• 中間層 ANCHOR：損失を中間層（例：層の 50% および 75%）に適用し、最終層により柔軟性を許容しながら一般的な特徴を保持する。

3. 評価プロトコルと指標

本論文は、ゼロショット選好ドメインシフト評価プロトコルを導入する。標準的な保持分割の代わりに、モデルは 1 つのデータセット（ソースドメイン）で訓練され、以下で評価される：

• 分布内（ID）：同一ソースデータセットからの保持テスト分割。
• 分布外（OOD）：同じ広範な選好カテゴリ内の異なるデータセットからのテスト分割（例：HelpSteer3 で訓練し、Anthropic Helpful または UltraFeedback でテスト）。

パフォーマンスを定量化するため、著者らは 3 つの転移意識型指標を提案する：

1. 弱から強への生 gains（WRG）：ソース上での弱い教師に対する ID 改善を測定する（$Acc_{student} - Acc_{teacher}$）。
2. 絶対 OOD gains（AOG）：ターゲットドメインへの転移を測定する（$Acc_{student} - Acc_{teacher}$）。
3. 正味転移スコア（NTS）：ソースドメインでの回帰を罰する複合指標。
   $$NTS = AOG - \max(0, Acc_{teacher}^{ID} - Acc_{student}^{ID})$$
   これにより、ソースドメインの信頼性を犠牲にして OOD ドメインで gains を達成することがないようにする。

4. 主要な結果

実験は、2 つの選好カテゴリ（Helpful と Harmless）および 2 つのモデルファミリー（Llama と Qwen）で行われ、HelpSteer3、Anthropic Helpful/Harmless、UltraFeedback、PKU-SafeRLHF、RAIL などのデータセットが使用された。

• ID 成功が OOD 失敗を隠す：ベースライン手法（Naive W2S および Confidence-based W2S）は、しばしば強力な ID パフォーマンス（高い WRG）を達成するが、OOD 設定では顕著なパフォーマンス低下または負の転移を示す。例えば、HelpSteer3 で訓練された Naive モデルは、Anthropic Helpful で評価された際、20 ポイントの精度低下を示した。
• SEAM のトレードオフ：SEAM ベースラインは鋭いトレードオフを示し、競争力のある OOD gains を達成する一方で、しばしば深刻な ID 劣化（負の WRG）を伴う。
• ANCHOR のパフォーマンス：ANCHOR は一貫して最もバランスの取れた結果を達成した。競争力のある ID パフォーマンスを維持しながら、OOD 転移を大幅に改善した。
  • Llama/Helpful 設定において、ANCHOR は Anthropic Helpful 上の AOG を 0.60（Naive）から 4.41 に改善した。
  • ほとんどの設定で最も高い正味転移スコアを生み出し、ソースドメインの信頼性を維持しつつクロスドメイン一般化を可能にしていることを実証した。
• アブレーション調査の知見：
  • アンカリング強度（$\lambda$）：中程度のアンカリング強度（例：$\lambda = 10^{-4}$）が最良のバランスを提供した。より強い制約は弱い信号への適応を妨げ、より弱い制約はドリフトを防げなかった。
  • 層の選択：Last-Layer ANCHOR は、Middle-Layer ANCHOR より一般的により良い全体的バランスを提供し、最終表現を正則化することがこのタスクには十分であり、より効率的であることを示唆した。

5. 意義と主張

本論文は、3 つの主要な貢献を主張する：

1. 評価プロトコル：厳密なゼロショット選好ドメインシフトプロトコルを確立し、ID 精度のみが W2S 報酬モデルを評価するには不十分であると論じる。
2. 経験的証拠：現在の W2S 手法が分布シフト下で脆弱であることを実証し、分布内 gains がアライメントの信頼性を過大評価しうることを明らかにする。
3. 堅牢な手法：表現ドリフトを効果的に制限する単純な正則化手法である ANCHOR を導入する。著者らは、推論時のアーキテクチャを変更することなく、より堅牢な選好転移への実用的な道筋を提供すると主張する。

著者らは、堅牢な W2S アライメントの評価は、強力なモデルが弱教師から学習するかどうかだけでなく、学習された報酬関数が特定の訓練ドメインを超えて信頼性を保つかどうかによって行われなければならないと結論づける。

6. 限界

著者らは、いくつかの限界を認めている：

• オフライン代理指標：評価はオフラインのペアワイズ精度に依存しており、下流の展開（例：best-of-n 選択、オンライン RLHF、またはオープンエンド生成の品質）のニュアンスを完全に捉えきれていない可能性がある。
• 計算コスト：推論は標準的なままであるが、訓練には凍結された参照モデルを通じた追加のフォワードパスが必要となり、VRAM と時間の要件が増加する。
• 範囲：実験は特定の Helpful/Harmless ドメインおよびモデルスケールに限定されており、多様なタスクドメインおよび大規模なモデルファミリー全体でのより広範な評価が必要である。