テクニカル・サマリー：逐次的な直接選好最適化（DPO）における非一様な忘却について

問題提起

大規模言語モデル（LLM）を人間の選好に適合させるプロセスでは、通常、複数の行動目標（例：有用性、無害性、誠実さ、指示への追従性）を最適化する必要があります。実際には、ゼロから再学習することを避けるため、これらの目標は、共同で行うのではなく、Direct Preference Optimization (DPO) のような手法を用いて逐次的に最適化されることが一般的です。しかし、後の学習段階が、以前の段階で学習された選好を一様に劣化させるのか（破滅的忘却）、あるいはその結果が特定の目標間の関係、信号強度、および学習順序に依存するのかについては、依然として不明なままです。

既存の文献では、逐次的アライメントにおける忘却はしばしば中程度であり、タスクに依存することが示唆されていますが、これまでの分析は主に集計指標（例：多肢選択式の精度）や知識ベンチマークに依拠してきました。こうしたアプローチでは、サンプルレベルでの不均一な変化を見逃す可能性があり、また、選好の劣化の主要な要因が、直接的な勾配の衝突なのか、分布のドリフトなのか、あるいは信号の不均衡なのかを区別できていません。

メソドロジー

著者らは、Llama-3.1-8B-Instruct と LoRAアダプター を用いて、体系的な実証研究を実施しています。実験パイプラインでは、2つの異なる選好目標（ステージ1およびステージ2）を逐次的に学習させ、各ステージの後にモデルをすべての目標について評価します。

実験レジーム

本研究では、4つの異なる選好設定を評価し、それぞれについて両方の学習順序（A→B および B→A）でテストを行っています。

1. 分布の衝突 (HH-RLHF): 「有用性」と「無害性」の目標を比較します。これらはプロンプトの分布と選好の次元が異なります。
2. マルチ属性の相互作用 (HelpSteer2): 「冗長性」と「一貫性」を比較し、微細なレスポンス属性間の相互作用をテストします。
3. 強力な安全性信号 (PKU-SafeRLHF): 「無害性」と「有用性」を比較します。ここでは、HH-RLHFよりも安全性の信号が著しく強力です。
4. 互換性のある目標 (UltraFeedback): 「指示への追従性 (IF)」と「誠実さ」を比較します。これらの目標は、重複するレスポンス品質の振る舞いに報酬を与えます。

評価プロトコル

微細な変化を捉えるために、著者らは3つのレベルの分析を採用しています。

1. 集計指標:
   • DPO相対報酬マージン: 一貫したスケーリングを確保するため、固定されたベースモデルのリファレンス（前のステージのアダプターではなく）に対する選好ギャップを測定します。
   • 相対選好精度: ベースモデルと比較して、選択された回答と拒絶された回答の差をポリシーが改善できた割合。
2. ペアレベル分析:
   • 長さ正規化ポリシーマージン: ステージ間における個々の選択・拒絶ペアのマーキシの変化 ($\Delta_i$) を追跡します。
   • 四分位数分解: ステージ1のマージン（確信度）に基づいてペアをソートし、四分位数（Q1: 困難/低確信度、Q4: 容易/高確信度）に分割することで、変化がどこに集中するかを特定します。
3. メカニスティック診断:
   • 勾配余弦類似度: ステージ2のDPO勾配と、固定されたステージ1の目標勾配（LoRAパラメータ上で計算）との間の角度を測定し、直接的な対立を検出します。
   • アダプターの移動: ステージ間のLoRAパラメータの変位を分析し、更新が直交しているか、あるいは反対方向であるかを判断します。

主な結果

1. 非一様な忘却パターン

逐次的なDPOは、単一の「一様な忘却」パターンを生み出すわけではありません。その結果は、目標の関係性と信号強度に応じて、部分的な劣化から安定、ペアレベルの再分配、あるいはポジティブな転移まで多岐にわたります。

• HH-RLHF: 部分的な劣化を示します。helpful → harmless の順序では、helpfulのマージンが大幅に低下（−68.8%）しますが、目標はニュートラルなベースラインを上回っています。
• HelpSteer2: 非対称な劣化を示します。verbosity → coherence では、冗長性はわずかに劣化（−6.7%）しますが、一貫性は向上します。
• PKU-SafeRLHF: 安定性とポジティブな転移を示します。強力な安全性信号が劣化を防ぎます。harmless → helpful の順序では、helpfulの学習後、harmlessのマージンが実際に増加（+2.859）しています。
• UltraFeedback: ポジティブな転移を示します。どちらの目標も、順序に関わらず改善または安定しており、指示への追従性と誠実性の間の高い互換性を示唆しています。

2. ペアレベルにおける変化の不均一性

集計指標は、個々の選好ペアにおける重大な変動を見落とすことがよくあります。

• 再分配: 後続の学習によって、以前に学習された一部の選好が劣化する一方で、他の選好が向上することがあります。
• 四分位数のダイナミクス: 変化の集中度は設定によって異なります。
  • HH-RLHF (helpful → harmless) では、劣化は高確信度 (Q4) のペアに集中しています。
  • PKU-SafeRLHF (harmless → helpful) および UltraFeedback では、高確信度のペアはしばしば強化（向上）されますが、変化は四分位数全体に異なる形で分布しています。
  • これは、「忘却」が一様なシフトではなく、特定の目標間の相互作用に依存した構造的な再分配であることを示しています。

3. メカニスティックな洞察：直接的な勾配衝突の欠如

忘却が直接的な勾配の対立によって引き起こされるという仮説に反して、以下のことが判明しました。

• 勾配の直交性: 8つの全設定において、ステージ2の勾配と、前の目標のリファレンス勾配との間の余弦類似度はほぼゼロ（平均角度 $\approx 90^\circ$）でした。系統的な勾配の対立を示す証拠はありません。
• アダプターの移動: ステージ2の更新は、ステージ1のアダプターに対して、逆方向ではなく、ほぼ直交する方向（余弦 $\approx 0$）に移動しています。
• 示唆: 選好の変化は、直接的な勾配の衝突ではなく、間接的なメカニズム（分布のドリフト、信号の不均衡、あるいは間接的なパラメータの移動）によって引き起こされている可能性が高いと考えられます。

貢献

1. 体系的な実証研究: 本論文は、4つの異なる選好レジームにわたって逐次的なDPOを包括的に分析し、選好の変化は単なる逐次的学習ではなく、目標の関係性と信号強度によって決定される「スペクトラム（劣化からポジティブな転移まで）」であることを示しています。
2. ペアレベルの診断: 著者らは、四分位数分解を用いたペアレベルのポリシーマージン分析を導入しました。これにより、集計的な報酬マージンや相対精度が隠蔽してしまう、不均一な再分配パターンが明らかになりました。
3. メカニスティックな証拠: 勾配の余弦類似度とアダプターの移動を測定することで、更新方向がほぼ直交しているにもかかわらず選好の変化が起こることを示し、直接的な勾配の対立が忘却の主要な要因であるという見解に異を唱えました。

意義と主張

本論文は、将来の逐次的アライメント・パイプラインにおいて、後の目標が以前の選好に一様に影響を与えると想定すべきではないと論じています。代わりに、実務者は目標の互換性と信号強度を考慮する必要があります。

著者らは、彼らの知見が、直接的な勾配の衝突よりも間接的なメカニズム（ドリフト、信号の不均衡）が選好変化の主要な要因である可能性を示唆していると控えめに主張しています。また、制限事項として、8BモデルにおけるLoRAアダプターの使用や、メカニスティック診断がパラメータ空間に限定されていることを挙げており、一般化を確認するために、将来の研究ではより大規模なモデルやフルパラメータのファインチューニングへと診断を拡張する必要があるとしています。本研究の目的は、特定の新しいアルゴリズムを提案することではなく、逐次的なポストトレーニング・パイプラインの監視と設計を改善することにあります。