Alignment Dynamics in LLM Fine-Tuning

技術的サマリー：LLM 微調整におけるアライメント動力学

問題提起
大規模言語モデル（LLM）は、教師あり微調整（SFT）と人間のフィードバックに基づく強化学習（RLHF）を通じて、人間の価値観とのアライメントを達成する。しかし、このアライメントはしばしば脆弱であり、モデルはその後続の微調整（たとえ benign なデータであっても）に曝されると、安全ガードレールを急速に失ったり、事前学習された挙動に戻ったりする可能性がある。この脆弱性に対する既存の説明は、パラメータ空間の幾何学に焦点を当てる勾配ベースの分析と、出力分布のシフトに焦点を当てる分布ベースの研究の 2 つの範疇に分類される。パラメータ空間における学習動力学と関数空間におけるアライメント挙動を架橋し、微調整中にアライメントがどのように進化し、劣化し、回復するかを具体的に説明する統合的な理論的枠組みを提供するという重要なギャップが残されている。

手法
著者らは、プロンプト分布が与えられたときのアライメントされた完了を生成する期待確率として定義される、扱いやすいアライメントスコア $S(\theta)$ を導入する。彼らは、微調整中のこのスコアの進化に対する閉形式の式を導出する。

1. 理論的枠組み:

   • トークンレベルの分解: アライメントスコアの変化（$\Delta S$）は、個々のトークン更新からの寄与に分解される。この分解により、トークン更新の寄与は「プレフィックス確率」と「将来のアライメント潜在能力（完了が最終的にアライメントされる確率）」によって「ゲート制御」されることが明らかになる。
   • Logit 空間の幾何学: これらのトークンレベルの動力学を、経験的ニューラル接線カーネル（eNTK）と相対的に安定なカーネル（RSK）の仮定を介して logit 摂動に接続することにより、著者らはアライメント動力学の統一された式を導出する。
   • 力の分解: アライメントスコアの進化は、2 つの競合する力によって支配されることが示される。
     • 反発力（Rebound Force, $F_{rebound}$）: 「分布慣性」を表す内在的な自己相互作用項。これは現在のアライメント状態とモデルの事後分布の狭さ（純度）によって調節される。
     • 駆動力（Driving Force, $F_{drive}$）: 訓練分布が、アライメントされた（$\tilde{\pi}^+$）および非アライメントされた（$\tilde{\pi}^-$）完了に対する結果条件付き事後分布とどのように整合するかによって決定される外部項。

2. 実験的検証:

   • 著者らは、3 つのドメイン（安全アライメント：BeaverTails, HEx-PHI、出現する非アライメント、感情分析：IMDb）において、多段階 SFT パラダイム（前方 $\to$ 逆方向 $\to$ 再曝露）を採用する。
   • 彼らは、事前の指示調整からアライメント動力学を分離するために、ベースモデル（Llama-3.1-8B, Gemma-2-2B, Qwen3-8B-Base）を利用する。
   • 制御実験では、理論的予測（反発力に関する）をテストするために、微調整分布の狭さ（固定テンプレートからスタイル多様化された応答まで）を変化させる。

主要な貢献と結果

1. 統合的動力学枠組み: 本論文は、アライメント動力学が内部抵抗（反発力）と外部学習信号（駆動力）との競合であることを示す数学的導出を提供する。これにより、なぜアライメントが後続の微調整によって逆転し得るのか、そして事後分布の構造がなぜ重要なのかを説明する。
2. 双方向の不安定性と分布の狭さ:
   • 本枠組みは、強くアライメントされた状態と強く非アライメントされた状態の両方が「不安定」であり、逆転しやすいと予測する。
   • 結果: 実験により、狭い事後分布（低多様性の微調整データによって誘発される）が反発力を増幅することが確認された。狭いデータセットで訓練されたモデルは、多様なデータセットで訓練されたモデルと比較して、逆方向の微調整に曝された際に、安全アライメントの劣化が速く進行する。
3. リハーサル・プライミング効果:
   • 予測: 先行するアライメントは、観測されたアライメントスコアが抑制された後でも存続する潜在的な「事後印痕」（$\tilde{\pi}^+$ および $\tilde{\pi}^-$ における構造的残留物）を残す。元のアライメント分布への再曝露時、この残留物は実効的な駆動力を増幅し、より迅速な再アライメントをもたらす。
   • 結果: 制御実験により、より深い初期微調整（ステージ 1）を経たモデルは、同じベースラインアライメントスコアから開始した場合でも、より浅い初期訓練を経たモデルと比較して、ステージ 3（再曝露）中に著しく速く再アライメントすることが実証された。この効果は、安全、非アライメント、感情タスクのすべてにおいて保持される。
4. 出現する非アライメントの脆弱性: この研究は、狭い微調整によって誘発された広範な非アライメント挙動（出現する非アライメント）を示すモデルは、わずか数ステップの悪意ある微調整によってこれらの挙動が急速に再活性化され得ることを強調しており、後続のアライメントの固有の脆弱性を浮き彫りにする。

意義と主張
著者らは、この研究が LLM 微調整中にアライメントがどのように撹乱され、再活性化されるかについての統合的動力学視点を提供すると主張する。静的な分布シフトや純粋な幾何学的勾配分析を超えて、提案された枠組みはトークンレベルの最適化動力学とグローバルなアライメント挙動を接続する。

この研究の意義は以下の点にある。

• アライメント進化の厳密かつ定量的な特徴付けを提供すること。
• 「反発効果」の背後にあるメカニズムを説明し、アライメント安定性の主要な調節因子として分布の狭さを特定すること。
• リハーサル・プライミング効果を発見・検証し、アライメントの頑健性が訓練信号だけでなく、先行する訓練によって誘発された潜在的な事後構造によっても決定されないことを示唆すること。
• 訓練後アライメントの頑健性を分析し、潜在的に改善するための原理的な基盤を提供すること（同時に、これらの洞察がアライメントに対する敵対的攻撃にも資し得ることを認識しつつ）。

本論文は、アライメントが訓練信号と誘発された事後構造の相互作用によって支配されていると結論づける。この発見は、アライメントを静的な性質と見なす見方に挑戦し、特定の構造的脆弱性にさらされる動的プロセスとして再定義するものである。