技術要約：自己回帰的一貫性が安全性アライメントを損なうとき

問題提起

SFT（教師あり微調整）や好みの最適化（DPO、RLHFなど）によって達成される現在の大規模言語モデル（LLM）の安全性アライメントは、脆弱である。Qiら[17]による最近の研究は、「浅い安全性アライメント（shallow safety alignment）」を特定した。これは、微調整が主に最初の数トークン付近のモデルの振る舞いを形成するだけであり、安全な拒絶プレフィックスからモデルを逸脱させる攻撃に対して、後続のトークンが脆弱なまま残されている現象である。

しかし、本論文は、この「浅い」現象はより深いメカニズム的な失敗、すなわち**自己回帰的一貫性（autoregressive consistency）**の症状であると主張する。これは、自己回帰モデルが現在の応答の軌跡を整合性を持って維持し、拡張しようとする固有の傾向のことである。著者らは、安全性アライメントが失敗するのは単にそれが「浅い」からではなく、アライメントのプロセス自体が、初期トークンの後の拒絶を維持するために自己回帰的一貫性に依存しており、その結果、軌跡上のどの時点においても有害な継続へと乗っ取られる（hijacked）脆弱性が生まれるからだと断じている。

手法

1. 学習ダイナミクスの理論的分析

著者らは、十分な長さのプレフィックスが与えられたとき、ベースモデルの次トークン予測がほぼ決定的になる（$p(y_{t+1}|y_{:t}) \approx 1$）という性質として、自己回帰的一貫性（定義2.1）を定式化した。

• 勾配の集中（Gradient Concentration）: SFTおよびDPO目的関数の学習ダイナミクス分析を通じて、本論文は、自己回帰的一貫性の下では、損失関数のモデルパラメータに対する勾配が初期トークンに集中することを証明している。
• 定理 2.1: ベースモデルが既に後半のトークンに対して一貫した継続を自信を持って予測しているため、これらの位置に対するアライメント更新が抑制されることを著者らは証明している。その結果、アライメントされたモデルは初期位置（$t \le t_c$）においてのみベースモデルから乖離し、後半の位置はベースモデルの分布に近いままとなる。これは、なぜ安全性アライメントが自然に浅くなるのかというメカニズム的な説明を提供している。

2. 攻撃ベクトル：ランダム挿入

有害な自己回帰的一貫性が引き起こされ得るという理論に基づき、本論文は**ランダム挿入攻撃（Random Insertion Attack）**を導入する。

• メカニズム: この攻撃は、プレフィックスを標的にするのではなく、安全な拒絶軌跡（$r$）内のランダムな位置（$i$）に短い有害なスパン（$h$）を挿入する。
• 仮説: モデルが拒絶よりも有害な継続を優先する状態に入った場合、自己回帰的一貫性がこの有害な分岐を維持し、モデルが先行する安全なコンテキストを無視するようにさせる。
• 範囲: この攻撃は、生成の任意の深さで「ブレークポイント」が発生することを示すことで、プレフィックスベースの攻撃（プリフィル攻撃など）を一般化するものである。

3. 防御フレームワーク：敵対的安全性アライメント

このメカニズムに対抗するため、著者らは**敵対的安全性アライメント（Adversarial Safety Alignment）**フレームワークを提案する。

• 目的: 生成の開始時だけでなく、あらゆる敵対的に構築された有害な継続状態から、安全な拒絶の振る舞いに回復するようにモデルを訓練する。
• 定式化: 本フレームフレームワークは、安全性アライメントを以下のミニマックス問題として扱う：
  • 内問題（Inner Problem）: 軌跡上の継続状態のうち、モデルが最も強く有害な継続を優先する状態 $\tau^*$ を特定する（「有害な自己回帰的一貫性マージン」を最大化する）。
  • 外問題（Outer Problem）: $\tau^*$ から安全な拒絶の軌跡を回復するようにモデルを訓練する。
• 実践的な実装（Random Worst-Insertion）: 正確な最適化は困難であるため、著者らはRandom Worst-Insertion Trainingを用いてこのフレームワークを具体化している。
  • 有害なスパンを挿入するランダムな位置をサンプリングする。
  • 有害な継続確率と拒絶回復確率の間のマージンを最大化する挿入点を選択する。
  • この「ワーストケース」の汚染された状態から、拒絶応答を回復するようにモデルを微調整する。

主な貢献

1. 浅いアライメントのメカニズム的説明: 本論文は、自己回帰的一貫性がアライメントの勾配を初期トークンに集中させることを理論的に証明（定理2.1）し、なぜ安全性アライメントが自然に浅くなるのかを説明している。
2. より広範な失敗モードの特定: 著者らは、安全性の脆弱性はプレフィックス攻撃に限定されないことを主張している。彼らは、出力軌跡の任意の位置において有害な自己回帰的一貫性を誘発できることを示している。
3. ランダム挿入攻撃: 安全な拒絶の深い部分に短い有害なスパンを挿入することで、生成を有害な出力へと転換させ、標準的な安全策をバイパスできることを示す、単純かつ効果的な攻撃。
4. 敵対的安全性アライメント・フレームワーク: 全体の軌跡を通じて有害な自己回帰的一貫性を打破することを明示的にターゲットとした、新しい学習パラダイム。これはRandom Worst-Insertion Trainingによって具体化されている。

実験結果

著者らは、Llama-2-7B-Chat、Llama-3.1-8B-Instruct、Gemma-2-9b-itを用い、提案手法（Insertion）をベースライン（Clean：標準的なSFT、Prefill：深いアライメント）と比較評価した。

• ランダム挿入攻撃: 標準的なアライメント（Clean）は、攻撃成功率（ASR）が75%を超える失敗を示した。深いアライメント（Prefill）はASRを減少させたが、依然として脆弱であった（ASR ~20-35%）。提案されたInsertion手法は、著しく低いASR（例：Llama-2において25-100トークンのスパンで2.7%から5.9%）を達成し、軌跡レベルの乗っ取りに対する堅牢性を示した。
• プリフィル攻撃: Insertion手法は、プレフィックスベースの攻撃に対してもPrefillと同等の競争力を維持しており、有害な一貫性を打破することがプレフィックス攻撃への防御を犠牲にしないことを示した。
• その他の攻撃: GCG、PAIR、TAP、AutoDANに対する標準的なベンチマーク（HarmBench）において、Insertion手法は初期モデルと比較して堅牢性を維持または向上させた。

意義と主張

本論文は、主要な貢献は「最終的な、壊すことのできない防御アルゴリズム」を提示することではなく、有害な自己回帰的一貫性を、安全性の脆弱性の根底にある基本的な失敗メカニズムとして特定したことにあると控えめに主張している。

• 視点の転換: 本研究は、焦点を作を「アライメントをより深くする（拒絶プレフィックスを延ばす）」ことから、「有害な一貫性を打破する（モデルが任意の深さで有害な状態から回復できるようにする）」ことへと転換させている。
• 今後の研究への示唆: 著者らは、将来の攻撃設計は中間的な自己回帰状態を標的にすべきであり、将来の防御メカニズムは、生成の開始時だけでなく、出力軌跡全体を通じて有害な継続状態から回復するようにモデルを訓練しなければならないと示唆している。
• 一貫性の役割: 本論文は、自己回帰的一貫性が、安全性アライメントの目的設計と、敵対的攻撃の開発の両方において、極めて重要な考慮事項として扱われなければならないと結論付けている。