Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

技術要約：SKIN-DEEP：アライメントの脆弱性に関する幾何学的診断

問題提起
大規模言語モデル（LLM）におけるアライメント調整は、有害なリクエストに対する堅牢な拒絶を保証するように設計されています。しかし、この安全性挙動はしばしば脆弱です。リリース時に拒絶テストに合格したモデルであっても、良識的に見える例を用いた低コストのダウンストリーム介入（ファインチューニングやLoRAなど）を経ることで、拒絶能力を失うことがあります。先行研究では、このような介入によって安全性がバイパスされることが示されていますが、既存の研究は一般に、攻撃やファインチーニングによる介入が実行された「後」に、この脆弱性を検出することしかできません。介入が行われる前に、アライメント済みモデルの内部表現から直接、この脆弱性を検出する手法は現在存在しません。

手法：SKIN-DEEP
著者らは、介入前のアライメント済みモデルの隠れ状態の活性化を用いて、アライメントの脆弱性を測定する幾何学的診断フレームワークであるSKIN-DEEPを導入します。この手法は以下のステップで動作します。

1. 部分空間探索 (Subspace Search): 本フレームワークは、マッチングされた有害リクエストのプロンプトと良識的な指示のセットを用い、アライメント済みモデル（$M$）の残差ストリームの活性化を、そのベースとなるモデル（$M_0$）と比較します。**対照的PCA（cPCA）**を用いることで、各レイヤー $\ell$ において、有害なリクエストと良識的な指示を最もよく分離する候補方向（$v_\ell$）を特定します。
2. 検証 (Validation): これらの方向が（活性化の大きさやプロンプトテンプレートなどの）アーティファクトではなく、真の安全性幾何学を表していることを保証するために、著者らは以下を採用しています。
   • Cohen's $d$: 候補方向における分離の大きさを測定します。
   • 全空間テスト: PERMANOVAおよびRBFカーネルMMDを用い、分離が1次元投影だけでなく、全活性化空間においても存在することを検証します。
   • ノルム制御: 結果が単位正規化された活性化においても保持されることを検証します。
   • Arditi方向の比較: 既知の「Arditi方向」（有害な活性化の平均と無害な活性化の平均の差）とのコサイン類似度を測定し、回収された幾何学が既知の拒絶軸と明確に異なるか、あるいは関連していることを確認します。
3. 因果的検証（方向アブレーション） (Causal Verification / Direction Ablation): 生成中に候補方向を取り除く（アブレーションを行う）ことで、これらの方向の行動的関連性をテストします。もしモデルの拒絶率がランダムまたは参照方向のコントロールと比較して大幅に低下する場合、その幾列は拒絶挙動と因果的に結びついていると判断されます。
4. 幾何学的脆弱性スコア (Geometric Fragility Score: GFS): レイヤーごとの測定値は、単一のスカラー指標である**幾何学的脆弱性スコア（GFS）**へと圧縮されます。数式は、重み付きの分離強度（$|d_\ell|$）を集計し、後半のレイヤーを強調し（$w_\ell \propto \ell/L$）、既知のArditi拒絶軸と密接に一致しすぎる方向を減衰させます：
   $$GFS(M) = \sum_{\ell=1}^{L} w_\ell \cdot |d_\ell| \cdot (1 - |\cos(v_\ell, v^{Arditi}_\ell)|)$$
   高いGFSは、既知の拒絶軸にのみ集中しているのではなく、後半のレイヤーで強く出現する強力な安全性幾何学を示します。

主な貢献と結果
著者らは、6つのアライメントレシピ（SFT, RLHF+SFT, DPO, ORPO, RLAIF, C-RLFT）にわたる21の命令チューニング済みモデル（3B–32Bパラメータ）のプールに対してSKIN-DEEPを評価しました。結果は以下の4つの主張を支持しています。

• 低ランク安全性部分空間の存在: 有害なリクエストと良識的な指示は、隠れ状態の少数の方向（方向集合）に沿って分離されます。この分離は全活性化空間において持続し、プロンプトのフォーマット（チャットテンプレート）や活性化のノルムの変化に対しても堅牢です。
• 拒絶への因果的リンク: cPCA探索によって特定された特定の方向を取り除くと、減少が測定可能なモデルにおいて有害リクエストへの拒絶が弱まります。これは、回収された幾何学が単なるプロンプト分類ではなく、拒絶挙動の基礎となっていることを裏付けています。特定の「拒絶を変化させる」方向はモデルごとに異なり、これは単一の普遍的な拒絶ベクトルではなく、モデル固有のベクトルを含む共有された低ランク部分空間が存在することを示唆しています。
• ファミリー間での再帰性: 異なるモデルファミリー（Llama, Qwen, Mistral, Gemmaなど）は、分離が最も強くなるレイヤーはモデルによって異なるものの、この安全性部分空間内において同様のプロンプト間の活性化関係を保持しています。
• 診断的有用性 (GFS): GFSは、初期状態で安全なモデルのうち、小規模なLoRAファインチューニング後に拒絶能力を最も多く保持するモデルを予測することに成功しました。実験において、Gemma-2-9Bは最も低いGFSを受け取り、積極的な良識的LoRA更新の後でも実質的な拒絶を保持した唯一のモデルでした。一方、他のモデル（Llama, Qwen, Mistral）は拒絶能力を急速に失いました。著者らは、Gemmaの回復力の理由を、その安全性方向が既知のArditi拒絶軸により近い位置にあることにあり、GFSの数式がこれを適切に「脆弱である」として減衰させたためであると考えています。

意義と主張
本論文は、GFSを実用的なデプロイ前診断ツールとして確立しています。その主な意義は、攻撃を実行したりファインチューニングによる介入を行ったりすることなく、アライメントの脆弱性をフラグ立てできる点にあります。残差ストリームにおける拒絶の幾何学的シグネチャを検査することで、開発者はモデルがリリースされる前に、脆弱な安全性メカニズムに依存しているかどうかを識別できます。

著者らは、本研究を以下の防御的有用性のためのツールとして位置づけています：

• アライメント不足のチェックポイントをフラグ立てする。
• 安全性ファインチューニングや解釈可能性プローブの優先順位付けを支援する。
• レッドチーミングの予算の割り当てを支援する。

本論文は、モデルサイズ（最大32Bまで）の範囲、英語のみのプロンプトの使用、およびアライメントレシピ（例：DPOモデルの方がより堅牢であるように見えること）のGFSランキングはさらなる検証を要する仮説であること、といった限界についても明記しています。また、著者らはデュアルユースのリスクについても言及しています。診断パイプライン自体は公開されていますが、特定の攻撃準備が整ったアーティファクト（レイヤーごとのアブレーションフックやアダプターの重みなど）は、即時の悪用を防ぐために公開されていません。ただし、決定的な攻撃者が公開データを使用して同様のパイプラインを再構築できる可能性があることも認めています。