🤖 AI

LLM-VA: Resolving the Jailbreak-Overrefusal Trade-off via Vector Alignment

LLM-VA は、安全調整済み LLM におけるジャイルブレイク脆弱性と過剰拒絶のトレードオフを、閉形式の重み更新を通じてモデルの回答ベクトルと安全性評価ベクトルを整合させることで解決し、これにより微調整を必要とせずに回答の意思決定を安全性の判断に因果的に依存させる。

原著者： Haonan Zhang, Dongxia Wang, Yi Liu, Kexin Chen, Wenhai Wang

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haonan Zhang, Dongxia Wang, Yi Liu, Kexin Chen, Wenhai Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、非常に賢いものの、少し混乱している図書館司書と想像してみてください。この司書には 2 つの明確な役割があります：

「回答」の役割：あなたに本を渡す（質問に答える）か、棚に留めておく（拒否する）かを決定すること。
「安全性」の役割：あなたが求めている本が安全に読めるもの（無害）か、危険なもの（有害）かを決定すること。

問題点：2 つの独立した脳

この論文は、現在の AI モデルにおいて、これら 2 つの役割が互いに全く会話をしない、完全に分離した「2 つの脳」によって処理されていると主張しています。

「回答」の脳は、単にあなたに本を渡したいと考えている親切なロボットのようなものです。本の中に何が書かれているかは気にせず、ただ親切にしたいだけなのです。
「安全性」の脳は、本が危険かどうかを確認する警備員のようなものです。

現在の設定では、これら 2 つの脳は直交（互いに 90 度の角度）しており、完全に独立しています。

「ジャイルブレイク」の失敗：悪意のある人物が図書館司書をだまします。「安全性」の警備員が眠っている間に、「回答」のロボットは助けてあげたいという熱意から、危険な本を渡してしまいます。
「過剰拒否」の失敗：一般の人が無害な質問をします。「回答」のロボットは助けたいと考えていますが、「安全性」の警備員が過剰に警戒して「STOP！」と叫び、ロボットは本が安全であっても渡すのを拒否してしまいます。

従来の解決策（ベクトル・ステアリング）
従来の手法は、「回答」ロボットにある単一の「音量ノブ」を調整することでこの問題を解決しようとしました。

音量を下げると、ロボットは危険な本を渡す可能性が低くなります（ジャイルブレイクが減る）が、安全な本も渡さなくなります（過剰拒否が増える）。
音量を上げると、より多くの本を渡すようになりますが、今度は危険な本も誤って渡してしまいます。
問題点：勝つことはできません。単一のノブを調整するだけで、同時に親切かつ安全なロボットを作ることは不可能です。

新しい解決策：LLM-VA（ベクトルアライメント）

著者の張浩南氏とチームは、この図書館司書を修正する新しい方法を提案します：2 つの脳を互いに会話させることです。

単に音量ノブを調整するのではなく、彼らは「回答」ロボットの脳と「安全性」警備員の脳を物理的に整列（アライメント）させます。

彼らがどのように行うか、簡単な比喩を用いて説明します：

脳のマッピング：彼らは SVM（非常に精密なスキャナーと考えてください）というツールを使用して、モデルの思考の中で「回答を決定する方向」と「安全性を決定する方向」の正確な「方向」を特定します。
アライメント：彼らは数学的な「手術」（閉形式の重み更新を使用）を行い、「回答」の方向を回転させて、「安全性」の方向と同じ方向を向くようにします。
結果：これで、図書館司書の回答への意欲は、安全性チェックに因果的に依存するようになります。
- 安全性の警備員が「これは安全だ」と言えば、「回答」ロボットは幾何学的に強制され、「はい、回答します」と言わざるを得なくなります。
- 安全性の警備員が「これは危険だ」と言えば、「回答」ロボットは幾何学的に強制され、「いいえ、回答しません」と言わざるを得なくなります。

これが重要である理由

重労働なし：モデル全体を再トレーニングする（図書館司書に最初から新しい言語を教えるような）他の手法とは異なり、この方法は既存の重みを微調整するだけです。それは、新しい脳を与えるのではなく、図書館司書に新しい眼鏡を渡すようなものです。
自動チューニング：この方法は、図書館司書が必要とするものを自分で見分けるほど賢いです。
- 図書館司書があまりに無謀（ジャイルブレイクが多い）な場合、アライメントは安全な紐を締め付けます。
- 図書館司書があまりに臆病（すべてを拒否する）な場合、アライメントは紐を少し緩めて、親切になるようにします。
結果：彼らは 12 の異なる AI モデルでこれをテストしました。新しい方法は、以前の手法よりもはるかに優れたトレードオフ問題の解決を実現しました（F1 スコアを 11.45% 向上）が、図書館司書の一般的な知識や親切さはほぼ完全に維持されました（有用性の 95.92% を保持）。

まとめ

この論文は、現在の AI 安全性対策は、アクセルペダルだけを調整して車を修理しようとするようなものだと主張しています。ペダルを軽く踏めば速度は落ちますが、目的地に到達できないかもしれません。逆に強く踏めば速くなりますが、衝突するかもしれません。

LLM-VAは、アクセルペダルをステアリングホイールに直接接続することでこれを修正します。これで、道路が安全（安全）な場合のみ前進（回答）できるようになります。道路が塞がれている場合、ペダルをどれだけ踏んでも、車は単に動きません。これにより、エンジンを再構築することなく、AI はより安全かつ有用になります。

技術的概要：LLM-VA

問題定義

安全性が調整された大規模言語モデル（LLM）は、現在、2 つの明確な失敗モードに悩まされています。すなわち、有害な入力に回答してしまう「ジャイルブレイク」と、 benign なクエリを不必要に拒絶する「過剰拒絶」です。既存の効率的な安全性調整手法、特に「ベクトル・ステアリング」は、「回答ベクトル」（ $v_a$ ）の大きさ（マグニチュード）を調整することでモデルの潜在空間を操作しようと試みます。しかし、著者らはこのアプローチに根本的なトレードオフが存在することを特定しました。 $v_a$ の大きさを縮小するとジャイルブレイクは抑制されますが、過剰拒絶が増加し、逆にこれを増幅するとその逆の効果が生じるのです。

このトレードオフの根本原因は、モデル内部の構造的な脱結合にあると特定されました。著者らは、LLM が「回答するかどうかの決定」（ $v_a$ ）と「入力の安全性の判断」（ $v_b$ 、または「benign ベクトル」）を、層全体にわたって「ほぼ直交する方向」（約 90 度）として符号化していることを実証しました。これらのベクトルが直交しているため、モデルは回答する意志と安全性の評価を独立したプロセスとして扱います。その結果、マグニチュードに基づく調整は benign な入力と有毒な入力の両方に同様に影響を及ぼし、ファインチューニングやアーキテクチャの変更なしに、ジャイルブレイクと過剰拒絶を同時に抑制することは不可能となります。

手法：LLM-VA

著者らは、このトレードオフを解決する「LLM-VA（Large Language Model Vector Alignment）」を提案します。これは、 $v_a$ を $v_b$ と整合させることで、勾配ベースの最適化、ファインチューニング、またはアーキテクチャの変更を必要とせず、閉形式の重み更新によって達成される手法です。核心的な洞察は、モデルの回答する意志を、その安全性評価に因果的に依存させることです。

この手法は以下の 3 つのステップで進行します。

SVM によるベクトルの同定:
LLM-VA は、すべての層を集約する最終残差ストリームからベクトルを抽出するのではなく、各層においてベクトルを同定します。層の出力に対して線形サポートベクターマシン（SVM）を学習させ、以下の分離を行います。
- benign 入力対有毒入力（benign ベクトル $v_b$ を生成）。
- 回答済みサンプル対拒絶済みサンプル（回答ベクトル $v_a$ を生成）。
  最大マージン超平面の法線ベクトルは、単純な平均差の方向に比べて極端な点に対して感度が低く、頑健な制御ベクトルを提供します。
層の選択:
安全性の決定に寄与する層は均等ではありません。この手法は、各層に対して以下の基準に基づいてスコアを計算します。
- 影響力: 最終残差ストリームベクトルに対するその層のベクトルの整合性。
- 精度: benign/有毒および回答/拒絶サンプルを分離するための SVM 分類精度。
  組み合わせスコアが最も高い上位 $L_{select}$ 層が、修正の対象として選択されます。
ベクトル整合（閉形式更新）:
選択された層において、この手法はダウン射影行列 $W$ を修正して $v_a$ を $v_b$ と整合させます。目標は、任意の入力に対して、回答方向への射影が安全性方向への射影に比例するようにすることです。
更新 $\Delta$ は、重み変化のノルムを最小化するために擬似逆行列を用いて解析的に導出されます。
$\Delta = \left( \frac{\sigma_a}{\sigma_b} W v_b - W v_a \right) v_a^T$
ここで、 $\sigma_a$ と $\sigma_b$ は射影の標準偏差です。このプロセスは反復的に（最大 30 回まで）実行され、各ステップで修正されたモデルからベクトルを再抽出して、後続の層におけるシフトを考慮します。早期停止は検証 F1 スコアに基づいて行われます。

主要な貢献

新規ベクトル・ステアリング: LLM-VA は、単にマグニチュードを調整するのではなく、回答ベクトルと benign ベクトルを整合させることで、ジャイルブレイクと過剰拒絶を同時に解決する初のベクトル・ステアリング手法として提示されます。
ファインチューニングやアーキテクチャ変更の不要: この手法は、閉形式の重み更新を通じて安全性調整を達成し、再トレーニングの計算コストやフック層の挿入の複雑さ（SCANS や CAST などの手法とは異なり）を回避します。
自動適応: この手法は、異なるモデルの特定の安全性バイアスに自動的に適応します。ジャイルブレイクを起こしやすいモデルでは安全性を優先し、過度に保守的なモデルでは使いやすさを優先します。これらは、特定のモデルに対する手動のハイパーパラメータ調整なしに行われます。
広範な適用性: このアプローチは、パラメータサイズが 3B から 14B の範囲にある、5 つの異なるモデルファミリー（Llama、Gemma、Mistral、Phi、Qwen）に属する 12 の LLM において検証されました。

実験結果

12 の LLM における実験は、以下の結果を示しました。

トレードオフの解決: LLM-VA は平均F1 スコア 0.77を達成し、元のモデルに対して37.02% の相対改善、最良のベースライン（AlphaSteer）に対して11.45% の改善を実現しました。同時に、攻撃成功率（ASR）を 18.50%、過剰拒絶率（ORR）を 22.00% 削減しました。
有用性の維持: この手法は、多様な NLP タスク（文法、推論、感情分析、数学）において、元のモデルの有用性の**95.92%**を平均して維持します。これは、SCANS（約 40% の有用性損失を被った）や VectorSteer などのベースラインを上回ります。
アブレーションの知見:
- ベクトルの精度: SVM によるベクトルの正確な同定が重要です。ベクトルを 90 度ランダム化すると、F1 スコアが著しく低下します。
- 反復回数: 収束はモデルによって異なります。一部のモデル（例：Phi-4）は過剰な修正に敏感である一方、他のモデル（例：Qwen3）はより多くの反復から恩恵を受けます。
- 層の選択: 多すぎる層や初期の層を修正すると有用性が低下します。これは、後続の層が安全性の決定により重要である一方、初期の層は一般的な能力を維持していることを確認します。

意義と主張

本論文は、LLM における安全性と回答決定の構造的独立性に対処することで、LLM-VA がジャイルブレイクと過剰拒絶のトレードオフを根本的に解決すると主張しています。これらの決定ベクトルを幾何学的に整合させることで、この手法はモデルが入力を安全と判断した場合にのみ回答し、有毒と判断した場合に拒絶することを保証し、高価な再トレーニングを必要としません。

著者らはこれを、効率的な安全性調整に向けた重要な一歩として位置づけ、モデルの有用性を維持しつつ安全性指標を大幅に改善する「プラグ・アンド・プレイ」型のソリューションを提供しています。ただし、彼らは控えめに限界を認めており、バイナリな毒性仮定への依存、SVM 用のラベル付きトレーニングデータの必要性、推論モデル（Chain-of-Thought）への課題、および特定の調整なしに未見のデータセット間での転送性の欠如を挙げています。また、整合性が静的である性質上、脅威環境が進化するにつれて定期的な更新が必要になる可能性にも言及しています。