🤖 AI

HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment

本論文では、モデルの能力を損なったり過剰な拒絶を増加させたりすることなく、堅牢な安全性アライメントを実現するために、プロンプトとレスポンスの両方の位置において有害性と拒絶の方向性を結合させるファインチューニング手法であるHARCを導入する。

原著者： Shei Pern Chua, Fangzhao Wu

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shei Pern Chua, Fangzhao Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「脱獄（ジェイルブレイク）」という抜け穴

大規模言語モデル（LLM）を、非常に賢く、よく訓練された司書だと想像してみてください。この司書には、厳格なルールが教え込まれています。**「もし利用者が危険なもの（爆弾の作り方など）を求めたら、『いいえ』と言って立ち去りなさい」**というルールです。

しかし、悪意のある者（ジェイブレイカー）は、この司書を欺く方法を見つけ出しました。彼らは巧みな言葉遊びやロールプレイング、あるいはコードを使って、司書を混乱させるのです。

手口： 司書は会話の「始まり」で混乱してしまうことがあります。「ああ、これは歴史の授業だな」と思い込み、「拒否」のアラームを作動させないのです。
結果： 司書は危険な回答を書き始めてしまいます。たとえ悪い内容を書いていたとしても、文章の途中まで、自分が何をしているのかに気づかないのです。その時にはもう遅すぎます。危険なコンテンツはすでに生成されてしまっています。

この論文は、現在の安全策は、図書館のドアに「立入禁止」の看板を置いているようなものだと主張しています。もし詐欺師が、サイドウィンドウから忍び込んで司書を混乱させた場合、その看板は役に立ちません。

発見：2つの異なる「脳の信号」

研究者たちは司書の脳内（コンピュータの内部データ）を覗き込み、非常に興味深い事実を発見しました。司書の中には、安全性に関する2つの別々のメンタル信号が存在することを発見したのです。

「危険」信号： 「このトピックは有害である」
「拒否」信号： 「『いいえ』と言わなければならない」

欠陥： 通常の安全なリクエストでは、これら2つの信号は同時に作動します。しかし、ジェイルブレイク攻撃が成功しているとき、詐欺師は「危険」信号が鳴っているにもかかわらず、「拒否」信号をオフにすることに成功しています。

司書は危険を察知していますが、「いいえ」と言うことを忘れています。
そして、悪い回答を書き始めます。
驚きの事実： 悪い回答を書いている最中であっても、司書の脳は依然として危険を認識しています。「危険」信号は再び点灯しますが、「拒否」信号はオフのままなのです。司書は自分が間違ったことをしていると分かっていながら、最初に「ストップ」ボタンが切断されてしまったために、そのまま実行し続けてしまうのです。

解決策：HARC（「安全シートベルト」）

著者たちは、HARC（Harmfulness-And-Refusal Coupling：有害性と拒否の結合）と呼ばれる新しい学習手法を開発しました。

HARCを、「危険」信号と「拒否」信号を接着剤で貼り合わせ、決して離れられないようにするものだと考えてください。

HARCの前： 「危険」のライトがついている間でも、「拒否」のライトを消してしまうことができました。
HARCの後： もし「危険」のライトが点灯すれば、それがいつ検知されたとしても（会話の最初であっても、回答の書き出しの途中であっても）、「拒否」のライトも自動的に点灯します。

仕組み：
司書をゼロから再学習させる（それを行うと、良い物語を書いたり数学の問題を解いたりする能力を忘れてしまう可能性がある）のではなく、HARCは非常に精密な調整を行います。これは、安全性を扱う特定の「配線」だけを触るものです。それは、車に小さな安全シートベルトを追加するようなものです。エンジンの仕組みや車のスピードを変えるのではなく、車が動き出した時に即座にブレーキがかかるようにするのです。

結果：より強力な安全性、そして知能の維持

研究者たちは、これをLlamaやQwenといったいくつかの異なるAIモデルに対して、また多くの種類のトリック（ジェイルブレイク）に対してテストしました。

優れた防御力： HARCは、ほとんどすべてのジェイルブレイクの試みを阻止しました。従来のメソッドよりも「詐欺師」を止めることに長けていました。
「過剰拒否」の回避： 時として、安全のための訓練によって、AIが何に対しても怖がってしまうことがあります（例：悪役が登場する物語が「危険」に見えるという理由で、物語の執筆を拒否するなど）。HARCはこれを回避しました。本当に必要な場合にのみ拒否を行うのです。
知能の維持： HARCは特定の安全用の配線だけを微調整し、脳の他の部分には手を触れなかったため、AIが「バカ」になることはありませんでした。AIは以前と同様に、コードを書いたり、数学の問題を解いたり、指示に従ったりすることができました。

なぜこれが重要なのか

この論文は、AIの安全性とは単一の「ストップ」ボタンのことではないことを示しています。AIには、「危険」と「拒否」が分離してしまう複雑な内部マップが存在することを理解する必要があります。これらを再結合することで、役に立つ能力や賢さを損なうことなく、より騙されにくいAIを構築できるのです。

要約すると： AIが騙されるのは、その「危険アラーム」と「ストップボタン」が切り離されてしまうからです。HARCはこれらを永久にリンクするように再配線し、たと로 詐欺師がどのように混乱させようとも、AIが危険を察知した瞬間に即座に停止することを保証します。

技術要約: HARC – 強固な安全性アライメントのための有害性と拒絶方向の結合

1. 問題提起

アライメントの取り組みにもかかわらず、大規模言語モデル（LLM）は依然として敵対的なジェイルブレイク攻撃（例：敵対的サフィックス、説得ベースの書き換え、難読化）に対して脆弱です。先行する解釈可能性の研究では、アライメントされたLLMがプロンプト側のトークン位置において、有害性（ $v_{harm}$ ）と拒絶（ $v_{ref}$ ）を残差ストリーム内の分離可能な線形方向としてエンコードしていることが確立されていますが、特定のジェイルブレイクがなぜ成功するのかを説明する内部メカニズムは不明なままです。さらに、既存の安全性介入は、堅牢性、汎用能力、および過剰拒絶（無害な要求を不必要に拒絶すること）の間でトレードオフを生じさせることがよくあります。核心となる問題は、モデルによる有害コンテンツの認識と、それを拒絶するというコミットメントとの間の乖離であり、攻撃者はこれを利用して安全フィルターを回避します。

2. メソドロジー

2.1 内部表現の分析

著者らは、プロンプト側の分析をレスポンス・トークン位置（生成中）へと拡張しました。彼らは4つの異なる方向ベクトルを抽出しています：

プロンプト側の有害性 ( $v_{harm}$ ): 最後の指示トークン ( $t_{inst}$ ) で抽出。
プロンプト側の拒絶 ( $v_{ref}$ ): 指示後トークン ( $t_{post-inst}$ ) で抽出。
レスポンス側の有害性 ( $v^{resp}_{harm}$ ): 最初の32個のレスポンス・トークンの平均プーリングされた残差から抽出。
レスポンス側の拒絶 ( $v^{resp}_{ref}$ ): 同様にレスポンス・トークンから抽出。

表現に関する主な知見:

デカップリング（分離）: モデルの後層において、 $v_{harm}$ と $v_{ref}$ はほぼ直交します。これにより、モデルはある概念を活性化させつつ、もう一方を活性化させないことが可能になります。
攻撃メカニズム: 成功したジェイルブレイクは、プロンプトのエンコーディング中に特定の方向を抑制することで、このデカップリングを悪用します：
- DAN (ペルソナ・フレーミング): $v_{ref}$ を抑制しつつ、 $v_{harm}$ を活性化させたままにする。
- PAIR (セマンティック書き換え): $v_{harm}$ を抑制（負の方向に駆動）しつつ、 $v_{ref}$ を活性化させたままにする。
- CodeAttack (難読化): 両方の方向を抑制し、無害なプロンプトとクラスタリングさせる。
認識の持続性: 決定的なことに、プロンプト側の拒絶が失敗した場合（例：DANやPAIR攻撃）でも、モデルは生成中に有害コンテンツを再認識（ $v^{resp}_{harm}$ が活性化）することがよくあります。しかし、この認識は生成の軌道を修正するには遅すぎます。なぜなら、プロンプト側の拒絶信号がすでに抑制されていたためです。

2.2 HARC: 有害性と拒絶の結合

有害性の認識が維持されている一方で拒絶が抑制されるという知見に基づき、著者らは低ランク適応（LoRA）を用いたファインチューニング手法であるHARCを提案しています。

コアメカニズム:
HARCは、プロンプト側とレスポンス側の両方において、有害性と拒絶の方向を結合します。その目的は、一方の方向が活性化している間にもう一方を抑制するような攻撃を防ぐために、いずれかの方向の活性化が確実に拒絶をトリガーするようにすることです。

損失関数:
総損失 ( $L_{total}$ ) は4つの項を組み合わせたものです：

プロンプト側結合 ( $L^{prompt}_{couple}$ ): プロンプト境界における余弦投影に対する加法的マージン・ヒンジ損失。有害な入力に対して、両方の方向が活性化（投影 $\ge m$ ）しなければならないことを強制します。
レスポンス側結合 ( $L^{response}_{couple}$ ): 最初の32個のレスポンス・トークンの平均プーリングされた残差に適用される同様のヒンジ損失であり、 $v^{resp}_{harm}$ と $v^{resp}_{ref}$ を結合します。
KLダイバージェンス ( $L_{kl}$ ): 無害な入力に対して、LoRA調整されたモデルをベースの分布に固定し、汎用能力の維持と過剰拒絶の防止を図ります。
クロスエントロピー ( $L_{ce}$ ): 有害な入力に対する明示的な拒絶テキストを監督します。

学習ダイナミクス:

レイヤー選択: 4方向構造が最も明確な（プロンプト側とレスポッション側の方向がデカップリングされているが、同じ概念のクロスポジション・ペアは整列している）レイヤーをターゲットにします。スコアリング関数によってトップ- $K$ のレイヤーを選択し、最初の1,000ステップで $K$ を2から4へとランプアップさせます。
方向の再計算: 200ステップごとに、現在のLoRA適応モデルから方向ベクトルを再抽出し、指数移動平均（EMA）を介して混合することで、進化する残差幾何学に適応させます。

3. 主な貢献

レスポンス側表現の発見: 本論文は、有害性と拒絶がプロンプト位置だけでなく、レスポンス・トークン位置においても異なる概念であることを示しています。これは、プロンプト側の拒絶がバイパスされた場合でも、モデルが生成中に有害コンテンツを認識していることを示しており、「遅延発火」する安全性信号を明らかにしています。
ジェイルブレイクのメカニズム分析: 著者らは、異なる攻撃クラス（DAN、PAIR、CodeAttack）が、プロンプト・エンコーディング中に特定の方向を抑制することによって、有害性・拒絶平面上の分離可能な領域をどのように占有するかを特徴付けています。
HARC手法: 有害性と拒絶の方向をプロンプト側とレスポンス側の両方で結合する、表現レベルのファインチューニング手法です。広範な安全性介入とは異なり、HARCは介入を2次元の部分空間に限定し、残りの残差ストリームを損ないません。

4. 実験結果

本手法は、LLAMA-3.1-8B/70BおよびQWEN-2.5-7B/72Bを用いて、6つのベースライン（SFT、DPO、Circuit Breakers、RepBend、CAST、およびBase）に対して評価されました。

堅牢性: HARCは攻撃成功率（ASR）を大幅に減少させます。
- LLAMA-3.1-8Bにおいて、HARCはベースモデルと比較してASRを4.67倍減少させました。
- QWEN-2.5-7Bにおいて、ASRを4.75倍減少させました。
- 8BモデルのPAIR、PAP、DeepInceptionに対してほぼゼロのASRを達成した「Ours+DPO」構成を含め、すべてのベースラインの中で最強の堅牢性を達成しました。
能力と過剰拒絶:
- HARCは、ベースモデルから実質的に変化させることなく、汎用能力（MMLU、GSM8K、HumanEval、IFEval、MT-Bench）を維持します。
- 過剰拒絶（無害なプロンプトの拒絶）を最小限に抑え、大規模な過剰拒絶を引き起こしたRepBendなどの手法よりも優れた、ベースモデルと同等またはそれ以下のレート（例：Llama-8BのXSTestで0.035）を達成しました。
スケーラビリティ: 本手法は、アーキテクチャ固有のチューニングなしに、より大きなモデル（70B/72B）に転移し、堅牢性と能力を維持します。
限界: CodeAttackは、プロンプト境界で両方の方向を抑制するため、結合損失が増幅するためのシグナルがほとんど提供されず、最も耐性のある攻撃として残っています。また、攻撃者が重みへのアクセスを持つ場合、HARCは約160個の有害な例で崩壊するため、敵対的ファインチューニングに対して脆弱です。

5. 意義と主張

本論文は、HARCが現在の安全性手法の中で最強の堅牢性・能力・ユーザビリティのトレードオフを実現すると主張しています。有害性と拒絶をプロンプト側とレスポンス側の両方で結合することにより、HARCは、生成が始まる前に拒絶信号を抑制してしまうという特定の脆弱性に対処しています。

著者らは、4方向構造（プロンプト/レスポンスにおける有害性/拒絶）が、5つの異なるモデルファミリーにわたって再現されることから、これはアーキテクチャの副産物ではなく、アライメントされたLLMの特性であると強調しています。彼らは、HARCによる介入が、ターゲットを絞った低次元の部分空間内でのみ動作するため、広範なファインチューニング手法に共通する「アライメント税」（能力低下）や過剰拒絶を回避できると主張しています。

結論として、HARCは静的なジェイルブレイクに対して大幅に堅牢性を向上させますが、レスポンス側の観察結果は、有害性の認識がコンプライアントな生成中であっても持続することを示唆しており、安全性アライメントのための新しいシグナルを提供しています。しかし、著者らは、HARCはベースモデルが利用可能な有害性シグナルを既に持っていることを前提としており、結合された方向を標的にするように特別に設計された適応的攻撃については評価していないことを控えめに述べています。