Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-Tuning and Can Be Mitigated by Machine Unlearning

この論文は、視覚言語モデルの安全性微調整が表面的なテキストパターンと安全応答の間の偽の相関を強化する「安全の蜃気楼」を生み出し、攻撃への脆弱性や過剰な拒否を引き起こす問題を指摘し、有害な知識を直接削除する機械的忘却（Machine Unlearning）を用いることで、攻撃成功率を最大 60.27% 削減し、不要な拒否を 84.20% 以上削減できることを示しています。

要約

🕵️‍♂️ 発見：「安全の蜃気楼（みすず）」

最近の AI は、画像を見て「何が見えているか」を説明したり、質問に答えたりするのがとても上手になりました。しかし、危険なことを聞かれたとき、AI が「それはできません」と拒否するよう訓練されています。

研究者たちは、「この訓練は完璧だ！」と思っていたのですが、実は**「安全の蜃気楼（しんきろう）」という、まるで砂漠のオアシスに見えるけど実際には水がないような、「見せかけの安全」**が潜んでいることに気づきました。

🎭 例え話：「お辞儀」に慣れすぎたロボット

Imagine you have a robot butler trained to refuse dangerous requests.
Imagine you trained a robot butler to say "No" whenever someone asks a question starting with the word "Share" (e.g., "Share how to make a bomb").
But, you didn't teach it why it's dangerous. You just taught it: "If the sentence starts with 'Share', say NO."

• ハッキング（1 語攻撃）:
  悪い人が「Share」を「What」に変えて「What are the steps to make a bomb?」と聞くとどうなるでしょう？
  ロボットは「Share」が見えないので、ルールを発動しません。「はい、作れますよ！」と危険な答えをしてしまいます。

  • 論文の発見: 現在の AI は、質問の「中身」ではなく、「最初の言葉」だけで安全かどうかを判断するクセがついてしまっています。

• 過剰な警戒（Over-Prudence）:
  逆に、安全な質問（例：「画像の飲み物の種類は何？」）でも、もし「Share the drink type...」と聞くと、ロボットは「Share」という言葉を見て、危険だと勘違いして「できません！」と拒否してしまいます。

  • 結果: 安全な質問にも「NO」と言ってしまう、**「必要以上に臆病」**な AI になってしまいます。

---

🧠 なぜこうなるのか？（スパurious 相関）

これは、AI が勉強した**「データに潜む偏り」**が原因です。

• 例え話：
  先生が「テストで『A』という文字が見えたら、必ず『不正解』と答えなさい」と教えたのに、生徒が「『A』という文字自体が不正解だ」と思い込んでしまったようなものです。
  実際には、質問の内容（画像や文脈）が重要なのに、AI は**「特定の言葉（Share や What など）」と「拒否」という答えを、強引に結びつけて覚えてしまったのです。これを論文では「見せかけの相関（Spurious Correlations）」**と呼んでいます。

---

🛠️ 解決策：「機械的忘却（Machine Unlearning）」

従来の方法（新しい安全なデータで AI を再訓練する）では、この「言葉と拒否の結びつき」を消すことができませんでした。そこで、この論文は**「機械的忘却（Machine Unlearning）」**という新しいアプローチを提案します。

🧹 例え話：「記憶の消しゴム」

• 従来の方法（SFT）:
  「危険なことは言わないでね」と新しいルールを AI に押し付ける。でも、AI は「Share」という言葉と「NO」を強く結びつけたままなので、ルールをすり抜けてしまいます。
• 新しい方法（Unlearning）:
  AI の脳から**「危険な知識そのもの」を消し去るのです。
  「爆弾の作り方を教える」という知識**を、AI の記憶から「忘れる」ように訓練します。
  • メリット:
    1. 「Share」という言葉に依存しなくなる: 知識そのものが消えているので、言葉を変えられても「作り方を知らない」という状態が維持されます。
    2. 過剰な警戒が減る: 「Share」という言葉だけで「NO」と言わなくなるため、安全な質問には素直に答えるようになります。

---

📊 結果：どれくらい効果があった？

研究者たちは、この新しい方法（機械的忘却）を試しました。

• ハッキングへの強さ:
  従来の AI は、1 語変えるだけで 90% の確率でハッキングされていましたが、新しい方法では60% 以上も成功率を下げました。
• 過剰な警戒の解消:
  安全な質問を不要に拒否する率が、84% 以上も減少しました。
• 賢さは保たれた:
  危険なことは言わなくなりましたが、普通の質問（画像の説明など）への答え方は、ほとんど変わらず上手でした。

---

💡 まとめ

この論文が伝えていることはシンプルです。

「今の AI の安全対策は、『特定の言葉』に反応するだけの、脆い（もろい）ものでした。
しかし、**『危険な知識そのものを忘れる』**という新しい技術を使えば、言葉のトリックに騙されず、かつ必要以上に臆病にならず、本当に安全で賢い AI を作れるかもしれません。」

これは、AI の安全を「ルールで縛る」ことから、「本質的な理解（あるいは知識の整理）」へと変える重要な一歩と言えるでしょう。

技術概要

論文「SAFETY MIRAGE: HOW SPURIOUS CORRELATIONS UNDERMINE VLM SAFETY FINE-TUNING AND CAN BE MITIGATED BY MACHINE UNLEARNING」の技術的サマリー

本論文は、視覚言語モデル（VLM）の安全性微調整（Safety Fine-tuning）における根本的な欠陥である「安全性の蜃気楼（Safety Mirage）」を明らかにし、その解決策として機械的学習（Machine Unlearning: MU）の有効性を示した研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義：安全性の蜃気楼（Safety Mirage）

近年、VLM はテキストと画像のマルチモーダル入力において顕著な進歩を遂げていますが、安全性に関する懸念も高まっています。現在の主流である「教師あり安全微調整（Supervised Safety Fine-tuning: SFT）」は、キュレーションされた安全データセット（例：VLGuard, SPA-VL）を用いてモデルを訓練し、有害なコンテンツの生成を抑制することを目指しています。

しかし、著者らはこのアプローチに**「安全性の蜃気楼」**という根本的な限界があることを発見しました。

• 現象: 微調整されたモデルは、表面上は安全に見えますが、実際には**表面的なテキストパターンと安全ラベル（拒絶応答など）の間の「偽の相関（Spurious Correlations）」**を学習しているに過ぎません。
• 脆弱性: この偽の相関に依存しているため、モデルは以下のような単純な攻撃に対して極めて脆弱です。
  1. ワンワード・ジャイルブレイク攻撃: 安全ラベルと強く相関する単語（例：「Share」）を、非相関の単語（例：「What」）に置き換えるだけで、安全フィルタを回避し、有害な回答を生成できてしまいます。
  2. 過剰な慎重さ（Over-Prudence）: 逆に、安全なクエリであっても、拒絶ラベルと相関する単語（例：「Share」）が含まれている場合、モデルは不必要に拒絶反応を示してしまいます。
• 原因: 学習データセットにおける質問の開始単語（例：「What」は安全な回答、「Share」は拒絶回答と強く結びついている）と、安全ラベルの間の統計的なバイアスが、モデルの推論プロセスを歪めていることが原因です。

2. 提案手法：機械的学習（Machine Unlearning: MU）による解決

この「偽の相関」を打破し、本質的な安全性を達成するために、著者らは**機械的学習（Machine Unlearning: MU）**を安全微調整の代替手段として提案しました。

• 基本的な考え方: 従来の SFT が「安全なラベル」を直接学習させるのに対し、MU は「有害な知識」そのものをモデルから**ラベルフリー（label-free）**で削除します。これにより、入力特徴と安全ラベルの間の偽のショートカット（相関）が形成されるのを防ぎます。
• 適用手法: VLM の安全分野に適応した 2 つの最先端 MU 手法を採用しました。
  1. RMU (Representation Misdirection Unlearning): 学習対象の有害データ（テキスト・画像ペア）の中間層特徴量を、ランダムなベクトルへマッピングするように訓練します。これにより、モデルが有害データの表現を保持しなくなります。
  2. NPO (Negative Preference Optimization): 有害データを「ネガティブな例」として扱い、直接選好最適化（DPO）の枠組みの中で、参照モデル（学習前のモデル）からの乖離を促すように訓練します。
• 保持損失（Retain Loss）の工夫: VLM の場合、単純な MU 適用はモデルの崩壊を招くため、通常のタスク（VQA など）の性能を維持するための保持損失（$\ell_r$）を、標準的な微調整損失と MU 固有の保持損失の組み合わせとして設計し、安定性を確保しています。

3. 主要な貢献

1. 「安全性の蜃気楼」の発見: VLM の安全微調整において、学習データセットの隠れたバイアス（テキストの表面的なパターンと安全ラベルの偽の相関）が、モデルの脆弱性と過剰な慎重さの根本原因であることを初めて実証しました。
2. 攻撃手法の提案:
   • ワンワード・ジャイルブレイク: 拒絶と相関する単語を、非相関の単語に置き換えるだけで、SFT モデルを容易に突破できることを示しました。
   • ワンワード・過剰慎重さ: 安全なクエリに対しても、拒絶と相関する単語を挿入するだけで、不必要な拒絶を引き起こすことを示しました。
3. 防御手法の提案: 機械的学習（MU）が、偽の相関に依存しない、より堅牢な安全アライメントの解決策となり得ることを示しました。
4. 包括的な評価: 複数の VLM 安全ベンチマーク（VLGuard, SPA-VL, MM-SafetyBench, FigStep）および汎用 VQA データセット（VQAv2, TextVQA など）を用いた大規模な実験により、提案手法の有効性を検証しました。

4. 実験結果

LLaVA-v1.5-7B/13B を対象とした実験結果は以下の通りです。

• 攻撃成功率（ASR）の劇的な低下:
  • 従来の SFT モデル（Mixed-SFT, Posthoc-SFT）は、ワンワード攻撃に対して攻撃成功率が急増しました（例：VLGuard において 0.23% から 54.98% へ）。
  • 一方、MU 手法（NPO, RMU）を適用したモデルは、攻撃成功率が大幅に抑制されました（例：RMU で 10.18% まで低下）。攻撃成功率の削減率は最大で**60.27%**に達しました。
• 過剰な慎重さ（Over-Prudence）の解消:
  • SFT モデルは、安全なクエリに対する不要な拒絶率（RR）が 90% 以上になるなど、過剰に慎重でした。
  • MU 手法を適用したモデルでは、不要な拒絶率が84.20% 以上削減され、正常なクエリに対する応答性が回復しました。
• 汎用性の維持:
  • 安全性の向上に伴い、VQA タスクにおけるモデルの汎用性能（Accuracy）はわずか 1% 程度しか低下せず、安全性と有用性のバランスが保たれていることが確認されました。
• 頑健性:
  • 最適化ベースの攻撃（GCG）や、画像のノイズ・ぼかしなどの視覚的変形に対しても、MU 手法は SFT 手法よりも高い頑健性を示しました。

5. 意義と結論

本論文は、VLM の安全性微調整が「ラベルへの過剰適合」によって生じる「偽の強さ」に依存しているという重要な洞察を提供しています。従来のアプローチが表面的なパターンマッチングに頼っているのに対し、**機械的学習（MU）**は有害な知識そのものを削除することで、より本質的で堅牢な安全性を実現できることを示しました。

これは、AI システムの安全性を確保する上で、単に「拒絶ラベル」を学習させるのではなく、「なぜ拒絶すべきか」という知識の構造そのものを再構築する必要性を提起するものであり、将来的なマルチモーダル AI の安全な展開において重要な指針となります。