技術要約：マルチモーダル大規模言語モデルのアンラーニングにおける視覚的ノイズ誘導型インコンテキスト蒸留

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚・言語タスクにおいて著しい進歩を遂げているが、機密性の高い個人情報、著作権コンテンツ、または不適切な知識を不注意に記憶してしまうことで、重大なプライバシーおよび安全上のリスクをもたらす可能性がある。これらの知識は一度モデルのパラメータにエンコードされると、推論時に視覚的またはテキスト的なクエリによって誘発される可能性がある。

既存のアンラーニング（学習解除）パラダイムは、決定的なトレードオフに直面している：

• 学習ベースの手法（例：勾配上昇法、ネガティブ・プリファレンス最適化）：モデルのパラメータを更新して知識を削除するが、多くの場合、モデル全般の有用性や能力を低下させる。
• 学習フリーの手法（例：インコンテキスト・アンラーニング）：パラメータ更新を回避することで有用性を維持するが、パラメータレベルでの知識の削除には失敗する。その結果、リバースエンジニアリング攻撃に対して脆弱であり続け、強力な視覚入力がテキストベースの安全性指示を上書きできてしまうマルチモーダル設定においては不十分である。

核心となる課題は、外部の教師モデルや明示的な望ましくないレスポンスのアノテーションに依存することなく、汎用的な有用性とアドバーサリアルなプロンプトに対する堅牢性を維持しながら、MLLMにおける効果的なパラメータレベルのアンラーニングを実現することである。

2. 手法：VGID

著者らは、インコンテキスト介入（training-free intervention）とパラメータレベルのアンラーニングの間の溝を埋めるために設計された、教師・生徒フレームワークであるVisual-Noise Guided In-Context Distillation (VGID) を提案する。

2.1 二重モーダル介入

VGIDの核心的な洞察は、テキストによるインコンテキスト指示だけでは、顕著な視覚的特徴によって誘発されるプライバシー漏洩を抑制するには不十分であるという点である。これに対処するため、VGIDは凍結されたベースモデルを用いて、二重モーダル介入によるアンラーニング指向の教師分布を構築する：

1. 視覚的摂動（Visual Perturbation）：入力画像を摂動させる（例：ガウスノイズ、ランダムノイズ置換、または白画像への置換）ことで、ターゲットに敏感な視覚的証拠を弱める。
2. テキストによるインコンテキスト指示：アンラーニング指示（例：「人物の特定を拒否せよ」）をテキストクエリの前に付加する。

凍結されたベースモデルは、この摂動されたマルチモーダル入力を処理して、ソフトターゲット分布（$\pi_T$）を生成する。この分布は、外部で訓練された教師を必要とせずに、望ましいアンラーニング行動（機密トークンの抑制、安全なレスポンスの促進）を捉える監督信号として機能する。

2.2 蒸留フレームワーク

VGIDは、知識蒸留を通じて教師分布に一致するように訓練された生徒モデル（$\pi_\theta$）を採用する：

• 忘却目的（Forget Objective）：忘却セット（$D_F$）のサンプルに対し、生徒モデルは、元の入力に対する自身の出力と、摂動された入力に対する教師の出力との間のカルバック・ライブラー（KL）ダイバージェンスを最小化する。これにより、生徒モデルはパラメータレベルでアンラーニング行動を学習するように導かれる。
• 保持目的（Retain Objective）：保持セット（$D_R$）のサンプルに対し、生徒モデルは、凍結されたベースモデルの元の入力に対する出力との間のKLダイバージェンスを最小化する。これにより、一般的なマルチモーダル能力の保持を確実にする。

全体の損失関数は、以下の加重結合である：
$$L_{overall} = \alpha L_{forget} + \beta L_{retain}$$

このアプローチにより、VGIDはゼロからの再学習や外部教師を用いることなく、二重モーダル介入によって誘発された「アンラーニング行動」をモデルパラメータに直接蒸留し、堅牢性を達成することができる。

3. 主な貢献

• モダリティ・ギャップの特定：本論文は、視覚入力が支配的な条件付け信号として機能し、テキストベースの安全性条件付けを上書きできるため、純粋なテキストによるインコンテキスト・アンラーニング指示はMLLMには不十分であることを示している。
• 二重モーダル介入戦略：視覚的摂動とテキストによるインコンテキスト・アンラーニングを組み合わせることで、どちらか一方のモダリティのみの場合よりも効果的にターゲットとなるプライベートな知識を抑制できることを示している。
• VGIDフレームワーク：凍結されたベースモデルからアンラーニング指向の教師分布を動的に構築する、新しい蒸留ベースのフレームワーク。外部の教師モデルや明示的な拒絶アノテーションなしで、パラメータレベルのアンラーニングを実現する。
• 実証的検証：複数のバックボーン（Qwen2.5-VL, LLaVA-1.5）を用いたMLLMU-Benchにおける広範な実験により、VGIDが優れたアンラーニング効果を発揮しつつ、競争力のあるモデル有用性とリバースエンジニアリング攻撃に対する堅牢性を維持していることを実証した。

4. 実験結果

Qwen2.5-VL-3B、LLaVA-1.5-7B、LLaVA-1.5-13Bにおいて、忘却比率5%、10%、15%でMLLMU-Benchを用いた実験が行われた。

• アンラーニングの有効性：VGIDはターゲットとなるプライベートな知識を大幅に減少させた。代表的な設定（LLaVA-1.5-7B、忘却比率5%）では、VGIDは忘却セットのROUGE-Lスコアを、ベースモデルの0.571から0.200へと、0.371減少させた。
• 有用性の保持：多くの場合で性能を低下させる勾配ベースのベースラインとは異なり、VGIDは強い有用性を維持した。同じ設定において、保持セットのROUGE-Lの低下はわずか0.055（0.496から0.441へ）であり、クローズテストや分類精度も競争力のある水準を維持した。
• 堅牢性：VGIDはリバースエンジニアリング攻撃に対して優れた堅能性を示した。インコンテキスト・アンラーニング（ICU）は、リバースプロンプトが適用されると性能が大幅に回復したが（忘却セットのROUGE-Lが0.462から0.518へ上昇）、VGIDは安定していた（忘却セットのROUGE-Lの上昇は0.200から0.220のみ）。
• アブレーション研究：
  • 教師の構築：二重モーダル介入（VGID）は単一モダリティ介入（ICU-TまたはNoise-T）よりも優れた性能を示し、視覚的およびテキスト的な手がかりを組み合わせることの必要性を裏付けた。
  • 摂動戦略：ランダムノイズ置換は、ガウスノイズや白画像置換よりも効果的であることが判明し、教師にとって利用可能な入力を維持しつつ視覚的手がかりを除去するためには、摂動パターンが極めて重要であることを示唆した。
  • プロンプトスタイル：「厳格な強制（Strict Enforcement）」プロンプトが、忘却と有用性保持の間の最も安定したバランスを提供した。

5. 重要性と主張

本論文は、VGIDが既存の学習ベースおよび学習フリーの手法と比較して、アンラーニングの完全性とモデル有用性の間で優れたトレードオフを提供すると主張している。介入によって誘発された分布を蒸留することで、VGIDはインファレンス時の介入の堅牢性をモデルパラメータに正常に転移させ、リバースエンジニアリング攻撃に対する耐性を持たせることに成功した。

著者らは、VGIDを、再学習の計算コストを回避し、かつ純粋な推論時戦略の脆弱性を克服する、プライバシー保護を目的としたMLLMデプロイメントの実用的なソリューションとして位置づけている。また、現在の範囲はプライバシー指向のアンラーニングに焦点を当てており、視覚的摂動のデザインスペースは未探索であることを認め、今後の研究として、このパラダイムを著作権保護や不適切な知識の除去へと拡張できる可能性を示唆している。