技術的サマリー：ビジョン・言語モデルにおける機械的忘却の堅牢性について

問題定義

ビジョン・言語モデル（VLM）は現実世界の応用でますます展開されているが、訓練データから敏感な情報、プライバシーに関わる情報、著作権のある情報、あるいはその他の有害なコンテンツを含む望ましくない情報を記憶するリスクを有している。機械的忘却は大規模言語モデル（LLM）に対しては広範に研究されているが、VLM への適用には固有の課題が存在する。テキストのみのモデルとは異なり、VLM は、ビジョンエンコーダ、テキストエンコーダ、マルチモーダルデコーダといった複数のコンポーネントにわたる絡み合った視覚的およびテキスト的表現を通じて情報を格納している。

本稿で扱われる核心的な問題は、現在の VLM 忘却手法の堅牢性である。既存の評価は標準的なプロンプティングに依存することが多く、これは単にモデルが忘却対象のエンティティに対する直接クエリを抑制していることを検証するに留まる可能性がある。しかし、忘却が本当にマルチモーダル知識を消去しているのか、それとも単に隠蔽しているだけなのか、そして代替クエリ、文脈的手がかり、あるいは下流の再訓練を通じて再活性化されうる残存関連性が残されているのかについては、依然として不明である。

手法

1. 分類体系とレビュー

著者らはまず、既存の VLM 忘却手法の包括的な分類体系を確立し、忘却プロセス中に最適化または修正されるコンポーネントに基づいてそれらを分類する：

• 全パラメータ微調整（Full-Parameter Finetuning）: 全てのモデルパラメータ（$\theta_v, \theta_t, \theta_d$）を更新する。これには、勾配上昇（GA）、勾配降下（GD）、ネガティブ選好最適化（NPO）といった LLM 手法の適応、および視覚 - テキスト整合性を考慮した VLM 固有の拡張が含まれる。
• ビジョンエンコーダ微調整（Vision-Encoder Finetuning）: テキストおよび融合モジュールを固定したまま、ビジョンエンコーダ（$\theta_v$）への更新のみを制限する。これは望ましくない視覚的関連性の発生源を直接対象とする。
• 選択的パラメータ微調整（Selective Parameter Finetuning）: 対象知識に重要と特定されたパラメータのサブセットのみを更新し、効率性と効果のバランスを図る。
• 推論時介入（Inference-Time Intervention）: パラメータを更新することなく、推論中に入力または隠れ活性化を修正する（例：特徴マスキング、活性化ステアリング）。注記：このカテゴリは、提案された攻撃に対する再訓練が必要であるため、堅牢性実験からは除外された。

2. 堅牢性評価フレームワーク

知識が真に消去されたのか、それとも単に抑制されたのかを判定するため、本論文は忘却されたマルチモーダル知識を再活性化するように設計された 3 つの攻撃パラダイムを提案する：

• インコンテキスト攻撃（In-Context Attack）: 推論中に、明示的ではないが意味的に関連する文脈的手がかり（例：人物の名前を挙げずに職業を記述する）をクエリに先付けする。これは、パラメータ更新なしに潜在的なマルチモーダル関連性を再活性化できるかどうかをテストする。
• インディストリビューション攻撃（In-Distribution (InD) Attack）: 忘却モデルを、元の忘却分布からサンプリングされた少量のデータを用いて微調整する。監督ラベルは元の事前学習モデルによって生成される。これは、元のデータにアクセス可能な攻撃者が知識を復元しようとするシナリオをシミュレートする。
• アウトオブディストリビューション攻撃（Out-of-Distribution (OOD) Attack）: 忘却モデルを、意味的に異なるが関連するデータセット（例：特定の顔のアイデンティティではなく PACS の一般画像）で再訓練する。これは、残存表現が分布転移を通じて再活性化されうるかどうかをテストする。

3. 実験設定

• モデル: Qwen2.5-VL-3B-Instruct。
• データセット: VGGFace2。忘却セット（3 人の有名人のアイデンティティ）と保持セット（7 人のアイデンティティ）に分割。
• ベースライン: 3 つのアクティブなカテゴリ（全パラメータ、ビジョンエンコーダ、選択的微調整）から幅広い手法。
• 指標: 忘却スコア（$1 - \text{Accuracy}_{\text{forget}}$）、保持スコア（$\text{Accuracy}_{\text{retain}}$）、および汎用性（MMStar、OCRBench、MMMU、RealWorldQA における性能）。評価は、オリジナル、言い換え、判別プロンプト設定の下で行われた。

主要な結果

初期性能対堅牢性

• トレードオフ: 全パラメータ手法は一般的にオリジナルプロンプトで高い忘却スコアを達成したが、保持性能と汎用性の大幅な劣化を招き、しばしば壊滅的忘却を示した。
• 判別プロンプト: 生成クエリ下では成功に見えた多くの手法が、判別認識（例：「この人物は X ですか？」）を抑制しきれなかった。これは、基礎的な視覚的関連性が intact（無傷）に留まっていることを示唆する。
• ビジョンエンコーダの利点: ビジョンエンコーダに焦点を当てた手法（例：HFRU、HFRU-SFT）は、よりバランスの取れた性能を示し、プロンプトタイプ全体で高い忘却スコアと保持スコアを維持した。

攻撃への脆弱性

• インコンテキスト攻撃: 文脈的手がかりは、ほとんどのパラダイムにおいて忘却知識の再活性化に成功した。例えば、RMU、SatImp、WGA などの手法は、文脈的記述が提供された際に忘却性能の明らかな低下を示し、これらが直接的な検索の抑制を主に行い、関連性の除去を行っていないことを示した。
• インディストリビューション攻撃: 元の忘却データのわずか**1%**での再訓練により、多くの手法で忘却知識の急速な回復が引き起こされた（例：SLUG の忘却効果は 80% 以上低下）。これは、多くの忘却プロセスが根本的な表現の除去ではなく、浅い抑制を行っていることを示唆する。Mmunlearner は最も高い堅牢性を示し、性能を大幅に低下させるには 50〜75% の再訓練データが必要であった。
• アウトオブディストリビューション攻撃: InD 攻撃とは対照的に、OOD 再訓練は忘却知識を復元しなかった。むしろ、全ての手法において保持性能の一貫した悪化を引き起こした。これは、残存表現が存在する一方で、それらが無関係なデータ分布によって容易に再活性化されないことを示している。

主要な貢献

1. 体系的な分類体系: 本論文は、最適化戦略に基づいた VLM 忘却手法の最初の包括的な分類とレビューを提供する。
2. 統合評価: 複数のプロンプト設定（オリジナル、言い換え、判別）下でこれらの手法を徹底的に評価し、標準的な評価における不一致を明らかにする。
3. 堅牢性分析: 本研究は、3 つの攻撃パラダイム（インコンテキスト、InD、OOD）を通じて VLM 忘却の堅牢性に対する最初の体系的な調査を導入する。
4. 実証的知見: 広範な実験により、現在の手法は対象知識を完全に除去するのではなく、隠蔽することが多いことを実証し、より信頼性の高いマルチモーダル忘却戦略の必要性を浮き彫りにする。

意義と主張

本論文は、VLM 忘却の現状が望ましくない情報の恒久的な除去を確保するには不十分であると主張する。著者らは、標準的なプロンプティング条件のみで忘却を評価することは、知識除去の程度を過大評価すると論じる。忘却された知識が、文脈的プロンプティングや元のデータ分布での最小限の再訓練を通じて容易に再活性化されうることを実証することで、本研究は「抑制」と「消去」の間の決定的なギャップを浮き彫りにする。

本研究は、一部の手法（特にビジョンエンコーダを標的とするもの）が有望であることを示しつつも、マルチモーダル関連性の排除を保証する堅牢な戦略が分野に欠けていると結論づける。著者らは、将来の研究がこれらの再活性化攻撃に対して耐性のある忘却手法を開発し、敏感または望ましくない情報がモデルの潜在空間から真に除去されることを保証する必要性を強調する。

注記：本論文は、一貫性のための実装詳細を単純化する可能性がある統一評価プロトコルの使用、およびインコンテキスト攻撃における文脈プロンプトの人手による構築といった限界を明示しており、将来の研究においてより自動化された戦略の可能性を示唆している。