🤖 AI

Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning

本論文は、対照学習と零空間制約を用いてマルチモーダル大規模言語モデルの視覚モジュールを微調整し、静的および継続的忘却の両方のシナリオにおいて、対象視覚知識を効果的に忘却しつつ、非対象視覚知識およびすべてのテキスト知識を保持する「零空間制約付き対照的視覚忘却」という手法を提案する。

原著者： Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Linlin Zhang, Haichang Gao

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Linlin Zhang, Haichang Gao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、膨大な数の本や写真アルバムを丸暗記している、非常に賢く、観察眼に優れたアシスタント（マルチモーダル大規模言語モデル、または MLLM）を持っていると想像してください。このアシスタントは、人、場所、物に関する質問に答えるのが得意です。

しかし、そのライブラリにあるいくつかの写真や物語は、プライバシーに関わるものや機密性の高いものです。あなたは、アシスタントが特定の人物（彼を「スミス氏」と呼びましょう）に関する特定の詳細を忘れるようにしたいと考えています。ただし、他の誰かに関する記憶を失ったり、正常に読んだり話したりする能力を失ったりしてはなりません。

問題は、これらの AI アシスタントにおいて、「視覚的」な記憶（スミス氏がどのように見えるか）と「テキスト的」な記憶（彼の名前、住所、職業）が、毛糸の玉のように絡み合っていることです。視覚的な糸を引っ張ろうとすると、誤ってセーター全体がほどけてしまい、アシスタントがすべてを忘れたり、正常に機能しなくなったりする可能性があります。

この論文は、その絡み合いを解く巧妙な新しい方法を提案しています。以下に、その方法を簡単に説明します。

1. 戦略：脳を凍結し、目を訓練する

これまでのほとんどの方法は、スミス氏を忘れるためにアシスタントの脳全体を再訓練しようとしました。これは、アシスタントの人格全体を書き換えて特定の記憶を消去しようとするようなもので、コストが高く、他の記憶を損なうことが多いです。

代わりに、著者たちはアシスタントの「脳」（言語部分）を凍結し、「目」（視覚部分）のみを再訓練することにしました。

比喩: アシスタントを探偵だと想像してください。「脳」は話し方や推論の仕方を知っています。「目」は写真を見て誰が写っているかを識別する部分です。
手法: 彼らは脳に「あなたはそのまま変わらないで」と伝えました。そして、目だけを調整し、スミス氏の写真を見たときに彼を認識しないようにしました。しかし、他の人々の写真を見たときには、依然として完璧に認識できるようにしました。

2. 最初のトリック：「押しと引き」のゲーム（対照的視覚忘却）

どのようにすれば、一人の人を忘れるように目を訓練しながら、全員を忘れることにならないのでしょうか？

著者たちは、対照的視覚忘却と呼ばれるゲームを作成しました。

「押し」: アシスタントがスミス氏の写真を見ると、システムは「以前の自分とは違うように見えないで！彼の精神的なイメージを遠くへ押しやれ！」と叫びます。これにより、スミス氏の表現が心の別の隅へと押しやられます。
「引き」: しかし、単に何かをランダムに押しやると、他の人々の記憶も誤って押しやられてしまう可能性があります。そこで、システムは「でも、他の人々が住んでいる『平均的な』安全地帯には近づいておいて」とも言います。
結果: 目は、スミス氏の写真を「禁止区域」へと押しやる一方で、他の人々の写真は「安全地帯」に留めることを学びます。これにより、スミス氏は忘れられますが、ライブラリの残りは無傷のまま保たれます。

3. 2 番目のトリック：「安全トンネル」（ヌル空間制約付き学習解除）

「押しと引き」のゲームを行っても、スミス氏を忘れるために加えた変更が、彼に少し似ている隣人の記憶を誤って損なうリスクがあります。

これを修正するために、著者たちは安全トンネル（ヌル空間と呼ばれる）を構築しました。

比喩: アシスタントの知識を巨大な都市だと想像してください。「安全トンネル」は、他の人を記憶する上で重要ではない都市の部分にのみ接続する特別な地下道路です。
手法: 彼らは、アシスタントの心の中で変更しても安全な方向を正確に計算しました。そして、すべての「忘却」更新がこの安全トンネルを通ってのみ進むように強制しました。
結果: アシスタントはスミス氏を忘れるための変更を加えることができますが、トンネル内に閉じ込められているため、物理的に他の誰かの記憶に触れたり損傷させたりすることはできません。これは、浴室の配管を壊さずに台所を改装するようなものです。

4. ボーナス：動く標的への対応（継続的学習解除）

時には、一人の人を忘れるだけでなく、時間とともに一人ずつ、十人の人のリストを忘れる必要があるかもしれません。これは継続的学習解除と呼ばれます。

通常、A 氏を忘れると、後で B 氏を忘れる際にすべてを壊さずに済ませるのが難しくなります。しかし、著者たちは「安全トンネル」を非常に慎重に構築したため、この方法は長いリストの人々を忘れる処理に対応できます。忘れるリストに新しい人物を追加するたびに、アシスタントは同じ安全トンネルを使用して、その人物の画像を削除し、以前の作業や一般的な知識を混乱させることなく処理します。

結論

この論文は、言語の脳を凍結し、視覚の目にこれらの 2 つのトリック（押し/引きと安全トンネル）を使用することで、以下のことが可能になると主張しています。

対象となる人物の特定の視覚的特徴を非常に効果的に忘れること。
他の誰かを完璧に記憶すること。
アシスタントの読書、会話、推論の能力を完全に維持すること。

彼らは MLLMU、UMU、CLEAR などのいくつかのベンチマークでこれをテストし、リクエストが連続して行われた場合でも、この方法が「忘却」と「記憶」のバランスを取る点において、これまでのどの方法よりも優れていることを発見しました。

技術概要：MLLM 忘却のための Null-Space 制約付コントラスト視覚忘却

1. 問題定義

本論文は、マルチモーダル大規模言語モデル（MLLM）における機械的忘却の課題に取り組む。テキストのみの LLM における忘却が特定のテキスト知識の除去を目的とするのに対し、MLLM における忘却はより複雑なトレードオフを伴う。すなわち、特定の人物の視覚的外観など、対象視覚知識を消去しつつ、以下の点を厳密に保持することを目的とする。

非対象視覚知識（他のエンティティの視覚的特徴）。
すべてのテキスト知識（対象および非対象エンティティに関する事実情報）。

核心的な難しさは、視覚モダリティとテキストモダリティの密接な絡み合いにある。モデル全体を更新する標準的な忘却手法は、テキスト能力を低下させたり、保持された視覚知識に付随的な損害を与えずに視覚概念を選択的に忘却することに失敗したりする傾向がある。さらに、既存の手法は通常、最終モデル出力に適用される損失に基づく出力レベルの教師信号に依存しており、視覚モジュールのみが更新される場合、中間の LLM バックボーンによって教師信号が減衰するため非効率である。

2. 手法

提案フレームワークである**Null-Space 制約付コントラスト視覚忘却（NC-CVF）**は、LLM バックボーンを固定し、視覚モジュール（ビジョニングエンコーダとプロジェクタ）のみを微調整することで動作する。このアプローチは以下の 3 つの主要コンポーネントで構成される。

A. コントラスト視覚忘却（CVF）による中間レベル教師信号

最終出力に教師信号を適用するのではなく、本手法は視覚モジュールが生成する**中間視覚表現（IVRs）**に直接教師信号を注入する。

参照モデル: 忘却前の元のモデルを参照モデルとして用いる。
コントラストメカニズム:
- プッシュ: 忘却対象エンティティ（忘却セット）について、忘却モデルの IVR を修正された InfoNCE 類似損失（ $L_{CVF-push}$ ）を用いて参照 IVR から遠ざける。これにより、対象視覚概念を元の表現から明示的に分離する。
- プル: 保持知識を損なう領域へのモデルのドリフトを防ぐため、忘却された IVR をアンカー表現（ $p^a_r$ ）へと引き寄せる。このアンカーは、保持サンプルからの参照 IVR の平均であり、モデルが非対象知識にとって「安全」な特徴空間内に留まることを保証する。
保持損失: 保持サンプルの IVR に明示的な平均二乗誤差（ $L_{RET}$ ）を適用し、それらが参照モデルと一致することを保証する。
汎用性: 汎用的なマルチモーダル能力を維持するため、保持データに対して標準的な出力レベルの尤度損失（ $L_{GUM}$ ）を含める。

B. Null-Space 制約付忘却（NCU）

忘却と保持をさらに解離させるため、本手法はパラメータ更新を、保持知識を符号化する方向と直交する部分空間に制約する。

部分空間の特定: 保持セットの活性化共分散行列に対する特異値分解（SVD）を用い、最小固有値に対応する固有ベクトルが張る部分空間を特定する。これらの方向は保持知識と弱く関連している。
LoRA 制約: 忘却は低ランク適応（LoRA）を介して実装される。本手法は、この Null-Space の基底を用いて LoRA 行列 $A$ を初期化し、トレーニング全体を通じてこれを固定する。行列 $B$ のみが最適化される。
効果: これにより、重み更新（ $\Delta W = BA$ ）が保持データに対する層出力に与える影響（ $A x \approx 0$ ）が無視できる程度に抑えられ、忘却操作を知識保持から実質的に分離する。

C. 継続的忘却拡張

このフレームワークは、忘却リクエストが逐次的に到来する継続的忘却に拡張される。Null-Space 基底 $A$ を固定し、後続のタスクを前タスクで最適化された $B$ で初期化することで、時間の経過に伴う保持知識の累積的劣化を防ぐ。

3. 主要な貢献

中間レベル教師信号: 忘却の教師信号を最終出力から中間視覚表現へシフトさせることを提案し、視覚モジュールのみが更新される際の MLLM における信号減衰の問題に対処する。
コントラスト視覚忘却（CVF）: 特徴空間内で「プッシュ・プル」戦略を用いて対象視覚概念を分離しつつ、それらを保持知識領域にアンカーする新たなメカニズム。
Null-Space 制約付忘却（NCU）: LLM 編集における Null-Space 学習に触発され、保持知識と直交する部分空間への更新を制限することで、忘却と保持を明示的に解離させる構造的制約。
継続的忘却フレームワーク: MLLM における逐次的忘却リクエストに対処する最初の手法であり、提案された制約が継続的設定で典型的に見られる累積的劣化を軽減することを示す。

4. 実験結果

本手法は、LLaVA-1.5-7B および Qwen2-VL-7B モデルを用いて、MLLMU-Bench、UMU-Bench、CLEARの 3 つのベンチマークで評価された。

忘却の有効性: 全てのベンチマークにおいて、「忘却 VQA」タスクで最低の精度を達成し（対象視覚知識の成功した除去を示す）、MMU や MANU などの最先端ベースラインを上回った。
知識保持: 「保持 VQA」および「忘却/保持 QA」タスクで高い精度を維持した。特に、他の手法が大幅な低下を被るのに対し、テキスト知識（QA タスク）をバニラモデルと同等のレベルで保持した。
継続的忘却: 逐次的忘却シナリオにおいて、提案手法は保持および実世界有用性の劣化がベースラインに比べて著しく緩やかであった。ベースラインは数タスク後に性能が崩壊するのに対し、提案手法はこれを回避した。
効率性: LLM を固定し、事前計算された Null-Space 制約を使用することで、フルモデル微調整ベースラインと比較してトレーニング時間と GPU メモリ使用量を削減した。

5. 意義と主張

本論文は、MLLM における忘却と保持のトレードオフに対する堅牢な解決策を提示すると主張している。その意義は以下の点にある。

選択的忘却: 視覚知識を消去しても、モデルのテキスト事実の想起能力や他の視覚エンティティの認識能力を損なわないことを実証的に示した。
構造的解離: 単純な損失関数の調整を超え、忘却プロセスを保持知識から数学的に分離する構造的制約（Null-Space）へ移行した。
継続的実現可能性: 時間経過とともに複数の忘却リクエストが発生する実用的かつ未探索のシナリオに対処し、累積的被害なしに手法が拡張可能であることを示した。

著者らは、この研究を、再トレーニングの莫大なコストを伴わずに正確でモダリティ固有の知識除去を可能にすることで、MLLM をより安全にし、プライバシー規制への準拠を高めるための一歩として位置づけている。