🤖 machine learning

Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks

本サーベイは、視覚、言語、音声、およびビデオのモダリティにわたるマルチモーダル・アンラーニングの手法、データセット、およびベンチマークに関する、統一されたシステム指向のタクソノミーを提示し、モデル全体の有用性を維持しながら、基盤モデルから機密情報や著作権情報を選択的に削除するという課題に対処するものである。

原著者： Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

公開日 2026-07-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nobin Sarwar, Shubhashis Roy Dipta, Zheyuan Liu, Vaidehi Patil

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、絵を描いたり、物語を書いたり、歌を歌ったり、動画を作ったりすることを同時にこなせる、超スマートで超クリエイティブなロボットの友達を作ったと想像してみてください。このロボットはインターネット全体を読み込むことで学習しましたが、その過程で、本来覚えてはいけないことを誤って記憶してしまいました。例えば、隣人のプライベートな写真や、有名なアーティストによる著作権のある絵画、あるいは奇妙で不適切なジョークなどです。

そして、隣人はその写真を忘れさせてほしいと願い、アーティストは自分のスタイルを消去してほしいと願い、インターネットはあのジョークを消し去りたいと考えています。これまでの修正方法は、悪いデータを削除してロボットをゼロから作り直すことでした。しかし、それは壊れたレンガを一つ取り除くために摩天楼をすべて解体するようなものであり、膨大な時間がかかり、多額の費用がかかり、全く現実的ではありません。

この論文は、この新しい、よりスマートな解決策を探索するための大規模な**サーベイ（現在の状況を描いた巨大な地図）です。それがマルチモーダル・アンラーニング（Multimodal Unlearning）**です。ロボット全体を作り直す代わりに、これらの手法は「選択的な忘却」を実行しようとします。つまり、ロボットの描く、書く、歌うという能力を完璧に保ったまま、悪い記憶だけを外科手術のように精密に取り除くのです。

大きな地図：どこを切るのか？

著者らは、すべての異なる手法を「システム優先」の地図へと整理しています。単に数学的な側面を見るのではなく、ロボットの脳の「いつ」「どこで」介入するかを見ています。彼らは、この手術を行うための5つの主要な場所を見つけました。

データ側（ロボットが学習する前）： ロボットがそれを見る前に、悪い写真やテキストに「学習禁止」のステッカーを貼ることを想像してください。いくつかの手法は、ロボットがそれを記憶できないようにデータをわずかに調整したり、画像と単語の「毒された」ペアを取り除くために学習ライブラリをクリーンアップしたりします。
学習時の編集（ロボットが学習している間）： これは、ロボットが勉強している最中に新しいルールを教えるようなものです。「おい、これ特定のものを目にしたら、それは覚えてはいけないが、他のことはすべて覚え続けておけ」と伝えます。ロボットは、他のことを保持しながら、ターゲットを忘れるように脳の重みを調整します。
アーキテクチャの制約（ロボットのハードウェアを変更する）： ルールを変える代わりに、ロボットの構造を変えることもあります。脳の特定の部分を「凍結（ロック）」して変更できないようにしたり、悪い記憶を保持している特定の接続を「プルーニング（剪定・切り落とし）」したりしてから、ロボットがその隙間の周囲で良いことを再学習できるようにします。
学習フリーのアンラーニング（魔法の消しゴム）： これが最もクールな部分です。これらの手法は、ロボットを再学習させません。数学を用いて、ロボットの脳の重みや内部表現（物事についての「考え方」）を、ワンステップで直接編集します。これは、他のページには触れずに、特定の化学溶剤を使って特定の悪いインクだけを溶かすようなものです。
デコーディング時（ショーの最中）： ロボットが絵を描いているところを想像してください。画像が現れる直前の最後の瞬間に、フィルターが介入して、「いや、その特定の顔は描くな」と言います。ロボットの脳はそのままですが、出力が禁止されたコンテンツから逸らされます。

ゲームのルール

この論文は、これらの手法が何を達成しようとしており、何をしていないのかについて非常に明確に述べています。

目標： 主な目標は選択的な除去です。特定の「忘却セット」（例：個人の顔や著作権のあるスタイル）を忘れさせつつ、「保持セット」（それ以外のすべて）が完璧に機能するようにしたいのです。論文ではこれを数学的に定義しています。忘却後のロボットは、悪いデータで訓練されていなかったかのように振る舞う必要があります。
除外される考え方： 論文は、単にデータを削除するだけでロボットが自動的に忘れると期待することに対して、明確に反対しています。知識はロボットの脳全体に分散しているため、ソースファイルを削除しても記憶は消えないことを示しています。また、現在の手法が完璧であるという考えも否定しています。これらは、記憶が100%永遠に消えたという鉄壁の数学的証明に基づいているのではなく、多くの場合ヒューリスティック（試行錯誤と賢い推測に基づくもの）です。
「アンラーニング」対「隠蔽」の罠： 論文は、一部の手法は真に削除しているのではなく、単に情報を隠しているだけかもしれないと示唆しています。適切な「敵対的（アドバーサリアル）」な質問（ジェイルブレイクのようなもの）を投げかけると、忘れられた記憶が再び飛び出してくるかもしれません。論文は、多くの手法はあるものの、記憶が完全に消去されたという保証はまだなく、特に巧妙な攻撃に対しては不十分であることを指摘していますいます。

ツールキット：データセットとベンチマーク

これらの手法をテストするために、研究者は特定の「訓練場」を使用します。論文では、使用される多くのデータセットを挙げています。

顔に対して： 特定の人物の顔を忘れさせることができるかをテストするために、CelebA（202,599枚の画像）やVGGFace2（330万枚の顔画像）などのデータセットを使用します。
著作権に対して： ロボットが特定のアーティストのスタイルを忘れられるかを確認するために、Uncanvas（60の芸術的スタイル）を使用します。
安全性に対して： 不適切または不安全なコンテンツを生成する方法を忘れさせることができるかをテストするために、I2P（4,700のプロンプト）を使用します。
オーディオに対して： 特定の話し手の声を忘れさせることができるかをテストするために、VoxCeleb1（150,000の発話）を使用します。

論文では、これらの手法がどれほど上手くいっているかを測定するためのベンチマーク（MU-BenchやMLLMU-Benchなど）についても強調しています。これらのベンチマークは、以下の3つをチェックします。

忘れたか？（ロボットはその悪いものを認識できなくなったか？）
良いものは維持されたか？（ロボットは依然として他のことについて描いたり書いたりするのが上手いか？）
安全か？（ハッカーが、悪いことを思い出させるようにロボットを騙すことができるか？）

現実的な検証：何がまだ壊れているのか？

著者らは、残されている課題についても正直に述べています。彼らは、私たちが素晴らしいツールを多く持っている一方で、まだ「初期段階」にいることを示唆しています。

魔法の保証はない： ほとんどの手法はシミュレーションされたものか、特定のモデルに対してテストされたものです。「この手法を使えば、どんな場合でも、どんな方法でも、記憶を永遠に消去できる」という普遍的な数学的証明はまだありません。
এটি
「再浮上」の問題： 論文は、生成モデル（画像作成AIなど）において、忘れられた概念が、後に再学習（ファインチューニング）されたり、誰かが巧妙なプロンプトを使用したりすることで、再浮上する可能性があることを示唆しています。それは、ある曲を忘れたはずなのに、似たようなメロディを聞いたら思い出してしまうようなものです。
トレードオフ： 多くの場合、トレードオフが存在します。より積極的に忘れさせようとすればするほど、ロボットの他の能力を損なう可能性があります。論文は、ごくわずかなデータの削除であっても、他のタスクのパフォーマンスに測定可能な低下を引き起こすことがあると指摘しています。
クロスモダリティの漏洩（リーク）： 画像における顔を忘れさせるように教えた場合、テキストによる記述からもその顔を忘れさせるのでしょうか？論文は、これが大きな未解決の課題であることを示唆しています。つまり、一つのモード（テキスト）での安全性が、必ずしも別のモード（画像）での安全性を保証するわけではないということです。

結論

この論文は、単一の新しい発明ではなく、現在存在するものを網羅したサーベイです。それは、「AIに忘れさせる方法」という混沌とした状況を、明確なシステムへと整理しています。私たちはAIモデルに対して「手術」を行う強力なツールを持っていますが、その手術をいかに100%信頼でき、ハッカーに対して安全で、かつロボットの脳の他の部分を傷つけない完璧なものにするかについては、まだ模索している段階です。

著者らは、（他の人々がその上に構築できるように）キュレートされたリポジトリ（コードとデータの公開コレクション）を公開しています。彼らは、問題を（より良いベンチマークやより強力な保証の必要性など）明らかにすることで、最終的には、誰かが「忘れさせてほしい」と頼むたびにゼロから作り直す必要のない、プライバシーや著作権を尊重するAIを構築できると希望しています。

技術要約：視覚、言語、ビデオ、およびオーディオにわたるマルチモーダル・アンラーニング

1. 問題定義

視覚・言語モデル（VLM）、拡散モデル（DM）、大規模言語モデル（LLM）、およびオーディオ基盤モデル（AFM）を含むマルチモーダル基盤モデル（MFM）の急速な採用は、機密情報、著作権、バイアス、または不安全なクロスモーダルな関連性の不注意なエンコードに関する重大なリスクをもたらしている。ウェブスケールのデータで学習されたこれらのモデルは、特定のインスタンス（例：個人の顔、著作権のある芸術作品）や望ましくない概念（例：有害なステレオタイプ）を記憶してしまうことが多い。

削除要求（例：「忘れられる権利」）やポリシーの更新に直面した際、ゼロからの再学習という標準的な解決策は、計算量的に非現実的であることが多い。さらに、ターゲットを絞った忘却は技術的に困難である。なぜなら、MFMにおける知識は共有された表現の中に分散しているためであり、一つのモダリティ（例：テキスト）における関連性を削除しても、他のモダリティ（例：画像生成）における無関係な挙動を不意に阻害したり、残留するクロスモーダルな漏洩のために概念を完全に消去できなかったりする場合がある。核心となる問題は、残りのデータに対する全体的な有用性とモデルの性能を維持しながら、特定のデータや概念を複数のモダリティにわたって選択的に除去することである。

2. 手法と分類学

本サーベイは、マルチモーダル・アンラーニングの手法を最適化目的ではなく、介入段階と制御経路によって整理するシステム指向の分類学を提案する。このフレームワークは、データ準備から推論に至るまでのパイプライン全体をカバーしている。

2.1 定式化

目標は、保持データ $D_r$ に対する有用性を維持しつつ、忘却セット $D_f$ の影響を取り除くことである。元のモデル $M_o$ とデータ $D$ に適用されるアンラーニング手順 $U$ は、 $D \setminus D_f$ で再学習されたモデルと区別がつかない分布を持つモデル $M_u$ を生成すべきである。これは、アンラーニングと再学習の間の等価性について理論的な保証を提供するために、差分プライバシーを模した $(\epsilon, \delta)$ アンラーニング基準を用いて定式化される。

2.2 介入段階

本サーベイでは、手法を以下の5つの主要な介入ポイントに分類している。

データ側への介入:
- データパス摂動 (Data-Path Perturbation): 重みではなく入力（画像/テキスト）を編集することで、ターゲットとなるクラスターの学習可能性を低減させる（例：学習不能な例やクロークを使用）。これにより、コーパスの残りの部分に対する有用性は維持される。
- データ衛生とプロンプト正規化 (Data Hygiene & Prompt Normalization): 学習開始前に、不審なペアの重みを下げたり、プロンプトを標準的な形式に正規化したりすることで、学習データを精査し、偽の関連性を軽減する。
学習時の編集:
- 直接勾配 (Direct Gradient): アンラーニングをターゲットのリスク最小化として定式化し、保持セットにおける性能を維持しながら、忘却セットに対する応答を抑制する。これには、クロスモーダル構造をデカップリングするVLMや拡散モデルのための目的関数が含まれる。
- 制約付き更新 (Constrained Updates): 最適化中に境界を課すことで、忘却セットに対する残留能力を制限し、参照モデルからの逸脱を制限し、忘却の有効性とモデルの完全性のバランスを取る。
- マスク駆動型選択的アンラーニング (Mask-Driven Selective Unlearning): サリエンシーやアテンションマップを介して特定された局所的なパラメータ、特徴量、または空間領域への更新を制限し、保持された挙動への副次的被害を最小限に抑える。
- 蒸留ベース (Distillation-Based): 元の学習データに直接アクセスすることなく、安全なターゲットへと導かれる「教師」から「生徒」モデルへと挙動を転移させる。
アーキテクチャ制約付きアンラーニング:
- アーキテクチャ編集 (Architecture Editing): ネットワーク構造を直接修正し（例：特定の層やテンソルのプルーニング、凍結、または再成長）、忘却信号をエンコードする経路を遮断する。
- レイヤー限定制約付き更新 (Layer-Scoped Constrained Updates): 概念が集中する特定の層を特定し、パラメータのドリフトを制限するために、それらの層への編集を制限する。
学習フリーのアンラーニング:
- 重み空間線形アンラーニング (Weight-Space Linear Unlearning: WLU): 再学習を行うことなく、望ましくない挙動を抑制するために、参照チェックポイントに対して閉形式の線形演算（例：タスクベクトルの減算、重みの反転）を用いる。
- 表現投影アンラーニング (Representation Projection Unlearning: RPU): 内部のアクティベーションやアテンション出力を、忘却信号に関連する学習済み部分空間から遠ざけるように投影し、モデルの重みを変更することなく、ターゲットとなる概念を効果的にフィルタリングする。
デコーディング時のアンラーニング:
- ガイダンスパス制御 (Guidance-Path Control): 生成中のサンプラーまたはスコア関数を修正し（例：動的ネガティブガイダンス）、ベースモデルを固定したまま、不安全な概念から出力を遠ざける。
- コンディショニングパス制御 (Conditioning-Path Control): モデルに入る前のコンディショニング信号（例：テキスト埋め込み）を変換し、モデルのパラメータを変更することなく、ターゲットとなる概念の条件を実質的に弱める。

3. 主な貢献

本論文は、マルチモーダル・アンラーニングの分野において3つの主要な貢献を行っている。

基礎的なサーベイ: 画像、テキスト、ビデオ、およびオーディオの基盤モデルにわたるマルチモーダル・アンラーニングを統合し、メカニズム、理論、および評価を網羅する統一されたフレームワークを提供する。
システムレベルの視点: 介入段階と制御経路によって整理されたシステム第一の分類学を導入している。これは、アルゴリズム中心の従来のサーベイとは対照的であり、異なるモデルクラス（VLM、DM、AFM）間での明確な比較を可能にし、削除の強さ、有用性の保持、効率性、および可逆性の間のトレードオフを明確にする。
新たなフロンティア: 強固な評価指標、再活性化に対する敵対的堅牢性、および実用的なデプロイメントの制約を含む、重要な未解決の課題を概説する。

4. 結果とエビデンス

サーベイ論文であるため、主な「結果」は新しい実験データではなく、既存の文献の体系的な比較と分析である。本論文は以下を提示している。

キュレートされたリポジトリ: メソッド、データセット、およびベンチマークの包括的なコレクション。
データセットとベンチマークの分析: アイデンティティ、感情、ビデオ、および著作権の忘却に使用される主要なデータセット（例：CelebA, VoxCeleb, DreamBooth）をレビューし、既存のベンチマーク（例：MU-Bench, MLLMU-Bench, PEBench）を評価している。現在のベンチマークは、合成アイデンティティや狭いモデルファミリーに依存しており、統一された標準が欠けていることを強調している。
評価フレームメント: 忘却の質（例：Unlearning Accuracy, CLIP-Sim Drop）、安全性（Refusal Rate）、プライバシー（Membership Inference Attacks）、および有用性（Top-k Accuracy, FID, LPIPS）に関する指標を統合している。
トレードオフ分析: 本サーベイは、手法によってトレードオフが大きく異なることを明らかにしている。例えば、学習フリーの手法は効率性に優れるが、再学習ベースのアプローチほどの削除の強さを欠く場合があり、一方でアーキテクチャ編集は有用性をより良く保持するが、忘却信号の正確な特定を必要とする。

5. 意義と将来の方向性

本論文は、マルチモーダル・アンラーニングがモデルガバナンスのための中心的なツールであり、実世界の環境で説明責任のあるMFMをデプロイするために不可欠であると主張している。その意義は以下の通りである。

選択的除去の実現: 膨大な再学習コストをかけることなく、特定のアイデンティティ、属性、または概念を削除するメカニズムを提供する。
コンプライアンスのサポート: GDPR（忘れられる権利）や著作権法などの規制要件への対応。
安全性の向上: モダリティを横断して、有害、バイアス、または不安全なコンテンツの生成を軽減する。

本論文は、いくつかの未解決の課題と将来の方向性を特定している。

時間的および動的なモダリティ: ストリーミングオーディオ、ビデオ、およびモーション生成へのアンラーニングの拡張は、依然として未解決の問題である。
フロンティア規模のモデル: 数十億のパラメータを持つ基盤規模のモデルへのアンラーニング手法のスケーリングは、現在、小規模なバックボーンによる狭い評価によって制限されている。
継続的アンラーニング: 繰り返される削除やダウンストリームのファインチューニングの下でも効果を維持し、忘れられた概念の「再出現」を防ぐプロトコルの開発。
クロスモーダルな漏洩: 一つのモダリティ（例：テキスト）における安全性やプライバシーの整合性が、他のモダリティ（例：視覚やオーディオ）に一般化しない問題への対処。
統一されたベンチマーク: 多様なモダリティとアーキテクチャにまたがる標準化された統一ベンチマークが不足しており、手法を公平に比較することを困難にしている。

結論として、本サーベイは、安全でコンプライアンスを遵守した基盤モデルのデプロイを確実にするために、堅牢でスケーラブル、かつ理論的に裏付けられたアプローチの必要性を強調しながら、研究者や実務家がマルチモーダル・アンラーニングの複雑さをナビゲートするための構造化されたロードマップを提供するものである。