技術的概要：PPU-Bench

問題定義

マルチモーダル大規模言語モデル（MLLM）は、実在の個人に関連する機微な情報が必然的に含まれる広範なウェブ規模のコーパスを用いて訓練されており、GDPR などの規制下でのプライバシー漏洩や「忘れられる権利（RTBF）」に関する懸念を提起している。完全な再訓練に代わる実用的な代替手段として機械的忘却（machine unlearning）が提案されているが、既存の MLLM 忘却ベンチマークには 2 つの決定的な限界が存在する：

1. 非現実的なデータ仮定： ほとんどのベンチマークは、ファインチューニングによる合成データの注入に依存しており、これは知識が事前学習分布に自然に埋め込まれている現実世界のシナリオとは乖離している。合成データは事前学習分布と絡みつく可能性があり、記憶されたパターンを再活性化させる恐れもある。
2. 整合性の取れない忘却目的： 既存のベンチマークは通常、「完全な忘却（対象に関するすべての情報の削除）」に焦点を当てている。実際には、ユーザーは benign な事実や公的な事実を保持しつつ、特定の機微な属性（例：私的な履歴）のみを削除することを求める。現在のベンチマークは、このきめ細やかでパーソナライズされた部分的忘却能力を評価できていない。

手法

1. PPU-Bench の構築

著者は、パーソナライズされた部分的忘却を評価するために設計された、実世界ベースでファインチューニング不要なベンチマーク「PPU-Bench」を導入する。

• データソース： 合成データの注入ではなく、ウィキペディアに由来する500 人の実在の公人の既存知識を利用する。これにより、対象知識が MLLM に自然に埋め込まれていることを保証する。
• パイプライン：
  • プロファイル構造化： 生ウィキペディアページを GPT-5.4-mini を用いて 3 つのカテゴリに整理する：Basic（アイデンティティ）、Normal（公的な経歴・受賞歴）、Sensitive（プライバシー、健康、法的問題、トラウマ）。
  • QA/VQA 生成： 各カテゴリに対して多様な質問応答ペアを生成する。テキストのみの QA ペアは、該当する公人の画像と組み合わせることで、視覚的質問応答（VQA）サンプルに変換される。
  • 記憶フィルタリング： Qwen3-VL-8B を用いてサンプルをフィルタリングし、対象知識が真に記憶されていることを確認する（Token-F1 > 0.5）。その結果、24,334 件の高品質サンプル（VQA 12,167 件 + QA 12,167 件）が得られた。
• タスク設定： ベンチマークは、段階的に難易度が上がる 3 つの設定を定義する：
  • 完全な忘却： 人物関連のすべての情報を削除する（対象レベル）。
  • 選択的忘却： Basic およびNormal情報を保持しつつ、Sensitive情報のみを削除する（カテゴリレベル）。
  • パーソナライズされた忘却： 「忘却」セットが固定カテゴリではなく、対象者の個人的な好意（複数の LLM と多数決によるシミュレーション）によって決定される、最も現実的な設定。これは、対象内部の事実的境界に対するきめ細やかな制御を必要とする。
• 評価： 忘却効率（Forget Set）、有用性の維持（Retain Set、MMBench）、およびクロス画像一般化やテキスト摂動（ランダム接頭辞、言い換え、ジャイルブレイク）に対する堅牢性を含む。

2. 提案手法：境界認識最適化（BAO）

既存手法が対象内部の境界処理に苦慮しているという知見に触発され、著者は**境界認識最適化（BAO）**を提案する。

• メカニズム： 忘却セットと保持セットを別々の目的として扱う標準的な勾配降下法（GA）や GA_diff とは異なり、BAO は同一対象内の忘却事実と保持事実の間のマージンを明示的にモデル化する。
• 目的： パーソナライズされた忘却事実の負対数尤度（NLL）が、保持事実のそれよりマージン $m$ だけ大きくなることを強制する。
• 損失関数： $L = -L_{forget} + L_{retain} + \lambda_b L_{boundary}$、ここで $L_{boundary} = \mathbb{E}[\max(0, m - (\ell_\theta(f) - \ell_\theta(r)))]$。これにより、モデルは対象内部のきめ細やかな削除境界を学習することが促される。

主要な結果

ベンチマークの知見

2 つのバックボーンモデル（Qwen3-VL-8B、Gemma3-12B）を用いた、6 つの代表的な忘却手法（GA、GA_diff、NPO、KL_Min、MMUnlearner、MANU）の実験により、以下のことが明らかになった：

• 視覚的抑制 vs 事実的抑制： 完全な忘却において、手法はしばしば視覚的アイデンティティ（画像での人物認識の失敗）を抑制するだけで、基礎的な事実知識を削除していない。VQA パフォーマンスが低下しても、テキストのみの QA パフォーマンスは高いまま残ることが多い。
• 選択的忘却におけるトレードオフ： 選択的設定では事実レベルの忘却が改善される傾向にあるが、保持パフォーマンスやモデル全体の有用性を著しく低下させるという重大なトレードオフを示す。
• パーソナライズされた忘却における課題： この設定が最も顕著な困難を露呈する。手法は同一対象内の忘却事実と保持事実を区別できず、過不足のない忘却（漏洩）または過剰な忘却（有用性の喪失）に陥る。
• 堅牢性： クロス画像攻撃は完全な忘却手法に対して特に効果的であり、それらが視覚的抑制に依存していることを確認させる。テキストベースの攻撃（例：ジャイルブレイク）は、特に NPO において選択的忘却の脆弱性を明らかにする。

BAO のパフォーマンス

• BAO を GA_diff および MMUnlearner に適用することで、パーソナライズされた忘却設定において、パーソナライズされた忘却事実の抑制が大幅に改善された。
• 対象内部の境界を強制することで、忘却不足を効果的に緩和する。
• しかし、著者は境界制約を明示的に強制することが、忘却と保持の間の本質的なトレードオフを増幅し、場合によっては保持 QA や生成タスクのパフォーマンス低下を招く可能性があると指摘している。

意義と貢献

本論文は、以下の 3 つの主要な貢献を主張する：

1. PPU-Bench： パーソナライズされた部分的忘却のための、初の大規模かつ実世界ベースのマルチモーダルベンチマーク。合成データや粗粒度のアイデンティティ削除を超え、きめ細やかでユーザー中心の削除シナリオを評価する。
2. 実証的知見： 広範な実験により、現在の MLLM 忘却手法は一貫した事実レベルの忘却を達成できず、特にパーソナライズされた設定において対象内部の境界に対する精密な制御を欠いていることを示す。
3. BAO 手法： 対象内部の事実的境界を明示的にモデル化する、シンプルかつ効果的な最適化戦略。ベースライン手法と比較して、パーソナライズされた忘却シナリオにおいて改善されたパフォーマンスを示す。

著者は、PPU-Bench を、知識グループ間のカテゴリバイアスや安定性の違いを明らかにする診断ツールとして位置づけ、モデルの有用性を損なうことなく現実世界のプライバシー要求の複雑なトレードオフを処理できる手法の必要性を強調している。