技術概要：マルチモーダル機械忘却における指標の信頼性欠如

問題定義

機械忘却は、一般データ保護規則（GDPR）のような規制への準拠において、配備されたモデルから特定の学習データの影響を除去することを義務付けるものとして、ますます重要視されている。忘却は分類タスクやテキストのみの大規模言語モデル（LLM）において研究されてきたが、マルチモーダル大規模言語モデル（MLLM）におけるその評価は一貫性を欠いたままとなっている。

特定された核心的な問題は、既存のマルチモーダル忘却の評価指標が、忘却手法の体系的に矛盾するランキングを生み出していることである。現在の慣行は、Forget Accuracy（FA）、Retain Accuracy（RA）、Membership Inference Attack（MIA）、Activation Distance（AD）、および Jensen–Shannon 発散（JS）という 5 つの標準指標に依存しており、それらの一致性を検証することなく使用されている。本論文は、これらの指標が忘却の直交する側面（出力挙動対表現の整合性）を測定していることを示しており、ある指標では手法が 1 位にランク付けされ、別の指標では 4 位になるような状況が生じることを実証している。さらに、既存のすべての指標は重要な盲点を共有している。すなわち、再構成、間接的、または敵対的なクエリを通じて忘却された情報が再構築可能かどうかを測定する**知識回復可能性（KR）**を測定していないことである。

手法

著者は、LLaVA-1.5-7Bビジョン言語モデル（VLM）を用いて、3 つの VQA ベンチマーク（MLLMU-Bench、UnLOK-VQA、MMUBench）にわたる体系的な分析を実施した。

1. 実験設定:

   • モデル: ベースモデル（$M$）は、忘却セットと保持セットの和集合上で微調整された。「オラクル」モデル（$M^*$）は、忘却後のモデルがどのようにあるべきかの真の基準として機能するため、保持セットののみで再学習された。
   • 忘却手法: 4 つの異なるパラダイムがテストされた。Gradient Ascent（GA）、Random Labels（RL）、Fine-tune Retain（FT）、および SalUn（saliency ベース）である。
   • 規模: 本研究では 36 のモデル（4 つの手法 × 3 つのデータセット × 3 つのランダムシード）を評価した。
   • 指標: 標準指標が計算された。
     • FA/RA: 出力の抑制と有用性の維持。
     • MIA: 信頼度スコアを介したプライバシー漏洩。
     • AD/JS: 活性化距離と出力分布を介した、忘却モデル（$\hat{M}$）とオラクル（$M^*$）との間の整合性。

2. 分析フレームワーク:

   • 順位相関: 著者は、指標によって誘発されるランキング間の一致を測定するために、Kendall の $\tau$（ノンパラメトリック統計量）を使用した。
   • オラクル近接性: 指標の信頼性は、各指標と LoRA パラメータ空間における距離 $d(\hat{M}, M^*)$ との間の Spearman 相関（$\rho$）を計算することで評価された。
   • 知識回復可能性（KR）パイロット: 著者は、再構成、多段、および否定クエリを用いて忘却モデルを手動でプローブし、「出力抑制」（FA=0）と実際の「知識の消去」の間のギャップを定量化した。

3. 提案される解決策：統合品質スコア（UQS）:

   • 矛盾を解決するために、著者は複合指標である UQS を導入した。
   • 重み導出: 重みは恣意的なものではなく、経験的に導き出される。各指標の重みは、オラクル距離 $d(\hat{M}, M^*)$ との Spearman 相関に比例する。
   • 定式化: $UQS = \sum w_i \cdot \text{normalized\_metric}_i$。負の相関を持つ指標（FA など）は、大幅に重みが減らされるか、ペナルティが課される。

主要な貢献

1. 側面の分解: 本論文は、既存の指標を、しばしば矛盾する目的にマッピングしている。FA、RA、MIA は出力挙動（抑制と有用性）を測定するのに対し、AD と JS はオラクルとの表現の整合性を測定する。ランキングの乖離はノイズではなく構造的なものである。
2. 欠落した側面の特定（KR）: 著者は、知識回復可能性を、間接的なクエリを通じて忘却された情報を再構築する能力として定義している。パイロット研究により、FA=0（直接の想起が抑制されている）であっても、KR の漏洩は高く（SalUn の場合 100% まで）、現在の指標が GDPR 準拠の消去を保証しないことが示された。
3. 矛盾の定量化: 36 のモデルにわたる Kendall の $\tau$ 分析により、2 つの逆相関クラスター（$\{FA, RA, MIA\}$ と $\{AD, JS\}$）が明らかになった。具体的には、$\tau_{FA,AD} = -0.26$ であり、出力抑制を最適化する手法は、しばしばオラクル表現から著しく乖離することを示している。
4. マルチモーダルによる増幅: 本研究は、指標間の不一致が、単一モーダル分類（$\bar{\tau} = 0.158$）よりもマルチモーダル VQA（$\bar{\tau} = 0.086$）においてより深刻であることを発見した。画像とテキストの二重経路は、視覚エンコーダと言語デコーダが分離する可能性があり、乖離のための追加の次元を導入する。
5. 統合品質スコア（UQS）: 測定可能な側面を信頼性重みを用いて集約する、原理的かつデータ駆動型の複合スコア。導き出された重みは、**Retain Accuracy（RA）**がオラクル近接性の最も信頼性の高い予測因子であることを示しており（$\rho = 0.484, p=0.003$）、**Forget Accuracy（FA）**は負の相関を示す（$\rho = -0.418$）。これは、低い FA が効果的な忘却ではなく、モデルの崩壊に起因する可能性が高いことを示唆している。

結果

• ランキングの不安定性: 単一の忘却手法がすべての指標で一貫して 1 位にランク付けされることはない。例えば、Gradient Ascent は MIA では 1 位だが、AD では 4 位である。Random Labels は 4 つの指標で 1 位だが、MIA では 3 位である。
• 再現性: この矛盾は、BLIP-2 OPT-2.7Bでも再現され、この問題がアーキテクチャ固有のものではなく、評価環境に内在するものであることが確認された。
• 指標の信頼性:
  • RAは、オラクルに対する忘却の質の最も強力な単独指標である。
  • FAは貧弱な指標である。低い FA は、しばしばオラクルからの高い距離（モデル崩壊）と相関する。
  • MIAは中程度の信頼性を示すが、このサンプルサイズでは統計的に有意ではない。
  • AD と JSは、この規模では単独の指標として信頼性が低い。
• UQS の安定性: UQS のランキングは、ランダムな重み摂動下でも堅牢であり残存する（平均 $\tau = 0.647 \pm 0.262$）。これは、原理的な重み付け方式が個々の指標で見られる矛盾を解決することを示している。
• KR の知見: パイロットにおいて、FA=0 のサンプルの 96% が間接的なプローブを通じて知識を漏洩させており、プライバシー準拠に対する現在の指標の不足を浮き彫りにした。

意義と主張

本論文は、新しい忘却アルゴリズムではなく、方法論的な貢献を主張している。その主な意義は、マルチモーダル忘却に対する現在の評価基準の信頼性欠如を暴露することにある。

• 矛盾は構造的である: 指標間の不一致は実験ノイズによるものではなく、出力抑制と表現整合性の測定という根本的な対立に起因している。
• GDPR 準拠のギャップ: 現在の指標は、知識が真に消去されたのか、単に抑制されたのかを評価できず、規制準拠にとって決定的な失敗である。本論文は、知識回復可能性を測定しない限り、GDPR 準拠の主張は潜在的に誤解を招く可能性があると論じている。
• 原理的な評価: UQS は、忘却手法をランク付けするための再現可能でデータ駆動型のフレームワークを提供する。オラクルモデルとの相関に基づいて指標に重みをつけることで、忘却の理論的目標（忘却セットで一度も学習されなかったモデルの状態に到達すること）とより整合する「単一の原理的なスコア」を提供する。
• リソースの公開: 著者は、この分野における再現可能な研究を促進するために、ベンチマーク、36 のモデルチェックポイント、およびインタラクティブなリーダーボードを公開する。

著者は、UQS の重みがモデルとデータセットに依存し、新しい設定では再導出が必要であることを指摘し、自らの範囲について謙虚である。また、スケーラブルで自動化された知識回復可能性の測定は、将来の研究における未解決の課題であると認めている。