EASE: Federated Multimodal Unlearning via Entanglement-Aware Anchor Closure

以下は、論文「EASE: Entanglement-Aware Anchor Closure による連合マルチモーダル忘却」の詳細な技術的サマリーです。

1. 問題定義

本論文は、大規模な視覚言語モデル（例：CLIP）の文脈における**連合マルチモーダル忘却（Federated Multimodal Unlearning: FML）**の課題に取り組んでいます。FML では、複数のクライアントが生データを共有することなく、プライベートな画像 - テキストペア上でモデルを共同で訓練します。クライアントが撤退した場合、または特定のデータ（サンプルやクラス）がプライバシー権や有害コンテンツなどの理由により削除されなければならない場合、システムはゼロから再訓練することなく、このデータを「忘却」する必要があります。

著者らは、既存の連合忘却手法がマルチモーダル設定で失敗する原因として、忘却された知識が存続することを可能にする 3 つの特定の残存アンカーを考慮していないことを特定しました。

1. モダリティアンカー: 対照損失（例：InfoNCE）における双線形結合により、あるモダリティ（例：テキスト）の勾配は、他のモダリティ（例：画像）の埋め込みベクトルに依存します。片方のブランチのみが修正された場合、修正されていないブランチがアンカーとして機能し、忘却されたアライメントを再構築します。
2. 固有部分空間アンカー: クライアントの勾配部分空間は絡み合っています。忘却固有の方向は、保持されるクライアントと共有される方向と混在しています。既存の手法は忘却部分空間を単一のブロックとして扱うため、トレードオフが生じます。つまり、データを削除しきれない（過小削除）か、保持された知識を損なう（過剰削除）かのどちらかになります。
3. 時間的再アンカーリング: 忘却の時点でアンカーを閉じても、その後の保持クライアントとの連合平均化（FedAvg）ラウンドにより、削除された方向が徐々に書き換えられ、モデルが時間経過とともに忘却されたデータを「記憶」してしまうことがあります。

2. 手法：EASE フレームワーク

著者らは、これら 3 つのアンカー経路を同時に閉じるように設計された**EASE（Entanglement-Aware Subspace Excision）**を提案します。これは、凍結されたマルチモーダルバックボーンの上に動作する軽量な LoRA アダプターを使用します。

A. 双側知識切除（BKE）－ モダリティアンカーの閉鎖

• メカニズム: 視覚ブランチまたはテキストブランチのいずれかのみを修正するのではなく、EASE は両方のブランチを同時に変位させます。
• ロジック: 双線形類似度モデルにおいて、アライメント勾配は両方の埋め込みベクトルの積に依存します。$z_v$ と $z_t$ の両方を元の値から変位させることで、双線形類似度が忘却されたペアリングを再構築できなくなります。
• 結果: これにより、「修正されていない」モダリティが、修正されたブランチを元のアライメントに戻すメモリアンカーとして機能することを防ぎます。

B. 勾配部分空間分解（GSD）－ 固有部分空間アンカーの閉鎖

• メカニズム: サーバーはクライアントからの履歴勾配更新を収集し、特異値分解（SVD）を実行して、忘却部分空間（$S_f$）と保持部分空間（$S_r$）を抽出します。
• ロジック: コサイン・サイン分解を用いて、$S_f$ と $S_r$ の間の主角度を計算します。
  • $S_r$ とほぼ直交する方向は固有部分空間アンカー（削除可能）として特定されます。
  • $S_r$ と強く整合する方向は保持サポート（保存必須）として特定されます。
• アクション: サーバーは、グローバルモデルパラメータを固有部分空間の補空間 onto 射影することで、共有サポートを保持しつつ、忘却固有の方向のみを実質的に切除します。

C. 忘却ロック付き射影（PFL）－ 時間的再アンカーリングの閉鎖

• メカニズム: 継続的な訓練中のドリフトを防ぐための二重のアプローチ：
  1. サーバー側射影: 忘却直後に、グローバルモデルを射影して固有部分空間成分を削除します。
  2. クライアント側忘却ロック: 以降の局所 SGD ラウンド中、クライアントは結合目的関数 $L_{total} = L_{align} + \alpha \cdot L_f$ を最適化します。
• ロジック: $L_f$ は、特定された固有部分空間方向（$U_\mu$）に沿ったドリフトを特に罰する二次ペナルティです。
• 結果: これにより、忘却された知識がモデル内に戻ってドリフトするのを制限する「ロック」が作成され、一方で保持された知識（直交補空間）は回復のために制約を受けずに残ります。

3. 主要な貢献

1. アンカー原理: 本論文は、連合マルチモーダル忘却の失敗を引き起こす 3 つの異なるメカニズム（モダリティ、固有部分空間、時間的再アンカーリング）を形式的に特定し、特徴付けました。これらの中から任意の部分集合を閉じても、測定可能な再構築経路が残存することを示しました。
2. EASE フレームワーク: BKE、GSD、PFL を組み合わせた統一されたソリューションです。連合設定において、クロスモーダル結合と部分空間の絡み合いを同時に扱う最初の手法です。
3. 理論的保証: 著者らは以下の幾何学的証明を提供しています。
   • BKE は支配的なモダリティアンカー信号を排除する。
   • GSD は閾値 $\delta$ に基づいて保持知識への付随的損害を制限する。
   • PFL は、ロック強度 $\alpha$ に反比例して、忘却された知識の時間的ドリフトを制限する。
4. 包括的評価: Flickr30K、MS COCO、TextCaps における CLIP-B/32、CLIP-L/14、SigLIP バックボーンを使用した広範な実験。

4. 実験結果

EASE は、クライアント、クラス、サンプルという 3 つの忘却シナリオにおいて、FedEraser、Ferrari、FedOSD、GradAscent など 9 つのベースラインと比較されました。

• 忘却の完全性: EASE は、忘却セットにおける検索性能（Forget R@1）の低下において、すべてのベースラインを大幅に上回りました。例えば、CLIP-B/32 を使用した Flickr30K において、EASE は Forget R@1 を0.3（再訓練の参照値 0.1 に近い）達成しましたが、Ferrari や FedOSD などのベースラインは高値（60-80% 超）のままであり、忘却に失敗していることを示しました。
• 保持の完全性: 保持された知識を破壊する過激な手法（例：GradAscent）とは異なり、EASE は保持セットで高い性能を維持します。クライアント忘却において、保持側で再訓練の参照値を4.2 R@1 ポイント以内で一致させましたが、他の手法は大幅な低下を被りました。
• プライバシー検証: EASE は、最も低いメンバーシップ推論攻撃（MIA）スコアと尤度比攻撃（LiRA）の TPR を示し、忘却されたデータが非メンバーと区別できないことを確認しました。
• アブレーション研究: 単一のコンポーネント（BKE、GSD、または Lock）を削除すると、明確な失敗モードが生じ、3 つのアンカーすべてに対処する必要性が実証されました。
• 効率性: EASE は、再訓練と同等の性能を達成しながら、通信コストを大幅に削減（完全再訓練の約 20-25%）します。

5. 意義

• パラダイムシフト: 本論文は、連合忘却を「ブラックボックス消去」アプローチから「幾何学的で絡み合いを認識する」アプローチへと移行させます。マルチモーダルシステムにおいて、忘却は単一のモダリティに対して一方的に行うこと、または勾配を独立したブロックとして扱うことでは達成できないことを強調しています。
• 実用性: LoRA アダプターと射影演算子を使用することで、EASE は計算効率が良く、既存の連合学習インフラと互換性があります。これにより、「忘れられる権利」が重要な規制分野（医療、金融など）での実世界への展開が可能になります。
• 堅牢性: このフレームワークは、継続的な訓練に対する忘却の耐久性を確保し、既存の多くの忘却アルゴリズムを悩ませている「ドリフト」問題を解決します。

結論として、EASE は、連合マルチモーダルモデルからデータを削除するための理論的根拠に基づき、経験的に優れたソリューションを提供し、真の忘却を妨げていた再構築経路を効果的に閉鎖します。