🤖 AI

EASE: Federated Multimodal Unlearning via Entanglement-Aware Anchor Closure

Das Papier stellt EASE vor, ein föderiertes multimodales Vergessens-Framework, das vergessene Daten effektiv entfernt, indem es durch ein verschränkungsbewusstes Design mit Ankerabschließung, Unterraumzerlegung und einem richtungsselektiven Vergessens-Verschluss die cross-modalen Rekonstruktionskanäle durchtrennt und client-spezifische Aktualisierungsrichtungen isoliert.

Ursprüngliche Autoren: Zihao Ding, Beining Wu, Jun Huang

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zihao Ding, Beining Wu, Jun Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das"Recht auf Vergessenwerden"in einer Gruppenchat

Stellen Sie sich eine Gruppe von Freunden (die Clients) vor, die gemeinsam eine superintelligente KI aufbauen wollen, um Tiere zu erkennen und sie zu beschreiben. Sie möchten ihre privaten Fotos nicht mit einem zentralen Chef (dem Server) teilen; sie teilen nur ihre"Lernnotizen"(mathematische Updates). Dies ist Federated Multimodal Learning.

Aber was passiert, wenn ein Freund sagt: „Ich möchte die Gruppe verlassen und möchte, dass meine Fotos vollständig aus dem Gedächtnis der KI gelöscht werden"? Dies ist Federated Unlearning.

Das Problem ist, dass in einer multimodalen KI (die sowohl Bilder sieht als auch Text liest) das Wissen tief verwoben ist. Wenn Sie einfach die Notizen über „Hunde"löschen, könnte die KI sich immer noch an Hunde erinnern, weil die Textbeschreibungen noch da sind, oder weil die Mathematik, die von anderen Freunden verwendet wird, so vermischt ist, dass man nicht erkennen kann, welcher Teil zu der Person gehört, die gegangen ist.

Die Autoren dieses Papiers, EASE, stellten fest, dass frühere Methoden scheiterten, weil sie diese Knoten nicht richtig entwirrten. Sie ließen drei spezifische „Anker" (versteckte Haken) zurück, die das vergessene Wissen am Leben erhielten. EASE ist ein neues Framework, das entwickelt wurde, um alle drei Haken zu durchtrennen.

Die drei „Anker" (Warum frühere Methoden scheiterten)

Die Autoren entdeckten, dass beim Versuch, die Daten eines Clients zu löschen, drei Dinge das Gedächtnis am Leben erhalten und wie Anker wirken, die ein Boot an Ort und Stelle halten:

1. Der Modalitätsanker (Das Problem des „einseitigen Radiergummis")

Die Analogie: Stellen Sie sich ein Paar vor, das gemeinsam eine Geschichte schreibt. Eine Person schreibt die Bilder, die andere die Worte. Sie sind so synchronisiert, dass, wenn Sie die Bilder löschen, die Worte die Bilder immer noch perfekt beschreiben. Wenn Sie versuchen, die Bilder zu „verlernen", indem Sie nur die Notizen des Bildschreibers ändern, wirken die Notizen des Wortschreibers als Backup-Anker und ziehen den Bildschreiber zurück zur ursprünglichen Geschichte.
Die Lösung (Bilaterale Wissensentfernung): EASE löscht nicht nur die Bilder; es löscht gleichzeitig die Bilder und die Worte. Es zwingt beide Seiten, die spezifische Paarung gleichzeitig loszulassen, damit keine Seite das Gedächtnis zurückziehen kann.

2. Der Unique-Subspace-Anker (Das Problem der „gemeinsamen Notizen")

Die Analogie: Stellen Sie sich vor, die Gruppe lernt für eine Matheprüfung. Ein Schüler (derjenige, der geht) hat eine einzigartige Art, ein bestimmtes Problem zu lösen (eine „einzigartige Richtung"). Seine Notizen sind jedoch mit Notizen anderer Schüler vermischt, die bleiben. Wenn Sie versuchen, die Notizen des gehenden Schülers zu löschen, indem Sie einfach ein ganzes Stück des Lehrbuchs wegwerfen, löschen Sie versehentlich die einzigartigen Mathe-Tricks, die die bleibenden Schüler benötigen.
Die Lösung (Gradient-Subspace-Zerlegung): EASE agiert wie eine superkluge Bibliothekarin. Sie betrachtet die mathematischen Notizen und trennt sie in zwei Stapel:
1. Der „Einzigartige"Stapel: Dinge, die nur der gehende Schüler wusste. (Diese werden gelöscht).
2. Der „Gemeinsame"Stapel: Dinge, die alle gemeinsam gelernt haben. (Diese bleiben sicher).
  Sie entfernt chirurgisch nur den einzigartigen Stapel, ohne das gemeinsame Wissen zu berühren.

3. Die temporäre Wiederankerung (Das Problem der „Rutschpiste")

Die Analogie: Stellen Sie sich vor, Sie löschen erfolgreich die Notizen des gehenden Schülers. Aber am nächsten Tag beginnt die Gruppe wieder zu lernen. Da die Notizen der verbleibenden Schüler immer noch eine winzige, versteckte Verzerrung hin zum Stil des gehenden Schülers haben, beginnen sie versehentlich, die gelöschten Notizen in den neuen Lernleitfaden der Gruppe zurückzuschreiben. Das Gedächtnis schleicht sich mit der Zeit wieder ein.
Die Lösung (Vergessen-Sperre): EASE legt eine „Sperre"auf die spezifischen Richtungen, in denen das gelöschte Wissen früher existierte. Während die Gruppe weiter lernt, wird die KI mathematisch gezwungen, von diesen spezifischen Richtungen fernzubleiben. Es ist wie ein „Betreten verboten"-Schild auf der gelöschten Gedächtnisstraße, damit die Gruppe nicht versehentlich wieder hineingetorkelt.

Wie EASE funktioniert (Die Lösung)

Die Autoren entwickelten ein System namens EASE (Entanglement-Aware Subspace Excision), das diese drei Lösungen in einen Arbeitsablauf kombiniert:

Simultane Löschung: Es schneidet die Verbindung zwischen Bildern und Text auf beiden Seiten gleichzeitig durch (Schließen des Modalitätsankers).
Chirurgische Trennung: Es verwendet eine mathematische Technik (Cosine-Sine-Zerlegung), um genau zu finden, welche Teile der Mathematik nur der gehenden Person gehören und welche Teile der Gruppe gehören (Schließen des Unique-Subspace-Ankers).
Die Sperre: Es wendet eine „Vergessen-Sperre"an, die verhindert, dass die KI während zukünftiger Trainingseinheiten wieder in die gelöschte Gedächtnisstraße abdriftet (Schließen der temporären Wiederankerung).

Die Ergebnisse

Das Papier testete EASE an realen Datensätzen (wie Flickr30K und COCO), bei denen die KI lernt, Bilder mit Textbeschreibungen zu verknüpfen.

Das Ziel: Die KI sollte sich genau so verhalten, als wären die Daten des gehenden Clients nie da gewesen (wie ein „Neustart"von Grund auf), jedoch ohne die massiven Kosten eines vollständigen Neutrainings.
Das Ergebnis: EASE war deutlich besser als frühere Methoden.
- Vergessen-Seite: Es löschte die spezifischen Daten erfolgreich (z. B. wenn ein Client ging, hörte die KI auf, seine spezifischen Hundefotos zu erkennen).
- Behalten-Seite: Es hielt die KI für alle anderen intelligent (sie vergaß nicht, wie man Katzen oder andere Hunde erkennt).
- Effizienz: Es tat dies viel schneller und günstiger als das Neutrainieren des gesamten Modells von Grund auf.

Zusammenfassung

Stellen Sie sich EASE als einen Präzisionsradierer für KI-Projekte in Gruppen vor. Anstatt das gesamte Whiteboard abzuschrubben und ein Chaos zu riskieren, identifiziert es genau die Haftnotizen, die entfernt werden müssen, zieht sie ab, ohne die darunterliegenden Notizen zu verschmieren, und errichtet eine Barriere, damit niemand sie versehentlich später wieder anklebt. Dies stellt sicher, dass das „Recht auf Vergessenwerden"in komplexen, multisensorischen KI-Systemen tatsächlich respektiert wird.

1. Problemstellung

Das Paper adressiert die Herausforderung des Federated Multimodal Unlearning (FML) im Kontext großskaliger Vision-Language-Modelle (z. B. CLIP). Beim FML trainieren mehrere Clients gemeinsam ein Modell auf privaten Bild-Text-Paaren, ohne Rohdaten zu teilen. Wenn ein Client aussteigt oder bestimmte Daten (Stichproben/Klassen) entfernt werden müssen (z. B. aufgrund von Datenschutzrechten oder schädlichen Inhalten), muss das System diese Daten „verlernen", ohne das Training von Grund auf neu beginnen zu müssen.

Die Autoren identifizieren, dass bestehende Methoden für federiertes Verlernen in multimodalen Settings versagen, da sie drei spezifische residuale Anker nicht berücksichtigen, die das Fortbestehen vergessenen Wissens ermöglichen:

Modality Anchor (Modus-Anker): Aufgrund der bilinearen Kopplung in kontrastiven Verlustfunktionen (z. B. InfoNCE) hängt der Gradient eines Modus (z. B. Text) von den Embeddings des anderen (z. B. Bild) ab. Wenn nur ein Zweig modifiziert wird, wirkt der unberührte Zweig als Anker und rekonstruiert die vergessene Ausrichtung.
Unique-Subspace Anchor (Einzigartiger-Unterraum-Anker): Die Gradienten-Unterräume der Clients sind verschränkt. Richtungen, die spezifisch für das Vergessen sind, sind mit Richtungen vermischt, die von den verbleibenden Clients geteilt werden. Bestehende Methoden behandeln den Vergessens-Unterraum als monolithischen Block, was zu einem Zielkonflikt führt: Entweder werden die Daten nicht entfernt (Unter-Erasure) oder verbleibendes Wissen wird beschädigt (Über-Erasure).
Temporal Re-anchoring (Temporale Neuverankerung): Selbst wenn Anker zum Zeitpunkt des Verlernens geschlossen werden, können nachfolgende Federated-Averaging (FedAvg)-Runden mit verbleibenden Clients die entfernten Richtungen allmählich überschreiben, wodurch das Modell die vergessenen Daten im Laufe der Zeit wieder „erinnert".

2. Methodik: EASE-Framework

Die Autoren schlagen EASE (Entanglement-Aware Subspace Excision) vor, ein Framework, das entwickelt wurde, um alle drei Ankerkanäle gleichzeitig zu schließen. Es arbeitet auf einem eingefrorenen multimodalen Backbone unter Verwendung von leichten LoRA-Adaptern.

A. Bilateral Knowledge Excision (BKE) – Schließen des Modus-Ankers

Mechanismus: Anstatt nur den visuellen oder den textuellen Zweig zu modifizieren, verschiebt EASE beide Zweige gleichzeitig.
Logik: In einem bilinearen Ähnlichkeitsmodell hängt der Ausrichtungsgradient vom Produkt beider Embeddings ab. Durch die Verschiebung sowohl von $z_v$ als auch von $z_t$ weg von ihren ursprünglichen Werten kann die bilineare Ähnlichkeit das vergessene Paar nicht mehr rekonstruieren.
Ergebnis: Dies verhindert, dass der „unberührte" Modus als Speicheranker fungiert, der den modifizierten Zweig zurück zur ursprünglichen Ausrichtung zieht.

B. Gradient Subspace Decomposition (GSD) – Schließen des Einzigartiger-Unterraum-Ankers

Mechanismus: Der Server sammelt historische Gradienten-Updates von Clients und führt eine Singulärwertzerlegung (SVD) durch, um den Vergessens-Unterraum ( $S_f$ ) und den Erhaltungs-Unterraum ( $S_r$ ) zu extrahieren.
Logik: Mithilfe der Cosine-Sine-Zerlegung berechnet die Methode die Hauptwinkel zwischen $S_f$ $S_{f}$ und $S_r$ $S_{r}$ .
- Richtungen, die nahezu orthogonal zu $S_r$ stehen, werden als Unique-Subspace Anchors (entfernbar) identifiziert.
- Richtungen, die stark mit $S_r$ ausgerichtet sind, werden als Retain Support (müssen erhalten bleiben) identifiziert.
Aktion: Der Server projiziert die globalen Modellparameter auf das Komplement des einzigartigen Unterraums, wodurch effektiv nur die exklusiven Vergessens-Richtungen entfernt werden, während der gemeinsame Support erhalten bleibt.

C. Projection with Forget Lock (PFL) – Schließen der temporalen Neuverankerung

Mechanismus: Ein zweigleisiger Ansatz zur Verhinderung von Drift während des weiteren Trainings:
1. Server-seitige Projektion: Unmittelbar nach dem Verlernen wird das globale Modell projiziert, um Komponenten des einzigartigen Unterraums zu entfernen.
2. Client-seitiges Vergessens-Lock: Während nachfolgender lokaler SGD-Runden optimieren die Clients ein kombiniertes Ziel: $L_{total} = L_{align} + \alpha \cdot L_f$ .
Logik: $L_f$ ist eine quadratische Strafe, die spezifisch Drift entlang der identifizierten einzigartigen Unterraum-Richtungen ( $U_\mu$ ) bestraft.
Ergebnis: Dies erzeugt ein „Lock", das die Drift vergessenen Wissens zurück ins Modell begrenzt, während das orthogonale Komplement (erhaltenes Wissen) für die Wiederherstellung unbeschränkt bleibt.

3. Hauptbeiträge

Das Anker-Prinzip: Das Paper identifiziert und charakterisiert formal drei verschiedene Mechanismen (Modus, Einzigartiger-Unterraum und Temporale Neuverankerung), die zum Versagen beim federierten multimodalen Verlernen führen. Es zeigt auf, dass das Schließen einer Teilmenge dieser Anker einen messbaren Rekonstruktionspfad offen lässt.
EASE-Framework: Eine einheitliche Lösung, die BKE, GSD und PFL kombiniert. Es ist die erste Methode, die die kopplung über Modalitäten hinweg und die Verschränkung von Unterräumen gleichzeitig in einem federierten Setting adressiert.
Theoretische Garantien: Die Autoren liefern geometrische Beweise, die zeigen, dass:
- BKE das dominante Signal des Modus-Ankers eliminiert.
- GSD den Kollateralschaden für erhaltenes Wissen basierend auf dem Schwellenwert $\delta$ begrenzt.
- PFL die zeitliche Drift vergessenen Wissens umgekehrt proportional zur Lock-Stärke $\alpha$ begrenzt.
Umfassende Evaluierung: Umfangreiche Experimente auf Flickr30K, MS COCO und TextCaps unter Verwendung von CLIP-B/32, CLIP-L/14 und SigLIP-Backbones.

4. Experimentelle Ergebnisse

EASE wurde gegen neun Baselines (einschließlich FedEraser, Ferrari, FedOSD und GradAscent) in drei Verlern-Szenarien verglichen: Client, Klasse und Stichprobe.

Verlern-Vollständigkeit: EASE übertrifft alle Baselines signifikant bei der Reduzierung der Abringleistung auf dem Vergessens-Set (Forget R@1). Beispielsweise erreichte EASE auf Flickr30K mit CLIP-B/32 ein Forget R@1 von 0,3 (nahe dem Referenzwert für Neutrainieren von 0,1), wohingegen Baselines wie Ferrari und FedOSD hoch blieben (>60–80 %), was darauf hindeutet, dass sie das Vergessen nicht bewerkstelligten.
Integrität der Erhaltung: Im Gegensatz zu aggressiven Methoden (z. B. GradAscent), die erhaltenes Wissen zerstören, behält EASE eine hohe Leistung auf dem Erhaltungs-Set bei. Es entsprach dem Referenzwert für Neutrainieren innerhalb von 4,2 R@1-Punkten auf der Erhaltungsseite beim Client-Verlernen, wohingegen andere Methoden signifikante Einbußen erlitten.
Privatsphären-Verifizierung: EASE zeigte die niedrigsten Membership Inference Attack (MIA)-Scores und Likelihood-Ratio Attack (LiRA) TPR, was bestätigt, dass vergessene Daten von Nicht-Mitgliedern nicht zu unterscheiden sind.
Ablationsstudien: Das Entfernen einer einzelnen Komponente (BKE, GSD oder Lock) führte zu distincten Fehlermodi und validierte die Notwendigkeit, alle drei Anker zu adressieren.
Effizienz: EASE erfordert deutlich geringere Kommunikationskosten (ca. 20–25 % eines vollständigen Neutrainings) und erzielt gleichzeitig eine Leistung, die einem vollständigen Neutrainieren vergleichbar ist.

5. Bedeutung

Paradigmenwechsel: Das Paper führt das federierte Verlernen von einem Ansatz der „Black-Box-Erasure" zu einem „geometrischen, verschränkungsbewussten" Ansatz. Es hebt hervor, dass in multimodalen Systemen Verlernen nicht einseitig an einem Modus oder durch die Behandlung von Gradienten als unabhängige Blöcke erfolgen kann.
Praktische Anwendbarkeit: Durch die Verwendung von LoRA-Adaptern und Projektionsoperatoren ist EASE recheneffizient und kompatibel mit bestehender Infrastruktur für federiertes Lernen, was es für den realen Einsatz in regulierten Bereichen (z. B. Gesundheitswesen, Finanzen) machbar macht, in denen das „Recht auf Vergessenwerden" kritisch ist.
Robustheit: Das Framework stellt sicher, dass Verlernen gegenüber weiterem Training dauerhaft ist, und löst das „Drift"-Problem, das viele bestehende Verlern-Algorithmen plagt.

Zusammenfassend bietet EASE eine theoretisch fundierte und empirisch überlegene Lösung zum Entfernen von Daten aus federierten multimodalen Modellen und schließt effektiv die Rekonstruktionskanäle, die bisher ein echtes Verlernen behinderten.