🤖 AI

EASE: Federated Multimodal Unlearning via Entanglement-Aware Anchor Closure

Het artikel introduceert EASE, een federatief multimodaal vergeten kader dat vergeten gegevens effectief verwijdert door kruismodale reconstructiekanalen te doorbreken en client-specifieke updaterichtingen te isoleren via een verstrengelingsbewust ontwerp dat anker-sluiting, deelruimte-decompositie en een richting-selectieve vergeetvergrendeling omvat.

Oorspronkelijke auteurs: Zihao Ding, Beining Wu, Jun Huang

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zihao Ding, Beining Wu, Jun Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Recht om Vergeten te Worden" in een Groepschat

Stel je een groep vrienden (de clients) voor die samen een super-slimme AI willen bouwen om dieren te herkennen en te beschrijven. Ze willen hun privéfoto's niet delen met een centrale baas (de server); ze delen alleen hun "studie-notities" (wiskundige updates). Dit is Federated Multimodal Learning.

Maar wat gebeurt er als een vriend zegt: "Ik wil de groep verlaten en wil dat mijn foto's volledig uit het geheugen van de AI worden gewist"? Dit is Federated Unlearning.

Het probleem is dat in een multimodale AI (die zowel afbeeldingen ziet als tekst leest), de kennis diep verstrikt zit. Als je gewoon de notities over "honden" verwijdert, kan de AI honden nog steeds herinneren omdat de tekstbeschrijvingen er nog zijn, of omdat de wiskunde die door andere vrienden wordt gebruikt zo door elkaar zit dat je niet kunt zien welk deel toebehoort aan de persoon die vertrokken is.

De auteurs van dit artikel, EASE, ontdekten dat eerdere methoden faalden omdat ze deze knopen niet goed ontwarren. Ze lieten drie specifieke "ankers" (verborgen haken) achter die de vergeten kennis in leven hielden. EASE is een nieuw raamwerk dat is ontworpen om al deze drie haken door te snijden.

De Drie "Ankers" (Waarom Eerdere Methoden Faalden)

De auteurs ontdekten dat wanneer je probeert de data van een client te verwijderen, drie dingen het geheugen in leven houden, als ankers die een boot op zijn plaats houden:

1. Het Modality-Anker (Het "Eenzijdige Uitveegsel"-Probleem)

De Analogie: Stel je een koppel voor dat samen een verhaal schrijft. De ene persoon schrijft de plaatjes, de andere schrijft de woorden. Ze zijn zo op elkaar ingespeeld dat als je de plaatjes verwijdert, de woorden de plaatjes nog steeds perfect beschrijven. Als je probeert de plaatjes te "vergeten" door alleen de notities van de plaatjesschrijver te veranderen, fungeren de notities van de woordenschrijver als een back-up anker, dat de plaatjesschrijver terugtrekt naar het originele verhaal.
De Oplossing (Bilaterale Kennisverwijdering): EASE verwijdert niet alleen de plaatjes; het verwijdert de plaatjes en de woorden tegelijkertijd. Het dwingt beide kanten om tegelijkertijd los te laten van de specifieke koppeling, zodat geen enkele kant het geheugen terug kan trekken.

2. Het Uniek-Subruimte-Anker (Het "Gedeelde Notities"-Probleem)

De Analogie: Stel je voor dat de groep zich voorbereidt op een wiskundetoets. Een student (degene die vertrekt) heeft een unieke manier om een specifiek probleem op te lossen (een "unieke richting"). Echter, zijn notities zijn gemengd met notities van andere studenten die blijven. Als je probeert de notities van de vertrekkende student te verwijderen door gewoon een heel stuk uit het leerboek te gooien, verwijder je per ongeluk de unieke wiskundige trucs die de blijvende studenten nodig hebben.
De Oplossing (Gradient Subspace Decomposition): EASE fungeert als een super-slimme bibliothecaris. Het bekijkt de wiskundige notities en splitst ze in twee stapels:
1. De "Unieke" stapel: Dingen die alleen de vertrekkende student wist. (Deze worden verwijderd).
2. De "Gedeelde" stapel: Dingen die iedereen samen heeft geleerd. (Deze blijven veilig).
  Het verwijdert chirurgisch alleen de unieke stapel zonder de gedeelde kennis aan te raken.

3. Het Tijdelijk Herankeren (Het "Glijdende Vlak"-Probleem)

De Analogie: Stel je voor dat je succesvol de notities van de vertrekkende student verwijdert. Maar de volgende dag begint de groep weer te studeren. Omdat de notities van de overgebleven studenten nog steeds een kleine, verborgen bias hebben naar de stijl van de vertrekkende student, beginnen ze per ongeluk de verwijderde notities opnieuw te schrijven in de nieuwe studiegids van de groep. Het geheugen kruipt na verloop van tijd terug.
De Oplossing (Forget Lock): EASE legt een "slot" op de specifieke richtingen waar de verwijderde kennis vroeger woonde. Terwijl de groep verder studeert, wordt de AI wiskundig gedwongen om weg te blijven van die specifieke richtingen. Het is alsof je een "Niet Betreden"-bord plaatst op de verwijderde geheugenstraat, zodat de groep er niet per ongeluk weer in kan dwalen.

Hoe EASE Werkt (De Oplossing)

De auteurs bouwden een systeem genaamd EASE (Entanglement-Aware Subspace Excision) dat deze drie oplossingen combineert in één workflow:

Gelijktijdige Verwijdering: Het snijdt de verbinding tussen afbeeldingen en tekst aan beide kanten tegelijk door (het sluit het Modality-Anker).
Chirurgische Scheiding: Het gebruikt een wiskundige techniek (Cosine-Sine decompositie) om precies te vinden welke delen van de wiskunde alleen toebehoren aan de persoon die vertrekt en welke delen toebehoren aan de groep (het sluit het Uniek-Subruimte-Anker).
Het Slot: Het past een "Forget Lock" toe die voorkomt dat de AI tijdens toekomstige trainingssessies terugdrijft naar de verwijderde geheugenstraat (het sluit het Tijdelijk Herankeren).

De Resultaten

Het artikel testte EASE op real-world datasets (zoals Flickr30K en COCO) waar de AI leert om afbeeldingen te koppelen aan tekstbeschrijvingen.

Het Doel: De AI moet zich precies zo gedragen alsof de data van de vertrekkende client er nooit was geweest (als een "opnieuw trainen" vanaf nul), maar zonder de enorme kosten van het opnieuw trainen van alles.
De Uitkomst: EASE was aanzienlijk beter dan eerdere methoden.
- Vergeet-kant: Het wist de specifieke data succesvol (bijvoorbeeld: als een client vertrok, herkende de AI hun specifieke hondenfoto's niet meer).
- Behoud-kant: Het hield de AI slim voor iedereen anders (het vergat niet hoe je katten of andere honden moet herkennen).
- Efficiëntie: Het deed dit veel sneller en goedkoper dan het opnieuw trainen van het hele model vanaf nul.

Samenvatting

Denk aan EASE als een precisie-uitveegsel voor groeps-AI-projecten. In plaats van het hele whiteboard te schrobben en risico te lopen op een puinhoop, identificeert het de exacte post-it-notities die moeten worden verwijderd, plakt ze eraf zonder de notities eronder te besmeren, en plaatst een barrière zodat niemand ze per ongeluk later weer terugplakt. Dit zorgt ervoor dat het "Recht om Vergeten te Worden" daadwerkelijk wordt gerespecteerd in complexe, multi-sensorische AI-systemen.

1. Probleemstelling

Het paper adresseert de uitdaging van Federated Multimodal Unlearning (FML) in de context van grootschalige vision-language modellen (zoals CLIP). Bij FML trainen meerdere clients gezamenlijk een model op privé beeld-tekstparen zonder ruwe data te delen. Wanneer een client zich terugtrekt, of specifieke data (samples/klassen) moet worden verwijderd (bijvoorbeeld vanwege privacyrechten of schadelijke inhoud), moet het systeem deze data "vergeten" zonder het model vanaf nul opnieuw te trainen.

De auteurs identificeren dat bestaande methoden voor federatief vergeten falen in multimodale settings omdat ze geen rekening houden met drie specifieke residuele ankers die toelaten dat vergeten kennis blijft bestaan:

Modality Anchor: Door bilineaire koppeling in contrastieve verliezen (bijv. InfoNCE) hangt de gradiënt van één modality (bijv. tekst) af van de embeddings van de andere (bijv. beeld). Als slechts één tak wordt aangepast, fungeert de onaangeraakte tak als een anker dat de vergeten uitlijning reconstrueert.
Unique-Subspace Anchor: Client-gradiëntsubruimtes zijn verstrengeld. Richtingen specifiek voor het vergeten proces zijn gemengd met richtingen die worden gedeeld door behouden clients. Bestaande methoden behandelen de vergeten subruimte als een monolithisch blok, wat leidt tot een afweging: ofwel falen ze om de data te verwijderen (onder-erasure), ofwel beschadigen ze behouden kennis (over-erasure).
Temporal Re-anchoring: Zelfs als ankers op het moment van vergeten worden gesloten, kunnen daaropvolgende Federated Averaging (FedAvg) rondes met behouden clients de verwijderde richtingen geleidelijk herschrijven, waardoor het model de vergeten data na verloop van tijd weer "onthoudt".

2. Methodologie: EASE Framework

De auteurs stellen EASE (Entanglement-Aware Subspace Excision) voor, een framework ontworpen om alle drie de ankerkanalen gelijktijdig te sluiten. Het werkt bovenop een bevroren multimodaal backbone met behulp van lichtgewicht LoRA-adapters.

A. Bilateral Knowledge Excision (BKE) – Sluiten van de Modality Anchor

Mechanisme: In plaats van alleen de visuele of tekstuele tak aan te passen, verplaatst EASE beide takken simultaan.
Logica: In een bilineair similariteitsmodel hangt de uitlijningsgradiënt af van het product van beide embeddings. Door zowel $z_v$ als $z_t$ te verplaatsen van hun oorspronkelijke waarden, kan de bilineaire similariteit de vergeten koppeling niet langer reconstrueren.
Resultaat: Dit voorkomt dat de "onaangeraakte" modality fungeert als een geheugenanker dat de aangepaste tak terugtrekt naar de oorspronkelijke uitlijning.

B. Gradient Subspace Decomposition (GSD) – Sluiten van de Unique-Subspace Anchor

Mechanisme: De server verzamelt historische gradiëntupdates van clients en voert Singular Value Decomposition (SVD) uit om de vergeten subruimte ( $S_f$ ) en de behouden subruimte ( $S_r$ ) te extraheren.
Logica: Met behulp van Cosine-Sine decomposition berekent de methode de hoofdhoeken tussen $S_f$ $S_{f}$ en $S_r$ $S_{r}$ .
- Richtingen die bijna orthogonaal zijn op $S_r$ worden geïdentificeerd als Unique-Subspace Anchors (verwijderbaar).
- Richtingen die sterk uitgelijnd zijn met $S_r$ worden geïdentificeerd als Retain Support (moeten behouden blijven).
Actie: De server projecteert de globale modelparameters op het complement van de unieke subruimte, waardoor effectief alleen de uitsluitend voor vergeten bestemde richtingen worden verwijderd, terwijl de gedeelde ondersteuning behouden blijft.

C. Projection with Forget Lock (PFL) – Sluiten van Temporal Re-anchoring

Mechanisme: Een tweeledige aanpak om drift te voorkomen tijdens voortgezette training:
1. Server-side Projection: Direct na het vergeten wordt het globale model geprojecteerd om componenten van de unieke subruimte te verwijderen.
2. Client-side Forget Lock: Tijdens daaropvolgende lokale SGD-rondes optimaliseren clients een gecombineerd doel: $L_{total} = L_{align} + \alpha \cdot L_f$ .
Logica: $L_f$ is een kwadratische straf die specifiek drift straft langs de geïdentificeerde unieke subruimterichtingen ( $U_\mu$ ).
Resultaat: Dit creëert een "slot" dat de drift van vergeten kennis terug het model in begrenst, terwijl het orthogonale complement (behouden kennis) onbeperkt blijft voor herstel.

3. Belangrijkste Bijdragen

Het Ankerprincipe: Het paper identificeert en karakteriseert formeel drie distincte mechanismen (Modality, Unique-Subspace en Temporal Re-anchoring) die falen veroorzaken bij federatief multimodaal vergeten. Het toont aan dat het sluiten van een subset hiervan een meetbaar reconstructiepad laat bestaan.
EASE Framework: Een geünificeerde oplossing die BKE, GSD en PFL combineert. Het is de eerste methode die cross-modale koppeling en subruimte-verstrengeling gelijktijdig adresseert in een federatieve setting.
Theoretische Garantiën: De auteurs leveren geometrische bewijzen die aantonen dat:
- BKE het dominante modality-anker signaal elimineert.
- GSD de collaterale schade aan behouden kennis begrenst op basis van de drempel $\delta$ .
- PFL de temporele drift van vergeten kennis begrenst, omgekeerd evenredig met de slotsterkte $\alpha$ .
Uitgebreide Evaluatie: Uitgebreide experimenten op Flickr30K, MS COCO en TextCaps met CLIP-B/32, CLIP-L/14 en SigLIP backbones.

4. Experimentele Resultaten

EASE werd vergeleken met negen baselines (waaronder FedEraser, Ferrari, FedOSD en GradAscent) over drie vergetenscenario's: Client, Klasse en Sample.

Volledigheid van Vergeten: EASE presteert significant beter dan alle baselines in het verminderen van de ophaalprestaties op de vergeten set (Forget R@1). Bijvoorbeeld, op Flickr30K met CLIP-B/32 bereikte EASE een Forget R@1 van 0.3 (nabij de hertrainingsreferentie van 0.1), terwijl baselines zoals Ferrari en FedOSD hoog bleven (>60-80%), wat aangeeft dat ze niet slaagden in het vergeten.
Integriteit van Behoud: In tegenstelling tot agressieve methoden (zoals GradAscent) die behouden kennis vernietigen, behoudt EASE hoge prestaties op de behouden set. Het kwam overeen met de hertrainingsreferentie binnen 4.2 R@1 punten aan de behouden kant voor client-vergeten, terwijl andere methoden aanzienlijke dalingen leden.
Privacyverificatie: EASE vertoonde de laagste Membership Inference Attack (MIA) scores en Likelihood-Ratio Attack (LiRA) TPR, wat bevestigt dat vergeten data niet te onderscheiden is van niet-leden.
Ablatie Studies: Het verwijderen van een enkel onderdeel (BKE, GSD of Lock) resulteerde in distincte faalmodi, wat de noodzaak valideert om alle drie de ankers aan te pakken.
Efficiëntie: EASE vereist aanzienlijk minder communicatiekosten (ongeveer 20-25% van volledige hertraining) terwijl het prestaties bereikt die vergelijkbaar zijn met een volledige hertraining.

5. Betekenis

Paradigmaverschuiving: Het paper verplaatst federatief vergeten van een "black-box erasure"-aanpak naar een "geometrische, verstrengelingsbewuste" aanpak. Het benadrukt dat in multimodale systemen vergeten niet unilateraal op één modality kan worden gedaan of door gradiënten als onafhankelijke blokken te behandelen.
Praktische Toepasbaarheid: Door het gebruik van LoRA-adapters en projectie-operatoren is EASE computatie-efficiënt en compatibel met bestaande federated learning-infrastructuur, wat het levensvatbaar maakt voor implementatie in de praktijk in gereguleerde domeinen (bijv. gezondheidszorg, financiën) waar het "Recht om Vergeten" cruciaal is.
Robuustheid: Het framework zorgt ervoor dat vergeten duurzaam is tegen voortgezette training, waardoor het "drift"-probleem wordt opgelost dat veel bestaande vergetensalgoritmen teisteren.

Concluderend biedt EASE een theoretisch onderbouwde en empirisch superieure oplossing voor het verwijderen van data uit federatieve multimodale modellen, waardoor de reconstructiekanalen die eerder ware vergeten belemmerden effectief worden gesloten.