Unlearning the Unpromptable: Prompt-free Instance Unlearning in Diffusion Models

Dit paper introduceert een effectieve, prompt-vrije methode voor het selectief "vergeten" van specifieke, niet-tekstueel te specificeren outputs (zoals individuele gezichten) in diffusiemodellen door gebruik te maken van een surrogaatbenadering met afbeeldingsbewerking, timestepspecifieke weging en gradiëntchirurgie, terwijl de integriteit van de resterende generaties behouden blijft.

De kern

Stel je voor dat je een zeer getalenteerde, creatieve kunstenaar hebt die alles kan tekenen: van beroemdheden tot vlaggen en historische figuren. Deze kunstenaar is een Diffusiemodel (een type AI die plaatjes maakt). Hij is zo goed, dat hij soms zelfs dingen maakt die hij eigenlijk niet zou moeten maken, of dat hij historische figuren verkeerd voorstelt (bijvoorbeeld een Romeinse generaal die eruitziet als een Afrikaanse stam, of een vlag met de verkeerde kleuren).

Normaal gesproken zou je tegen de kunstenaar zeggen: "Teken geen foto's van deze specifieke persoon" of "Gebruik niet deze tekst." Maar wat als de kunstenaar geen tekst begrijpt voor die specifieke fout? Wat als je gewoon wilt dat hij die ene specifieke foto van een persoon vergeet, zonder dat je een "magisch woord" kunt bedenken om die foto te beschrijven?

Dit is precies het probleem dat dit papier oplost. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De Kunstenaar die niet luistert naar woorden

Stel je voor dat je een kunstenaar hebt die een foto van Jouw Opa heeft getekend. Jij wilt dat hij die foto vergeet, omdat je privacy wilt beschermen.

• De oude manier (Prompt-based): Je zegt: "Vergeet de tekst 'Opa met hoed'." Maar wat als de kunstenaar jouw Opa ook tekent als "Opa zonder hoed" of "Opa in de tuin"? Dan blijft hij je Opa tekenen, want hij luistert alleen naar de tekst, niet naar het gezicht.
• Het echte probleem: Soms kun je het probleem niet in woorden vatten. Je wilt gewoon dat hij die ene specifieke versie van je Opa vergeet, maar je kunt geen woord bedenken dat die ene foto perfect omschrijft zonder ook andere, mooie foto's van Opa te blokkeren.

2. De Oplossing: De "Vervangende Pop" (Surrogate)

De auteurs van dit papier hebben een slimme truc bedacht. In plaats van de kunstenaar te dwingen om iets te vergeten (wat hem vaak in de war brengt en zijn hele stijl verpest), geven ze hem een vervanging.

Stel je voor dat je de kunstenaar een foto van je Opa geeft en zegt:
"Teken deze foto niet meer als 'Opa', maar als 'Opa met een clownsnas'."

Je maakt dus een vervangersfoto (een surrogate). Je verandert alleen het specifieke detail dat je wilt verwijderen (bijvoorbeeld het gezicht), maar je houdt de rest van de foto (de kleding, de achtergrond) hetzelfde.

• De truc: Je leert de kunstenaar om die vervangersfoto te maken in plaats van de originele.
• Het resultaat: De kunstenaar "vergeet" de originele foto, omdat hij nu een nieuwe, iets andere versie heeft geleerd. Maar omdat de vervangersfoto zo lijkt op het origineel, blijft zijn algemene tekenstijl intact. Hij wordt niet gek of begint allemaal rare dingen te tekenen.

3. De Slimme Technieken (De "Kookrecepten")

Om dit perfect te laten werken, gebruiken ze drie slimme hulpmiddelen:

• Tijdsbewuste Gewichtgeving (Timestep-aware weighting):
  Stel je voor dat een kunstenaar eerst een ruwe schets maakt (grote lijnen) en daarna pas de fijne details toevoegt (ogen, mond).

  • In het begin van het proces (de ruwe schets) willen we dat de kunstenaar zijn algemene stijl behoudt.
  • Aan het einde (de fijne details) willen we dat hij zich richt op het vergeten van de specifieke fout.
    De auteurs geven de kunstenaar dus een recept dat zegt: "Begin met het onthouden van je stijl, en eindig met het vergeten van de fout."

• Gradiëntchirurgie (Gradient Surgery):
  Soms wil de kunstenaar twee dingen tegelijk: "Ik wil mijn stijl behouden" én "Ik wil die fout vergeten". Deze twee wensen botsen, alsof je probeert een auto tegelijk naar links en rechts te sturen.
  De auteurs gebruiken een soort "chirurgische ingreep" op de instructies. Ze zorgen ervoor dat de instructie om te vergeten, de instructie om te onthouden, niet vernietigt. Ze "buigen" de instructies netjes om elkaar heen, zodat de kunstenaar beide doelen kan bereiken zonder in de war te raken.

• De Vervangersfoto (Surrogate Construction):
  Ze gebruiken bestaande tools om de foto's zachtjes aan te passen. Bijvoorbeeld: je gebruikt een AI-tool om het gezicht van een beroemdheid te veranderen in een ander gezicht, maar de kleding en pose blijven hetzelfde. Dit is de "vervanger" die de kunstenaar gaat leren.

4. Waarom is dit belangrijk?

• Privacy: Als iemand een foto van zijn gezicht in een AI-model wil laten verwijderen (bijvoorbeeld vanwege de privacywet), kan hij nu gewoon die foto uploaden, de AI een vervanging laten maken, en de AI "leert" die specifieke foto te vergeten zonder dat je een tekstprompt nodig hebt.
• Ethische fouten: Soms maakt een AI een historische figuur verkeerd (bijvoorbeeld een vlag met de verkeerde kleuren). Je kunt de AI niet vertellen "maak de Ierse vlag niet groen", want dat werkt niet goed. Je kunt de AI wel een foto geven van de goede vlag en zeggen: "Leer deze tekenen in plaats van die fout."

Samenvatting in één zin

In plaats van een AI te dwingen om iets te vergeten door te schreeuwen (wat haar gek maakt), geven ze haar een licht aangepaste versie van het probleem om te leren, zodat ze de fout vanzelf "vergeet" terwijl ze haar andere vaardigheden perfect behoudt.

Het is alsof je een kind leert niet meer te spelen met een kapotte bal, maar je geeft hem een nieuwe, iets andere bal. Het kind stopt met spelen met de kapotte bal, maar blijft net zo goed spelen als voorheen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Unlearning the Unpromptable: Prompt-free Instance Unlearning in Diffusion Models" in het Nederlands.

Titel: Unlearning the Unpromptable: Prompt-free Instance Unlearning in Diffusion Models

Auteurs: Kyungryeol Lee, Kyeonghyun Lee, Seongmin Hong, Byung Hyun Lee, en Se Young Chun.

---

1. Het Probleem: De Beperkingen van Bestaande Methodes

Machine unlearning (machine vergeten) richt zich erop om specifieke informatie uit getrainde modellen te verwijderen, vaak om privacy (bijv. GDPR-recht op vergetelheid) of ethische redenen. Bestaande methoden voor Diffusion Models (DM's) zijn echter grotendeels prompt-gebaseerd. Dit betekent dat ze een specifieke tekstprompt nodig hebben om het concept dat vergeten moet worden te definiëren (bijv. "vergeet alle afbeeldingen van deze beroemdheid").

De auteurs identificeren een cruciale, onderbelichte uitdaging: onverwachte outputs die niet via prompts te specificeren zijn ("unpromptable").

• Voorbeelden: Een specifiek individu's gezicht in een onbeperkt model, of cultureel/factueel onjuiste weergaven (bijv. een verkeerde historische figuur of een verkeerde vlag) die door het model worden gegenereerd ondanks een correcte prompt.
• De beperking: Bij onbeperkte (unconditional) modellen bestaat er geen prompt om op te verwijzen. Bij beperkte (conditional) modellen kan het verwijderen van een hele prompt leiden tot het onbedoeld verwijderen van geldige generaties. Bestaande prompt-vrije methoden falen vaak in het behoud van de modelintegriteit, wat leidt tot vervorming of degradatie van de generatiekwaliteit.

2. Methodologie: Een Surrogaat-gebaseerde Aanpak

Het paper stelt een nieuwe methode voor voor prompt-free instance unlearning die werkt zonder tekstuele prompts, maar wel de modelintegriteit behoudt. De kern van de oplossing bestaat uit drie pijlers:

A. Surrogaat-gebaseerd Vergeten (Surrogate-based Forgetting)

In plaats van het model direct te laten "vergeten" dat een specifieke afbeelding ($x_f$) bestaat, creëren de auteurs een surrogaatbeeld ($x_s$).

• Proces: Ze gebruiken bestaande beeldbewerkingsmethoden (zoals TediGAN, SDEdit of handmatige bewerking) om de ongewenste attributen van het doelbeeld te wijzigen (bijv. het gezicht van een persoon veranderen) terwijl de algemene structuur behouden blijft.
• Doel: Het model wordt getraind om het doelbeeld te associëren met het surrogaat in plaats van de oorspronkelijke inhoud. Dit verstoort de mapping voor het specifieke voorbeeld zonder de globale verdeling van het model te verstoren.
• Theoretisch Voordeel: De auteurs bewijzen (via ridge-regressie theorie) dat het vervangen van een datapunt door een nauwkeurig surrogaat de parameters van het model minder drastisch verandert dan het volledig verwijderen van het datapunt (exact unlearning), waardoor de modelintegriteit beter behouden blijft.

B. Tijdstap-bewuste Weegfactor (Timestep-aware Weighting)

Diffusion modellen werken door het toevoegen en verwijderen van ruis over verschillende tijdstappen ($t$).

• De auteurs introduceren een dynamische weegfactor $\lambda(t) = 1 - \beta t$.
• Logica: Vroege tijdstappen beïnvloeden de globale structuur en details, terwijl latere tijdstappen meer gericht zijn op generieke vormen. Ze benadrukken het "herinneren" (behoud van integriteit) in vroege fasen en het "vergeten" in latere fasen om conflicterende doelen te balanceren.

C. Gradiëntchirurgie (Gradient Surgery)

Het trainen voor zowel vergeten als herinneren leidt tot conflicterende gradiënten.

• De auteurs gebruiken een techniek uit multi-task learning (geïnspireerd door PCGrad) om destructieve interferentie te voorkomen.
• Ze projecteren de gradiënt van het vergeten-verlies ($\nabla L_f$) op de gradiënt van het herinneren-verlies ($\nabla L_r$) als deze negatief gecorreleerd zijn. Dit zorgt ervoor dat de updates voor het vergeten de prestaties voor het herinneren niet tenietdoen.

3. Belangrijkste Bijdragen

1. Probleemdefinitie: Het identificeren en formuleren van "unpromptable instance unlearning" als een kritiek probleem voor zowel conditional als unconditional diffusion modellen.
2. Nieuwe Methode: Een effectieve, prompt-vrije methode die surrogaatbeelden, tijdstap-georiënteerde weging en gradiëntchirurgie combineert.
3. Validatie: Demonstratie dat de methode werkt op zowel unconditional modellen (DDPM op CelebA) als conditional modellen (Stable Diffusion 3), waarbij specifieke gezichten en culturele misrepresentaties worden verwijderd zonder de kwaliteit van andere generaties te beïnvloeden.

4. Resultaten en Experimenten

De auteurs hebben hun methode getest op de datasets CelebA-HQ en FFHQ, en met Stable Diffusion 3.

• Kwalitatieve Resultaten:

  • Bestaande methoden (zoals NegGrad, EraseDiff) leiden vaak tot artefacten of een duidelijke degradatie van de modelkwaliteit.
  • De voorgestelde methode slaagt erin het doelbeeld te "vergeten" (het gezicht is niet meer herkenbaar) terwijl de generaties van niet-gerelateerde prompts (herinneren) bijna identiek blijven aan het oorspronkelijke model.
  • Voorbeelden: Het correcteren van misrepresentaties van historische figuren (bijv. "Xerxes") of vlaggen (bijv. "Ireland flag") zonder de rest van het model te beschadigen.

• Kwantitatieve Resultaten:

  • SSCD (Self-Supervised Copy Detection): De methode bereikt een SSCD-score onder de 0.4 (wat aangeeft dat het vergeten is geslaagd), vergelijkbaar met of beter dan baselines.
  • Model Integriteit: Metingen zoals LPIPS (perceptuele gelijkenis), SSIM (structurele gelijkenis) en FID tonen aan dat de voorgestelde methode de hoogste integriteit behoudt. De outputs van het onthouden dataset blijven zeer dicht bij het oorspronkelijke model, in tegenstelling tot baselines die vaak de verdeling verschuiven.
  • Ablatie Studies: De studies bevestigen dat de kwaliteit van het surrogaat (geëdit vs. simpel ruis toevoegen) cruciaal is. Geëditte surrogaten leveren de beste balans op tussen vergeten en behoud. Ook bevestigt de tijdstap-georiënteerde weging en gradiëntchirurgie hun effectiviteit.

5. Betekenis en Toekomst

Deze studie biedt een praktische oplossing ("hotfix") voor providers van generatieve AI-modellen.

• Privacy en Ethiek: Het stelt organisaties in staat om te voldoen aan wetgeving zoals de GDPR (recht op vergetelheid) voor specifieke individuen, zelfs als die individuen niet via tekst te specificeren zijn.
• Culturele Correctie: Het biedt een mechanisme om culturele of historische fouten in modellen te corrigeren zonder het hele model opnieuw te moeten trainen of de functionaliteit te beperken.
• Technologische Vooruitgang: Het beweegt het veld van machine unlearning voorbij het conceptniveau naar het fijnmazige instance-niveau, wat essentieel is voor de volgende generatie van betrouwbare en ethische generatieve modellen.

Kortom, het paper presenteert een robuuste, prompt-vrije aanpak om specifieke, ongewenste outputs uit diffusion modellen te verwijderen terwijl de algehele kwaliteit en functionaliteit van het model intact blijven.