🤖 machine learning

A Unified Framework for Diffusion Model Unlearning with f-Divergence

Dit artikel stelt een geünificeerd raamwerk voor voor het vergeten van concepten in text-naar-afbeelding diffusiemodellen dat de standaard op MSE gebaseerde doelstelling generaliseert naar willekeurige $f$ -divergenties, waarbij zowel efficiënte gesloten-vorm oplossingen worden geboden voor specifieke divergenties zoals Hellinger als een variationale min-max-benadering voor andere om een betere balans te vinden tussen vergeten-effectiviteit en generatieve trouw.

Oorspronkelijke auteurs: Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer getalenteerde kunstenaar (een "Diffusiemodel") voor die alles heeft geleerd te schilderen, van 's werelds beroemdste schilderijen tot expliciete inhoud, simpelweg omdat ze getraind is op een enorme, ongecurateerde bibliotheek met afbeeldingen van internet. Soms wil je dat deze kunstenaar specifieke dingen "vergeet" – misschien de stijl van een bepaalde kunstenaar, een specifiek personage zoals R2D2, of ongepaste inhoud – zonder ze vanaf nul opnieuw te hoeven trainen (wat eeuwig zou duren en een fortuin zou kosten).

Dit paper stelt een nieuwe, slimmere manier voor om de kunstenaar deze dingen te laten vergeten. De auteurs noemen hun methode f-DMU.

Hier is de uiteenzetting van hun idee met behulp van eenvoudige analogieën:

1. De Oude Weg: De "Gemiddelde" Benadering

Vroeger probeerden onderzoekers de kunstenaar een concept te laten vergeten door te zeggen: "Wanneer je wordt gevraagd om [Doelconcept] te schilderen, schilder dan iets dat er exact zo uitziet als het gemiddelde van [Ankerconcept]."

Het Probleem: Ze gebruikten een standaard wiskundige liniaal genaamd "Mean Squared Error" (MSE) om te meten hoe dicht de nieuwe schilderij bij het anker zat. Denk hierbij aan een strenge leraar die alleen om het eindcijfer als gemiddelde geeft. Als de student een enorme fout maakt op één moeilijke vraag, straft de leraar hen zwaar, maar als ze veel kleine fouten maken, merkt de leraar dat misschien niet op. Deze "straf" (gradiënt) kan te hard of te zwak zijn, waardoor de kunstenaar ofwel crasht (vreemde, gebroken afbeeldingen genereert) of te langzaam vergeet.

2. De Nieuwe Weg: De "Flexibele Liniaal" (f-Divergentie)

De auteurs zeggen: "Waarom gebruiken we maar één liniaal? Laten we een heel gereedschapskist met verschillende linialen gebruiken."

In de wiskunde worden deze linialen f-divergenties genoemd. Het paper toont aan dat je door het kiezen van verschillende soorten f-divergenties kunt veranderen hoe de kunstenaar leert vergeten. Het is als kiezen tussen een liniaal die afstand meet, een liniaal die tijd meet, of een liniaal die gewicht meet, afhankelijk van wat je probeert te repareren.

Ze vonden twee hoofdtypes van deze "linialen" die het beste werken:

A. De "Zachte Hand" (Gekwadradeerde Hellinger-afstand)

Hoe het werkt: Deze liniaal is zeer voorzichtig. Als de kunstenaar een enorme fout maakt (een groot verschil tussen het doel en het anker), zegt deze liniaal: "Oké, dat is een grote kloof, maar laten we niet panikeren. Laten we een kleine, vaste stap zetten om het te repareren."
Het Resultaat: De kunstenaar leert soepel. Ze worden niet "geschokt" door grote fouten, dus ze beginnen geen onzin te schilderen.
Best voor: Wanneer je een concept wilt verwijderen maar de vaardigheid van de kunstenaar om andere dingen prachtig te schilderen wilt behouden. Het is de "veilige" keuze die de kwaliteit van de resterende kunst behoudt.

B. De "Zware Hamer" (Chi-kwadraat-divergentie)

Hoe het werkt: Deze liniaal is agressief. Als de kunstenaar een fout maakt, schreeuwt deze liniaal: "Repareer dit NU!" Hoe groter de fout, hoe harder de straf.
Het Resultaat: De kunstenaar vergeet het concept zeer snel.
Best voor: Wanneer je iets zeer grondig wilt wissen en het niet erg vindt als de kunstenaar een beetje "trilt" of wat fijne details verliest in het proces.

C. De "Touwtraktie" (Variatiele Methoden)

Voor sommige complexe linialen die geen eenvoudige formule hebben, hebben de auteurs een spel opgezet. Ze creëren een "Discriminator" (een criticus) en de "Kunstenaar" (het model).

De Criticus probeert het verschil te ontdekken tussen de oude kunst en de nieuwe kunst.
De Kunstenaar probeert de Criticus voor de gek te houden.
Ze spelen een spel van touwtrekken totdat de Kunstenaar niet meer te onderscheiden is van de "vergeten" versie. Dit is krachtig maar moeilijker te controleren.

3. Wat Ze Vonden

De auteurs testten deze methoden op verschillende scenario's:

Stijlen wissen: De kunstenaar laten vergeten "Van Gogh" of "Picasso".
Objecten wissen: De kunstenaar laten vergeten "R2D2" of "Wall-E".
NSFW-inhoud wissen: De kunstenaar laten vergeten naaktheid.

De Belangrijkste Conclusie:
De "Zachte Hand" (Gekwadradeerde Hellinger) versloeg consequent de oude "Gemiddelde" methode (MSE).

Waarom? Omdat de oude methode vaak veroorzaakte dat de kunstenaar in het midden van de training gek werd, lelijke, gebroken afbeeldingen produceerde voordat ze zich uiteindelijk stabiliseerden. De nieuwe methode hield de kunstenaar stabiel gedurende het hele proces.
De Afweging: Als je super agressief wilt zijn en een concept volledig wilt verwijderen (zelfs als de kunst wat ruwer wordt), kun je de "Zware Hamer" of de "Touwtraktie"-methode gebruiken. Maar als je een schoon, hoogwaardig resultaat wilt waarbij de kunstenaar nog steeds perfect alles anders onthoudt, is de "Zachte Hand" de winnaar.

Samenvatting

Beschouw dit paper als het leveren van een nieuwe set trainingsgereedschappen voor AI-kunstenaars. In plaats van één stom instrument te gebruiken om een AI iets te laten vergeten, geven ze ons een keuze:

Gebruik de Zachte Hand voor een soepel, hoogwaardig vergeten dat de rest van de vaardigheden van de AI intact houdt.
Gebruik de Zware Hamer als je een concept snel uit het bestaan wilt blazen.
Gebruik de Touwtraktie als je een flexibele oplossing nodig hebt voor elk type concept.

Dit stelt ontwikkelaars in staat om het exacte gereedschap te kiezen dat nodig is voor de klus, zodat wanneer een AI iets "vergeet", het niet per ongeluk ook vergeet hoe het een goede kunstenaar moet zijn.

Technische Samenvatting: Een Unificerend Kader voor Vergeten van Diffusiemodellen met f-Divergentie

1. Probleemstelling

Tekst-naar-afbeelding (T2I) diffusiemodellen (DM's), getraind op grote schaal van het internet afgegraaide datasets (bijv. LAION-5B), hebben opmerkelijke generatieve capaciteiten aangetoond, maar erven ook ongewenste eigenschappen over, waaronder het vermogen om Niet-Veilig-Voor-Werk (NSFW) content, auteursrechtelijk beschermd artistiek stijl en persoonlijke informatie te genereren. Hoewel het hertrainen van modellen op samengestelde datasets de theoretische oplossing is voor het wissen van specifieke concepten, is dit computatief verboden en vaak onpraktisch vanwege gegevensverwijdering of beperkingen in middelen.

Bestaande algoritmen voor vergeten vertrouwen doorgaans op een paradigma waarbij de generatie van het model voor een "doel" concept (dat gewist moet worden) wordt afgestemd op een "anker" concept (bijv. een nulloconcept, superklasse of semantisch gerelateerd concept). Deze afstemming wordt bijna uitsluitend bereikt door de Gemiddelde Kwartieke Fout (MSE) te minimaliseren tussen de uitgangen van de denoiser voor het doel en het anker. Theoretisch komt deze MSE-minimalisatie overeen met het minimaliseren van de Kullback-Leibler (KL) divergentie tussen twee Gaussische verdelingen die voorwaardelijk zijn op de respectievelijke concepten. Deze aanpak beperkt het optimalisatielandschap echter tot een enkele divergentiemetriek, wat potentieel suboptimaal is voor het afwegen van de effectiviteit van vergeten tegenover het behoud van generatieve fideliteit voor niet-doelconcepten.

2. Methodologie

De auteurs stellen f-DMU voor, een unificerend kader dat het doel van vergeten generaliseert van de standaard KL-divergentie naar elke f-divergentie. Het kader is gebaseerd op de observatie dat het probleem van vergeten kan worden geformuleerd als het minimaliseren van de divergentie tussen de kansverdelingen van het oorspronkelijke model $\Phi$ (voorwaardelijk op het ankerconcept $c$ ) en het vergeten model $\hat{\Phi}$ (voorwaardelijk op het doelconcept $c^*$ ) op specifieke tijdstappen van het diffusieproces.

De kernobjectief wordt gedefinieerd als:
$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$

Het kader biedt twee onderscheiden benaderingen voor het oplossen van deze objectief, afhankelijk van de eigenschappen van de gekozen f-divergentie:

A. Gesloten-vorm Verliezen

Voor een subset van f-divergenties waarbij een gesloten-vorm uitdrukking bestaat voor Gaussische verdelingen (specifiek wanneer varianties vast zijn, een standaardpraktijk in DM's), leiden de auteurs specifieke verliesfuncties af. Belangrijke voorbeelden zijn:

Gekwadrateerde Hellinger-afstand ( $H^2$ ): Levert een verliesfunctie op die een exponentiële afname van de MSE omvat: $J_{H^2} \propto -\exp(-\text{MSE})$ . Dit resulteert in begrensde gradiënten die afnemen naarmate de MSE toeneemt, wat de impact van uitschieters mitigeert en abrupte modelwijzigingen voorkomt.
Pearson $\chi^2$ -divergentie: Levert een verliesfunctie op die een exponentiële groei van de MSE omvat: $J_{\chi^2} \propto \exp(\text{MSE})$ . Dit resulteert in onbegrensde, snel groeiende gradiënten voor grote fouten, wat leidt tot agressievere updates.
Jeffreys-divergentie: Reduceert tot een standaard MSE-formulering onder specifieke aannames.

B. Variationale Verliezen

Voor f-divergenties die geen gesloten-vorm uitdrukking hebben (bijv. Totale Variatie, of wanneer een meer algemene formulering gewenst is), maken de auteurs gebruik van de variational representatie van f-divergenties. Dit transformeert het probleem tot een min-max optimalisatiespel:
$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$
Hier fungeert $T$ als een discriminator (geparametriseerd door een neurale net) die de divergentie schat, terwijl $\hat{\Phi}$ fungeert als de generator die probeert deze te minimaliseren. Deze aanpak stelt het kader in staat om elke f-divergentie toe te passen op de taak van vergeten.

3. Theoretische Analyse

Het artikel biedt een rigoureuze theoretische analyse van het voorgestelde kader:

Gradiëntdynamiek: De auteurs analyseren de grootte van de gradiënten van de gesloten-vorm verliezen. Zij tonen aan dat $H^2$ en $\chi^2$ tegengestelde gedragingen vertonen ten opzichte van de standaard KL/MSE. $H^2$ onderdrukt gradiënten voor grote fouten (uitschieters), terwijl $\chi^2$ deze versterkt. Deze per-steekproef weging is een inherente eigenschap van de keuze van f-divergentie, onderscheiden van standaard leersnelheidsplanners.
Convergentie-eigenschappen: Met behulp van de theorie van niet-lineaire dynamische systemen bewijzen de auteurs de lokale exponentiële stabiliteit van de variational formulering rond evenwichtspunten. Zij leiden grenzen af voor de convergentiesnelheid op basis van de eigenwaarden van de Jacobiaan-matrix. Cruciaal tonen zij aan dat de keuze van f-divergentie de convergentiesnelheid beïnvloedt; specifiek convergeren divergenties met grotere tweede afgeleiden van hun Fenchel-conjugaten bij evenwicht (bijv. $H^2$ en Jensen-Shannon) theoretisch sneller dan andere zoals KL of $\chi^2$ .
Mode-zoekend versus Mode-dekkend: Het artikel bespreekt hoe verschillende divergenties de verdeling van gegenereerde afbeeldingen beïnvloeden. $H^2$ en Jensen-Shannon vertonen "gemiddelde" mode-zoekende eigenschappen, terwijl KL en $\chi^2$ "mode-dekkend" zijn, wat potentieel een hogere waarschijnlijkheid toekent aan gebieden tussen modes.

4. Experimentele Resultaten

Het kader werd geëvalueerd op Stable Diffusion-modellen (v1.4, v1.5, v2.1, XL en 3) en FLUX, met als doel het wissen van objecten (bijv. R2D2), artistieke stijlen (bijv. Van Gogh, Monet) en naaktheid.

Gradiëntstabiliteit: Empirische validatie bevestigt dat $H$ -DMU (met $H^2$ ) begrensde gradiënten behoudt gedurende de training, waardoor de plotselinge degeneratie van afbeeldingsgeneratie wordt vermeden die wordt waargenomen bij op MSE gebaseerde methoden tijdens tussenliggende fijnafstapstadia.
Effectiviteit van Vergeten versus Behoud:
- Gesloten-vorm: $H$ -DMU presteert consequent beter dan standaard MSE in het behoud van niet-doelconcepten (gemeten door Kernel Inception Distance, KID) terwijl het een vergelijkbare of betere uitwissing van doelconcepten bereikt. Omgekeerd bereikt $\chi^2$ -DMU sterkere uitwissing, maar vaak ten koste van generatieve kwaliteit en behoud van de prior.
- Variational: Variationale methoden (bijv. $H_v$ -DMU) neigen agressiever te zijn, waardoor snelle uitwissing in minder iteraties wordt bereikt, maar vaak resulteren in hogere KID-scores (lagere afbeeldingskwaliteit) door grove divergentieschattingen op kleine batches.
Robuustheid: In de context van het wissen van naaktheid toonde $H$ -DMU superieure robuustheid tegenover adversariale prompts (bijv. Ring-A-Bell, MMA-Diffusion) in vergelijking met state-of-the-art methoden zoals CAbl, DoCo en SLD, waarbij aanzienlijk minder NSFW-afbeeldingen werden gegenereerd onder aanval.
Uitwissing van Meerdere Concepten: Het kader slaagde erin om sequentiële uitwissing van 10 artistieke stijlen te verwerken, waarbij $H$ -DMU superieure afwegingen toonde tussen uitwissing en behoud in vergelijking met MSE.

5. Betekenis en Beweringen

Het artikel beweert het eerste unificerende kader te presenteren voor het vergeten van diffusiemodellen gebaseerd op f-divergenties. De primaire bijdragen zijn:

Generalisatie: Het overstijgen van de impliciete KL/MSE-aanname naar een flexibele familie van divergenties, waardoor practitioners de optimale objectief kunnen selecteren op basis van specifieke toepassingsdoelen (bijv. agressieve uitwissing versus hoogwaardig behoud).
Theoretische Gronding: Het bieden van een theoretische analyse van gradiëntscaling en convergentie-eigenschappen, waarbij de keuze van divergentie wordt gekoppeld aan algoritmische stabiliteit en snelheid.
Praktische Bruikbaarheid: Het aantonen dat specifieke instanties, met name de gesloten-vorm Gekwadrateerde Hellinger-afstand ( $H$ -DMU), een superieure standaardkeuze bieden voor de meeste vergeten-taken door effectieve conceptverwijdering te balanceren met het behoud van de generatieve capaciteiten van het model.

De auteurs benadrukken dat hun kader model-agnostisch is (ook toepasbaar op flow-gebaseerde modellen) en geen hertraining vanaf nul vereist, waardoor het een computatief efficiënt en theoretisch onderbouwd alternatief biedt voor bestaande conceptverwijderingstechnieken.