Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

Technische Samenvatting: Niet elke tijdstap en frequentie hoeft vergeten te worden in Diffusion Unlearning

Probleemstelling
Data unlearning in diffusiemodellen heeft als doel de invloed van specifieke trainingsvoorbeelden (de "forget set") uit een voorgetraind model te verwijderen, terwijl de bruikbaarheid van de resterende data (de "retain set") behouden blijft. Huidige fine-tuning methoden, zoals Gradient Ascent (GA) of Negative Preference Optimization (NPO), vertrouwen doorgaans op het maximaliseren van de loss over de forget set. Deze methoden lijden echter vaak aan twee kritieke problemen:

1. Onvolledig vergeten: Het model slaagt er mogelijk niet in om het specifieke voorbeeld volledig uit te wissen.
2. Kwaliteitsdegradatie: Agressief unlearning leidt vaak tot ruisachtige, esthetisch slechte of vervormde generaties voor de retain set.

Bestaande methoden behandelen alle diffusietijdstappen en frequentiecomponenten doorgaans uniform tijdens het unlearning-proces. Dit artikel betoogt dat een dergelijke uniforme behandeling de inherente dynamiek van diffusiemodellen negeert, waarbij verschillende stadia van het omgekeerde proces (van ruis naar data) en verschillende frequentiecomponenten niet gelijkwaardig bijdragen aan semantische identiteit, instantie-niveau memorisatie en fijnmazige details.

Methodologie
De auteurs stellen een Time- and Frequency-Selective Unlearning framework voor dat zich richt op specifieke regio's van het diffusieproces in plaats van uniforme updates toe te passen.

1. Time-Selective Forgetting:

   • Analyse: Het artikel maakt gebruik van het theoretische begrip van diffusiedynamiek en identificeert twee kritieke overgangspunten: Speciation Time ($t_S$) en Collapse Time ($t_C$).
     • Fase I ($t > t_S$): Legt grove semantiek en klasse-identiteit vast.
     • Fase II ($t_C < t < t_S$): Betrokken bij instantie-niveau aantrekking en de vorming van specifieke details.
     • Fase III ($t < t_C$): Verfijnt fijnmazige details en texturen.
   • Strategie:
     • Voor Unconditional Unlearning, richt de methode zich op Fase II (middelste tijdstappen), waar de instantie-niveau aantrekking het sterkst is, om degradatie van fijne details in Fase III te vermijden.
     • Voor Conditional Unlearning (tekst-naar-afbeelding), richt de methode zich op Fase I ($t > t_S$), waar conditionele sturing domineert voordat de speciatie optreedt.
   • Implementatie: Een tijd-wegingsfunctie $P(t)$ wordt toegepast op de loss-functie, waarbij een hogere waarschijnlijkheid wordt toegewezen aan specifieke intervallen (bijv. $[t_C, t_S]$ of $[t_S, T]$), terwijl updates in andere intervallen worden onderdrukt. Er wordt ook een adaptieve methode voorgesteld om het optimale overgangspunt $\tau$ (analoog aan $t_S$) te zoeken op basis van de magnitude van de sturing.

2. Frequency-Selective Forgetting:

   • Analyse: Empirische spectrale analyse onthult dat unlearning vaak ongewenste hoogfrequente ruis introduceert, wat de kwaliteit van de samples degradeert. De hoogfrequente distributie van de retain set zou grotendeels onveranderd moeten blijven.
   • Strategie: Een laagdoorlaatfilter wordt toegepast op de loss-residue tijdens het unlearning. Het gradiëntsignaal wordt geprojecteerd om hoogfrequente componenten van de forget set te verwijderen, terwijl de input voor de denoiser een natuurlijke ruisige sample blijft.
   • Implementatie: Met behulp van de Fast Fourier Transform (FFT) wordt de loss-residue gemaskeerd om frequenties boven een afkappradius $r_t$ uit te sluiten. Dit zorgt ervoor dat het unlearning-proces de hoogfrequente details die essentieel zijn voor de beeldkwaliteit niet verstoort.

3. Theoretische Rechtvaardiging:

   • De auteurs formuleren een forgetting–preservation utility functie $J_\beta(m)$ gebaseerd op de Kullback-Leibler (KL) divergentie tussen de originele en de unlearned pad-maten.
   • Zij bewijzen dat selectief unlearning (waarbij alleen in regio $S$ wordt geüpdatet) een strikt positieve utility-gap oplevert vergeleken met volledig unlearning, mits de selectieve updates veranderingen in de doelregio versterken ($\mu \ge 1$) en veranderingen in niet-doelregio's onderdrukken ($\eta \le 1$).

4. Evaluatiemetric:

   • Het artikel introduceert $SSCD_{norm}$, een verbeterde metric die de perturbatieafstand normaliseert. In tegen tegenstelling tot de standaard SSCD, die kunstmatig laag kan zijn voor wazige of gedegradeerde beelden, houdt $SS \text{ } CD_{norm}$ rekening met de kwaliteit van het gegenereerde beeld, waardoor wordt gewaarborgd dat een lage dissimilariteit niet wordt bereikt ten koste van esthetische degradatie.

Belangrijkste Resultaten
De voorgestelde methode werd geëvalueerd op CelebA-HQ (unconditional) en Stable Diffusion v1.4 (conditional text-to-image) tegen diverse baselines (GA, SISS, DPO, KTO).

• Unconditional Unlearning: Het toepassen van tijdselectie (focus op $t \in [250, 750]$) en frequentieselectie (laagdoorlaatfilter met $r_t=0.15$) verbeterde de $SSCD_{norm}$ en de Aesthetic Scores significant vergeleken met de baselines. Bijvoorbeeld, met SISS verbeterde de esthetische score met ~34,8% bij $t=250$ en ~25,8% bij $t=500$, terwijl de forgetting-metrics gelijk bleven of verbeterden.
• Conditional Unlearning: Op Stable Diffusion bereikte de selectieve aanpak een hogere succesrate voor unlearning en een snellere convergentie dan de SISS-baseline. Het slaagde erin om gememoriseerde prompts te verwijderen terwijl hogere CLIP-IQA kwaliteitsscores werden behouden.
• Membership Inference Attacks (MIA): Bestaande methoden vertoonden extreme kwetsbaarheid voor MIA (relatieve fouten tot $\times 10^7$), wat wijst op overmatig vergeten. De voorgestelde methode mitigeerde deze collaterale verstoring aanzienlijk (reductie van fouten naar $\times 5,76$ en $\times 53,20$), wat duidt op een betere preservatie van de data-manifold.
• Generalisatie: De methode demonstreerde effectiviteit over verschillende backbones (U-Net en Diffusion Transformer) en scenario's van concept unlearning (bijv. naaktheidsdetectie).

Betekenis en Claims
Het artikel claimt praktische inzichten te bieden voor het begrijpen en verbeteren van data unlearning in diffusiemodellen door aan te tonen dat vergeten geen uniform proces is. De primaire bijdragen zijn:

1. Systematische Studie: Een gedetailleerde analyse van hoe tijdstappen en spectrale domeinen verschillend bijdragen aan memorisatie en bruikbaarheid.
2. Eenvoudig Framework: Een selectieve unlearning-aanpak die compatibel is met bestaande objectieven (GA, SISS, DPO, KTO) en minimale architecturale wijzigingen vereist.
3. Kwaliteitspreservatie: Het vermogen om hoge succesrates voor unlearning te bereiken zonder de ernstige kwaliteitsdegradatie die gewoonlijk geassocieerd wordt met gradiënt-gebaseerd unlearning.
4. Verbeterde Evaluatie: De introductie van $SSCD_{norm}$ om te voorkomen dat unlearning-methoden die vertrouwen op beelddegradatie als proxy voor vergeten, onterecht hoog scoren.

De auteurs merken bescheiden op dat hoewel hun methode effectief optimale regio's identificeert op basis van bestaande theoretische grenzen, het nog geen volledig geautomatiseerde methode biedt voor het ontdekken van deze optimale regio's voor elk specifief dataset zonder voorafgaande kennis of adaptieve zoekoverhead. Desalniettemin benadrukt het werk dat gerichte forget in specifieke tijd- en frequentievensters cruciaal is voor het balanceren van de trade-off tussen privacy (unlearning) en bruikbaarheid (generatiekwaliteit).