Technische Samenvatting: Locality-Aware Continual Unlearning voor Diffusiemodellen

1. Probleemstelling

De inzet van tekst-naar-beeld diffusiemodellen in real-world scenario's vereist Continual Unlearning (CUL): het sequentieel verwijderen van specifieke concepten (bijv. vanwege privacy, auteursrecht of veiligheidsvoorschriften) terwijl het vermogen van het model om alle andere inhoud te genereren behouden blijft.

Bestaande unlearning-methoden zijn primair ontworpen voor single-step (one-shot) deletie. Wanneer deze sequentieel worden toegepast, vertonen ze snelle instabiliteit en storten ze doorgaans in na slechts 3–5 stappen. De auteurs identificeren drie cumulerende factoren die verantwoordelijk zijn voor dit falen:

1. Coarse Mapping Targets: Huidige methoden leiden diverse 'forget prompts' naar één enkele vaste anker (bijv. een lege string of een generiek concept). Dit dwingt onnodig grote verschuivingen af in het scoreveld van het model voor elke prompt, wat leidt tot cumulatieve degradatie van de generatieve getrouwheid.
2. Gebrek aan Lokale Bescherming: Unlearning induceert een "rimpeleffect", waarbij semantisch nabijgelegen concepten (die dezelfde interne representaties delen) de meeste nevenschade ondervinden. Bestaande globale replay-strategieën verdelen regularisatie uniform, waardoor ze er niet in slagen deze kwetsbare lokale buurten te beschermen.
3. Mismatch tussen Tekstruimte en Modelruimte: Methoden die vertrouwen op text-space gelijkenis (bijv. CLIP-embeddings) weerspiegelen niet accuraat hoe het diffusiemodel prompts intern verwerkt. Prompts die dicht bij elkaar liggen in de CLIP-ruimte kunnen zeer verschillende ruisvoorspellingen induceren, wat leidt tot een suboptimale doelselectie die fouten cumuleert over opeenvolgende stappen.

2. Methodologie: Locality-Aware Continual Unlearning (LACU)

De auteurs stellen LACU voor, een framework dat zowel de doelselectie als de replay fundeert in één enkel, model-bewust principe: Score-Prediction Distance. Deze metriek meet het verschil in ruisvoorspellingen tussen twee prompts op gedeelde ruisige latente toestanden, wat effectief de nabijheid binnen het eigen denoising-landschap van het model kwantificeert.

Het framework werkt als een multi-objective teacher-student proces bij elke continue stap $i$, waarbij het bevroren vorige model $\hat{\theta}_{i-1}$ fungeert als de teacher en het bijgewerkte model $\theta_i$ de student is. De totale loss wordt gedefinieerd als:
$$\mathcal{L}_{\text{total}} = \lambda_{\text{unlearn}} \mathcal{L}_{\text{unlearn}} + \lambda_{\text{retain}} \mathcal{L}_{\text{retain}} + \lambda_{\text{reg}} \mathcal{L}_{\text{reg}}$$

Kerncomponenten:

1. Locality-Aware Target Selection:

   • In plaats van alle forget prompts naar een vast anker te mappen, genereert LACU context-preserverende kandidaat-vervangingen voor elke specifieke forget prompt.
   • Het selecteert de kandidaat met de minimale score-prediction distance tot de oorspronkelijke forget prompt.
   • Doel: Het minimaliseren van de perturbatie van het geleerde scoreveld voor elke stap, om ervoor te zorgen dat updates zo klein en gericht mogelijk zijn.

2. Locality-Aware Replay:

   • Het framework identificeert retain-concepten die het dichtst bij het forget-concept liggen in de ruis-voorspellingsruimte van het model (met gebruik van dezelfde score-prediction distance metriek).
   • Deze directe buren worden gereplay als een lokale functionele regularisator.
   • Doel: Direct de meest kwetsbare semantische buurt te beschermen tegen het rimpeleffect, in plaats van te vertrouwen op globale replay die onder-investeert in deze fragiele regio's.

3. Stabilisatiemechanismen:

   • Teacher-Student Distillatie: De student imiteert het gedrag van de teacher op zowel de geselecteerde mapping targets als de lokale replay-buren.
   • Lichtgewicht $\ell_2$ Regularisatie: Een penalty term ($\|\theta_i - \hat{\theta}_{i-1}\|_2^2$) beperkt de cumulatieve parameterdrift over opeenvolgende stappen.

3. Belangrijkste Bijdragen

• Diagnose van Sequentiële Instabiliteit: Het artikel herleidt de ineenstorting van bestaande methoden in CUL tot grove mapping, gebrek aan lokale bescherming en de ontoereikendheid van text-space gelijkenis-metrieken.
• Model-Bewuste Localiteitsmetriek: Introductie van Score-Prediction Distance als een superieure metriek voor het meten van concept-nabijheid, waarbij text-embedding gelijkenissen (zoals CLIP) worden vervangen door directe metingen van het denoising-gedrag van het model.
• Dual-Component Framework: De integratie van Locality-Aware Target Selection en Locality-Aware Replay, gekoppeld via dezelfde metriek, om simultaan de omvang van de updates te minimaliseren en kwetsbare buren te beschermen.
• Stabiele 10-Staps Unlearning: Demonstratie dat LACU een stabiele prestatie behoudt over 10 sequentiële unlearning-stappen, een regime waarin de meeste baselines falen.

4. Experimentele Resultaten

De auteurs evalueerden LACU op Stable Diffusion v1.5, waarbij ze sequentieel 10 diverse concepten (objecten, artistieke stijlen en individuen) unlearned over 5 willekeurige ordeningen.

• Prestaties vs. Baselines:
  • Retentie: LACU presteert significant beter dan recente baselines (bijv. ESD, UCE, AGE, DUGE) in Related Retention Accuracy (RRacc) en General Retention Accuracy (GRacc). Terwijl agressieve baselines een hoge unlearning-nauwkeurigheid bereiken maar lijden onder retentie-ineenstorting (RRacc/GRacc die bijna 0 bereikt na 5–10 stappen), behoudt LACU hoge retentie-scores (bijv. RRacc $\approx$ 0,72, GRacc $\approx$ 0,87 na 10 stappen).
  • Unlearning Effectiviteit: LACU bereikt een hoge Unlearning Accuracy (Uacc $\approx$ 0,90–0,99), waardoor doelconcepten effectief worden verwijderd zonder het vermogen te verliezen om ongerelateerde inhoud te genereren.
• Ablatie-studies:
  • Keuze van Metriek: Het gebruik van score-prediction distance voor selectie levert een superieure lange-termijn stabiliteit op vergeleken met CLIP-gebaseerde of naïeve vaste-anker selectie.
  • Bijdrage van Componenten: Het verwijderen van de lokale replay-component leidt tot retentie-ineenstorting door cumulerende rimpeleffecten. Het verwijderen van regularisatie leidt tot parameterdrift. De combinatie van beide is noodzakelijk voor de geobserveerde balans.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat terwijl baselines de kwaliteit van behouden concepten verslechteren (bijv. het niet meer kunnen genereren van "Van Gogh stijl" na het unlearnen van "Van Gogh"), LACU de generatieve kwaliteit van behouden concepten behoudt terwijl het doel succesvol wist.

5. Betekenis en Claims

Het artikel beweert dat locality-aware design de sleutel is tot stabiliteit in sequentieel unlearning. Door unlearning te behandelen als een reeks minimale, gerichte perturbaties in de eigen representatieruimte van het model — in plaats van een globale heroriëntatie — voorkomt het framework de accumulatie van fouten die leiden tot model-ineenstorting.

De auteurs benadrukken dat hun aanpak geen volledige hertraining vereist en compatibel is met bestaande diffusie-architecturen. Ze merken echter ook beperkingen op:

• De methode vertrouwt momenteel op een LLM om kandidaat-prompts te genereren, hoewel de kern van de selectielogica model-agnostisch is.
• Stijlconcepten blijven uitdagend om te unlearnen vanwege breed gedeelde kenmerken.
• Real-world deployment kan het schalen naar honderden of duizenden sequentiële deleties vereisen, wat een openstaande uitdaging blijft.
• Het teacher-student framework vereist het aanhouden van een bevroren kopie van het model, wat meer geheugen en computationele overhead met zich meebrengt vergeleken met single-model benaderingen.

De code is beschikbaar op https://github.com/SonyResearch/LACU.