Technische Samenvatting: TILDE (TILt-based Distributional Erasure for Concept Unlearning)

Probleemstelling

Concept unlearning in tekst-naar-beeld diffusiemodellen is essentieel voor het aanpakken van privacy-, auteursrecht- en veiligheidszorgen, waarbij modellen specifieke ongewenste concepten (bijv. specifieke kunstenaars, personages of objecten) moeten onderdrukken na de training. Bestaande methoden kampen echter met een kritieke afruil: effectief vergeten leidt vaak tot "retentie-falen", waarbij de prestaties van het model verslechteren bij het genereren van onschuldige, semantisch gerelateerde of algemene prompts.

Huidige benaderingen vertrouwen doorgaans op:

• Directe onderdrukking: Het bestraffen van conceptscores, wat vaak aangrenzende onschuldige concepten beschadigt (collateral damage).
• Anchor-gebaseerde bewerking: Het mappen van het te vergeten concept naar een doelconcept, wat instabiliteit en bias introduceert, vooral bij sequentiële verwijderingsverzoeken.
• Beloningsgebaseerde optimalisatie: Het maximaliseren van een scalaire forgetting reward, wat vaak de diversiteit doet instorten door de generatie te concentreren op een smalle set veilige outputs.

Het fundamentele probleem is dat deze methoden niet expliciet de gewenste post-unlearning distributie definiëren. Bijgevolg wordt retentie behandeld als een impliciet gevolg van de update-regel in plaats van een gecontroleerd doel, wat leidt tot een suboptimale distributionele getrouwheid vergeleken met een hypothetisch "retain-only" model dat vanaf nul is getraind zonder de ongewenste data.

Methodologie: TILDE

De auteurs stellen TILDE (TILt-based Distributional Erasure) voor, die concept unlearning herformuleert als een beperkt distributioneel uitlijningsprobleem. In plaats van lokale onderdrukking of anchor-vervanging, zoekt TILDE naar de conditionele distributie die de afwijking van het vooraf getrainde model minimaliseert terwijl het voldoet aan een forgetting constraint.

1. Theoretische Formulering

Het doel is gedefinieerd als de oplossing van een beperkte Kullback-Leibler (KL) projectie:
$$p^*_C = \arg \min_{p} \mathbb{E}_{y \sim \pi} [KL(p(\cdot | y) \parallel p_{pre}(\cdot | y))]$$
Onderworpen aan:
$$\mathbb{E}_{y \sim \pi, x \sim p(\cdot|y)} [E_C(x)] \le \delta_C$$

Waarbij:

• $p_{pre}$ de vooraf getrainde conditionele distributie is.
• $E_C(x)$ een "forget energy" is die het bewijs van het concept $C$ in afbeelding $x$ kwantificeert.
• De oplossing de vorm aanneemt van een energy-tilted Gibbs-distributie:
  $$p^*_C(x | y) \propto p_{pre}(x | y) \exp(-\beta E_C(x))$$

Deze formulering zorgt ervoor dat afbeeldingen die het concept uitdrukken worden afgewogen, terwijl onschuldige afbeeldingen hun relatieve vooraf getrainde waarschijnlijkheid behouden (anchor-vrij).

2. Praktische Surrogaat: Thresholded CLIP Energy

Om de abstracte energie $E_C$ te instantiëren, gebruikt TILDE een thresholded CLIP-gebaseerde surrogaat:

• Concept Probes: Een set tekstbeschrijvingen $Q_C$ (bijv. "Pikachu," "een foto van Pikachu") wordt gebruikt om de gemiddelde CLIP-gelijkenisscore $s_C(x)$ te berekenen.
• Drempelwaarde (Thresholding): Een forget energy $eE_C(x)$ wordt gedefinieerd zodanig dat deze nul is als $s_C(x) \le \tau$ (benigne regio) en exponentieel toeneemt als $s_C(x) > \tau$.
• Significantie: De drempelwaarde $\tau$ creëert een "no-penalty" regio, waardoor gradiënten geen invloed hebben op onschuldige afbeeldingen met een zwakke conceptuele gelijkenis, wat de lokale retentie behoudt.

3. Optimalisatie via Residual $\nabla$-GFlowNet

Om deze getilted distributie in een diffusiemodel te realiseren, gebruikt TILDE residual $\nabla$-GFlowNet training:

• Doel: Het leren van de score-correctie die vereist is om de vooraf getrainde sampler te transformeren naar de energy-tilted target.
• Mechanisme: In plaats van een volledige sampler vanaf nul te trainen, leert het model een residual continuation score $h_\phi$ die de denoising traject aanpast.
• Loss Functie: De training minimaliseert een forward en reverse loss ($L_{fwd}, L_{rev}$) om lokale consistentie af te dwingen tussen de aangepaste denoiser en de vooraf getrainde denoiser, geleid door de terminal forget energy.
• Implementatie: Updates zijn beperkt tot LoRA adapters op attention lagen, wat zorgt voor parameterefficiëntie en een minimale update-bias.

Belangrijkste Bijdragen

1. Distributionele Formulering: Het artikel formuleert concept unlearning als een beperkt distributioneel uitlijningsprobleem, waarbij een expliciete, anchor-vrije, minimale-deviatie Gibbs target wordt afgeleid.
2. TILDE Algoritme: Het introduceert een praktische instantie met behulp van thresholded CLIP energy en residual $\nabla$-GFlowNet training in de diffusie latent space.
3. Empirische Validatie: De methode wordt geëvalueerd over objecten, artistieke stijlen en personages, waarbij verbeteringen in de effectiviteit van forgetting worden aangetoond terwijl een hogere retentie en distributionele getrouwheid worden behouden vergeleken met eerdere baselines.

Experimentele Resultaten

De auteurs evalueerden TILDE op Stable Diffusion v1.5 over ~60 concepten (objecten, personages, stijlen, naaktheid).

• Prestaties: TILDE bereikt bijna volledige forgetting (bijv. 0.99 Unlearning Accuracy voor personages) terwijl het significant presteert ten opzichte van baselines in Related Retention (behoud van semantisch aangrenzende concepten) en General Retention.
• Vergelijking:
  • Hard Erasure (bijv. MACE): Bereikt hoge forgetting maar vernietigt retentie (Related Retention daalt naar ~0.17).
  • Soft Suppression (bijv. ESD): Behoudt retentie maar faalt vaak in het bereiken van voldoende forgetting.
  • Anchor-Based (bijv. CA, UCE): Verbetert kwaliteit maar vertrouwt op expliciete retain sets en laat nog steeds residu van concept-bewijs achter.
  • TILDE: Plaatst zich op de Pareto-front, waarbij hoge forgetting wordt bereikt zonder de noodzaak van expliciete retain supervisie of anchor concepten.
• Ablatie Studies:
  • Het verwijderen van de $\nabla$-vorm (gebruik van absolute flow targets) laat de forgetting prestaties instorten.
  • Het verwijderen van de residual component dwingt de volledige score field om de update te absorberen, wat de algemene retentie verslechtert.
  • Het verwijderen van de energy threshold veroorzaakt catastrofale retentie-instorting, wat de noodzaak van de "no-penalty" regio bevestigt.
• Distributionele Metrieken: TILDE vertoont lagere FADE (Functional Alignment Distance) en FID scores vergeleken met baselines, wat wijst op een nauwere uitlijning met de ideale "retain-only" distributie.

Betekenis en Claims

Het artikel claimt dat TILDE de "retentie-falen" aanpakt die inherent is aan huidige unlearning methoden door expliciet de post-unlearning distributie te definiëren. Door unlearning te kaderen als een minimum-deviation distributional alignment, vermijdt TILDE de valkuilen van:

• Collateral damage veroorzaakt door directe onderdrukking.
• Diversity collapse veroorzaakt door beloningsmaximalisatie.
• Instabiliteit veroorzaakt door vaste anchor mappings.

De auteurs argumenteren dat TILDE de "natuurlijke minimale modificatie" vertegenwoordigt van een vooraf getraind model dat voldoet aan de forgetting constraints. Het gebruik van thresholded energy zorgt ervoor dat onschuldige concepten niet worden gestraft, terwijl het residual $\nabla$-GFlowNet framework een efficiënte methode biedt om deze distributionele target te realiseren in hoog-dimensionale latent spaces. Het werk suggereert dat toekomstig unlearning onderzoek prioriteit moet geven aan het definiëren van de target distributie voordat er een update-regel wordt gekozen.