Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models

Technische Samenvatting: Conceptvergeten via Projectie van Cross-Attention Activaties voor Diffusiemodellen

Probleemstelling

Conceptvergeten heeft tot doel specifieke doelconcepten (bijvoorbeeld auteursrechtelijk beschermde stijlen, gelijkenissen van beroemdheden of onveilige afbeeldingen) uit vooraf getrainde tekst-naar-afbeelding diffusiemodellen te verwijderen, zonder de rekenkosten van hertraining vanaf nul. Effectief vergeten moet twee gelijktijdige vereisten vervullen: het vergeten van het doelconcept, zelfs bij parafraseerde of adversariële prompts, en het behouden van het vermogen van het model om alle andere ongerelateerde concepten te genereren.

Bestaande gesloten-vorm-methoden, die een enkele deterministische bewerking toepassen op modelgewichten zonder gradiëntgebaseerde fine-tuning, staan voor een kritieke beperking. Deze methoden (bijvoorbeeld UCE, CURE) construeren de "vergeetbasis" met behulp van tekst-encoder-inbeddingen die zijn afgeleid van korte ankerprompts (bijvoorbeeld "Van Gogh"). De auteurs stellen dat tekst-inbeddingen de prompt van de gebruiker beschrijven, maar niet vastleggen hoe het model die prompt daadwerkelijk gebruikt tijdens het denoising-proces. Bijgevolg omzeilen parafraseerde prompts die het doelconcept oproepen zonder te matchen met de ankersjablonen, vaak de vergeten-bewerking, wat leidt tot "doellek".

Methodologie: PURE

Het artikel stelt PURE (Projection in U-Net Rendering for Erasure) voor, een gesloten-vorm vergeten-methode die de basisconstructie verschuift van de tekst-encoder-inbeddingsruimte naar de cross-attention-activatieruimte binnen de U-Net.

Kernhypothese:
Cross-attention-activaties ($h^\ell$) op laag $\ell$ weerspiegelen hoe de denoiser het tekstconditie gebruikt onder de huidige latente toestand en tijdstap. In tegenstelling tot statische tekst-inbeddingen, vangen deze activaties het specifieke conceptbewijs op dat daadwerkelijk wordt gebruikt tijdens het genereren van afbeeldingen, wat betere generalisatie biedt voor diverse promptformuleringen.

Algoritmische Procedure:

1. Activatie-opname: Voor een set vergeet-ankers ($\mathcal{A}_f$) en behoud-ankers ($\mathcal{A}_r$) voert het model een korte denoising-trajectorie uit. Op elke laag $\ell$ en tijdstap worden de post-attention-activaties geëxtraheerd, ruimtelijk gemiddeld gepooled en geaggregeerd in matrices $H^\ell_F$ en $H^\ell_R$.
2. Onderruimte-constructie: Er wordt een Singular Value Decomposition (SVD) uitgevoerd op $H^\ell_F$ en $H^\ell_R$ voor elke laag. De bovenste singuliere vectoren, tot een cumulatieve variantiedrempel ($\tau_F, \tau_R$), vormen de vergeetbasis ($V^\ell_F$) en de behoudbasis ($V^\ell_R$).
3. Lineaire bewerking: De methode past een enkele lineaire update toe op de cross-attention-sleutel ($W^\ell_K$) en waarde ($W^\ell_V$) projectiematrices. De update-operator $E^\ell$ wordt gedefinieerd als:
   $$E^\ell = I - P^\ell_F (I - P^\ell_R)$$
   waarbij $P^\ell_F = V^\ell_F (V^\ell_F)^\top$ en $P^\ell_R = V^\ell_R (V^\ell_R)^\top$.
   De gewichten worden bijgewerkt via linkermultiplicatie: $W^\ell \leftarrow E^\ell W^\ell$.
   • Mechanisme: De term $(I - P^\ell_R)$ verwijdert componenten die zijn uitgelijnd met behoudconcepten, zodat $P^\ell_F$ alleen werkt op de orthogonale onderruimte. Het aftrekken hiervan van de identiteit zorgt ervoor dat invoer die is uitgelijnd met behoudconcepten ongewijzigd doorgaat.
   • Structurele verschuiving: In tegenstelling tot eerdere methoden die in de tekstruimte vermenigvuldigen vanaf de rechterkant, vermenigvuldigt PURE in de activatieruimte vanaf de linkerkant ($d_\ell \times d_\ell$), wat een bewerking per laag vereist.

Belangrijkste Bijdragen

1. Op activaties gebaseerde basis: Het artikel identificeert dat het construeren van de vergeetbasis vanuit cross-attention-activaties in plaats van tekst-inbeddingen de detectie van doelconcepten in diverse natuurlijke en adversariële prompts aanzienlijk verbetert.
2. Probeerexperiment: Een binaire classificatie-experiment toont aan dat een op activaties gebaseerde basis ongeveer vijf keer hogere recall bereikt op natuurlijk parafraseerde prompts in vergelijking met een op tekst gebaseerde basis. Dit bevestigt dat activatiefuncties beter generatie-relevant conceptbewijs vastleggen.
3. Efficiëntie van gesloten vorm: PURE behoudt de voordelen van gesloten-vorm-bewerking: het vereist geen gradiënttraining, geen aanvullende verliesfuncties, geen hyperparameter-tuning van leersnelheden en voegt geen inferentietijdkosten toe nadat de bewerking is toegepast.
4. Bewerking per laag: De methode voert een SVD en bewerking per laag uit, waarbij wordt erkend dat conceptrepresentatie varieert over de diepte van de U-Net.

Experimentele Resultaten

De auteurs hebben PURE geëvalueerd op de Holistic Unlearning Benchmark (HUB), die tien concepten beslaat over vier categorieën: Artistieke Stijl, Intellectueel Eigendom (IP), Beroemdheid en NSFW.

• Trade-off Vergeten-Behoud: PURE behaalt de beste harmonische-middenscore over alle categorieën in vergelijking met vijf baselines (ESD, MACE, RECELER, UCE, CURE).
• Onderdrukking van Doel: PURE reduceert doellek aanzienlijk onder parafraseerde en adversariële prompts in vergelijking met CURE, dat vaak faalt bij het onderdrukken van parafrasen.
• Behoud: PURE behoudt "behoudconcepten" (burenconcepten in dezelfde categorie) beter dan agressieve op training gebaseerde methoden (die het behoud beschadigen) en beter dan gesloten-vorm-methoden in tekstruimte (die vaak behoud opofferen voor onderdrukking in Stijlcategorieën).
• Ablatiestudies:
  • Ankergrootte: Het vergroten van het aantal natuurlijke vergeet-ankers verbetert de onderdrukking van de tekstbasis, maar verslechtert het behoud. De activatiebasis behoudt sterke onderdrukking met minimale behoudsverlies, zelfs naarmate de ankersets groeien.
  • Denoising-stappen: Het gebruik van een enkele denoising-stap ($T=1$) degradeert de prestaties ernstig, wat aangeeft dat het vastleggen van het conceptsignaal over het traject essentieel is.
  • Latent-middeling: Middelen over meerdere willekeurige latente waarden ($n_{lat}$) stabiliseert de basis richting concept-niveau richtingen in plaats van ruis-specifieke artefacten.

Betekenis en Claims

Het artikel beweert dat PURE een fundamentele verschuiving vertegenwoordigt in hoe gesloten-vorm vergeten wordt benaderd. Door de basisconstructie te verplaatsen van de statische tekst-encoder-ruimte naar de dynamische cross-attention-activatieruimte, overwint de methode de primaire faalmodus van bestaande gesloten-vorm technieken: het onvermogen om promptvariaties te hanteren die buiten de ankersjablonen vallen.

De auteurs stellen dat PURE een robuuste, efficiënte en state-of-the-art oplossing biedt voor conceptvergeten, met een superieure balans tussen het wissen van ongewenste concepten en het behoud van de algemene bruikbaarheid van het model, zonder de rekenoverhead van hertraining. Het werk suggereert dat de "vergeetrichting" nauwkeuriger wordt gedefinieerd door het interne renderingsproces van het model dan door de invoer tekst alleen.