Technische Samenvatting: Lege Ruimte (SPACE)

Probleemstelling

Tekst-naar-afbeelding (T2I) diffusiemodellen (DM's) die zijn getraind op enorme, niet-gefilterde datasets genereren vaak ongewenste inhoud, waaronder auteursrechtelijk beschermd materiaal en niet-veilig-voor-werk (NSFW) afbeeldingen. Hoewel het hertrainen van modellen computatief prohibitief is en filtering na generatie omzeild kan worden, biedt conceptverwijdering via wegingswijziging een robuuste interventie.

Bestaande methoden voor conceptverwijdering in gesloten vorm (bijv. UCE, RECE, SPEED) updaten cross-attention-weights zonder backpropagatie, wat snelheidsvoordelen biedt ten opzichte van divergentie-gebaseerde fine-tuning. Deze methoden vertonen echter significante prestatiedegradatie bij schaling van kleinere architecturen (bijv. Stable Diffusion 1.5) naar grotere (bijv. Stable Diffusion XL). De auteurs schrijven dit falen toe aan de enorme toename van cross-attention-parameters (van 19M naar 340M voor Keys/Values), waarbij de inherente redundantie van de hoogdimensionale parameterruimte ervoor zorgt dat concept-specifieke informatie over grote weight-matrices wordt verspreid, waardoor dichte, minimum-norm-updates ineffectief worden.

Methodologie: SParse cross-Attention-based Concept Erasure (SPACE)

SPACE stelt een nieuwe aanpak voor die parameter-sparseheid induceert binnen de cross-attention-lagen om effectieve conceptverwijdering in grootschalige modellen te bereiken. In tegenstelling tot eerdere op sparseheid gebaseerde vergeteltechnieken die vertrouwen op backpropagatie, werkt SPACE via een gesloten-vorm iteratieve update.

Kernformulering

De methode bouwt voort op het Unified Concept Editing (UCE)-framework, maar past de optimalisatiedoelstelling aan door een $L_1$-regularisatieterm op te nemen. Het doel is een weight-matrix $W$ te vinden die de verwijderings- en behoudsverlies minimaliseert, terwijl een sparseheidsbeperking wordt gerespecteerd:

$$\min_{W} \mathcal{L}(W) + \lambda \|W\|_{1,1}$$

Waarbij:

• $\mathcal{L}(W)$ het standaard UCE-verlies is, bestaande uit termen voor het verwijderen van doelconcepten ($E$), het behouden van niet-doelconcepten ($P$), en het handhaven van de nabijheid tot de originele weights ($W^o$).
• $\|W\|_{1,1}$ de entry-wise $L_1$-norm is, die sparseheid bevordert.
• $\lambda$ de sterkte van de sparseheid regelt.

Optimalisatie via FISTA

Vanwege de niet-gladheid van de $L_1$-norm is een één-shot oplossing in gesloten vorm onmogelijk. SPACE maakt gebruik van het Fast Iterative Shrinkage-Thresholding Algorithm (FISTA) om dit convexe optimalisatieprobleem op te lossen.

1. Gradiëntstap: Bereken de gradiënt van het gladde deel van het verlies ($\nabla \mathcal{L}$). De Lipschitz-constante $L$ wordt analytisch afgeleid op basis van de singuliere waarden van de concept-embedding-matrices, wat zorgt voor adaptieve stapgroottes.
2. Schrinkstap: Pas de shrinkage-operator $T_{\alpha}$ toe op de gradiëntstap om sparseheid af te dwingen:
   $$W^{(k)} \leftarrow T_{\lambda\gamma}(\theta^{(k)} - \gamma \nabla \mathcal{L}(\theta^{(k)}))$$
3. Momentum: Update de hulpvariabele $\theta$ met behulp van momentum om convergentie te versnellen ($O(1/k^2)$).

Dit proces modificeert de cross-attention-parameters iteratief, waardoor de conceptmapping wordt geconcentreerd in een laagdimensionale deelruimte van hoog-impact parameters, terwijl redundante weights worden genuleerd.

Belangrijkste Bijdragen

1. Induceren van Sparseheid voor Verwijdering: Het artikel toont aan dat het induceren van sparseheid in cross-attention-parameters cruciaal is voor effectieve conceptverwijdering in grote modellen (SDXL), waar dichte methoden in gesloten vorm falen.
2. Gesloten-vorm Sparseheid: SPACE is het eerste framework dat parameter-sparseheid integreert in een updateprocedure in gesloten vorm, waardoor de computatiekosten van backpropagatie worden vermeden die nodig zijn bij andere op sparseheid gebaseerde vergetelmethodes.
3. Opsagefficiëntie: Door het bereiken van 80%-90% sparseheid in cross-attention-weights, verkleint SPACE de opslagvoetafdruk van gewijzigde parameters met ongeveer 70% (met gebruik van Compressed Sparse Row-formaat), wat schaalbare modelpersonalisatie en edge-deployments faciliteert.
4. Robuustheid: De methode verbetert de robuustheid aanzienlijk tegen adversarial prompts die zijn ontworpen om verwijderde concepten opnieuw op te roepen.

Experimentele Resultaten

De auteurs hebben SPACE geëvalueerd op Stable Diffusion XL (SDXL), Stable Diffusion 1.5 (SD1.5) en Juggernaut-XL over twee primaire taken: artistieke stijlverwijdering en naaktheidsverwijdering.

• Artistieke Stijlverwijdering (SDXL): SPACE presteerde beter dan state-of-the-art baselines (CAbl, SAFREE, UCE, RECE, SPEED) bij het verwijderen van enkele en meerdere kunstenaars (bijv. Van Gogh, Monet, Picasso). Het bereikte de beste afweging tussen verwijderingseffectiviteit (lagere CLIP Score/Accuracy voor doelen) en behoud van niet-doelstijlen. Opmerkelijk is dat, terwijl UCE faalde in het effectief verwijderen van stijlen in scenario's met meerdere kunstenaars, SPACE een hoge effectiviteit behield.
• Naaktheidsverwijdering:
  • SD1.5: SPACE (met sterke sparseheid) verlaagde de generatiepercentages van naaktheid tot 0,028 op de I2P-benchmark, beter dan UCE (0,394) en andere trainingsvrije methoden.
  • SDXL & Juggernaut-XL: SPACE verlaagde de naaktheidsgeneratie aanzienlijk in vergelijking met UCE en SPEED. Bijvoorbeeld, op SDXL verlaagde SPACE het totale aantal naakte lichaamsdelen tot 16 (tegenover 37 voor UCE).
• Robuustheid: SPACE toonde superieure weerstand tegen adversarial prompts (Ring-A-Bell, MMA-Diffusion) in vergelijking met dichte baselines.
• Efficiëntie:
  • Geheugen: SPACE vereist minder VRAM (8 GB) dan andere weight-modificatiemethoden (bijv. CAbl bij 19 GB).
  • Opslag: De gewijzigde weights voor SDXL werden gereduceerd van ~630 MB (dicht) tot ~188 MB (spaars), een reductie van ongeveer 70%.
  • Tijd: Verwijdering duurt ongeveer 2 minuten voor 1000 iteraties, ongeveer 10x sneller dan op backpropagatie gebaseerde methoden (bijv. CAbl bij 17 minuten).

Betekenis en Claims

Het artikel beweert dat SPACE de kloof overbrugt tussen trainingsvrije efficiëntie en effectiviteit bij grootschalige modellen. De auteurs stellen dat:

• Het induceren van cross-attention-sparseheid niet slechts een optimalisatietechniek is, maar een kritiek mechanisme voor succesvol vergeten in hoogdimensionale regimes waar traditionele dichte updates falen.
• De methode een structureel voordeel biedt door de opslagvereisten aanzienlijk te verminderen, waardoor het geschikt is voor omgevingen die snelle wisseling van lichtgewicht modules vereisen (bijv. multi-user edge-deployments).
• De aanpak de robustheid tegen adversarial attacks verbetert, waardoor een belangrijke beperking van eerdere verwijderingstechnieken wordt aangepakt.

De auteurs houden een bescheiden toon wat betreft de reikwijdte, en merken op dat hoewel sparseheid cruciaal is voor complexe concepten zoals artistieke stijlen en naaktheid, eenvoudigere concepten (objecten, specifieke beroemdheden) mogelijk niet strikt sparseheid vereisen voor effectieve verwijdering, hoewel SPACE in die gevallen nog steeds opslagvoordelen biedt. Het werk wordt gepresenteerd als een stap naar veiligere, efficiëntere en schaalbaardere diffusiemodeldeployments.