💻 computer science

Neighbor-Aware Localized Concept Erasure in Text-to-Image Diffusion Models

Dit paper introduceert NLCE, een trainingsvrij framework dat ongewenste concepten in tekst-naar-beeld diffusiemodellen lokaal verwijdert terwijl het de integriteit van semantisch verwante 'buurconcepten' behoudt door middel van spectrale modulerings-, attentie-gestuurde ruimtelijke gating- en hard-erasure mechanismen.

Oorspronkelijke auteurs: Zhuan Shi, Alireza Dehghanpour Farashah, Rik de Vries, Golnoosh Farnadi

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhuan Shi, Alireza Dehghanpour Farashah, Rik de Vries, Golnoosh Farnadi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische schilder hebt die elke tekst die je hem geeft, omzet in een prachtig schilderij. Dit is wat moderne AI-modellen doen: ze tekenen beelden op basis van woorden. Maar soms wil je dat deze schilder bepaalde dingen niet meer tekent. Bijvoorbeeld: geen specifieke beroemdheden, geen gewelddadige scènes, of geen kunst in de stijl van een bepaalde levende kunstenaar die zijn werk niet wil zien kopiëren.

Het probleem is dat als je de schilder vertelt: "Teken geen Chihuahua meer", hij vaak ook vergeet hoe je een Pomeranian of een Jack Russell moet tekenen. Omdat deze honden op elkaar lijken, raakt de AI in de war en worden alle honden slecht getekend. Dit noemen de auteurs van dit paper het "buurman-probleem": als je één ding verwijdert, trek je per ongeluk ook je buren mee naar beneden.

Deze paper introduceert een nieuwe, slimme methode genaamd NLCE (Neighbor-Aware Localized Concept Erasure). Laten we uitleggen hoe dit werkt met een paar alledaagse analogieën.

De Drie Stappen van de Slimme Verwijderaar

De auteurs zeggen: "We hoeven de hele schilder niet opnieuw te leren (dat duurt te lang en kost te veel geld). We kunnen hem gewoon tijdens het tekenen een paar slimme instructies geven."

Hier is hoe hun drie-stappenplan werkt:

Stap 1: De "Spectrale Filter" (De Brengschoonmaak)

Stel je voor dat de AI's geheugen een enorme bibliotheek is met ideeën. De ideeën voor "Chihuahua" en "Pomeranian" liggen heel dicht bij elkaar op dezelfde plank.

Hoe het werkt: NLCE kijkt naar de "Chihuahua"-ideeën en zegt: "Weet je wat? We gaan de boeken over Chihuahuas een beetje minder belangrijk maken, maar we zorgen ervoor dat de boeken over Pomeranians en andere honden juist extra goed worden benadrukt."
De analogie: Het is alsof je in een drukke kamer de stem van één persoon (de Chihuahua) zachter zet, maar tegelijkertijd de stem van zijn beste vriend (de Pomeranian) iets harder maakt, zodat de vriend niet in de vergetelheid raakt. Dit gebeurt heel precies, zonder de rest van de kamer aan te raken.

Stap 2: De "Blik van de Camera" (De Locatie-Check)

Soms blijft er nog een klein beetje van de "Chihuahua" hangen, zelfs na Stap 1.

Hoe het werkt: De AI doet alsof ze een eerste schets maakt. Ze kijkt dan: "Waar in dit beeld probeert de Chihuahua nog te verschijnen?"
De analogie: Het is alsof je een schilderij bekijkt en met een laserpointer precies op de plek wijst waar de Chihuahua nog net zichtbaar is. De AI zegt: "Oké, daar is hij nog. We gaan alleen daar ingrijpen, niet over het hele schilderij."

Stap 3: De "Schaar" (De Hard Verwijdering)

Nu we precies weten waar de Chihuahua nog zit, gaan we die plek "schoonmaken".

Hoe het werkt: De AI snijdt de resten van de Chihuahua eruit, maar alleen op die specifieke plek die we met de laserpointer hebben gevonden.
De analogie: Stel je voor dat je een vlek op een wit T-shirt hebt. In plaats van het hele T-shirt weg te gooien of het hele shirt te wassen (wat de andere kleuren kan beschadigen), gebruik je een heel scherp mesje om alleen die vlek weg te halen. De rest van het shirt blijft perfect schoon en intact.

Waarom is dit zo belangrijk?

In het verleden waren methoden om AI "veilig" te maken vaak als een hamer: je sloeg hard op het hele systeem om één ding weg te krijgen. Hierdoor werden ook andere dingen kapotgemaakt (zoals het vergeten van andere hondenrassen of het veranderen van de stijl van een hele kunstbeweging).

NLCE werkt als een chirurg:

Precisie: Het verwijdert alleen wat je wilt.
Burenbehoud: Het zorgt ervoor dat de "buren" (verwante concepten) intact blijven. Als je een beroemdheid verwijdert, ziet de AI de andere mensen in de foto nog steeds perfect.
Snelheid: Je hoeft de AI niet opnieuw te trainen (wat maanden kan duren). Het gebeurt direct terwijl de AI een plaatje maakt.

Samenvattend

Deze paper biedt een oplossing voor een groot probleem: hoe maak je AI veilig en ethisch, zonder dat je de creativiteit en de details van de rest van de wereld vernietigt?

Met NLCE kun je tegen de AI zeggen: "Teken geen Van Gogh-schilderijen meer," en de AI zal dat doen, maar hij blijft nog steeds prachtige schilderijen maken in de stijl van Picasso of Monet. Hij vergeet niet hoe hij een boom moet tekenen, of hoe hij een hond moet tekenen, alleen die ene specifieke "Chihuahua" is verdwenen, terwijl de rest van de wereld er nog steeds prachtig uitziet.

Het is een slimme manier om de "schoonmaak" van AI te doen: niet met een bezem die alles verstoort, maar met een scherp mesje dat alleen het ongewenste weghaalt.

1. Het Probleem

Text-to-image (T2I) diffusion modellen, zoals Stable Diffusion, worden getraind op enorme, ongecurateerde datasets. Dit brengt risico's met zich mee, zoals het genereren van schadelijke inhoud, auteursrechtelijk beschermde werken of het nabootsen van specifieke kunststijlen. Concept-erasure (het verwijderen van specifieke concepten uit het model) is een oplossing hiervoor.

Bestaande methoden hebben echter twee belangrijke beperkingen:

Globale effecten: Veel training-vrije methoden werken globaal, wat leidt tot onbedoelde semantische verschuivingen in de hele afbeelding.
De "Neighbor Gap": Zelfs geavanceerde lokale methoden (zoals GLoCE) die proberen alleen het doelgebied te bewerken, hebben vaak een neveneffect: ze verzwakken onbedoeld semantisch verwante "buurconcepten".
- Voorbeeld: Als men probeert een specifiek hondenras (bijv. "Chesapeake Bay Retriever") te verwijderen, kan dit de generatiekwaliteit van andere, visueel vergelijkbare rassen (zoals "Bluetick") aantasten. De huidige methoden missen de precisie om het doel te verwijderen zonder de naburige semantiek te beschadigen.

2. Methodologie: NLCE

De auteurs stellen Neighbor-Aware Localized Concept Erasure (NLCE) voor. Dit is een training-vrij framework dat doelconcepten verwijdert terwijl het de structuur van de semantische buren behoudt. Het proces verloopt in drie gecoördineerde fasen:

Fase 1: Modulatie in de Representatieruimte (Representation-Space Modulation)

Doel: Onderdrukken van de doelconcepten in de embedding-ruimte terwijl buren worden gestabiliseerd.

Spectrale Projectie: Er wordt een low-rank basis berekend voor de doelconcepten (via SVD van de tekst-embeddings). Een spectrale projectie-operator ( $P_{F_c}$ ) wordt gebruikt om de richtingen die overeenkomen met het doelconcept te dempen.
Burenherstel: Om te voorkomen dat verwante concepten verloren gaan, worden semantisch naburige concepten (bijv. andere hondenrassen) opgehaald uit een externe pool (bijv. Wikipedia). Deze buren worden ook via SVD geprojecteerd.
Combinatie: Een finale operator combineert de onderdrukking van het doel met een "herinjectie" van de buren, zodat de generatieve capaciteit voor gerelateerde concepten intact blijft.

Fase 2: Ruimtelijke Gating geleid door Aandacht (Attention-Guided Spatial Gating)

Doel: Loceren van resterende activaties van het doelconcept in de afbeelding.

Twee-Pass Mechanisme: Het model voert een "droge" forward pass uit om attentiekaarten te extraheren.
Residuele Detectie: Er wordt gekeken welke tokens nog steeds een hoge activatie hebben binnen het onderdrukte subruimte.
Gating: Een ruimtelijke gate-map wordt gegenereerd die pixels identificeert waar het doelconcept nog "leeft". In de tweede pass wordt de cross-attention voor deze specifieke tokens in deze gebieden onderdrukt, zonder de rest van de afbeelding aan te raken.

Fase 3: Gated Feature Clean-up (Harde Erasure)

Doel: Onomkeerbare verwijdering van resterende sporen.

Hard Scrubbing: Binnen de gebieden die door de gate in Fase 2 zijn geïdentificeerd, worden de latente features (in de U-Net) direct op nul gezet.
Dit zorgt voor een strikte, lokale verwijdering van het concept zonder de omringende context te vervormen.

3. Belangrijkste Bijdragen

Identificatie van de "Concept Neighborhood Gap": De auteurs formaliseren het probleem waarbij lokale, training-vrije methoden semantisch naburige concepten onbedoeld onderdrukken.
NLCE Framework: Een principieel, training-vrij pipeline dat expliciet burenconcepten behoudt tijdens het verwijderen van het doel. Het combineert spectrale modulatie, ruimtelijke gating en harde feature-verwijdering.
Uitgebreide Validatie: Experimenten tonen aan dat NLCE hoge precisie bereikt in het verwijderen van doelen, terwijl het de kwaliteit van de generatie en de behoud van verwante concepten (zowel op fine-grained niveau als bij identiteit en kunststijlen) significant verbetert ten opzichte van state-of-the-art baselines.

4. Resultaten

NLCE is geëvalueerd op diverse datasets en scenario's:

Fine-Grained Erasure (Oxford Flowers & Stanford Dogs):
- NLCE verwijdert specifieke bloemensoorten of hondenrassen effectief.
- In tegenstelling tot methoden zoals GLoCE (die buren beschadigen) of RECE (die te agressief zijn), behoudt NLCE de generatiekwaliteit van verwante rassen/bloemen.
- Resultaten tonen de hoogste Harmonic Mean (Ho) scores, wat een betere balans aangeeft tussen verwijderen en behoud.
Identiteitsverwijdering (Celebrity Dataset):
- Bij prompts met meerdere personen (bijv. "Anna Kendrick en Elon Musk"), verwijdert NLCE de doel-ster effectief terwijl de andere persoon in de afbeelding intact blijft.
- Het presteert beter dan GLoCE en SLD op het behoud van de niet-doel-identiteit (gemeten via LPIPS op niet-doelgebieden).
Expliciete Inhoud (I2P Benchmark):
- NLCE reduceert detecties van bloot of schadelijke inhoud aanzienlijk (gemeten met NudeNet).
- Het behoudt tegelijkertijd een hoge CLIP-score, wat betekent dat de tekst-afbeelding consistentie voor veilige prompts niet wordt aangetast.
Kunststijlen:
- Het kan specifieke stijlen (bijv. Van Gogh) verwijderen zonder de stijl van andere kunstenaars (bijv. Picasso) te beïnvloeden.
Meerdere Concepten:
- Het systeem schaalt goed naar het verwijderen van meerdere concepten tegelijk (bijv. 10 hondenrassen) zonder dat de prestaties instorten, wat een veelvoorkomend probleem is bij andere methoden.

5. Betekenis en Conclusie

NLCE biedt een praktische en efficiënte oplossing voor het veilig en controleerbaar verwijderen van concepten uit diffusion modellen zonder dat er kostbare hertraining nodig is.

De kerninnovatie ligt in het bewust omgaan met semantische nabuurschap. Waar eerdere methoden vaak "te veel" of "te weinig" deden, of buren onbedoeld meesleepten, zorgt NLCE voor een coarse-to-fine aanpak: eerst semantische onderdrukking, dan ruimtelijke lokalisatie, en tot slot harde verwijdering. Dit maakt het model robuuster voor fijnmazige toepassingen (zoals het onderscheiden van hondenrassen) en essentieel voor ethische implementaties waar specifieke inhoud moet worden geblokkeerd zonder de creativiteit van het model voor andere onderwerpen te schaden.