💻 computer science

Beyond Text Prompts: Precise Concept Erasure through Text-Image Collaboration

Dit paper introduceert TICoE, een tekst-beeld samenwerkingsframework dat concepten in tekst-naar-beeld generatiemodellen nauwkeurig verwijdert terwijl de visuele en semantische integriteit van de resterende inhoud behouden blijft.

Oorspronkelijke auteurs: Jun Li, Lizhi Xiong, Ziqiang Li, Weiwei Jiang, Zhangjie Fu, Yong Li, Guo-Sen Xie

Gepubliceerd 2026-04-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jun Li, Lizhi Xiong, Ziqiang Li, Weiwei Jiang, Zhangjie Fu, Yong Li, Guo-Sen Xie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische schilder hebt die elk verhaal dat je hem vertelt, direct in een prachtig schilderij omzet. Dit is wat moderne kunstmatige intelligentie (zoals tekst-naar-beeld modellen) doet. Maar er is een probleem: deze schilder heeft geleerd van miljarden foto's en teksten uit het hele internet. Helaas zit er ook veel ongewenst spul in die verzameling, zoals gewelddadige beelden, naaktheid of specifieke stijlen die je liever niet ziet.

De huidige manier om deze "slechte" ideeën uit de hersenen van de AI te verwijderen, werkt vaak als een bot mes. Als je zegt: "Vergeet het woord 'pistool' maar," probeert de AI dat woord te negeren. Maar de AI is slim: als je zegt "een futuristisch wapen" of "een schiettuig", maakt hij er toch weer een van. En als je probeert het woord "pistool" te verwijderen door hem foto's van pistolen te tonen, vergeet hij soms ook wat een "camera" is, omdat een camera en een pistool qua vorm op elkaar lijken. De AI wordt dan te bang en verwijdert ook onschuldig spul.

TICoE (de oplossing uit dit paper) is als een slimme, zorgzame chirurg in plaats van een bot mes. Het combineert twee dingen om perfect te snijden: tekst en beelden.

Hier is hoe het werkt, in drie simpele stappen:

1. De "Wolk van Woorden" (De Tekst-Deel)

Stel je voor dat je probeert het concept "kerk" te verwijderen. Als je alleen zegt "vergeet kerk", denkt de AI misschien alleen aan een specifiek gebouw. Maar wat als iemand zegt "gotische kathedraal" of "oude stenen tempel"? De AI denkt dan: "Oh, dat is niet 'kerk', dat is iets anders!" en maakt het toch.

TICoE maakt daarom geen lijstje van één woord, maar bouwt een wolk van verwante woorden. Het gebruikt een slimme taalcomputer om duizenden verschillende manieren te bedenken om over een kerk te praten. Het maakt een "wolk" (een wiskundige vorm) die alle mogelijke beschrijvingen van een kerk omvat.

De analogie: In plaats van alleen de deur van een huis te dichten (het woord "kerk"), sluit TICoE het hele huis, de tuin en de achterdeur af. Zo kan de AI het concept "kerk" niet meer vinden, ongeacht hoe je het noemt.

2. De "Meerdere Lagen" (De Beeld-Deel)

Nu komt het lastige deel: hoe verwijder je een pistool zonder ook camera's te verwijderen? Ze lijken op elkaar (beide hebben een handvat en een loop).
Als je alleen naar het woord kijkt, is het moeilijk om het verschil te zien. TICoE kijkt daarom ook naar foto's. Maar niet zomaar één foto. Het kijkt naar een foto van een pistool op verschillende manieren:

Van dichtbij (alleen de loop).
Van ver weg (het hele wapen).
In een bepaalde context.

De AI leert dan: "Ah, het pistool heeft deze specifieke vorm in deze context, maar een camera heeft een lens die anders is, zelfs als ze op elkaar lijken."

De analogie: Stel je voor dat je een verdachte (het pistool) zoekt in een menigte. Een slechte agent kijkt alleen naar de naam op een lijst (tekst) en grijpt iedereen die "wapen" in zijn naam heeft. Een slimme agent (TICoE) kijkt ook naar het gezicht en de kleding (beelden) op verschillende afstanden. Hij ziet precies wie de verdachte is en laat de onschuldige voorbijgangers (de camera's) met rust.

3. De Perfecte Operatie

Door deze twee methoden te combineren, kan TICoE heel precies snijden.

Het verwijdert het "slechte" concept (bijv. naaktheid of wapens) volledig, zelfs als iemand probeert het met een andere naam te vermommen.
Tegelijkertijd laat het alles wat eromheen zit (de achtergrond, de sfeer, en verwante maar onschuldige objecten zoals camera's) intact.

Waarom is dit belangrijk?
Vroeger was het alsof je een foto van een pistool wilde verwijderen, maar de hele foto zwart werd gemaakt omdat de AI niet wist waar hij moest stoppen. Met TICoE kun je precies dat ene pistool uit de foto "uitvegen", terwijl de rest van de foto (de lucht, de mensen, de camera's) er nog steeds perfect uitziet.

Kort samengevat:
TICoE is een nieuwe manier om AI-kunst te "ontleren". Het gebruikt een combinatie van een brede wolk van woorden en scharnierende beelden om precies te weten wat we weg moeten gooien, zonder per ongeluk ook de goede dingen mee te nemen. Het maakt de AI veiliger en controleerbaarder, zonder dat hij zijn creativiteit verliest.

Probleemstelling

Tekst-naar-beeld generatieve modellen (zoals diffusion-modellen) hebben indrukwekkende prestaties geleverd, maar ze bevatten vaak ongewenste, onveilige of sociaal ongepaste concepten die zijn geleerd uit grote, openbare trainingsdatasets. Bestaande methoden voor het "wissen" van deze concepten (concept erasure) kampen met een fundamenteel compromis:

Tekst-only methoden: Methoden die alleen op tekstprompts vertrouwen (zoals ESD, UCE, FMN) slagen er vaak niet in om concepten volledig te onderdrukken. Ze zijn kwetsbaar voor semantisch gerelateerde maar lexicaal verschillende prompts, waardoor verwijderde concepten opnieuw geactiveerd kunnen worden.
Beeld-gestuurde methoden: Nieuwere benaderingen die referentieafbeeldingen gebruiken, verbeteren de precisie, maar leiden vaak tot over-wissing. Omdat modellen visuele eigenschappen (vorm, houding, context) van de referentieafbeelding absorberen, worden soms ongerelateerde concepten met visuele overeenkomsten per ongeluk ook verwijderd.

Het huidige gebrek aan methoden die zowel precisie (volledig verwijderen van het doelconcept) als trouw (behoud van ongerelateerde, visueel of contextueel gelijke content) garanderen, vormt de kern van het probleem.

Methodologie: TICoE

De auteurs stellen TICoE (Text-Image Collaborative Erasing) voor, een raamwerk dat tekst- en beeldinformatie combineert om een nauwkeurig en betrouwbaar wissen van concepten te realiseren. De methode bestaat uit twee hoofdcomponenten:

1. Continu Convex Concept Manifold (CCCM)

Om de semantische variatie van een concept volledig te dekken en heractivering door adversariale prompts te voorkomen, bouwt TICoE een continu manifold op:

Prompt Uitbreiding: Een set semantisch gerelateerde prompts wordt gegenereerd (bijv. via GPT-5.0) rondom een basiswoord (bijv. "kerk" -> "gotische kerk", "oude stenen kerk").
Convex Combinatie: In plaats van vaste embeddings te gebruiken, wordt een tekstuele embedding ( $e_c$ ) gegenereerd als een convexe combinatie van de embeddings van deze promptbank. Dit wordt gedaan via een Dirichlet-verdeling, wat garandeert dat de gegenereerde embedding binnen de semantische "huls" van de bestaande concepten blijft.
Voordeel: Dit creëert een robuuste, continue representatie die minder gevoelig is voor specifieke woordkeuzes en voorkomt dat het model uit de verdeling raakt (out-of-distribution).

2. Hiërarchisch Visuele Representatie Learning (HVRL)

Om over-wissing van ongerelateerde content te voorkomen, encodeert TICoE referentieafbeeldingen in hiërarchische visuele representaties:

Multi-Scale Encoding: Referentieafbeeldingen worden via een VAE gecodeerd en op verschillende schalen ( $s \in \{1.0, 0.75, 0.5\}$ ) geredimensioneerd.
Transformer Fusion: Deze multi-scale tokens worden verwerkt door een stack van transformer-encoderlagen om contextuele en visuele semantiek te vangen.
Residuele Fusie: De gefuseerde visuele features worden residueel toegevoegd aan de latente ruimte van het diffusion-model.
Voordeel: Dit stelt het model in staat om causale kenmerken van het doelconcept te onderscheiden van kenmerken die slechts visueel correleren (bijv. onderscheid maken tussen een "geweer" en een "camera" die een vergelijkbare vorm hebben).

Verliesfunctie (Loss Function)

Het model wordt getraind om de voorspellingen van het trainbare U-Net ( $\theta^*$ ) te aligneren met een referentiedoel dat is gegenereerd door het bevroren pre-getrainde model, maar met een negatieve guidance-strengte ( $\gamma$ ). Dit dwingt het model om het doelconcept te onderdrukken terwijl de verdeling van onschuldige prompts behouden blijft.

Belangrijkste Bijdragen

TICoE Framework: Een unificatie van tekst- en beeldgeleiding voor concept-wissen, gebruikmakend van een continu convex concept manifold voor tekst en hiërarchisch visuele representaties voor beeld.
MCP-metriek (Morpho-Contextual Concept Preservation): Een nieuwe evaluatiemetriek die specifiek meet in hoeverre semantisch verschillende maar morfologisch of contextueel gelijke concepten (bijv. "camera" bij het wissen van "geweer") behouden blijven. Dit lost het probleem op dat bestaande metrieken (zoals CLIP op COCO) te algemeen zijn.
Uitgebreide Experimenten: Bewijs dat TICoE superieur is aan state-of-the-art methoden (zoals ESD, UCE, Co-Erasing) in zowel wissingprecisie als behoud van generatieve kwaliteit.

Resultaten

Experimenten op meerdere benchmarks (inclusief het wissen van "geweer", "kerk", "Van Gogh-stijl", "naaktheid" en "tench") tonen het volgende:

Superieure Wissing: TICoE bereikt de laagste scores voor ASR (Attack Success Rate), UDA en P4D, wat aangeeft dat het doelconcept effectiever en robuuster wordt verwijderd, zelfs onder adversariale aanvallen.
Behoud van Fidelity: In tegenstelling tot beeld-gestuurde methoden die vaak over-wissen, behoudt TICoE de kwaliteit van ongerelateerde content. De FID-scores (kwaliteit) en CLIP-scores (semantische alignering) blijven hoog.
MCP Prestaties: TICoE behaalt aanzienlijk hogere MCP-scores dan concurrenten. Bijvoorbeeld, bij het wissen van "geweer" blijft de generatie van "camera's" (visueel gelijkaardig) veel beter behouden dan bij andere methoden.
Generalisatie: De methode werkt stabiel over verschillende Stable Diffusion-versies (v1.4, v1.5, v2.0) en kan meerdere concepten tegelijk wissen zonder onderlinge interferentie.

Betekenis en Impact

Dit paper biedt een belangrijke stap voorwaarts in de ethische en veilige ontwikkeling van generatieve AI. Door het compromis tussen "veiligheid" (het verwijderen van schadelijke content) en "bruikbaarheid" (het behoud van creatieve vrijheid en context) op te lossen, maakt TICoE het mogelijk om diffusion-modellen te "ontleren" van specifieke concepten zonder de algemene prestaties van het model te verstoren. De introductie van de MCP-metriek zet ook een nieuwe standaard voor het evalueren van concept-wissing, waarbij de nadruk ligt op de nuance tussen visuele gelijkenis en semantische distinctie. Dit is cruciaal voor de implementatie van verantwoordelijke AI in commerciële en publieke toepassingen.