💻 computer science

TEA: Text Encoder Alignment for Robust Concept Erasure in Text-to-Image Models

Het artikel stelt TEA voor, een lichtgewicht en model-agnostisch framework dat robuuste conceptverwijdering in tekst-naar-afbeelding-modellen bereikt door de tekstencoder te finetunen om prompts met concepten uit te lijnen met veilige ankers, waardoor adversariële kwetsbaarheden worden geëlimineerd zonder overhead tijdens de inferentie of degradatie van de kwaliteit van onschuldige generatie.

Oorspronkelijke auteurs: Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers plaatjes kunnen schilderen uit niets anders dan een zin. Je typt "een kat die op een maanverlicht dak zit," en een machine, getraind op miljoenen afbeeldingen en bijschriften, creëert in enkele seconden een prachtige, realistische scène. Deze technologie, bekend als een text-to-image model, heeft deuren geopend voor kunstenaars en ontwerpers, waardoor verbeelding visuele realiteit wordt. Dezezelfde kracht brengt echter een risico met zich mee. Net zoals een bekwame vervalser een stijl kan imiteren, kan een slimme gebruiker deze computers misleiden om schadelijke of ongepaste afbeeldingen te maken door gebruik te maken van slinkse, herformuleerde instructies die de veiligheidsfilters van het systeem omzeilen. De computer ziet de woorden, maar mist de intentie, waardoor inhoud wordt gegenereerd die nooit bedoeld was om gezien te worden.

Jarenlang hebben wetenschappers geprobeerd dit op te lossen door de computer te leren specifieke slechte ideeën te vergeten, een proces dat concept erasure (conceptverwijdering) wordt genoemd. Sommige methoden proberen de slechte data weg te poetsen voordat de computer leert, terwijl andere proberen de slechte afbeeldingen te blokkeren op het moment dat ze worden gemaakt. Maar deze oplossingen hebben vaak een addertje onder het gras: ze zijn ofwel te traag om op grote schaal bruikbaar te zijn, ze maken de computer slechter in het tekenen van goede plaatjes, of ze vereisen constant zware rekenkracht telkens wanneer iemand om een afbeelding vraagt. Het doel is altijd geweest om een manier te vinden om het vermogen om schadelijke inhoud te creëren permanent te verwijderen zonder de machine te vertragen of haar artistieke talent te ruïneren.

Een team van onderzoekers heeft nu een nieuwe aanpak voorgesteld die dit probleem aanpakt door de manier waarop de computer taal begrijpt te veranderen, in plaats van hoe hij schildert. Ze noemen hun methode TEA, wat staat voor Text Encoder Alignment. In deze beeldmakende systemen werken twee hoofdonderdelen samen. Het eerste deel is de text encoder, die fungeert als een vertaler, die jouw geschreven zin omzet in een reeks getallen die de computer kan begrijpen. Het tweede deel is de generative backbone, die die getallen neemt en daadwerkelijk de afbeelding tekent. Eerdere pogingen om schadelijke afbeeldingen te stoppen, involveerden het aanpassen van het tekengedeelte, wat is als het proberen te repareren van een lek in een huis door de muren over te schilderen; het is slordig en vaak ineffectief omdat het probleem ligt in de manier waarop de instructies werden vertaald.

De onderzoekers realiseerden zich dat de sleutel tot het stoppen van schadelijke afbeeldingen in de vertaler ligt. Ze ontdekten dat het vermogen van de computer om een specifiek slecht concept, zoals naaktheid, te herkennen, geconcentreerd is in de text encoder. Om dit te oplossen, creëerden ze een trainingsproces dat alleen deze vertaler aanpast, waardoor het tekengedeelte volledig onaangetast blijft. Ze begonnen met een paar zinnen: één die de schadelijke gedachte bevatte, zoals "een naakte vrouw in een bos," en een andere die bijna identiek maar veilig was, zoals "een vrouw in een bos." Vervolgens leerden ze de vertaler om de getallen voor de schadelijke zin exact hetzelfde te laten lijken als de getallen voor de veilige zin.

Om dit te doen, gebruikten ze een slim kat-en-muisspel. Ze zetten een klein computerprogramma op, een discriminator, wiens taak het was om het verschil te zien tussen de getallen die voortkwamen uit de schadelijke zin en de veilige een. De hoofdvertaler probeerde deze discriminator te misleiden door zijn eigen instellingen te veranderen zodat de twee zinnen identieke getallen produceerden. Tegelijkertijd zorgden de onderzoekers ervoor dat de vertaler niet vergat hoe hij normale, veilige zinnen moest afhandelen. Dit deden ze door te controleren of de veilige zinnen er nog steeds uitzagen zoals voor de wijzigingen werden gemaakt. Dit verzekerde ervoor dat de computer nog steeds in staat zou zijn om prachtige, onschadelijke plaatjes van bossen en vrouwen te tekenen, maar dan zonder het vermogen om de specifieke schadelijke versie te tekenen.

De resultaten van deze methode waren opmerkelijk. Wanneer getest tegen een verscheidenheid aan slimme pogingen om de computer te misleiden, inclusief die ontworpen door experts om veiligheidssystemen te omzeilen, stopte deze nieuwe aanpak de schadelijke afbeeldingen bijna volledig. In tests waar andere methoden faalden om de slechte inhoud te stoppen of de computer slechter maakten in het tekenen van goede plaatjes, slaagde deze methode in beide. Het werkte op oudere versies van de technologie en ook op de nieuwste, meest geavanceerde systemen, wat bewees dat het idee standhoudt bij verschillende soorten beeldgeneratoren. Misschien wel het belangrijkste is dat, omdat het tekengedeelte van de computer nooit is veranderd, het systeem niet vertraagd is. Het duurde even lang om een afbeelding te creëren als voorheen, zonder dat er extra rekenkracht nodig was telkens wanneer een gebruiker om een plaatje vroeg.

De onderzoekers testten ook of deze methode andere soorten ongewenste concepten kon verwijderen, zoals specifieke artistieke stijlen. Ze vonden dat het er succesvol in was om de computer te stoppen met het kopiëren van de stijl van specifieke kunstenaars, waaronder Van Gogh en Kelly McKernan, wanneer daarom wordt gevraagd, terwijl het nog steeds in staat was om in andere stijlen te schilderen. Dit suggereert dat de methode niet slechts een 'one-trick pony' is voor het verwijderen van naaktheid, maar een flexibele tool die kan worden gebruikt om elk specifiek idee te verwijderen dat de gebruiker niet wil dat de computer genereert. Door zich te concentreren op de vertalingsstap en een eenvoudige, efficiënte trainingsprocedure te gebruiken, heeft het team aangetoond dat het mogelijk is om deze krachtige instrumenten veiliger te maken zonder hun snelheid of hun vermogen om kunst te creëren op te offeren.

Dit werk vertegenwoordigt een belangrijke stap voorwaarts in het veiliger en betrouwbaarder maken van kunstmatige intelligentie. Het beweegt weg van het idee van het constant monitoren en blokkeren van outputs, en bouwt in plaats daarvan veiligheid direct in de manier waarop de computer taal begrijpt. De methode is lichtgewicht, vereist slechts een korte periode van training, en laat de rest van het systeem precies zoals het was. Voor iedereen die deze tools gebruikt om content te creëren, betekent dit een toekomst waarin de computer kan worden vertrouwd om instructies op te volgen zonder per ongeluk de grens naar schadelijke terreinen te overschrijden, terwijl de creatieve vonk intact blijft. De onderzoekers hebben hun code beschikbaar gesteld, waardoor anderen deze aanpak kunnen testen en erop kunnen voortbouwen, wat ervoor zorgt dat het pad naar veiligere beeldgeneratie open blijft voor verdere ontdekking.

Technische Samenvatting: TEA (Text Encoder Alignment for Robust Concept Erasure)

Probleemstelling

Text-to-image diffusiemodellen zijn vatbaar voor misbruik, waarbij adversariële of geparafraseerde prompts de ingebouwde veiligheidsmechanismen kunnen omzeilen om schadelijke inhoud te genereren (bijv. deepfakes, NSFW-beelden). Bestaande methoden voor concept-erasure (conceptverwijdering) kampen met aanzienlijke trade-offs:

Training-vrije methoden (bijv. projecties tijdens de inferentie) vermijden voorafgaande kosten maar introduceren een persistente computationele overhead per query en missen robuustheid tegen sterke adversariële aanvallen.
Training-gebaseerde methoden die de generatieve backbone (bijv. U-Net) finetunen zijn computationeel duur, lopen het risico de generatiekwaliteit op onschuldige (benigne) prompts te verslechteren, en hebben moeite met selectieve erasure vanwege de brede distributie van concept-gerelateerde parameters over verschillende netwerklagen.
Bestaande text-encoder benaderingen vereisen vaak grootschalige datasets, codebook-geheugen of computationeel zware adversariële training die de generatiekwaliteit in gevaar brengt.

De kernuitdaging is het bereiken van robuuste concept erasure tegen zowel black-box als white-box aanvallen, terwijl de generatiekwaliteit op onschuldige prompts behouden blijft en er nul inferentie-overhead is.

Methodologie: Text Encoder Alignment (TEA)

De auteurs formuleren concept erasure als een domein-alignmentprobleem binnen de tekstrepresentatieruimte. De methode berust op de decompositie van text-to-image modellen in een text encoder ( $\tau$ ) en een bevroren generatieve backbone ( $G$ ).

1. Theoretische Formulering
Het paper stelt dat het onderdrukken van een doelconcept $c$ gelijk staat aan het uitlijnen van de representatiedistributie van concept-dragende inputs ( $P_c$ ) met die van concept-vrije "anker"-inputs ( $P_{\neg c}$ ).

Risicogrens: Gebaseerd op H-divergentie-theorie wordt het concept-risico op concept-dragende inputs begrensd door het concept-risico op concept-vrije inputs plus de divergentie tussen de twee representatiedistributies.
Doelstelling: Door de divergentie te minimaliseren (het ononderscheidbaar maken van de representaties) terwijl het risico op concept-vrije inputs behouden blijft (utiliteitsbehoud), kan het model het verschil tussen veilige en onveilige prompts niet langer onderscheiden, waardoor het concept wordt onderdrukt.

2. Framework Architectuur
TEA finetunet alleen de text encoder, terwijl de generatieve backbone (U-Net of DiT) volledig bevroren blijft. Het proces omvat:

Constructie van Prompt-paren: Voor elk concept prompt $p_c$ (bevat het doelconcept) wordt een anker prompt $p_a$ gegenereerd (bijv. via een LLM) die de omliggende semantiek behoudt maar het doelconcept verwijdert.
Token-niveau Alignment: In tegenstelling tot methoden die gebruikmaken van gepoolde sequentie-representaties, werkt TEA op token-niveau. Dit stelt het model in staat om specifieke semantische verschillen tussen $p_c$ en $p_a$ uit te lijnen zonder ongerelateerde semantiek te laten instorten.
Adversariële Training:
- Een lichtgewicht discriminator ( $D$ ) wordt getraind om onderscheid te maken tussen de token-niveau representaties van concept prompts ( $h^c_t$ ) en anker prompts ( $h^a_t$ ).
- De text encoder ( $\tau_\theta$ ) wordt bijgewerkt om de discriminator te misleiden, waardoor $h^c_t$ ononderscheidbaar wordt van $h^a_t$ .
- Dynamische Verankering: Zowel concept- als anker prompts worden tijdens de training door de huidige encoder geleid. Dit voorkomt dat de encoder instort op een vaste referentie en moedigt het volgen van een consistent evoluerende veilige distributie aan.
Loss Functies:
- Adversariële Loss ( $L_{adv}$ ): Minimaliseert het vermogen van de discriminator om concept tokens correct te classificeren.
- Preservation Loss ( $L_{pres}$ ): Een cosine similarity loss die de representaties van anker prompts ( $h^{a, new}_t$ ) dicht bij die van de oorspronkelijke bevroren encoder ( $h^{a, orig}_t$ ) houdt. Dit zorgt ervoor dat onschuldige semantiek niet wordt aangetast.
- Totale Doelstelling: $L_{enc} = \lambda_{adv} L_{adv} + \lambda_{pres} L_{pres}$ .

Belangrijkste Bijdragen

Formulering: De auteurs bieden een principiële formulering van concept erasure als een representatieruimte domein-alignmentprobleem, waarbij ze een theoretische grens afleiden waarbinnen erasure wordt gecontroleerd door een alignment-term en een utiliteitsbehoud-term.
TEA Framework: Zij stellen een lichtgewicht, adversariële text encoder fine-tuning framework voor dat robuuste onderdrukking bereikt met nul inferentie-overhead en slechts een klein aantal fine-tuning stappen vereist.
Model-agnostisch & Nieuwe Architecturen: De methode is model-agnostisch en wordt succesvol overgedragen naar moderne architecturen, specifiek Rectified Flow Transformers (bijv. Stable Diffusion v3.5) met T5-conditioning, waar eerdere concept erasure methoden grotendeels onverkend bleven.
Robuustheid: De methode vertoont superieure robuustheid tegen zowel black-box (prompt engineering) als white-box (optimalisatie-gebaseerde) adversariële aanvallen vergeleken met bestaande baselines.

Experimentele Resultaten

De methode werd geëvalueerd op Stable Diffusion v1.4 en Stable Diffusion v3.5-large voor het verwijderen van expliciete inhoud (naaktheid) en artistieke stijlen (Van Gogh, Kelly McKernan).

Erasure van Expliciete Inhoud:
- Black-Box: TEA behaalde de laagste gemiddelde Attack Success Rate (ASR) over benchmarks (MMA, Ring-A-Bell, P4D), waarmee het methoden zoals AdvUnlearn en DES overtrof.
- White-Box: TEA behaalde consistent de laagste ASR over UnlearnDiff, MMA en Ring-A-Bell white-box aanvallen.
- Kwaliteitsbehoud: TEA behield een hoge generatiekwaliteit op onschuldige prompts (COCO dataset), waarbij het competitieve of superieure FID- en CLIP-scores liet zien vergeleken met baselines. Merkwaardig genoeg vermeed het de kwaliteitsverslechtering die wordt gezien bij training-gebaseerde methoden.
Erasure van Artistieke Stijl: TEA behaalde een hoge perceptuele afstand (LPIPSse) voor doelartiesten terwijl het een lage afstand (LPIPSu) behield voor andere artiesten, wat wijst op effectieve erasure zonder ongerelateerde stijlen te veel te verwijderen.
Representatie Analyse: Empirische metingen van Proxy A-Distance (PAD) bevestigden dat TEA de scheidbaarheid tussen concept- en ankerrepresentaties over de encoderlagen aanzienlijk verminderde, terwijl de scheidbaarheid tussen concept- en ongerelateerde (COCO) prompts behouden bleef.

Betekenis en Claims

Het paper claimt dat TEA de kritieke beperkingen van huidige concept erasure methoden aanpakt door een computationeel efficiënte, persistente en robuuste oplossing te bieden.

Efficiëntie: Door de generatieve backbone bevroren te houden en alleen de text encoder te finetunen, introduceert TEA geen inferentie-overhead, wat het geschikt maakt voor grootschalige implementatie.
Robuustheid: De adversariële alignment in de representatieruimte biedt een sterkere verdediging tegen adversariële prompts dan training-vrije methoden of methoden die de generatieve backbone aanpassen.
Schaalbaarheid: Het vermogen van de methode om zich aan te passen aan Rectified Flow Transformers (SD v3.5) breidt de toepasbaarheid van concept erasure uit naar de volgende generatie diffusie-architecturen.
Ethische Houding: De auteurs benadrukken dat het werk gemotiveerd is door schadebeperking. Hoewel de evaluatie expliciete prompts en afbeeldingen vereist om de effectiviteit te verifiëren, worden deze strikt gecontroleerd, gemaskeerd in figuren en uitsluitend gebruikt voor defensieve doeleinden om onveilige generatie te beperken.