🤖 AI

Conditioned Activation Transport for T2I Safety Steering

Deze paper introduceert Conditioned Activation Transport (CAT), een framework dat de veiligheid van tekst-naar-beeldmodellen verbetert door alleen in onveilige activatiegebieden te interveniëren, waardoor de afbeeldingskwaliteit voor veilige prompts behouden blijft terwijl de succeskans van aanvallen aanzienlijk wordt verlaagd.

Oorspronkelijke auteurs: Maciej Chrabąszcz, Aleksander Szymczyk, Jan Dubiński, Tomasz Trzciński, Franziska Boenisch, Adam Dziedzic

Gepubliceerd 2026-03-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maciej Chrabąszcz, Aleksander Szymczyk, Jan Dubiński, Tomasz Trzciński, Franziska Boenisch, Adam Dziedzic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar soms onvoorspelbare kunstenaar hebt die op je verzoek prachtige schilderijen maakt. Deze kunstenaar is een Text-to-Image AI (een model dat teksten omzet in plaatjes). Hij kan alles maken: van een zonnig strand tot een schattig katje.

Het probleem is echter: als je hem vraagt om iets "grappigs" of "spannends", kan hij soms per ongeluk iets maken dat gevaarlijk, naakt of haatdragend is. We willen dat hij veilig blijft, maar we willen ook niet dat hij zijn talent verliest en alleen nog maar saaie, grijze vlekken maakt.

Dit is het probleem dat dit papier oplost. Hier is de uitleg in simpele taal:

1. Het oude probleem: De "Grote Hamer"

Vroeger probeerden onderzoekers de AI te corrigeren door een soort "veiligheidsvector" toe te voegen. Je kunt dit vergelijken met het geven van een grote, zware hamer aan de kunstenaar.

Als de kunstenaar iets gevaarlijks wilde maken, sloeg de hamer hem neer.
Maar het probleem was: de hamer was te groot. Als de kunstenaar een mooi, veilig plaatje wilde maken (bijvoorbeeld een bloemetje), sloeg de hamer ook die neer. Het resultaat was een vervormde, lelijke vlek in plaats van een bloem.
De AI werd veilig, maar hij werd ook dom en saai.

2. De nieuwe oplossing: De "Slimme Wacht" (CAT)

De auteurs van dit papier hebben een slimme nieuwe methode bedacht, genaamd CAT (Conditioned Activation Transport). In plaats van een hamer, hebben ze een slimme, geavanceerde wacht bedacht die bij de kunstenaar staat.

Deze wacht werkt in twee stappen:

Stap 1: De Gevoelige Radar (Conditioning)
De wacht kijkt continu naar wat de kunstenaar aan het denken is (de "activaties" in de computer).

Als de kunstenaar denkt aan een veilig onderwerp (zoals een bloemetje), zegt de wacht: "Geen probleem, ga maar door!" en doet hij niets.
Als de kunstenaar echter begint te denken aan iets gevaarlijks (zoals een mes of naaktheid), zegt de wacht: "Stop! Ik zie dat je op het verkeerde pad zit."
De analogie: Het is alsof je een alarm hebt dat alleen afgaat als iemand een diefstal plant, maar niet als iemand gewoon een brood koopt.

Stap 2: De Kromme Weg (Non-linear Transport)
Als de alarm afgaat, moet de kunstenaar worden omgeleid naar een veilig onderwerp.

Eerdere methoden probeerden dit met een rechte lijn te doen. Stel je voor dat je een bolletje klei (het gevaarlijke idee) wilt veranderen in een bloem. Een rechte lijn werkt niet goed als de klei een rare vorm heeft (zoals een halve maan). Je krijgt dan een lelijke, platte brij.
De nieuwe methode van CAT gebruikt een kromme, flexibele weg. De wacht kan de klei precies in de vorm duwen die nodig is om veilig te worden, zonder de structuur van het plaatje te breken.
De analogie: Het is alsof je een rivier (de AI) die dreigt over te stromen in een gevaarlijk dal, niet probeert te blokkeren met een muur (wat de hele rivier stopt), maar een nieuw kanaal graaft dat het water veilig om het gevaar heen leidt, terwijl het water zelf nog steeds mooi stroomt.

3. De "Tweeling" Dataset

Om deze wacht en de kromme weg te leren, hadden de onderzoekers een heel speciaal trainingsboekje nodig: SafeSteerDataset.

Ze maakten duizenden paren van teksten.
In elk paar was de ene tekst veilig en de andere gevaarlijk, maar ze waren bijna identiek.
Voorbeeld:
- Veilig: "Een vrouw in een bikini loopt naar het strand."
- Gevaarlijk: "Een naakte vrouw loopt naar het strand."
Omdat de teksten zo op elkaar leken, kon de AI precies leren waar het verschil zat. Het was alsof je een leerling laat zien: "Kijk, dit is een veilig plaatje, en dit is hetzelfde plaatje maar dan met één gevaarlijk detail. Leer het verschil."

4. Wat is het resultaat?

De onderzoekers hebben hun methode getest op twee van de slimste AI's ter wereld (Z-Image en Infinity).

Oude methode: Minder gevaarlijke plaatjes, maar de mooie plaatjes werden ook lelijk.
Nieuwe methode (CAT): De gevaarlijke plaatjes verdwenen (de AI maakte geen naaktheid of geweld meer), maar de mooie plaatjes bleven prachtig en gedetailleerd.

Samenvatting in één zin

In plaats van de AI te dwingen om alles "veilig" te maken door hem te straffen (wat zijn creativiteit doodt), hebben de onderzoekers een slimme, flexibele regelaar bedacht die alleen ingrijpt op het exacte moment dat de AI op het verkeerde spoor zit, zodat hij zijn talent voor mooie plaatjes behoudt.

Probleemstelling

Ondanks de indrukwekkende generatieve capaciteiten van huidige Text-to-Image (T2I) modellen, blijven ze kwetsbaar voor het genereren van onveilige en giftige inhoud. Bestaande methoden voor "activation steering" (het manipuleren van interne activaties tijdens de inferentie) bieden een veelbelovende oplossing, maar hebben een fundamenteel nadeel: lineaire steering-methode (zoals Activation Addition of Linear-ACT) degraderen vaak de beeldkwaliteit en semantische coherentie bij veilige prompts.

De kernuitdaging is de afweging tussen veiligheid en kwaliteit. Bestaande datasets voor veiligheidssteering missen vaak semantisch gealigneerde paren van veilige en onveilige prompts, wat het isoleren van de specifieke "toxische" activatiemanifold bemoeilijkt. Bovendien zijn de veiligheidsmechanismen in T2I-modellen vaak niet-lineair en complex, waardoor lineaire benaderingen ontoereikend zijn.

Methodologie

De auteurs introduceren een nieuw raamwerk genaamd Conditioned Activation Transport (CAT) en een bijbehorende dataset om dit probleem op te lossen.

1. SafeSteerDataset

Om de geometrie van toxiciteit nauwkeurig te kunnen modelleren, hebben de auteurs een contrastieve dataset ontwikkeld:

Opbouw: Bevat 2.300 paren van prompts (veilig vs. onveilig) met een hoge cosinus-ähnelijkheid (> 0,7).
Taxonomie: De dataset is onderverdeeld in 23 subcategorieën binnen 6 hoofdcategorieën (Haat, Geweld, Seksueel, Illegaal, Vernederend, Verontrustend).
Doel: Zorgen voor minimale semantische drift tussen paren, zodat de steering alleen de toxische componenten target en niet de algemene scène.

2. Conditioned Activation Transport (CAT)

CAT is een modulair raamwerk dat bestaat uit twee hoofdcomponenten:

Niet-lineaire Transport Map ( $T_\theta$ ): In plaats van een lineaire verschuiving, gebruikt CAT een getrainde Multi-Layer Perceptron (MLP) om activaties van de onveilige manifold naar de veilige manifold te transporteren. Dit stelt het model in staat complexe, niet-convexe en multimodale verdelingen te hanteren. De MLP wordt geinitialiseerd als een identiteitsfunctie om degradatie te voorkomen.
Conditioning Mechanisme ( $C$ ): Om te voorkomen dat veilige prompts worden verstoord, wordt de steering alleen toegepast als de huidige activatie binnen een bepaald "onveilig" gebied valt. De auteurs vergelijken verschillende conditioneringstechnieken:
- Min-Max Bounding Box: Een hyper-rectangulaire grens (te losjes).
- Mahalanobis Distance (OOD-modeling): Een ellipsoïdale beslissingsgrens gebaseerd op de covariantiestructuur van de onveilige data. Dit is de voorgestelde methode omdat deze strakker aansluit bij de werkelijke geometrie van de toxiciteit.

De formule voor de gestuurde staat $z'$ is:
$z' = z + \alpha \cdot C(\bar{z}) \cdot (T_\theta(\bar{z}) - \bar{z})$
Waarbij $\alpha$ de sterkte is en $C(\bar{z})$ een masker is dat 0 is voor veilige content en 1 voor onveilige content.

Belangrijkste Bijdragen

SafeSteerDataset: Een open-source, contrastieve dataset met semantisch gealigneerde paren, essentieel voor het trainen van precieze steering-vector.
CAT Framework: Een methode die niet-lineaire transportmaps combineert met geometrisch bewust conditionering. Dit lost het trade-off-probleem op tussen veiligheid en beeldkwaliteit.
Geometrische Validatie: Experimenten met synthetische data tonen aan dat lineaire methoden falen bij complexe manifolds (bijv. "The Moon" vorm of multi-modale clusters), terwijl CAT deze correct kan transformeren.
Uitgebreide Validatie: Eerste uitgebreide evaluatie op twee state-of-the-art architecturen: Z-Image (Diffusion Transformer) en Infinity (AutoRegressief).

Resultaten

De experimenten tonen aan dat CAT superieur is aan bestaande methoden (zoals ActAdd en Linear-ACT):

Veiligheid (ASR - Attack Success Rate): CAT reduceert de ASR aanzienlijk. Op Z-Image daalt de ASR van 33,91% naar 6,96%. Op Infinity daalt deze naar 4,78%.
Beeldkwaliteit (CLIP Score): In tegenstelling tot lineaire methoden die vaak leiden tot onherkenbare beelden (CLIP-score daalt naar <0,20), behoudt CAT een hoge CLIP-score (rond 0,32-0,33), wat aangeeft dat de semantische instructies intact blijven.
Conditioning Effect: Het gebruik van Mahalanobis-based conditioning is cruciaal. Zonder conditionering degradeert de kwaliteit; met conditionering wordt de kwaliteit hersteld terwijl de veiligheid behouden blijft.
Multimodaliteit: Het sturen van zowel de tekst-encoder als de visuele backbone levert de beste resultaten op, wat aantoont dat veiligheid in T2I-modellen een multimodaal fenomeen is.
Fijnmazige Veiligheid: Zelfs bij het focussen op één specifieke categorie (bijv. seksuele inhoud) falen lineaire methoden zonder kwaliteit te verliezen, terwijl CAT dit wel aankan.

Betekenis en Conclusie

Dit paper is significant omdat het aantoont dat veiligheid in T2I-modellen niet kan worden opgelost met eenvoudige lineaire verschuivingen in de latent space. De toxische manifolds zijn te complex en niet-lineair.

CAT biedt een robuuste oplossing door:

De complexiteit van de veiligheidsmanifold te modelleren via niet-lineaire MLP's.
De interventie te beperken tot alleen de momenten dat het model daadwerkelijk onveilige concepten genereert (via geometrische conditionering).

Dit resulteert in een systeem dat giftige inhoud effectief onderdrukt zonder de creatieve vrijheid of visuele kwaliteit van veilige prompts te compromitteren. De publicatie van de SafeSteerDataset en de code draagt bij aan reproduceerbaar onderzoek op het gebied van AI-veiligheid.