💻 computer science

Attention, May I Have Your Decision? Localizing Generative Choices in Diffusion Models

Deze paper introduceert ICM, een methode die door het lokaliseren van generatieve keuzes in de zelf-attentie-lagen van diffusion-modellen een precieze sturing mogelijk maakt die superieure debiasing-resultaten oplevert ten opzichte van bestaande technieken.

Oorspronkelijke auteurs: Katarzyna Zaleska, Łukasz Popek, Monika Wysoczańska, Kamil Deja

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Katarzyna Zaleska, Łukasz Popek, Monika Wysoczańska, Kamil Deja

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Stille Beslissing: Hoe een AI-beslissing wordt gevonden en veranderd

Stel je voor dat je een magische schilder hebt die schilderijen maakt op basis van wat je zegt. Als je tegen hem zegt: "Teken een bloem," doet hij dat graag. Maar hij moet dan zelf beslissen: Welke kleur? Welke vorm? Wat voor achtergrond? De tekst zegt het niet. De AI moet dus een keuze maken uit de duizenden bloemen die hij in zijn geheugen heeft.

Vaak is die keuze onschuldig (een roze roos), maar soms is hij problematisch. Als je zegt "Teken een dokter", tekent hij bijna altijd een man. Als je zegt "Teken een president", tekent hij bijna altijd Donald Trump. De AI maakt hier een stille, onbewuste keuze die we niet in de tekst hebben gezet.

Deze paper onderzoekt precies waar in de "hersenen" van de AI die keuze wordt gemaakt en hoe we die kunnen beïnvloeden zonder het hele schilderij te verpesten.

1. Het Probleem: De "Black Box"

Tot nu toe wisten we niet precies waar die keuze plaatsvond. We wisten wel dat als je specifiek zegt "Teken een vrouwelijke dokter", de AI luistert naar de tekst. Maar als je alleen zegt "Teken een dokter", moet de AI zelf invullen wat er ontbreekt.

Vroeger dachten onderzoekers: "De tekst is de baas, dus we moeten kijken naar de lagen die de tekst verwerken." Maar deze paper zegt: "Nee, wacht even. De tekst is hier niet de baas, want de tekst is vaag. De AI moet zelf iets verzinnen."

2. De Oplossing: De "Detective" (Linear Probing)

De auteurs hebben een slimme methode bedacht, laten we het de "AI-Detective" noemen.

Stap 1: De Vage Opdracht. Ze laten de AI duizenden keer een vaag commando uitvoeren, zoals "Teken een persoon".
Stap 2: De Analyse. Ze kijken naar de foto's die eruit komen. Is het een man of een vrouw? Een jong of een oud iemand?
Stap 3: De Spoorzoeker. Ze kijken niet naar de eindfoto, maar naar de tussentijdse gedachten van de AI terwijl hij aan het tekenen is. Ze vragen zich af: "Op welk moment in het denkproces wordt de keuze 'man' of 'vrouw' eigenlijk gemaakt?"

Ze gebruiken een simpele test (een 'lineaire probe') om te zien op welk punt de gedachten van de AI zo duidelijk zijn dat je kunt zeggen: "Ah, hier is de keuze voor 'vrouw' al gemaakt!"

3. Het Grote Geheim: De Zelf-Aandacht

Het verrassende resultaat? De keuze wordt niet gemaakt door de lagen die naar de tekst luisteren (de "Cross-Attention"). Die lagen wachten op instructies.

De keuze wordt gemaakt door de lagen die naar zichzelf kijken (de "Self-Attention").

De Analogie: Stel je voor dat de tekstlagen de chef zijn die de bestelling opneemt. Als de bestelling vaag is ("Ik wil een maaltijd"), zegt de chef niets specifieks. De koks (de zelf-aandacht lagen) moeten dan zelf beslissen wat ze gaan koken. Ze kijken naar de ingrediënten in de koelkast (de ruis) en beslissen: "Vandaag maken we pasta."
De paper toont aan dat je de "koks" moet aansturen, niet de chef, als je wilt dat ze een andere keuze maken.

4. De Methode: ICM (De Precieze Chirurg)

Vroeger probeerden mensen de hele AI te herschrijven of alle lagen tegelijk aan te passen. Dat is alsof je een hele stad herbouwt om één verkeerslicht te veranderen. Het resultaat is vaak een rommelige stad (slechte kwaliteit).

De nieuwe methode heet ICM. Het werkt als een microchirurg:

Ze vinden de exacte 3 of 4 "koks" (lagen) die de keuze voor 'man' of 'vrouw' maken.
Ze geven alleen die specifieke koks een klein duwtje in de rug om een andere keuze te maken.
De rest van de stad (de rest van de AI) blijft onaangetast.

Het resultaat? Je krijgt een eerlijke AI (meer vrouwen als dokter, meer verschillende presidenten), maar het schilderij ziet er nog steeds scherp en mooi uit. Geen vage vlekken of rare artefacten.

5. Waarom is dit belangrijk?

Eerlijkheid: Het helpt om vooroordelen (bias) weg te halen zonder de kunst te vernietigen.
Efficiëntie: Je hoeft niet de hele AI opnieuw te trainen (wat maanden duurt en veel geld kost). Je past alleen een paar kleine schroeven aan.
Begrip: We leren eindelijk begrijpen hoe een AI denkt en keuzes maakt, zelfs als we het niet hebben gevraagd.

Kortom:
De auteurs hebben ontdekt dat AI's hun eigen keuzes maken in een specifiek deel van hun "brein" (de zelf-aandacht lagen). Door daar heel precies en subtiel in te grijpen, kunnen we zorgen dat de AI eerlijker is, zonder dat het resultaat er slecht uitziet. Het is als het geven van een subtiele aanwijzing aan een kunstenaar, in plaats van de hele kunstenaar te vervangen.

Probleemstelling

Tekst-naar-beeld (T2I) diffusiemodellen hebben indrukwekkende generatieve capaciteiten, maar hun interne werking blijft grotendeels een "black box". Dit wordt vooral problematisch wanneer prompts onvolledig of vaag zijn (bijvoorbeeld "een foto van bloemen" zonder specificatie van kleur of type). In dergelijke scenario's moet het model impliciete beslissingen nemen om ontbrekende details in te vullen op basis van patronen uit de trainingsdata.

Deze impliciete beslissingen leiden vaak tot ongewenste uitkomsten, zoals het versterken van sociale vooroordelen (bias). Bijvoorbeeld: bij de prompt "een foto van een arts" kiest het model vaak automatisch voor een mannelijke arts, of bij "president van de VS" voor een specifieke persoon (zoals Donald Trump). Bestaande methoden voor het lokaliseren van kennis in diffusiemodellen focussen voornamelijk op expliciete prompt-injectie (het toevoegen van specifieke attributen aan de prompt om te zien welke lagen reageren). Het paper stelt echter dat deze methoden de interne mechanismen van het model niet correct weergeven wanneer het model zelf een keuze moet maken zonder expliciete instructie. Er is een fundamenteel verschil tussen hoe een model reageert op een expliciete instructie en hoe het een impliciete beslissing neemt.

Methodologie: ICM (Implicit Choice-Modification)

De auteurs introduceren een nieuwe aanpak om te lokaliseren waar en hoe deze impliciete beslissingen worden genomen, gevolgd door een methode om deze te sturen.

1. Lokalisatie via Lineaire Probing (Linear Probing):
In plaats van attributen in de prompt te injecteren, gebruiken de auteurs een "post-hoc" aanpak:

Generatie: Het model genereert afbeeldingen met een algemene prompt (bijv. "een foto van een persoon").
Pseudo-labeling: Een externe classifier (zoals FairFace of CLIP) analyseert de gegenereerde afbeeldingen en labelt ze met de impliciete attributen die het model heeft gekozen (bijv. geslacht, leeftijd, ras).
Probing: Lineaire probes (logistische regressie) worden getraind op de interne activaties van elke laag van het diffusiemodel om te voorspellen welk attribuut is gegenereerd.
Selectie: De lagen met de hoogste classificatie-accuraatte worden geïdentificeerd als de lagen waar de impliciete beslissingen het sterkst vertegenwoordigd zijn (hoogste "attribuut-separabiliteit").

2. Belangrijkste Bevinding over Architectuur:
Een cruciale ontdekking is dat self-attention lagen verantwoordelijk zijn voor het nemen van deze impliciete beslissingen, en niet de cross-attention lagen.

Cross-attention lagen verwerken expliciete tekstinstructies.
Self-attention lagen verwerken de ruimtelijke samenhang en de stochastische cues uit de initiële ruis, waardoor ze de uiteindelijke instantiatie van een vaag concept bepalen (bijv. het bepalen van het geslacht op basis van haartekstuur of lippenstift).

3. Interventie (Steering en Finetuning):
Zodra de kritieke lagen zijn geïdentificeerd, past de auteurs de ICM-methode toe:

Activation Steering: Er wordt een vector berekend (op basis van de gewichten van de getrainde probe) die de richting van maximale scheidbaarheid tussen attributen aangeeft. Tijdens de generatie worden de activaties in de geselecteerde self-attention lagen verschoven met deze vector ( $H' = H + \alpha \cdot s$ ).
Finetuning: De methode kan ook worden gebruikt om alleen de gewichten van de geselecteerde lagen te finetunen (met LoRA), in plaats van het hele model.

Kernbijdragen

Lokalisatie van Impliciete Beslissingen: Het aantonen dat lineaire probing op generaties met vage prompts effectief de lagen kan lokaliseren die verantwoordelijk zijn voor het invullen van ontbrekende informatie.
Rol van Self-Attention: Het identificeren dat self-attention lagen (in plaats van cross-attention) de primaire locus zijn voor het nemen van impliciete beslissingen en het oplossen van ambiguïteit.
Precisie en Efficiëntie: De ontwikkeling van ICM, een methode die interventies toepast op een klein, specifiek subset van lagen. Dit resulteert in superieure prestaties bij het verwijderen van bias zonder de beeldkwaliteit te verstoren.
Generalisatie: De methode werkt niet alleen op UNet-architecturen (Stable Diffusion v1.5, SDXL), maar ook op Transformer-gebaseerde modellen (SANA).

Resultaten

De auteurs hebben hun methode getest op het verwijderen van bias rondom geslacht, leeftijd en ras, evenals op specifieke concepten zoals "president van de VS".

Bias Vermindering: ICM (zowel via steering als finetuning) bereikt een aanzienlijke verbetering in de Fairness Discrepancy (FD) vergeleken met state-of-the-art methoden zoals DIFFLENS, Latent Editing en H-Distribution.
Behoud van Kwaliteit: In tegenstelling tot methoden die het hele model finetunen of op alle lagen sturen, behoudt ICM de beeldkwaliteit (gemeten via FID) en de tekst-afstemming (CLIP-T) veel beter.
- Voorbeeld: Bij het debiasen van geslacht (SD v1.5) bereikte ICM (Steering) een FD van 0.087 met een FID van 122.08, terwijl andere methoden vaak een hogere FD hadden of de beeldkwaliteit aanzienlijk verslechterden.
Vergelijking Self- vs. Cross-Attention: Experimenten tonen aan dat het sturen van self-attention lagen aanzienlijk effectiever is voor het veranderen van impliciete keuzes dan het sturen van cross-attention lagen. Het sturen van cross-attention leidt vaak tot minder effectieve bias-reductie.
Scalabiliteit: De methode werkt succesvol op grotere modellen zoals SDXL en SANA, waarbij het selecteren van de top-lagen leidt tot betere resultaten dan het willekeurig kiezen van lagen of het sturen van alle lagen (wat vaak leidt tot artefacten).

Betekenis en Impact

Dit paper biedt een fundamenteel nieuw inzicht in de mechanistische interpretatie van diffusiemodellen. Het weerlegt de aanname dat alle semantische beslissingen in cross-attention lagen worden genomen en toont aan dat self-attention cruciaal is voor het "invullen" van vaagheid.

De praktische implicaties zijn groot:

Efficiëntie: Het is niet nodig om het hele model te finetunen of op alle lagen te sturen; een klein subset van lagen is voldoende. Dit bespaart rekenkracht en voorkomt "catastrophic forgetting".
Kwaliteit: Het minimaliseren van artefacten maakt de techniek zeer geschikt voor productieomgevingen waar beeldkwaliteit essentieel is.
Ethiek: Het biedt een robuust middel om vooroordelen in generatieve AI systemen te bestrijden zonder de creatieve capaciteiten van het model te beperken.

Samenvattend introduceert dit werk een nieuwe paradigma voor het begrijpen en sturen van generatieve keuzes in AI, waarbij precisie en efficiëntie centraal staan door het lokaliseren van de specifieke neurale mechanismen die verantwoordelijk zijn voor impliciete redenering.