💻 computer science

SHIFT: Steering Hidden Intermediates in Flow Transformers

Dit paper introduceert SHIFT, een lichtgewicht framework dat via gerichte manipulatie van tussenliggende activaties in DiT-diffusiemodellen tijdens de inferentie ongewenste concepten effectief verwijdert of de gegenereerde beelden naar een gewenste stijl of inhoud kan sturen zonder dat hertraining nodig is.

Oorspronkelijke auteurs: Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar soms wat onvoorspelbare kunstenaar hebt. Deze kunstenaar (een AI-model genaamd Diffusion Transformer) kan prachtige schilderijen maken op basis van wat je hem vertelt. Hij kan alles schilderen: van een zonnig strand tot een futuristische stad.

Het probleem is dat deze kunstenaar soms ook dingen schildert die je niet wilt zien, zoals naaktheid, of dat hij vastzit in een bepaalde stijl die je niet leuk vindt. Of misschien wil je juist dat hij iets toevoegt, zoals een hoed op een hoofd, wat hij normaal gesproken niet doet.

De oude manier om dit te fixen was alsof je de kunstenaar zelf moest herscholen. Je nam hem maandenlang mee naar school, liet hem duizenden keren oefenen en probeerde hem te leren wat hij niet mocht doen. Dit kostte enorm veel tijd, geld en rekenkracht. Voor de nieuwste, gigantische kunstenaars (zoals Flux) was dit zelfs bijna onmogelijk.

SHIFT is een nieuwe, slimme manier om dit op te lossen. Het is alsof je niet de kunstenaar herschult, maar hem tijdens het schilderen een geheime aanwijzing geeft.

Hoe werkt SHIFT? (De Analogie van de "Stuurknuppel")

Stel je voor dat de kunstenaar aan het werk is. Hij heeft een enorme set aan gereedschappen en gedachten (de "activaties" in de computer).

De Leerling en de Meester:
De onderzoekers hebben eerst een paar voorbeelden gemaakt. Ze gaven de kunstenaar een opdracht om iets te schilderen (bijvoorbeeld "een hond") en een opdracht om iets niet te schilderen (bijvoorbeeld "geen hond"). Ze keken precies hoe de gedachten van de kunstenaar verschoven tussen deze twee situaties.
De Stuurknuppel (Steering Vector):
Ze ontdekten dat er een heel specifiek "richtingsgevoel" is in de gedachten van de kunstenaar. Als je een lijn trekt van "hond" naar "geen hond", is dat een stuurknuppel.
- Als je deze stuurknuppel naar links duwt, verdwijnt de hond uit het schilderij.
- Als je hem naar rechts duwt, komt er een hond bij.
- Als je hem een beetje kantelt, verandert de stijl (bijvoorbeeld van realistisch naar een tekening).
Het Moment van Toepassing:
Het slimme aan SHIFT is dat je deze stuurknuppel tijdens het schilderen gebruikt, zonder de kunstenaar zelf te veranderen. Je tikt zachtjes op de schouder van de kunstenaar op het exacte moment dat hij een penseelstreek maakt.
- Voor het verwijderen van dingen: Je duwt de stuurknuppel zachtjes weg van het ongewenste concept (bijvoorbeeld "naaktheid"). Het schilderij blijft prachtig, maar dat ene ding is weg.
- Voor het toevoegen: Je duwt de stuurknuppel naar het gewenste concept (bijvoorbeeld "een hoed").

Waarom is dit zo speciaal?

Geen zware herscholing: Je hoeft de kunstenaar niet maandenlang te trainen. Je berekent één keer de stuurknuppel en gebruikt die direct. Het is als het verschil tussen een hele nieuwe auto kopen (herscholing) en gewoon een nieuwe navigatie-instelling toevoegen (SHIFT).
Werkt voor de nieuwste modellen: Het werkt zelfs voor de grootste, zwaarste modellen (zoals Flux met 12 miljard parameters), waar andere methoden vastlopen.
Flexibel: Je kunt het gebruiken om dingen te verwijderen, maar ook om de stijl te veranderen (bijvoorbeeld "maak het eruit als een cyberpunk-stad") of om kleine objecten toe te voegen (zoals een bril op een gezicht).
Slimme aanpassing: De methode is niet dom. Hij kijkt mee of het werkt. Als de kunstenaar al bijna "geen hond" schildert, stopt SHIFT met duwen. Als hij nog steeds een hond probeert te schilderen, duwt SHIFT harder. Dit voorkomt dat het schilderij verrot wordt.

Samenvattend

SHIFT is als een slimme piloot die tijdens de vlucht (het genereren van het beeld) zachtjes het roer bijstuurt. Hij zorgt ervoor dat het vliegtuig niet in een verboden luchtgebied (gevaarlijke inhoud) komt, of juist precies in de juiste richting vliegt (de gewenste stijl), zonder dat je het vliegtuig zelf hoeft te herbouwen.

Het is een snelle, lichte en effectieve manier om de creatieve kracht van AI in de juiste banen te leiden, zonder dat je de machine hoeft te "herprogrammeren".

Titel: SHIFT: Steering Hidden Intermediates in Flow Transformers

Auteurs: Nina Konovalova, Andrey Kuznetsov, Aibek Alanov (FusionBrain Lab, HSE University, AXXX)

1. Het Probleem

Diffusiemodellen, en specifiek de nieuwste generatie op basis van Diffusion Transformers (DiT) zoals FLUX, hebben de staat van de kunst voor tekst-naar-afbeelding synthese gedefinieerd. Echter, naarmate deze modellen krachtiger worden, neemt het risico toe dat ze schadelijke, auteursrechtelijk beschermde of ongewenste concepten genereren.

Bestaande methoden voor Concept Erasure (CE) (het verwijderen van specifieke concepten uit een model) hebben twee grote nadelen:

Rekenkosten: Methodes zoals ESD, Concept Ablation (CA) en Erase-and-Preserve (EAP) vereisen gradient-based fine-tuning. Dit is computatief prohibitief duur voor moderne DiT-modellen met miljarden parameters (bijv. FLUX met 12B parameters).
Architecturale beperkingen: Veel bestaande technieken zijn ontworpen voor UNet-architecturen die gebruikmaken van cross-attention. Moderne DiT-modellen gebruiken echter een Multimodal Diffusion Transformer (MM-DiT) architectuur waarbij tekst- en beeldtokens in een gedeelde latent space worden verwerkt via een geünificeerde attention-mechanisme. Hierdoor zijn de bestaande interventiepunten minder duidelijk en effectief.

Daarnaast zijn veel bestaande methoden afhankelijk van "negative guidance" tijdens het trainingsproces, wat problematisch is voor gedistilleerde modellen (zoals FLUX.1[schnell]) die zijn getraind om te werken met een vaste guidance-schaal.

2. Methodologie: SHIFT

Het paper introduceert SHIFT (Steering Hidden Intermediates in Flow Transformers), een lichtgewicht framework dat concepten verwijdert of manipuleert door activatie-sturing (activation steering) tijdens de inferentie, zonder de modelgewichten te wijzigen.

Kernprincipes:

Inspiratie: Het concept is overgenomen van "activation steering" in Large Language Models (LLMs), waar lineaire vectoren worden toegevoegd aan latenterepresentaties om gedrag te sturen.
Doelwerving: In plaats van cross-attention lagen (zoals in UNets), richt SHIFT zich op de gedeelde latent space van de DiT. Specifiek worden twee locaties geselecteerd voor sturing:
1. De gepoolde embedding van de tekstencoder (bijv. de CLIP-vector).
2. De tekst-token representaties binnen de double-stream blokken van de Diffusion Transformer na de gedeelde attention-laag.
Vectorconstructie:
- Er wordt een klein datasetje van contrastieve promptparen verzameld (bijv. "een olifant" vs. "een olifant in cyberpunk stijl").
- Activaties worden verzameld voor deze paren.
- De stuurvector ( $v_{steering}$ $v_{s t eer in g}$ ) wordt berekend op twee manieren:
  1. SVM-benadering: Een lineaire SVM wordt getraind om de activaties van het doelconcept te scheiden van die zonder het concept. De normaalvector van het scheidingsvlak dient als stuurvector.
  2. Gemiddeld verschil: Het directe verschil tussen de gemiddelde activaties van positieve en negatieve prompts.
Inferentie-toepassing: Tijdens het generatieproces wordt de stuurvector dynamisch toegevoegd aan de geselecteerde activaties:
$\tilde{a} = a + \alpha \times v_{steering}$
Waarbij $\alpha$ de sterkte van de sturing is.
Dynamische Regularisatie: Een belangrijk innovatief aspect is het gebruik van een lichtgewicht classifier (SVM) tijdens de inferentie. Deze classifier schat de aanwezigheid van het doelconcept in de huidige activaties. De stuursterkte ( $\alpha$ $α$ ) wordt hierop aangepast:
- Als het concept nog sterk aanwezig is, wordt de sturing versterkt.
- Als het concept al verwijderd is, wordt de sturing verlaagd om "over-sturing" en kwaliteitsverlies te voorkomen.

3. Belangrijkste Bijdragen

Eerste Unified Stuurframework voor DiT: SHIFT is het eerste framework dat specifiek is ontworpen voor MM-DiT-architecturen (zoals FLUX.1[dev] en FLUX.1[schnell]), waardoor het mogelijk is om concepten te manipuleren zonder retraining.
Temporele Invariantie: Uit uitgebreide ablatiestudies blijkt dat een enkele, tijd-onafhankelijke stuurvector effectief is over alle diffusiestappen heen. Dit onthult dat semantische concepten in DiT's worden gecodeerd als stabiele, globale richtingen in de latent manifold, wat het proces aanzienlijk vereenvoudigt.
Cross-Distillatie Transfer: Het paper demonstreert dat stuurvectoren die zijn berekend op een gedistilleerd model (FLUX.1[schnell]) succesvol kunnen worden overgedragen naar het niet-gedistilleerde model (FLUX.1[dev]), en vice versa. Dit maakt het zeer efficiënt voor resource-constrained omgevingen.
Veelzijdigheid: Naast het verwijderen van ongewenste concepten (zoals naaktheid), kan SHIFT worden gebruikt voor:
- Stijlverandering: Het omzetten van generaties naar een specifieke kunststijl.
- Object toevoegen/verwijderen: Het toevoegen van kleine objecten (bijv. een hoed) of het verwijderen ervan.
- Concept switchen: Het vervangen van één concept door een ander (bijv. kat $\to$ hond).

4. Resultaten

De auteurs evalueren SHIFT op diverse taken en vergelijken het met state-of-the-art baselines zoals ESD, CA, UCE en EAP.

Abstract Concept Erasure (Nuditeit):
- Op de I2P-benchmark (voor naaktheid) presteert SHIFT aanzienlijk beter dan baselines. Het verwijdert naaktheid met 3x tot 4x meer effectiviteit dan concurrenten.
- Het behoudt tegelijkertijd de prompt-uitvoering (gemeten via CLIP-score) en de algemene beeldkwaliteit (FID) op een hoog niveau, met slechts een minimale degradatie ten opzichte van de beste baseline.
Concrete Concept Erasure:
- Bij het verwijderen van specifieke objecten (bijv. "Snoopy") terwijl gerelateerde concepten (bijv. "Mickey Mouse") behouden blijven, behaalt SHIFT een betere balans tussen verwijdering en behoud van niet-doelconcepten dan CA of UCE.
Kwaliteit en Efficiëntie:
- De methode vereist geen zware training; vectoren kunnen snel worden berekend met een klein aantal promptparen (bijv. 20-135 paren).
- De toepassing is puur tijdens de inferentie, wat het toepasbaar maakt op gesloten modellen of modellen waar geen toegang tot de trainingdata is.

5. Betekenis en Conclusie

SHIFT vertegenwoordigt een paradigmaverschuiving in het beheer van diffusiemodellen. In plaats van zware, model-specifieke fine-tuning voor elke nieuwe conceptverwijdering, biedt SHIFT een generieke, inferentie-gebaseerde oplossing.

Schaalbaarheid: Het is de eerste methode die schaalbaar is voor de nieuwste, grootste DiT-modellen (zoals FLUX), waar eerdere methoden faalden door rekenkosten.
Veiligheid: Het biedt een krachtig instrument voor het veiligstellen van generatieve AI tegen het produceren van schadelijke of ongewenste inhoud, zonder de creatieve vrijheid van het model voor andere taken te beperken.
Toekomstperspectief: Hoewel SHIFT uitstekend werkt voor semantische verschuivingen, blijft het behoud van de exacte ruimtelijke lay-out (bijv. achtergrondbewaring bij objectverwijdering) een uitdaging, wat een richting is voor toekomstig onderzoek.

Kortom, SHIFT bewijst dat gerichte manipulatie van interne activaties een krachtig, efficiënt en flexibel alternatief is voor traditionele retraining-methoden in de volgende generatie diffusiemodellen.