💻 computer science

Pulling The REINS: Training-Free Safety Alignment of Video Diffusion Models via Representation Steering

Het artikel introduceert REINS, een training-vrije methode die videodiffusiemodellen uitlijnt door hun interne representaties tijdens de inferentie te sturen naar veilige generatie, waarbij gebruik wordt gemaakt van een enkele lineaire richting ontdekt via Supervised PCA om schadelijke inhoud effectief te blokkeren over diverse modellen en schalen heen zonder de algemene capaciteiten te verslechteren.

Oorspronkelijke auteurs: Rohit Kundu, Arindam Dutta, Sarosij Bose, Athula Balachandran, Amit K. Roy-Chowdhury

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rohit Kundu, Arindam Dutta, Sarosij Bose, Athula Balachandran, Amit K. Roy-Chowdhury

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Het Wilde Paard

Stel je een krachtige video-makende AI (een "Video Diffusion Model") voor als een wild paard. Dit paard is ongelooflijk talentvol; het kan galopperen naar fotorealistische scènes van alles wat je maar vraagt. Omdat het paard echter wild is, zal het zonder problemen precies doen wat je vraagt als je iets gevaarlijks vraagt (zoals "laat een gevecht zien" of "maak nepnieuws").

Momenteel proberen mensen dit paard op twee manieren te stoppen, maar beide hebben grote gebreken:

De Poortwachter (Prompt Filtering): Je probeert het paard te stoppen voordat het zelfs maar begint te rennen door je verzoek te controleren. Als je "gevecht" zegt, word je geblokkeerd. Maar een slimme bedrieger kan simpelweg zeggen "een dramatische scène van conflict", en het paard rent zo door de poort heen.
De Vuilnisbak (Output Filtering): Je laat het paard rennen, maakt de video, en controleert dan het resultaat. Als het gevaarlijk is, gooi je het in de vuilnisbak. Dit verspilt alle energie en tijd die het kostte om de video te maken, en het paard heeft nog steeds geleerd hoe het dat gevaarlijke pad moet rennen.

De Oplossing: REINS (Het Stuur)

De auteurs introduceren REINS (REpresentation-space INference-time Safety steering). In plaats van het paard te blokkeren of de video weg te gooien, werkt REINS als een stuur dat direct aan de hersenen van het paard is bevestigd terwijl het rent.

Het traint het paard niet opnieuw (geen dure onderwijssessies). Het verandert de spieren van het paard niet (geen gewichtsaanpassingen). Het stuurt simpelweg de interne gedachten van het paard in een veilige richting terwijl het de video genereert.

Hoe het werkt: De "Veiligheidscompas"

1. De "Veiligheidslijn" vinden
De onderzoekers ontdekten dat er in de hersenen van de AI (specifiek in de "hidden states" of interne gedachten) een duidelijke, rechte lijn bestaat die "veilige" ideeën van "onveilige" ideeën scheidt.

De Analogie: Stel je voor dat de hersenen van de AI een enorme kaart zijn. Alle "onveilige" video's zijn geclusterd aan de linkerkant, en alle "veilige" video's aan de rechterkant.
De Ontdekking: Met een wiskundige truc genaamd Supervised PCA vonden ze één pijl (een richting) die recht van de "onveilige" kant naar de "veilige" kant wijst.

2. Het Perfecte Moment om te Sturen
Je kunt een auto niet sturen aan het begin van de reis (de kaart is er nog niet) of aan het einde (de auto is al gecrasht).

Het paper vond dat het beste moment om de duw toe te passen in het midden van het proces is (ongeveer {% 50} van de videogeneratie door).
De Analogie: Het is als het sturen van een schip terwijl het midden op de oceaan is. Als je te vroeg stuurt, heeft het schip nog niet genoeg momentum om te draaien. Als je te laat stuurt, botst het schip al tegen de rotsen. De "middelste laag" is het ideale punt waar de AI genoeg informatie heeft om het verzoek te begrijpen, maar nog flexibel genoeg is om van gedachten te veranderen.

3. De Zachte Duw
Wanneer de AI een video genereert, voegt REINS een kleine, berekende duw toe aan de interne gedachten, gericht naar de "veilige" kant van de kaart.

Het Resultaat: Als je vraagt om een "gewelddadig gevecht", weigert de AI niet alleen. In plaats daarvan volgt de AI het stuur en genereert het een "dramatische confrontatie" of een "sportwedstrijd". Het behoudt de geest van je verzoek (actie, beweging) maar vervangt de gevaarlijke inhoud voor iets veiligs.

Waarom dit bijzonder is

Het is Onzichtbaar: De AI weet niet dat hij wordt gestuurd. Hij denkt gewoon dat hij op een natuurlijke manier een video genereert.
Het is Robuust: Zelfs als een hacker probeert de AI te misleiden met een sluwe prompt (jailbreaking), werkt het "stuur" nog steeds omdat het de gedachten corrigeert, niet alleen de woorden.
Het is Snel: Het vereist geen hertraining van de AI. Je berekent de richting één keer, en daarna kun je het gebruiken voor elke video die de AI maakt.
Het Werkt Overal: De auteurs testten dit op 9 verschillende videomodellen (van klein tot groot) en het werkte op alle modellen, of je nu tekst typt of een afbeelding uploadt om de video te starten.

De Afweging (De "Goldilocks"-zone)

Het paper merkt een fascinerende ontdekking op: veiligheidsinformatie bouwt zich op naarmate de AI dieper nadenkt, maar het vermogen om de AI van gedachten te veranderen wordt zwakker naarmate je dieper gaat.

Te Ondiep: De AI heeft nog niet genoeg nagedacht; het sturen heeft geen effect.
Te Diep: De AI heeft al besloten wat hij gaat doen; het duwen veroorzaakt nu glitches of breekt de video.
Precies Goed: De middelste lagen zorgen ervoor dat de AI het verzoek begrijpt, maar nog flexibel genoeg is om naar veiligheid te draaien.

Samenvatting

REINS is als het installeren van een GPS-gestuurde autopilot in een wild, video-makend paard. Het stopt het paard niet met rennen, en het hoeft het paard geen nieuwe trucjes te leren. Het stuurt simpelweg de interne gedachten van het paard zachtjes weg van gevaarlijke kliffen en naar veilige, schilderachtige paden, zodat de uiteindelijke video prachtig maar ongevaarlijk is.

Technische Samenvatting: Pulling The REINS: Training-Free Safety Alignment of Video Diffusion Models via Representation Steering

Probleemstelling

Open-source videodiffusiemodellen (VDM's) hebben de synthese van hoogwaardige video gedemocratiseerd, maar vormen aanzienlijke veiligheidsrisico's omdat ze in staat zijn om fotorealistische content te genereren die geweld, seksueel expliciete inhoud of desinformatie afbeeldt. Bestaande verdedigingsmechanismen lijden aan fundamentele beperkingen:

Prompt-niveau filtering: Gemakkelijk te omzeilen via adversariële herformulering, jailbreaking of indirecte formuleringen.
Output-niveau filtering: Verspilt computationele middelen door onveilige content te genereren om deze vervolgens te verwijderen, en blijft kwetsbaar voor handmatieve interventie.
Veiligheid-fine-tuning: Vereist dure training op grote geannoteerde datasets, brengt het risico met zich mee dat algemene generatiecapaciteiten worden aangetast, en is niet haalbaar voor alle open-source modellen.

Cruciaal is dat huidige methoden niet ingrijpen in het interne generatieproces van het model. Onveilige content wordt voortdurend gecodeerd en voortgeplant door transformer-blokken en denoising-stappen, ongeacht of de uiteindelijke output wordt gefilterd.

Methodologie: REINS

De auteurs stellen REINS voor (REpresentation-space INference-time Safety steering), een training-vrije methode die VDM's uitlijnt door hun interne verborgen-toestand representaties (hidden-state representations) tijdens de inferentie te sturen naar veilige generatie-trajecten.

Kernhypothese

Veiligheidsrelevante structuren in VDM's zijn lineair gecodeerd in de hidden-state activaties van de transformer-lagen. Een enkele richting in de activatieruimte kan veilige van onveilige generatie-trajecten scheiden.

Technische Workflow

Offline Kalibratie (Training-Vrij):
- Data Generatie: Een kleine set video's wordt gegenereerd vanuit veiligheidskritische prompts met behulp van het basis-VDM.
- Labeling: Een vooraf getrainde veiligheidsclassificator wijst binaire labels (veilig/onveilig) toe aan deze video's.
- Feature Extractie: Hidden-state activaties worden opgenomen bij intermediaire transformer-lagen tijdens de vroege denoising-stappen.
- Richting Ontdekking (SPCA): De auteurs gebruiken Supervised Principal Component Analysis (SPCA) om een richting $\delta$ in de activatieruimte te vinden die veilige en onveilige generaties maximaal scheidt op basis van de binaire labels. Dit wordt geformuleerd als het maximaliseren van de Hilbert-Schmidt Independence Criterion (HSIC) tussen geprojecteerde representaties en veiligheidslabels.
- Laag Selectie: De optimale interventielaag $l^*$ wordt geselecteerd door de "SPCA-score" (sterkte van lineaire veiligheidsstructuur) af te wegen tegen de capaciteit voor downstream propagatie. Empirisch gezien piekt de effectiviteit bij intermediaire lagen ( $\sim$ 50% diepte), wat een trade-off onthult tussen informatiebeschikbaarheid en propagatiecapaciteit.
Inference-Time Steering:
- Perturbatie: Tijdens de eerste helft van het denoising-proces wordt de vooraf berekende richting $\delta$ toegevoegd aan de hidden states van de geselecteerde laag $l^*$ .
- Norm Behoud: Om visuele artefacten (bijv. verzadiging, kleurdrift) te voorkomen die worden veroorzaakt door ruwe additieve perturbaties, schaalt de methode de geperturbeerde activaties om de per-kanaal $\ell_2$ -norm van de originele hidden states te behouden.
- CFG Consistentie: Bij gebruik van Classifier-Free Guidance (CFG) wordt de perturbatie identiek toegepast op zowel de conditionele als de onconditionele takken voordat deze worden gecombineerd, om visuele coherentie te behouden.
- Sterkte Kalibratie: Een heuristiek gebaseerd op de ratio tussen de hidden-state norm en de cosinus-alignment met de sturingsrichting maakt het mogelijk om de optimale sturingssterkte $\lambda$ te schatten zonder uitgebreid hyperparameteronderzoek.

Belangrijkste Bijdragen

Eerste Training-Vrije Video Veiligheidsuitlijning: REINS is de eerste methode die video-diffusiemodellen uitlijnt tijdens de inferentie zonder gewichten aan te passen, opnieuw te trainen of concepten te enumereren.
Mechanistisch Inzicht: Het papier onthult dat hoewel veiligheidsinformatie monotoon accumuleert met de transformer-diepte, de effectiviteit van het sturen niet-monotoon is en piekt bij intermediaire lagen. Dit legt een fundamentele trade-off bloot tussen informatiebeschikbaarheid en downstream propagatiecapaciteit.
Generaliseerbaarheid: De methode wordt gevalideerd over 9 diverse VDM's (inclusief CogVideoX, Wan2.1, Mochi-1, Allegro, LTX-Video) variërend van 1.3B tot 5B parameters, waarbij zowel Text-to-Video (T2V) als Image-to-Video (I2V) paradigma's worden gedekt.
Robuustheid: In tegen tegenstelling tot prompt-filters opereert REINS op interne representaties, waardoor het robuust is tegen adversariële prompts (bijv. MMA-Diffusion aanvallen) die oppervlakkige verdedigingen omzeilen.

Experimentele Resultaten

Geëvalueerd op SafeSora en SafeWatch-Bench, vertoont REINS consistente verbeteringen:

Veiligheidspercentage: Behaalde gemiddelde winsten in veiligheidspercentage van +0.22 op SafeSora en +0.21 op SafeWatch-Bench over alle modellen. In extreme gevallen (bijv. Wan2.2-TI2V-5B) verbeterden de veiligheidspercentages van bijna nul naar significante niveaus.
Kwaliteitsbehoud: In tegen tegenstelling tot noise-space steering (die de generatiekwaliteit doet instorten) of prompt-filtering (die geldige outputs blokkeert), behoudt REINS de visuele en bewegingskwaliteit. Op SafeWatch-Bench verbeterde het sturen naar de veilige manifold incidenteel de bewegingskwaliteit in gevallen waar adversariële prompts zorgden voor incoherente beweging.
Vergelijking: REINS presteerde beter dan noise-space steering (PolyJuice-stijl) en prompt-niveau filtering (LlamaPromptGuard-2), met name onder adversariële condities waar filtering faalde.

Betekenis en Claims

Het artikel claimt dat REINS een fundamentele verschuiving in veiligheidsuitlijning vertegenwoordigt, van het filteren van inputs/outputs naar het interveniëren binnen het generatieproces.

Lineaire Toegankelijkheid: Het stelt vast dat veiligheid in video-diffusietransformers een laag-dimensionale, lineair toegankelijke eigenschap is van hidden states, analoog aan bevindingen in Large Language Models (LLM's).
Efficiëntie: De methode vereist minimale computationele overhead, geen gewicht-updates en geen trainingsdata buiten een kleine kalibratieset.
Robuustheid: Door zich te richten op de interne representatie in plaats van de prompt-oppervlakte, biedt REINS een verdedigingsmechanisme dat structureel resistent is tegen prompt-gebaseerde adversariële aanvallen.

De auteurs merken beperkingen op, specifaal dat de methode afhankelijk is van lineaire afhankelijkheid (niet-lineaire veiligheidscodering zou kernel-formuleringen vereisen) en dat het framework theoretisch gekeerd zou kunnen worden voor kwaadwillige doeleinden, hoewel zij zich expliciet tegen dergelijk gebruik verzetten en geen onveilige kalibratiesets vrijgeven.