⚡ electrical engineering

Activation Steering of Video Generation Models via Reduced-Order Linear Optimal Control

Dieses Paper stellt LA-LQR vor, ein Framework für die optimale Steuerung mit reduzierter Ordnung, das Text-zu-Video-Generationsmodelle steuert, indem es geschlossene Regelungs-Feedback-Interventionen in einem niedrigdimensionalen latenten Raum berechnet, um schädliche Inhalte effektiv zu unterdrücken und gleichzeitig die visuelle Qualität sowie die Prompt-Treue zu bewahren.

Ursprüngliche Autoren: Jihoon Hong, Alice Chan, Qiyue Dai, Julian Skifstad, Glen Chou

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jihoon Hong, Alice Chan, Qiyue Dai, Julian Skifstad, Glen Chou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber etwas leichtsinnigen Video-Erstellungs-Roboter. Sie geben ihm eine Textbeschreibung, und er erstellt ein Video. Da dieser Roboter vom gesamten Internet gelernt hat, fügt er manchmal versehentlich Dinge hinzu, die Sie nicht wollten – wie Gewalt, Nacktheit oder urheberrechtlich geschützte Charaktere.

Die Autoren dieser Arbeit, LA-LQR, sind wie eine neue Art von „Fernbedienung“ für diesen Roboter. Anstatt zu versuchen, den Roboter neu zu trainieren (was ewig dauert und ein Vermögen kostet) oder einfach nur „schlechte Wörter“ zu blockieren (was clevere Nutzer leicht austricksen können), haben sie herausgefunden, wie man das Gehirn des Roboters sanft beeinflusst, während er denkt, um das Video in Richtung eines sicheren Ergebnisses zu steuern, ohne die Qualität zu ruinieren.

Hier ist, wie sie es gemacht haben, auf einfache Konzepte heruntergebrochen:

1. Das Problem: Das „Gehirn“ des Roboters ist zu groß

Der interne Denkprozess des Roboters (genannt „Aktivierungen“) ist gewaltig. Stellen Sie sich vor, das Gehirn des Roboters hat 87 Millionen verschiedene Neuronen, die für jedes einzelne Frame eines Videos gleichzeitig feuern.

Alte Methoden versuchten, das gesamte 8-Millionen-Neuronen-Gehirn gleichzeitig zu steuern. Das ist so, als würde man versuchen, einen Supertanker zu steuern, indem man gleichzeitig auf jede einzelne Niete am Rumpf drückt. Das ist rechnerisch unmöglich und führt oft dazu, dass der Roboter verwirrt wird, was in glitschigen, kaputten Videos endet.
Der LA-LQR-Ansatz sagt: „Wir müssen nicht das ganze Gehirn kontrollieren. Wir müssen nur die spezifischen wenigen Neuronen kontrollieren, die entscheiden, ob das Video ‚sicher‘ oder ‚unsicher‘ ist.“

2. Die Lösung: Das „Lenkrad“ in einem winzigen Raum finden

Die Forscher erkannten, dass das Gehirn des Roboters zwar riesig ist, das spezifische Konzept von „Sicherheit“ (oder „roter Farbe“, oder „keine Gewalt“) jedoch nur in einer winzigen, niedrigdimensionalen Ecke dieses Gehirns existiert.

Die Analogie: Stellen Sie sich eine riesige Bibliothek mit Millionen von Büchern vor (das volle Gehirn). Sie suchen nach einem ganz bestimmten Satz über „Sicherheit“. Sie müssen nicht jedes Buch lesen; Sie müssen nur das eine spezifische Regal finden, in dem dieser Satz steht.
Wie sie es gemacht haben: Sie zeigten dem Roboter Paare von Prompts: einen, der das schlechte Element enthält (z. B. „eine nackte Person“) und einen, der es nicht enthält (z. B. „eine bekleidete Person“). Durch den Vergleich der Gehirnaktivität des Roboters für diese beiden Fälle fanden sie den „Differenzvektor“ – die spezifische Richtung im Gehirn, die Sicherheit von Gefahr unterscheidet. Dann bauten sie eine winzige, effiziente Karte (einen „latenten Subraum“) nur für diese Richtung.

3. Der Motor: Die „selbstkorrigierende Tempomat-Steuerung“

Sobald sie dieses winzige „Lenkrad“ gefunden hatten, mussten sie einen Weg finden, es zu drehen, ohne zu übertreiben.

Der alte Weg: Einige Methoden drücken das Lenkrad einfach so fest wie möglich in eine Richtung. Das ist so, als würde man in einem Auto die Bremsen voll durchtreten, weil man leicht vom Kurs abgekommen ist; man schlenkert wild hin und her oder baut einen Unfall (das nennt man „Übersteuerung“, und es ruiniert das Video).
Der LA-LQR-Weg: Sie verwendeten ein mathematisches Framework namens Linear-Quadratic Regulator (LQR). Denken Sie an dies als ein selbstkorrigierendes Tempomat-System für das Video.
- Es prüft ständig: „Sind wir auf dem sicheren Pfad?“
- Wenn der Roboter beginnt, in Richtung Gefahr abzudriften, wendet das System einen winzigen, präzisen Stoß an, um ihn zurückzubringen.
- Wenn der Roboter bereits in die richtige Richtung steuert, tut das System nichts.
- Dies stellt sicher, dass das Video sicher bleibt, ohne seltsame Fehler einzuführen oder die Geschichte, die Sie verlangt haben, zu verändern.

4. Die Ergebnisse: Sichere Videos, keine Glitches

Das Team testete dies an zwei leistungsstarken Videomodellen (Wan2.1 und HunyuanVideo).

Sicherheit: Sie fütterten die Roboter mit Prompts, die darauf ausgelegt waren, Gewalt, Pornografie oder gefährliche Handlungen zu erzeugen. Das LA-LQR-System stoppte erfolgreich das Erscheinen der schlechten Inhalte.
Qualität: Entscheidend war, dass die Videos immer noch großartig aussah. Die Charaktere bewegten sich flüssig, die Beleuchtung war gut und die Geschichte entsprach dem Prompt.
Vergleich: Andere Methoden verhinderten entweder das Auftreten der schlechten Inhalte oder taten dies, indem sie das Video in ein kaputtes, glitschiges Chaos verwandelten. LA-LQR schaffte beides: das Schlechte zu stoppen und das Video hochwertig zu halten.

Zusammenfassung

Kurz gesagt, LA-LQR ist ein intelligentes, leichtgewichtiges „Nudge“-System (Anstoß-System). Es ignoriert die Millionen irrelevanten Details im Gehirn eines Videomodells, findet die wenigen winzigen Hebel, die die Sicherheit kontrollieren, und nutzt einen mathematischen Tempomaten, um das Video sanft von der Gefahr wegzuführen, wodurch sichergestellt wird, dass das Endergebnis sowohl sicher als auch wunderschön ist.

Technisches Resümee: Aktivierungssteuerung von Videogenerationsmodellen mittels reduzierter Ordnung des linearen optimalen Reglers

Problemstellung

Text-zu-Video (T2V)-Modelle, die auf groß angelegten Web-Daten trainiert wurden, erben oft unerwünschte Konzepte, einschließlich Nacktheit, grafischer Gewalt, urheberrechtlich geschützten Materials und Darstellungen öffentlicher Personen. Diese Sicherheitsrisiken erfordern Interventionen, die die Ausgaben einschränken, ohne die visuelle Qualität oder die Prompt-Treue zu opfern. Bestehende Minderungsstrategien stehen vor erheblichen Einschränkungen:

Finetuning erfordert umfangreiche Trainingsressourcen.
Model Editing (Gewichtsmodifikation) kann die Ausgabequalität verschlechtern und unvorhersehbares Verhalten induzieren.
Prompt-Filterung ist anfällig für Jailbreaks und indirekte Prompts.
Bestehende Methoden zur Aktivierungssteuerung sind typischerweise nicht antizipativ; sie wenden feste oder kurzsichtige Interventionen an, die nicht berücksichtigen, wie sich Störungen durch das Modell fortpflanzen. Dies führt häufig zu Übersteuerung, Inhaltsdegradierung oder Sensitivität gegenüber adversen Prompts.

Darüber hinaus ist die direkte Anwendung der optimalen Regelung auf die hochdimensionalen Aktivierungsräume von T2V-Modellen (die 80 Millionen Dimensionen überschreiten können) rechnerisch nicht handhabbar, da Petabytes an Speicher für die Jacobimatrizen des vollen Raums benötigt würden.

Methodik: LA-LQR

Die Autoren schlagen den Latent Activation Linear-Quadratic Regulator (LA-LQR) vor, einen Framework für die optimale Regelung reduzierter Ordnung, der für eine minimal invasive T2V-Steuerung konzipiert ist. Die Methode formalisiert die T2V-Inferenz als dynamisches System und berechnet Closed-Loop-Feedback-Interventionen.

1. Formalisierung von T2V als dynamisches System

Der T2V-Generierungsprozess (basierend auf Diffusion Transformers, oder DiTs) wird als endliches dynamisches System umformuliert, in dem interne Aktivierungen als Zustände dienen. Das System entwickelt sich über Diffusions-Zeitschritte $t \in [T]$ und Transformer-Schichten $l \in [L]$ . Der Zustandsübergang wird durch die Gewichte und die Architektur des Modells gesteuert, wobei Steuersignale als Steuereingänge ( $u_s$ ) auf die Video-Token-Aktivierungen oder Text-Embeddings wirken.

- 2. Konstruktion des reduzierten latenten Raums

Um die Regelung handhabbar zu machen, projiziert LA-LQR hochdimensionale Roh-Aktivierungen ( $x \in \mathbb{R}^{D_{act}}$ ) auf einen niedrigdimensionalen, aufgabenrelevanten latenten Subraum ( $z \in \mathbb{R}^{D_{lat}}$ ), wobei $D_{lat} \ll D_{act}$ gilt.

Kontrastiver Basis-Vektor: Der Subraum wird aus kontrastiven Prompt-Paaren abgeleitet ( $D^+$ enthält das Zielmerkmal, $D^-$ enthält es nicht).
Randomisierte SVD: Die Autoren verwenden eine Streaming Randomized Singular Value Decomposition (SVD) auf den Differenzvektoren dieser Prompt-Paare, um dominante Merkmalsrichtungen zu identifizieren, ohne massive Jacobian-Matrizen materialisieren zu müssen.
Projektion: Die Aktivierungen werden auf diese Basis ( $P_s$ ) projiziert, und die lokalen linearen Dynamiken werden im latenten Raum unter Verwendung von Jacobian-Vektor-Produkten (JVP) geschätzt.

3. Latente lineare Merkmalssollwerte (LLFS)

Innerhalb des latenten Raums definiert die Methode einen Latenten Linearen Merkmalssollwert (Latent Linear Feature Setpoint, LLFS), der die gewünschte Merkmalsstärke repräsentiert.

Eine Merkmalsrichtung $v^z_s$ wird durch Mittelung der projizierten kontrastiven Vektoren berechnet.
Eine Zielstärke $\beta^*_s$ wird über einen Hyperparameter $\lambda$ festgelegt.
Der Tracking-Fehler $\alpha_s$ wird als Differenz zwischen der Zielstärke und der aktuellen projizierten Merkmalsstärke berechnet.

4. Optimale Regelung via LQR

LA-LQR löst ein Linear-Quadratic-Regulator-Problem (LQR) im latenten Raum, um das optimale Steuersignal $u^*_s$ zu bestimmen.

Zielsetzung: Minimierung einer Kostenfunktion, die Abweichungen vom gewünschten Merkmals-Sollwert bestraft und gleichzeitig unnötige Störungen (Control Effort) sanktioniert.
Closed-Loop-Feedback: Im Gegensatz zu Open-Loop-Methoden berechnet LA-LQR einen Feedback-Gewinn $K_s$ via Riccati-Rekursionen. Die Intervention ist $u^*_s = \bar{u}_s - K_s \delta z_s$ , wobei $\delta z_s$ die Abweichung von der nominalen Trajektorie darstellt.
Adaptivität: Der Regler passt sich online an die realisierte latente Aktivierung zu jedem Zeitschritt und jeder Schicht an, antizipiert die natürliche Entwicklung der Aktivierung und interveniert nur dann, wenn es notwendig ist, um den Sollwert zu erreichen.

5. Theoretische Garantien

Das Paper liefert theoretische Schranken, die den Tracking-Fehler des latenten Sollwerts mit der Merkmalssteuerung im Roh-Aktivierungsraum in Beziehung setzen. Es zeigt, dass, falls die Projektion die dominante Merkmalsenergie beibehält (quantifiziert durch $\rho_s$ ) und die projizierten Dynamiken lokal linear sind, der Tracking-Fehler des Rohraum-Merkmals durch den latenten Tracking-Fehler, den Projektionsverlust und die Linearisierungsresiduen begrenzt ist.

Zentrale Beiträge

Formalisierung: Die Autoren formalisieren die T2V-Generierung als endliches dynamisches System und schlagen ein lineares optimales Regelungsframework für die Inferenzzeit-Steuerung vor, woraus minimal invasive Online-Feedback-Interventionen abgeleitet werden.
Handhabbarkeit: Sie führen eine Konstruktion eines reduzierten-ordnung latenten Raums mittels kontrastiver Vektoren ein, was die optimale Regelung für T2V-Modelle handhabbar macht, indem die vollen Aktivierungs-Jacobian-Matrizen vermieden werden.
Theoretische Rechtfertigung: Das Paper quantifiziert den Informationsverlust von Merkmalen während der Projektion und validiert die lokale Linearität des latenten Raums, wodurch Schranken für die Leistung des reduzierten Reglers bereitgestellt werden.
Empirische Validierung: Eine umfassende Evaluierung auf Concept Steering und Video-Safety-Benchmarks zeigt, dass LA-LQR unsichere Generationen reduziert und gleichzeitig die Prompt-Treue sowie die visuelle Qualität bewahrt, wobei es bestehende T2V-Steuerungs- und Safety-Baselines übertrifft.

Ergebnisse

Die Methode wurde auf zwei State-of-the-Art T2V-Modellen evaluiert: Wan2.1-T2V-14B und HunyuanVideo-1.5, unter Verwendung der Benchmarks T2VSafetyBench und SafeSora.

Sicherheitsleistung: LA-LQR erreichte die niedrigsten Verletzungsraten über verschiedene Kategorien hinweg (z. B. Pornografie, Gore, öffentliche Personen, Urheberrecht) im Vergleich zu Baselines wie SAFREE [10], Weight Unlearning [9] und LLM-gestützter Steuerung [69]. Beispielsweise sank die durchschnittliche Verletzungsrate bei Wan2.1 von ~36,9 % (Baseline) auf 14,6 % mit LA-LQR.
Qualitätserhaltung: Die Methode hielt hohe Subject-Consistency-Scores (VBench) aufrecht und erreichte oft Werte, die denen der Baselines entsprachen oder diese sogar übertrafen (z. B. 0,971 vs. 0,964 Durchschnitt für Wan2.1), was darauf hindeutet, dass die Sicherheitsinterventionen die visuelle Kohärenz nicht beeinträchtigten.
Concept Steering: Qualitative Ergebnisse zeigten eine effektive Steuerung von Konzepten (z. B. die Änderung von "rot" zu prominent in einer Szene) mit zunehmender Kontrollstärke, was eine präzise Merkmalsmodulation demonstriert.
Vergleich: Im Gegensatz zu Baselines, die entweder bei gejailbreakten Prompts versagen (Filterung) oder bei aggressiver Abstimmung schwere Artefakte einführen (Weight Editing), balancierte LA-LQR Sicherheit und Qualität erfolgreich durch minimal-norm Störungen aus.

Bedeutung und Ansprüche

Das Paper behauptet, dass LA-LQR einen bedeutenden Schritt nach vorn in der mechanistischen Interpretierbarkeit und Safety-Alignment für generative Videomodelle darstellt. Durch die Behandlung der Inferenz als Regelungsproblem und die Nutzung der optimalen Regelung reduzierter Ordnung erreicht die Methode:

Zuverlässigkeit: Es bietet eine trainingsfreie Lösung zur Inferenzzeit, die robust gegenüber adversen Prompts ist, bei denen Filterung auf Input-Ebene versagt.
Präzision: Es ermöglicht minimal invasive Interventionen und vermeidet die "Übersteuerung" und die visuelle Degradierung, die bei früheren Ansätzen der Aktivierungssteuerung üblich sind.
Skalierbarkeit: Es löst die rechnerische Unhandlichkeit der Kontrolle hochdimensionaler Video-Aktivierungen, indem es niederdimensionale latente Dynamiken nutzt, die aus kontrastivem Lernen abgeleitet wurden.

Die Autoren positionieren LA-LQR als einen vielversprechenden Weg für das zuverlässige, trainingsfreie Alignment von T2V-Modellen und legen nahe, dass die konzeptionelle Steuerung mittels Regelungstheorie effektiv schädliche Ausgaben einschränken kann, während die Nützlichkeit und Qualität generativer Modelle bewahrt bleibt. Sie weisen explizit darauf hin, dass die Methode mit Prompt-Filterung oder Output-Moderation kombiniert werden sollte, da sie einen White-Box-Zugriff voraussetzt und keine absolute Sicherheit gegen alle möglichen adversen Inputs garantiert.