💻 computer science

Is Energy Guidance All You Need? Training-Free Norm Injection for Driving World Models

Diese Arbeit zeigt, dass Steuerbarkeit in Rectified-Flow-Driving-World-Modellen zum Zeitpunkt der Abtastung ohne erneutes Training erreicht werden kann, indem differenzierbare Energiefunktionen injiziert werden, um geplante Trajektorien zu steuern, wobei sie jedoch die Notwendigkeit einer verbesserten Cross-Stream-Kopplung identifiziert, um sicherzustellen, dass das generierte Video diesen gesteuerten Pfaden getreu folgt.

Ursprüngliche Autoren: Xiyan Su, Frank Diermeyer, Markus Lienkamp

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiyan Su, Frank Diermeyer, Markus Lienkamp

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten, eingefrorenen Roboter-Künstler namens „Open-Sora“. Dieser Künstler hat Jahre damit verbracht, Millionen von Fahrvideos zu beobachten, und kann nun unglaublich realistische Szenen von Autos malen, die über Autobahnen rasen. Aber es gibt einen Haken: Der Künstler ist ein wenig rebellisch. Wenn Sie ihn bitten, ein Auto zu malen, das an einer roten Ampel anhält, fährt er vielleicht einfach weiter, weil er denkt, dass ein „cooler Drift“ besser aussieht als „Sicherheitsregeln“.

Normalerweise müssten Sie diesen Roboter wieder zur Schule schicken und ihn monatelang neu trainieren, um ihm neue Regeln beizubringen (wie zum Beispiel „an roten Ampeln halten“). Das ist teuer und langsam.

Die große Frage, die dieses Paper stellt, lautet: Können wir diesen eingefrorenen Künstler steuern, ohne ihn zurück in die Schule zu schicken?

Der Zaubertrick: „Energy Guidance“

Die Autoren haben einen cleveren Trick namens „training-free energy guidance“ ausprobiert. Stellen Sie sich das so vor: Anstatt den Roboter neu zu trainieren, agieren wir wie ein geisterhafter Coach, der direkt neben dem Roboter steht, während er malt.

Der Aufbau: Der Roboter malt gerade eine zukünftige Szene (ein Video) und plant gleichzeitig die Flugbahn eines Autos (eine Trajektorie). Er verwendet ein „Rectified-Flow“-Modell, was nur eine schicke Art zu sagen ist, dass er Schritt für Schritt eine verschwommene Skizze in ein klares Bild verwandelt.
Das Nudeln des Coaches: Bei jedem einzelnen Schritt des Malprozesses schaut sich der Coach die geplante Bahn des Autos an. Wenn die Bahn so aussieht, als würde sie einen Unfall verursachen oder eine Regel verletzen, flüstert der Coach ein „Nudge“ (einen mathematischen Stoß), um das Auto zurück in Richtung Sicherheit zu lenken.
Das Ergebnis: Sie haben dies getestet, indem sie den Roboter baten, ein Auto zu simulieren, das vor einem langsamen Fahrzeug bremst (ein „kontrafaktisches“ Szenario, für das der Roboter nicht trainiert wurde).
- Die gute Nachricht: Der Coach hat funktioniert! Die geplante Bahn des Roboters änderte sich perfekt. In ihren Tests endete das ungesteuerte Auto 13,6 Meter entfernt von dort, wo es hätte anhalten sollen, aber das gesteuerte Auto endete nur 1,3 Meter entfernt. Der Roboter hat es erfolgreich geschafft, während der Fahrt zu bremsen.

Die Wendung der Geschichte: Das Video hat nicht zugehört

Hier wird die Geschichte interessant. Der Roboter sollte das Video und die Bahn zusammen malen, wie zwei Freunde, die Händchen halten. Die Autoren hofften, dass sich das Video automatisch ändern würde, um zur Bahn zu passen (z. B. dass das Auto im Video tatsächlich langsamer wird), wenn sie die Bahn korrigieren würden.

Aber das passierte nicht.

Obwohl der Plan des Roboters sagte „stark bremsen“, sah das Video, das er malte, exakt so aus wie dasjenere, in dem er nicht bremste. Das Auto im Video raste einfach mit voller Geschwindigkeit weiter.

Die Autoren vermuten, dass das Problem in der Art und Weise liegt, wie das Gehirn des Roboters verdrahtet ist. Der Roboter hat zwei getrennte Gedankenströme: einen für das Video und einen für die Bahn. Diese sind durch einen speziellen „Joint Self-Attention“-Mechanismus miteinander verbunden. Die Autoren glauben, dass der Videostrom momentan die Anweisungen des Bahnenstroms ignoriert. Es ist, als würde die linke Hand des Roboters (die Bahn) wild winken, aber die rechte Hand (das Video) tanzt einfach weiter und bemerkt die Änderung gar nicht.

Was kommt als Nächstes?

Das Paper behauptet nicht, das ganze Problem bereits gelöst zu haben. Sie haben bewiesen, dass man den Plan steuern kann, ohne neu zu trainieren, aber sie haben noch nicht herausgefunden, wie man das Video dazu bringt, diesem Plan zu folgen.

Sie schlagen eine Lösung vor: Sie müssen die Video- und die Bahnenströme durch mehr interne Blöcke des Roboters umleiten, damit sie besser miteinander kommunizieren können. Wenn sie das tun, passt das Video vielleicht endlich zum Plan. Wenn sie das tun, wird das Video vielleicht endlich auf den Coach hören.

Bis dahin ist die wichtigste Erkenntnis: Wir haben einen Weg gefunden, einen eingefrorenen Fahr-Roboter sofort neue Verkehrsregeln beizubringen, aber wir müssen immer noch lernen, wie er das sieht, was sein Gehirn plant. Der Roboter weiß, wie man bremst, aber er hat noch nicht gelernt, es auf dem Bildschirm zu zeigen.

Technisches Resümee: Trainingsfreie Norm-Injektion für Fahr-Weltmodelle

Problemstellung

Fahr-Weltmodelle, die auf großen Video-Diffusions-Backbones basieren, sind in der Lage, realistische Sensorströme zu generieren, leiden jedoch unter einem kritischen Mangel an Steuerbarkeit. Aktuelle State-of-the-Art-Strategien zur Durchsetzung von Verkehrsregeln (z. B. Einhaltung von Geschwindigkeitsbegrenzungen, Vermeidung von Kollisionen) erfordern typischerweise entweder ein Fine-Tuning des Backbones für jede neue Einschränkung oder die Konditionierung des Modells auf handgefertigte Layouts (Karten, Bounding Boxes), die während des Trainings fest verankert wurden. Diese Ansätze sind kostspielig in der Skalierung und verhindern, dass ein eingesetztes Modell zur Laufzeit Regeln hinzufügen oder neu priorisieren kann. Die Autoren stellen die zentrale Frage: Erfordert Steuerbarkeit überhaupt ein Training? Speziell: Kann ein eingefrorenes Weltmodell allein durch Interventionen während der Sampling-Phase dazu gesteuert werden, Fahrnormen zu erfüllen?

Methodik

Das Paper schlägt einen trainingsfreien Energy-Guidance-Ansatz vor, der auf ein Rectified-Flow-Fahr-Weltmodell angewendet wird.

1. Modellarchitektur

Der Backbone ist ein eingefrorenes Open-Sora 2.0 MM-DiT (Multi-Modal Diffusion Transformer) Modell, das mittels LoRA darauf nachtrainiert wurde, gemeinsam Folgendes zu denoise:

Zukünftige Videoframes (Bildstrom).
Eine geplante Ego-Trajektorie $x_{ego} \in \mathbb{R}^{T \times d}$ (Textstrom, wobei $T=40$ Frames und $d=4$ Komponenten umfasst: $x, y, \theta, v$ ).
Entscheidend ist, dass das Modell ohne Agenten- oder Karteninformationen trainiert wurde und sich nur auf beobachtete vergangene Frames stützt.

2. Trainingsfreier Guidance-Mechanismus

Die Autoren adaptieren das Konzept der energiebasierten Guidance auf Rectified-Flow-Modelle. Anstatt neu zu trainieren, werden Fahrnormen als differenzierbare Energiefunktionen $E(\cdot)$ injiziert, die auf der vorhergesagten sauberen Ego-Trajektorie $\hat{x}_0$ bei jedem Sampling-Schritt ausgewertet werden.

Der Prozess umfasst:

Einstufigkeitsschätzung (One-Step Estimation): Zum Zeitschritt $t$ schätzt das Modell die saubere Probe $\hat{x}_0$ unter Verwendung des gelernten Geschwindigkeitsfeldes $v_\theta$ :
$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$
Energy Descent: Ein Gradientenschritt wird im Raum der sauberen Trajektorie durchgeführt, um die Energie der Fahrnorm zu minimieren:
$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$
Hierbei ist $E(\hat{x}_0)$ als MSE (Mean Squared Error) zur Anziehung auf ein kontrafaktisches Ziel definiert (z. B. ein Bremsziel, das ein langsames vorausfahrendes Fahrzeug simuliert).
Geschwindigkeitskorrektur (Velocity Correction): Die aktualisierte Schätzung wird zurück in eine Geschwindigkeitskorrektur für die Sampling-ODE umgewandelt:
$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$
Stabilisierung: Um zu verhindern, dass die Trajektorie von der Datenmanifold abdriftet (ein bekanntes Problem bei trainingsfreier Guidance, wenn $\hat{x}_0$ zu Beginn des Samplings ungenau ist), wird die pro-Schritt-Guidance-Korrektur auf ein festes Vielfaches der eigenen Geschwindigkeit des Backbones begrenzt. Ein asymmetrischer Zeitplan $\lambda(t)$ wird verwendet, der die Guidance nahe $t=0$ und $t=1$ auf Null setzt, um numerische Instabilitäten zu vermeiden und dem Prior zu ermöglichen, die globale Struktur zu etablieren.

Zentrale Beiträge

Formulierung: Die Autoren rahmen die Einhaltung von Fahrnormen als ein trainingsfreies Energy-Guidance-Problem auf einem eingefrorenen Rectified-Flow-Weltmodell und zeigen damit, dass Wissen vollständig zur Sampling-Zeit hinzugefügt werden kann.
Empirische Validierung: Sie demonstrieren, dass diese Methode die Ego-Trajektorie eines auf Open-Sora 2.0 basierenden Weltmodells erfolgreich zu einem kontrafaktischen Bremsziel steuern kann (was ein Szenario zur Vermeidung von Auffahrunfällen simuliert), ohne den Backbone neu zu trainieren.
Architektonische Erkenntnis: Das Paper identifiziert eine kritische Einschränkung aktueller gemeinsamer Generierungsarchitekturen: Während die Trajektorie erfolgreich gesteuert wird, folgt das generierte Video der gesteuerten Trajektorie nicht. Die Autoren führen dies auf den spezifischen Kopplungsmechanismus (Joint Self-Attention) im aktuellen Modell zurück, bei dem der Videostrom die durch den Trajektorienstrom induzierten Änderungen nicht propagiert.

Experimentelle Ergebnisse

Die Autoren evaluierten die Methode an 35 Stichproben-Clips unter Verwendung eines kontrafaktischen Bremsziels:

Trajektoriensteuerung: Die Guidance war für die Trajektorie äußerst effektiv. Die geführte Trajektorie endete im Mittel 1,3 Meter vom Bremsziel entfernt, verglichen mit 13,6 Metern bei der ungeführten (faktischen) Trajektorie.
Video-Konsistenz: Trotz der signifikanten Änderung der Ego-Trajektorie spiegelte das generierte Video diese Änderung nicht wider. Der optische Fluss-Unterschied pro Frame zwischen dem geführten und dem ungeführten Video war statistisch ununterscheidbar (eine Änderung von $\lesssim 2\%$ , innerhalb des Rauschens der Variation über die Clips hinweg).
Fazit der Ergebnisse: „Der gesteuerte Plan bewegt die Pixel nicht.“ Der Videostrom bleibt unter der aktuellen Architektur vom Trajektorienstrom entkoppelt.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Einhaltung von Fahrnormen kein Retraining erfordert. Ein eingefrorenes Weltmodell kann seine geplante Ego-Trajektorie zur Sampling-Zeit mittels differenzierbarer Energiefunktionen steuern. Dies bietet einen Weg, um eingesetzte Modelle dynamisch an neue Regeln anzupassen oder Sicherheitsbeschränkungen neu zu priorisieren.

Die Autoren sind jedoch zurückhaltend hinsichtlich der aktuellen End-to-End-Steuerbarkeit. Sie stellen explizit fest, dass die Videogenerierung der gesteuerten Trajektorie noch nicht folgt. Sie identifizieren die Cross-Stream-Kopplung (speziell das Umgehen der Single-Stream-Blöcke in ihrem modifizierten Modell) als das zentrale Hindernis. Das Paper schließt mit der Feststellung, dass das Erreichen echter End-to-End-steuerbarer Rollouts eine tiefere gemeinsame Denoising-Prozedur der Video- und Trajektorienströme erfordert, und schlägt vor, dass das Routing beider Ströme durch die Single-Stream-Blöcke des Backbones der notwendige nächste Schritt ist, um das Video mit der geführten Trajektorie in Einklang zu bringen.

Die Arbeit positioniert sich als Brücke zwischen trainingsfreier Guidance (die zuvor nur auf trajektorienbasierten Modellen angewendet wurde) und steuerbaren Weltmodellen (die zuvor ein Training-time Conditioning erforderten), und hebt die verbleibende architektonische Lücke hervor, die für eine vollständige semantische Kontrolle geschlossen werden muss.