🤖 AI

OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation

Dieses Paper stellt DRIVE-CHOREO vor, ein LLM-choreografiertes Multi-Agenten-Weltmodell, das heterogene Fahrsteuerungen und Multi-View-Geometrie durch eine gemeinsame latente Token-Sequenz und eine Co-Kompressionsstrategie vereinigt, wodurch eine erstklassige Konsistenz erreicht und ein signifikanter Nutzen für nachgelagerte Aufgaben des autonomen Fahrens demonstriert wird.

Ursprüngliche Autoren: Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

Veröffentlicht 2026-06-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Autofahren beizubringen, indem Sie ihm Videos von der Straße zeigen. Der Roboter muss drei Dinge gleichzeitig verstehen: was der Fahrer sagt (Sprache), wo sich die Autos und Straßen befinden (Geometrie) und was die Kameras tatsächlich sehen (Pixel).

Lange Zeit haben KI-Forscher damit gekämpft, diese drei Dinge reibungslos zusammenzuführen. Es ist wie der Versuch, ein Orchester zu dirigieren, bei dem die Geiger die Noten lesen, die Schlagzeuger einen Podcast hören und die Sänger improvisieren, ohne einen Dirigenten zu haben. Das Ergebnis ist oft eine chaotische Aufführung, bei der das Auto plötzlich teleportiert, der Himmel zwischen den Kameras die Farbe wechselt oder der Roboter die Ampeln ignoriert.

Das Paper stellt OMNIDRIVE vor, ein neues System, das wie ein Meister-Regisseur fungiert, um dieses Chaos zu beseitigen. So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Die „entkoppelte“ Crew

Aktuelle KI-Modelle für Fahrvideos behandeln das „Was“ (Sprache) und das „Wo“ (Karten) meist separat vom „Wie es aussieht“ (Video).

Das Problem: Sie versuchen, diese separaten Teile erst dann zusammenzufügen, wenn das Video größtenteils bereits erstellt wurde. Das ist so, als würde man versuchen, eine Karte auf einen Filmbildschirm zu kleben, nachdem der Film bereits angefangen hat zu spielen. Das Ergebnis ist oft ein „Drift“, bei dem die linke Kamera einen Baum sieht, aber die rechte Kamera ein Gebäude, oder das Auto seltsam springt.

2. Die Lösung: Der „Drei-Agenten“-Regisseur

OMNIDRIVE ersetzt das chaotische Zusammenkleben durch ein Team aus drei spezialisierten KI-Agenten (die auf einem großen Sprachmodell basieren), die bereits vor und während der Videoerstellung zusammenarbeiten. Denken Sie an eine Filmproduktion:

Der Architekt (Der Drehbuchautor): Sie geben ihm einen einfachen Prompt wie „Fahre durch eine regnerische Stadt bei Nacht“. Der Architekt übersetzt dies in ein strenges, strukturiertes Skript namens WORLDSCRIPT. Er listet exakt auf, wie das Wetter ist, wohin das Ego-Auto (Ihr Auto) fährt und wo sich andere Autos befinden.
Der Kartograph (Der Szenenbildner): Dieser Agent nimmt das Skript und zeichnet einen „Bauplan“ oder eine spärliche Karte. Er zeichnet nicht das ganze Video, sondern nur die Linien der Straße, die Fahrspuren und die Boxen um andere Autos. Er verwandelt den Text in eine visuelle Karte, die zu den Kamerawinkeln passt.
Der Auditor (Der Qualitätskontrolleur): Während das Video erstellt wird, beobachtet dieser Agent die verschiedenen Kameraperspektiven. Wenn die Frontkamera ein rotes Auto sieht, die Seitenkamera aber ein blaues, ruft der Auditor: „Hey, das passt nicht zusammen!“ und weist das System an, es sofort zu korrigieren.

3. Das Geheimrezept: „Latente Ko-Kompression“

Dies ist die technischste, aber entscheidende Innovation des Papers. Normalerweise betrachtet eine KI die sechs Kameras eines Autos separat, als würde man durch sechs verschiedene Fenster nacheinander schauen.

OMNIDRIVE macht etwas anderes. Es nimmt das Video aus allen sechs Kameras und den „Bauplan“ des Kartographen und fügt sie alle zu einem einzigen, langen Datenstreifen zusammen, noch bevor die KI überhaupt mit der Generierung des Videos beginnt.

Die Analogie: Stellen Sie sich vor, Sie haben sechs verschiedene Puzzleteile. Anstatt zu versuchen, sie zusammenzufügen, nachdem Sie sie bemalt haben, kleben Sie sie zuerst alle auf ein großes Brett. Dann malen Sie das gesamte Brett auf einmal an. Da sie auf dem Brett physisch miteinander verbunden sind, fließt die Farbe (das Video) ganz natürlich von einer Kamera zur nächsten, ohne Lücken oder Fehler.
Das Ergebnis: Die KI „sieht“ die 3D-Welt als ein einziges, einheitliches Objekt und nicht als sechs separate 2D-Bilder. Dies stellt sicher, dass, wenn sich ein Auto links befindet, es auch auf der rechten Seite genau dort ist, wo es sein sollte.

4. Das Ergebnis: Ein perfekt abgestimmter Film

Da Sprache, Karte und Video von Beginn an gemeinsam „choreografiert“ werden:

Kein mehr Ghosting: Autos verschwinden nicht oder teleportieren nicht zwischen den Kameraperspektiven.
Perfekte Konsistenz: Licht und Schatten passen über alle sechs Kameras hinweg perfekt zusammen.
Praxisnutzen: Das Paper zeigt, dass, wenn man das Gehirn eines selbstfahrenden Autos nur mit von OMNIDRIVE erstellten Videos trainiert, das Auto in der realen Welt tatsächlich besser fährt als Autos, die nur mit echtem Filmmaterial trainiert wurden.

Zusammenfassung

OMNIDRIVE ist wie ein Super-Leiter für die Generierung von Fahrvideos. Anstatt zuzulassen, dass Sprache, Karten und Kameras miteinander streiten, zwingt es sie, am selben Tisch zu sitzen, dieselbe Sprache zu sprechen und in perfekter Synchronität zu agieren. Das Ergebnis ist eine Fahrsimulation, die so realistisch und konsistent ist, dass sie echte Autos tatsächlich lehren kann, sicher zu fahren.

Technisches Resümee: OMNIDRIVE

1. Problemstellung

Autonome Fahr-Weltmodelle stehen vor zwei hartnäckigen, ungelösten Spannungsfeldern, die die Generierung hochgradig realistischer, steuerbarer Multi-View-Videos behindern:

Heterogene Steuerungsinjektion: Bestehende Systeme haben Schwierigkeiten, grundlegend verschiedene Steuerungsmodalitäten zu vereinheitlichen. Geometrische Hinweise (HD-Maps, 3D-Boxen, Kameraposen) sind räumlich am Pixelgitter verankert, während semantische Hinweise (freier Text, Wetter, Stil) global diffus sind. Aktuelle Ansätze nutzen typischerweise getrennte Zweige (z. B. ControlNet für Geometrie, Cross-Attention für Text), die bis zum Diffusionsprozess getrennt bleiben und erst post-hoc zu versuchen, sie zu vereinen.
Post-hoc Cross-View-Fusion: Die meisten Methoden komprimieren jede Kameraansicht unabhängig über separate 3D-VAEs und fusionieren sie erst später über Cross-View-Attention. Dies führt zu kamera-lokalen Latents, denen das globale 3D-geometrische Bewusstsein fehlt, was zu anhaltenden Problemen wie Cross-View-Drift, photometrischem Flackern und Objekt-Teleportation führt, selbst wenn die Qualitätsmetriken der einzelnen Ansichten (FID) konkurrenzfähig sind.

Die Autoren argumentieren, dass die Ursache für beide Fehler in der Abwesenheit einer gemeinsamen symbolischen Interlingua liegt, die Sprache, Geometrie und Pixel auf der Latent-Token-Ebene aufeinander abstimmt.

2. Methodik

OMNIDRIVE definiert die steuerbare Multi-View-Videogenerierung als ein Problem der latenten Choreografie, das von einem Multi-Agenten-System orchestriert und durch eine neuartige Kompressionsstrategie vereinheitlicht wird.

A. LLM-choreografiertes Multi-Agenten-System

Anstatt einer monolithischen Prompt-zu-Encoder-Pipeline verwendet OMNIDRIVE drei spezialisierte Qwen2.5-VL Agenten, die kollektiv eine einzige, positionsbewusste Tokensequenz erstellen:

ARCHITECT: Analysiert freie Benutzer-Prompts in ein strukturiertes WORLDSCRIPT (JSON). Dieses Skript kodiert den globalen Zustand (Wetter, Zeit), die Ego-Trajektorie, Agentenlisten (Klassen, Positionen, Verhaltensweisen) und die Straßen-Topologie. Das Ergebnis wird als semantische Tokens ( $C_{sem}$ ) eingebettet.
CARTOGRAPHER: Verankert das WORLDSCRIPT in der räumlichen Geometrie. Er rendert programmatisch spärliche Layout-Bilder (gerasterte HD-Maps, projizierte 3D-Boxen, Ego-Ribbons) für jede Kamera und jeden Zeitschritt. Diese Layouts werden in geometrische Tokens ( $C_{geo}$ ) kodiert, die exakt dieselben Positionsindizes wie die visuellen Tokens teilen.
AUDITOR: Während des Trainings konsumiert dieser Agent dekodierte Multi-View-Crops und das WORLDSCRIPT, um strukturierte Kritiken (Konsistenzscores und Fehlermodi-Tags) zwischen Kamera-Paaren zu generieren. Diese werden als Review-Tokens ( $C_{rev}$ ) eingebettet, um eine zusätzliche Supervision zu bieten.

B. Latente Ko-Kompression

Um das Problem der Cross-View-Konsistenz zu lösen, führt OMNIDRIVE Latente Ko-Kompression ein, die die unabhängige pro-Kamera-Kodierung durch einen vereinheitlichten Prozess ersetzt:

View-Time-Permutation ( $\Pi$ ): Der sechs-Kamera $\times$ Zeit Video-Kubus wird in einen pseudo-temporalen Stream flachgedrückt, wobei die zeitliche Dimension als $\tilde{t} = (n-1)T + t$ definiert ist. Diese Permutation wird identisch auf den RGB-Videostream und die geometrischen Layout-Bilder des CARTOGRAPHER angewendet.
Vereinheitlichter 3D-VAE: Ein einziger 3D-VAE (vortrainiert auf generischen Videos) kodiert den permutierten Tensor. Da die Permutation metrik-erhaltend und orthogonal ist, bleibt die Lipschitz-Konstante des Encoders erhalten.
View-Block-Aware Padding (VBP): Um zu verhindern, dass das konvolutionale Rezeptivfeld verschiedene Kameraansichten überschreitet (was unzusammenhängende räumliche Kontexte mischen würde), wird ein lernbarer Maskierungsoperator angewendet. Dies stellt sicher, dass temporale Kerne Informationen nur aus demselben Augenblick über die Ansichten hinweg aggregieren, was die Inter-Kamera-Varianz reduziert.
Gemeinsamer Noise-Endpoint: Für Ansichten, die zum selben physischen Zeitpunkt aufgenommen wurden, wird der Noise-Endpoint ( $z_1$ ) in der Flow-Matching-Formulierung geteilt, was die photometrische Varianz weiter reduziert.

C. Choreografierte Generierung (MM-DiT)

Der ko-komprimierte Latent wird in Patches zerlegt und mit den von den Agenten erstellten Tokens ( $C_{sem}, C_{geo}, C_{tmp}, C_{rev}$ ) zu einer einheitlichen Sequenz $S$ zusammengefügt.

Positions-Schema: Geometrische Tokens ( $C_{geo}$ ) teilen dieselben 3D-Positionsindizes $(\tilde{t}, i, j)$ wie die visuellen Tokens ( $X$ ), was eine pixelgenaue geometrische Erdung erzwingt. Semantische Tokens sind versetzt, und temporale Tokens sind sinusförmig.
Biased Attention: Ein steuerbarer Bias wird auf den multi-modalen Attention-Mechanismus angewendet, der speziell die Attention zwischen visuellen Tokens und geometrischen Tokens ( $X$ und $C_{geo}$ ) über einen Skalar-Gain $\gamma_{geo}$ verstärkt. Dies kollabiert die Multi-Branch-Cross-Attention in einen einzigen Self-Attention-Mechanismus mit expliziter Positionsausrichtung.

D. Training und Inferenz

Verlustfunktion: Das Modell wird mittels Conditional Flow Matching ( $L_{CFM}$ ) trainiert, kombiniert mit einem Äquivarianz-bewussten Glättungsterm ( $L_{sm}$ ), der unphysikalische latente Sprünge bestraft, sowie einem AUDITOR-Loss ( $L_{rev}$ ), der die Geschwindigkeitsdiskrepanzen zwischen Ansichten mit den Konsistenzscores des Kritikers abgleicht.
Inferenz: Die Generierung erfolgt über einen Rectified-Flow-ODE-Solver (Heun-Schritte). Der AUDITOR kann optional zur Testzeit aufgerufen werden, um Zwischenproben zu bewerten und einen einzelnen Verfeinerungsschritt auszulösen, falls die Konsistenzscores unter einen Schwellenwert fallen.

3. Zentrale Beiträge

OMNIDRIVE-Architektur: Das erste Multi-Agenten-Driving-Weltmodell, das Sprachverständnis, geometrisches Layout und Pixelgenerierung in einem einzigen positionsbewussten Token-Grid vereint.
Latente Ko-Kompression: Eine neuartige View-Time-Permutationsstrategie, die inter-kamerale 3D-Constraints in lokale konvolutionale Abhängigkeiten innerhalb eines gemeinsamen 3D-VAEs transformiert und so die Notwendigkeit einer Post-hoc-Fusion eliminiert.
LLM-choreografierte Konditionierung: Ein Framework, bei dem drei spezialisierte Agenten (ARCHITECT, CARTOGRAPHER, AUDITOR) eine Konditionierungssequenz erstellen, die auf der Token-Ebene an das visuelle Grid gebunden ist, was eine feingliedrige, entkoppelte Steuerung ermöglicht.
State-of-the-Art Performance: Das Modell setzt neue Benchmarks auf dem nuScenes-Datensatz für Multi-View-Konsistenz und Steuerbarkeit.

4. Experimentelle Ergebnisse

Evaluierung auf dem nuScenes-Validierungsset (6 Kameras, 32 Frames, 880×1280 Auflösung):

Qualität & Konsistenz: OMNIDRIVE erreicht ein FVD von 45,7 und einen Multi-View-Konsistenzscore (PC) von 65,6 %, womit es Baselines wie MagicDrive-V2 (FVD 64,8, PC 62,8 %) und UniMLVG deutlich übertrifft. Es reduziert den epipolaren photometrischen Fehler (EPC) um ca. 28 % gegenüber dem zweitbesten Modell.
Steuerbarkeit: Das Modell erreicht ein BEV mAP von 21,55 und ein mIoU von 18,87 auf generierten Daten und übertrifft damit alle anderen Methoden.
Downdownstream-Nutzen: Ein Detektor (BEVFormer-S), der rein auf 20k synthetischen Clips von OMNIDRIVE trainiert wurde, erreicht 36,8 mAP und 44,0 NDS auf realen nuScenes-Validationsdaten. Dies entspricht einer Verbesserung von +2,4 NDS gegenüber einer Baseline, die nur mit realen Daten trainiert wurde, was den hohen Nutzen des synthetischen Korpus validiert.
Effizienz: OMNIDRIVE operiert an der Pareto-Front von Qualität vs. Latenz und generiert Clips in 9,6 Sekunden (2,4× schneller als UniMLVG) bei geringerem Speicherverbrauch.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass OMNIDRIVE den langjährigen Trade-off zwischen Fidelität und Steuerbarkeit in Driving-Weltmodellen löst. Durch die Etablierung einer „gemeinsamen symbolischen Interlingua“, bei der symbolische Sprache, gerenderte Geometrie und Pixel-Latents einen vollständig abgestimmten Koordinatenrahmen teilen, ermöglicht das System:

Echte Steuerbarkeit: Benutzer können einzelne Felder im WORLDSCRIPT austauschen (z. B. Wetter, Trajektorie), um gezielt nur ein Attribut zu ändern, ohne andere zu beeinflussen, was eine feingliedrige, entkoppelte Kontrolle demonstriert.
Geometrische Erdung: Der Ko-Kompressionsansatz stellt sicher, dass geometrische Constraints auf der Latent-Ebene respektiert werden, was den „Cross-View-Drift“ und die „Objekt-Teleportation“ verhindert, die bei unabhängigen Kodierungsschemata üblich sind.
Praktischer Nutzen: Die generierten Daten sind nicht nur visuell plausibel, sondern funktional wertvoll, da sie die Leistung nachgeschalteter Wahrnehmungsmodelle, die auf realen Daten trainiert wurden, direkt verbessern.

Die Autoren positionieren OMNIDRIVE als einen grundlegenden Schritt hin zu „echter Steuerbarkeit“ in generativen Weltmodellen, indem sie über disloziertes Control-Streaming hinausgehen und zu einem vereinheitlichten, agenten-koordinierten Generierungsprozess übergehen.