🤖 AI

OmniV2X: A Generative Foundation Planner for Efficient End-to-End Cooperative Driving

OmniV2X ist ein generatives Foundation-Modell für das Vehicle-to-Everything (V2X)-kooperative Fahren, das Cross-Attention-Injection und das Pre-Training auf großskaligen Single-Agent-Daten nutzt, um im Vergleich zu bestehenden Methoden eine State-of-the-Art-Leistung bei signifikant reduzierten Rechenkosten, Datenanforderungen und Kommunikationsbandbreiten zu erzielen.

Ursprüngliche Autoren: Juntong Peng, Juanwu Lu, Yupeng Zhou, Can Cui, Yaobin Chen, Ziran Wang

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Juntong Peng, Juanwu Lu, Yupeng Zhou, Can Cui, Yaobin Chen, Ziran Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fahren ein Auto. Normalerweise verlässt sich Ihr Auto ganz auf seine eigenen „Augen“ (Kameras und Sensoren), um die Straße zu sehen. Aber genau wie Sie hat auch das Auto tote Winkel. Wenn ein großer Lkw Ihre Sicht auf einen Fußgänger versperrt, der hinter ihm auf die Straße tritt, erkennt Ihr Auto ihn vielleicht erst, wenn es zu spät ist.

Hier kommt OmniV2X ins Spiel. Betrachten Sie es als einen superintelligenten, kooperativen Fahrassistenten, der es Autos ermöglicht, „miteinander zu sprechen“ und mit der Verkehrsinfrastruktur (wie intelligenten Straßenlaternen) zu kommunizieren, um um Ecken herumzusehen.

So erklärt das Paper OmniV2X, unterteilt in einfache Konzepte:

1. Der alte Weg: Der Versuch, zu viele Daten zu verschmelzen

Frühere Methoden versuchten, dieses Problem zu lösen, indem sie Autos dazu brachten, riesige, detaillierte 3D-Karten dessen, was sie sehen, aneinander zu senden.

Die Analogie: Stellen Sie sich vor, Sie möchten ein Geheimnis mit einem Freund teilen, indem Sie ihm ein 500-seitiges Fotoalbum Ihres gesamten Tages per Post schicken. Das ist langsam, teuer (in Bezug auf die Datenkosten) und wenn Ihr Freund eine andere Kamera als Sie verwendet, ergeben die Fotos für ihn vielleicht keinen Sinn.
Das Problem: Dies erfordert eine massive Internetbandbreite, braucht viel Rechenleistung zur Verarbeitung und ist sehr anfällig, falls die Daten nicht perfekt aufeinander abgestimmt sind.

2. Der OmniV2X-Weg: Der „Smart Chat“-Ansatz

OmniV2X verändert die Spielregeln. Anstatt schwere 3D-Karten zu senden, behandelt es das Fahren als eine Erzählaufgabe.

Die Analogie: Anstatt ein Fotoalbum zu verschicken, sendet Ihr Auto eine kurze, standardisierte Textnachricht an ein zentrales „Gehirn“. Die Nachricht lautet etwa: „Da ist ein Auto 20 Meter vor mir, das nach links fährt,“ oder „Ein Fußgänger befindet sich in der Nähe des Zebrastreifens.“
Wie es funktioniert: Das „Gehirn“ des Autos (der Generative Foundation Planner) ist wie ein hochtrainierter Autor. Er hat bereits gelernt, gute Fahrgeschichten zu schreiben (wie man sicher fährt), indem er Millionen von Büchern (Fahrdaten) von einzelnen Autos gelesen hat. Wenn er nun diese kurzen Textnachrichten (V2X-Token) von der Straße erhält, fügt er sie einfach der Geschichte hinzu, die er gerade schreibt, und entscheidet über den nächsten Schritt.

3. Warum es so effizient ist

Das Paper hebt drei Hauptsuperkräfte dieses neuen Systems hervor:

Es ist ein Datensparer (Die „1%-Regel“):
Normalerweise erfordert das Erlernen des autonomen Fahrens mit Unterstützung durch die Umgebung eine enorme Menge an neuen Daten. OmniV2X ist so intelligent, dass es lernen kann, kooperativ zu fahren, indem es weniger als 10 % der üblichen Daten benötigt. Es ist wie ein Schüler, der die Mathematik bereits beherrscht und nur noch ein paar neue Kapitel lesen muss, um ein neues Thema zu verstehen, anstatt die Schule von Grund auf neu zu beginnen.
Es ist ein Bandbreiten-Sparer (Die „winzige Textnachricht“):
Da es einfache, standardisierte Nachrichten statt schwerer 3D-Karten sendet, nutzt es weniger als 1 % der Internetbandbreite, die andere Methoden benötigen. Es ist der Unterschied zwischen dem Versenden einer 500-seitigen PDF-Datei und einer schnellen Textnachricht.
Es ist ein Geschwindigkeitsmonster:
Es läuft unglaublich schnell (bis zu 29 Mal pro Sekunde) und benötigt keinen Supercomputer dafür. Es kann auf kleinerer, günstigerer Hardware laufen, da es keine schweren 3D-Zahlen berechnen muss.

4. Wie es mit Fehlern und der Realität umgeht

Die Forscher haben dieses System unter schwierigen Bedingungen getestet:

Verrauschte Daten: Was passiert, wenn das GPS leicht ungenau ist oder die Kamera ein Auto übersieht? Das System ist robust; es kann immer noch sicher fahren, selbst wenn die erhaltenen Informationen etwas „unscharf“ oder verzögert sind.
Realitätstest: Sie testeten es auf einem Parkplatz mit versteckten Fußgängern. Als ein Fußgänger hinter einem Auto auftauchte, sah OmniV2X (durch die „zusätzlichen Augen“ der V2X-Nachrichten) ihn frühzeitig und bremste sanft ab, um einen Unfall zu vermeiden.

Das Fazit

OmniV2X ist eine neue Art und Weise, wie selbstfahrende Autos kooperieren können. Anstatt zu versuchen, komplexe 3D-Bilder zu verschmelzen (was langsam und teuer ist), nutzt es ein „generatives“ Gehirn, das einfachen, standardisierten Updates von der Straße zuhört und sofort den sichersten Weg nach vorne findet. Es ist schneller, günstiger und benötigt beim Lernen viel weniger Daten als bisherige Methoden.

Technisches Resümee: OmniV2X

Problemstellung

End-to-End (E2E) autonome Fahrsysteme sind fundamental durch egozentrische Wahrnehmung begrenzt, insbesondere in komplexen städtischen Umgebungen, in denen physische Verdeckungen die Sicht einschränken. Während Vehicle-to-Everything (V2X) kooperatives Fahren eine Lösung bietet, indem es die Wahrnehmung durch Infrastruktur-Sharing erweitert, stehen bestehende E2E-kooperative Methoden vor drei systemischen Engpässen:

Hoher Kommunikationsaufwand: Die Übertragung dichter Bird's-Eye-View (BEV)-Merkmale oder modellspezifischer Zwischenrepräsentationen erfordert erhebliche Bandbreite und behindert die Standardisierung zwischen verschiedenen vernetzten und automatisierten Fahrzeugen (CAVs).
Datenknappheit: Reale kooperative Datensätze sind aufgrund der hohen Kosten für die Infrastruktursynchronisation begrenzt, was das Training robuster Multi-Agenten-Modelle von Grund auf erschwert.
Komplexität und Ausrichtungsstarrheit: Aktuelle Ansätze verlassen sich auf starre räumlich-zeitliche Merkmalsfusion, die eine erschöpfende 3D-Bounding-Box-Überwachung und präzise Kalibrierung erfordern. Dies führt zu einer engen Kopplung zwischen Ego- und Infrastruktur-Pipelines, was hohe Rechenkosten verursacht und die Skalierbarkeit verschlechtert.

Methodik

OmniV2X schlägt einen Paradigmenwechsel von der starren räumlichen Merkmalsfusion hin zur konditionellen generativen Sequenzmodellierung vor. Anstatt Multi-Agenten-Merkmale in ein gemeinsames räumliches Gitter zu verschmelzen, behandelt das Framework heterogene Eingaben als unabhängige Kontextsequenzen für einen generativen Planer.

Architektur

Das System besteht aus drei primären Komponenten:

Unabhängige Kontext-Tokenisierung:
- Visueller Kontext: Verwendet ein eingefrorenes DINOv3-ViT-Backbone, um Frontansicht-Visual-Features zu extrahieren. Diese werden in einen einheitlichen Hidden Space projiziert, ohne eine explizite 3D-Projektion (BEV) zu nutzen, wodurch gelernt wird, 2D-Latent-Sequenzen direkt auf kinematische Verschiebungen abzubilden.
- Navigationskontext: Kodiert High-Level-Befehle (z. B. „Links abbiegen“) über gelernte Embeddings, wobei der Ego-Status (Geschwindigkeit/Lenkung) ausgeschlossen wird, um zu verhindern, dass das Modell triviale Geschwindigkeitsextrapolations-Policys lernt.
- V2X-Infrastrukturkontext: Verarbeitet SAE-J3224-konforme Sensor Data Sharing Messages (SDSM). Detektierte Objekte werden als 13-dimensionale Zustandsvektoren (Position, Dimensionen, Orientierung, Geschwindigkeit, Klasse) dargestellt und über einen leichtgewichtigen Transformer kodiert.
- Sequenzkonstruktion: Alle Modalitäten werden unabhängig normiert und mit lernbaren Segment-Embeddings konkateniert, um eine einheitliche Konditionierungssequenz $C$ zu bilden.
Generativer Foundation Planner:
- Die Kernkomponente ist ein Rectified Flow Transformer, der für die kontinuierliche Generierung von Verschiebungen optimiert ist.
- Ziel: Das Modell sagt schrittweise Positionsverschiebungen voraus, anstatt absolute Koordinaten, um spurlose räumliche Korrelationen und Routen-Memorierung zu vermeiden.
- Konditionierungsmechanismus: Um den Rechenengpass zu adressieren, bei dem die Kontextlänge ( $L$ ) den Trajektorienhorizont ( $H$ ) massiv übersteigt, nutzt OmniV2X Cross-Attention Injection. Die generierten Wegpunkte führen Self-Attention ( $O(H^2)$ ) aus und fragen dabei die Kontextsequenz via Cross-Attention ($O(LH)$) ab. Dies eliminiert die quadratische $O(L^2)$ -Komplexität der Standard-Präfix-Konditionierung und ermöglicht Echtzeit-Inferenz auf Edge-Hardware.
Zweistufige Trainingspipeline:
- Stufe 1 (Pre-training): Das Modell wird auf groß angelegten Single-Agent-Datensätzen (nuPlan) vortrainiert, um allgemeine Fahrkinematik und einen grundlegenden Fahr-Prior zu erlernen.
- Stufe 2 (Adaption): Das Modell wird auf kooperativen Datensätzen (DAIR-V2X-Seq) feinjustiert. Da die Eingabe eine einheitliche Sequenz ist, werden V2X-Token einfach an den vortrainierten Kontext angehängt, was ein hocheffizientes Transfer Learning ohne Architekturänderungen ermöglicht.

Zentrale Beiträge

Skalierbares V2X-Framework: OmniV2X umgeht die starre räumlich-zeitliche Fusion, indem es heterogene Eingaben als unabhängige Kontextsequenzen behandelt. Dieses Design ermöglicht die nahtlose Integration von SAE-Standard-konformen V2X-Nachrichten, ohne dass gemeinsame Merkmalsräume erforderlich sind.
Dateneffizienter Wissenstransfer: Durch die Nutzung eines domänenstabilen Merkmalsraums überträgt das Modell Wissen vom Single-Agent-Fahren auf kooperative Szenarien. Es erzielt signifikante Leistungssteigerungen mit weniger als 10 % des Ziel-V2X-Datensatzes im Vergleich zum Training von Grund auf.
Inferenz-Effizienz: Das Framework entfernt die rechenintensive dichte BEV-Merkmalsextraktion. Es verbraucht weniger als 1,4 kBPS Kommunikationsbandbreite (unter Verwendung von Standard-SDSM) und benötigt während der Inferenz nur 550 MB GPU-Speicher, was bis zu 29 FPS auf Edge-Geräten ermöglicht.
Umfassende Evaluierung: Die Arbeit liefert eine umfangreiche Validierung auf dem DAIR-V2X-Seq Benchmark, Ablationsstudien zu generativen Modelltypen sowie Robustheitstests gegen Lokalisationsrauschen und Latenz, ergänzt durch reale Felddurchläufe.

Experimentelle Ergebnisse

Evaluiert auf dem DAIR-V2X-Seq Benchmark, demonstriert OmniV2X eine State-of-the-Art-Leistung:

Planungsgenauigkeit: Erreicht einen durchschnittlichen L2-Fehler von 0,86 m (im Vergleich zu 1,49 m beim bisherigen Bestwert, UniMM-V2X) und reduziert die durchschnittliche Kollisionsrate auf 0,06 %.
Kommunikationseffizienz: Reduziert die Kommunikationsbandbreite auf 1.408 BPS, was einer Reduktion um mehr als das 574-fache gegenüber merkmalsbasierten Methoden (die ~8,09 × 10⁵ BPS übertragen) entspricht.
Ressourceneffizienz: Benötigt 550 MB GPU-Speicher für die Inferenz, was weniger als 8,5 % des Speichers von UniMM-V2X (6.483 MB) ist.
Dateneffizienz: Wenn es mit nur 1 % des V2X-Datensatzes feinjustiert wird, erreicht das vortrainierte Modell einen L2-Fehler von 0,89 m und übertrifft damit ein Modell, das mit 100 % der Daten von Grund auf trainiert wurde (1,56 m).
Robustheit: Das System behält eine hohe Robustheit gegenüber Lokalisationsrauschen (bis zu 1,0 m/0,1 rad) und V2X-Latenz (500 ms) bei und bewältigt Verdeckungsszenarien in realen Feldtests erfolgreich.

Bedeutung und Ansprüche

Die Autoren behaupten, dass OmniV2X einen neuen Paradigmenwechsel für das end-to-end kooperative Fahren etabliert, indem es die Multi-Agenten-Wahrnehmung von der starren räumlichen Ausrichtung entkoppelt. Die Bedeutung liegt in der Fähigkeit:

Den „Datenknappheits“-Engpass des kooperativen Fahrens zu überwinden, indem die reichlich vorhandenen Single-Agent-Daten effektiv genutzt werden.
Eine praktische, Echtzeit-Einsatzfähigkeit durch drastische Reduktion der Kommunikationsbandbreite und des Rechenspeicher-Footprints zu ermöglichen.
Ein standardisiertes, skalierbares Framework bereitzustellen, das SAE-Kommunikationsstandards entspricht und die Interoperabilität zwischen verschiedenen Fahrzeug- und Infrastrukturmodellen erleichtert.

Das Paper schließt mit der Feststellung, dass die aktuelle Leistung zwar durch den Imitation-Learning-Engpass (Abhängigkeit von menschlichen Fahrerdaten) begrenzt ist, der vorgeschlagene generative Foundation Planner jedoch die Lücke zwischen Single-Agent- und kooperativem Fahren erfolgreich schließt und einen gangbaren Weg zu sicherheitskritischer, Echtzeit-V2X-Autonomie aufzeigt.