🤖 AI

OmniV2X: A Generative Foundation Planner for Efficient End-to-End Cooperative Driving

OmniV2X is een generatief fundamenteel model voor vehicle-to-everything (V2X) coöperatief rijden dat gebruikmaakt van cross-attention injectie en pre-training op grootschalige single-agent data om een state-of-the-art prestatie te bereiken met aanzienlijk lagere computationele kosten, datavoorwaarden en communicatiebandbreedte in vergelijking met bestaande methoden.

Oorspronkelijke auteurs: Juntong Peng, Juanwu Lu, Yupeng Zhou, Can Cui, Yaobin Chen, Ziran Wang

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Juntong Peng, Juanwu Lu, Yupeng Zhou, Can Cui, Yaobin Chen, Ziran Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een auto bestuurt. Normaal gesproken vertrouwt je auto volledig op zijn eigen "ogen" (camera's en sensoren) om de weg te zien. Maar net als jij, heeft de auto dode hoeken. Als een grote vrachtwagen je zicht blokkeert op een voetganger die achter de vrachtwagen vandaan stapt, ziet je auto die persoon misschien pas als het te laat is.

Dit is waar OmniV2X om de hoek komt kijken. Zie het als een superintelligente, coöperatieve rijassistent die auto's met elkaar laat "praten" (en met de infrastructuur van het verkeer, zoals slimme lantaarnpalen) om om de hoek heen te kunnen kijken.

Hier is hoe het paper OmniV2X uitlegt, onderverdeeld in eenvoudige concepten:

1. De oude manier: Te veel data proberen samen te voegen

Eerdere methoden probeerden dit op te lossen door auto's enorme, gedetailleerde 3D-kaarten van wat ze zien naar elkaar te laten sturen.

De analogie: Stel je voor dat je een geheim met een vriend wilt delen door hem een fotoalbum van 500 pagina's van je hele dag per post te sturen. Dat is traag, duur (qua datakosten) en als je vriend een andere camera gebruikt dan jij, maken de foto's misschien geen zin voor hem.
Het probleem: Dit vereist een enorme internetbandbreedte, kost veel rekenkracht om te verwerken en is erg kwetsbaar als de data niet perfect op elkaar is afgestemd.

2. De OmniV2X-manier: De "Slimme Chat"-aanpak

OmniV2X verandert het spel. In plaats van zware 3D-kaarten te sturen, behandelt het rijden als een verhalende taak.

De analogie: In plaats van een fotoalbum te mailen, stuurt jouw auto een kort, gestandaardiseerd tekstbericht naar een centraal "brein". Het bericht zegt zaken als: "Er rijdt een auto 20 meter voor je naar links" of "Er staat een voetganger bij het zebrapad."
Hoe het werkt: Het "brein" van de auto (de Generative Foundation Planner) is als een hoogopgeleide auteur. Het heeft al geleerd om goede rijverhalen te schrijven (hoe je veilig rijdt) door miljoen boeken (rijdata) van individuele auto's te lezen. Nu, wanneer het deze korte tekstberichten (V2X-tokens) krijgt van de weg, voegt het deze simpelweg toe aan het verhaal dat het aan het schrijven is en bepaalt het de volgende stap.

3. Waarom het zo efficiënt is

Het paper benadrukt drie belangrijke superkrachten van dit nieuwe systeem:

Het bespaart data (De "1%-regel"):
Normaal gesproken vereist het aanleren van een auto om met hulp van de weg te rijden een enorme hoeveelheid nieuwe data. OmniV2X is zo slim dat het kan leren om coöperatief te rijden met minder dan 10% van de gebruikelijke data. Het is als een student die de wiskunde al beheerst en slechts een paar nieuwe hoofdstukken hoeft te lezen om een nieuw onderwerp te begrijpen, in plaats van vanaf nul te beginnen op school.
Het bespaart bandbreedte (Het "Kleine Tekstbericht"):
Omdat het eenvoudige, gestandaardiseerde berichten stuurt in plaats van zware 3D-kaarten, gebruikt het minder dan 1% van de internetbandbreedte die andere methoden nodig hebben. Het is het verschil tussen het versturen van een PDF van 500 pagina's versus een snel tekstbericht.
Het is een Snelheidsduivel:
Het draait ongelooflijk snel (tot wel 29 keer per seconde) en heeft geen supercomputer nodig om het te doen. Het kan draaien op kleinere, goedkopere hardware omdat het geen zware 3D-getallen hoeft te verwerken.

4. Hoe het omgaat met fouten en de echte wereld

De onderzoekers hebben dit systeem getest onder moeilijke omstandigheden:

Ruis in de data: Wat als de GPS er iets naast zit of de camera een auto mist? Het systeem is robuust; het kan nog steeds veilig rijden, zelfs als de informatie die het ontvangt een beetje "wazig" of vertraagd is.
Test in de echte wereld: Ze testten het systeem op een parkeerplaats met verborgen voetgangers. Toen een voetganger achter een auto vandaan kwam, zag OmniV2X (door gebruik te maken van de "extra ogen" van de V2X-berichten) hen vroegtijdig en remde het vloeiend af, waardoor een botsing werd voorkomen.

De Kernboodschap

OmniV2X is een nieuwe manier voor zelfrijdende auto's om samen te werken. In plaats van te proberen complexe 3D-beelden samen te voegen (wat traag en duur is), gebruikt het een "generatief" brein dat luistert naar eenvoudige, gestandaardiseerde updates van de weg en direct het veiligste pad naar voren bepaalt. Het is sneller, goedkoper en vereist veel minder data om te leren dan eerdere methoden.

Technische Samenvatting: OmniV2X

Probleemstelling

End-to-end (E2E) autonome rijsystemen worden fundamenteel beperkt door egocentrische perceptie, met name in complexe stedelijke omgevingen waar fysieke occlusies het zicht beperken. Hoewel Vehicle-to-Everything (V2X) coöperatief rijden een oplossing biedt door de perceptie te uitbreiden via infrastructuurdeling, kampen bestaande E2E coöperatieve methoden met drie systemische knelpunten:

Hoge Communicatie-overhead: Het verzenden van dichte Bird's-Eye View (BEV) features of modelspecifieke intermediaire representaties vereist aanzienlijke bandbreedte en belemmert standaardisatie tussen verschillende Connected and Automated Vehicles (CAVs).
Datascarciteit: Real-world coöperatieve datasets zijn beperkt vanwege de hoge kosten van infrastructuursynchronisatie, wat het moeilijk maakt om robuuste multi-agent modellen vanaf nul op te bouwen.
Computationele en Uitlijningsrigiditeit: Huidige benaderingen vertrouwen op rigide ruimtelijk-temporele featurefusie, wat uitgebreide 3D bounding-box supervisie en precieze kalibratie vereist. Dit creëert een nauwe koppeling tussen ego- en infrastructuurpipelines, wat leidt tot hoge computationele kosten en een slechte schaalbaarheid.

Methodologie

OmniV2X stelt een paradigmaverschuiving voor van rigide ruimtelijke featurefusie naar conditionele generatieve sequentiemodellering. In plaats van multi-agent features te fuseren in een gedeelde ruimtelijke grid, behandelt het framework heterogene inputs als onafhankelijke contextsequenties voor een generatieve planner.

Architectuur

Het systeem bestaat uit drie primaire componenten:

Onafhankelijke Context Tokenisatie:
- Visuele Context: Gebruikt een bevroren DINOv3-ViT backbone om front-view visuele features te extraheren. Deze worden geprojecteerd in een uniforme verborgen ruimte zonder expliciete 3D-projectie (BEV), waarbij geleerd wordt om 2D latente sequenties direct te mappen naar kinematische verplaatsingen.
- Navigatiecontext: Encodeert hoog-niveau commando's (bijv. "Links afslaan") via geleerde embeddings, waarbij de ego-status (snelheid/sturing) wordt uitgesloten om te voorkomen dat het model triviale snelheidsextrapolatiebeleid leert.
- V2X Infrastructuurcontext: Verwerkt SAE-J3224 conforme Sensor Data Sharing Messages (SDSM). Gedetecteerde objecten worden gerepresenteerd als 13-dimensionale staatvectoren (positie, dimensies, oriëntatie, snelheid, klasse) en gecodeerd via een lichtgewicht Transformer.
- Sequentieconstructie: Alle modaliteiten worden onafhankelijk genormaliseerd en geconcateneerd met leerbare segment-embeddings om een uniforme conditionele sequentie $C$ te vormen.
Generatieve Foundation Planner:
- De kernmotor is een Rectified Flow Transformer die is geoptimaliseerd voor continue verplaatsingsgeneratie.
- Doel: Het model voorspelt stap-voor-stap positieverplaatsingen in plaats van absolute coördinaten om spuriaanse ruimtelijke correlaties en route-memorizatie te voorkomen.
- Conditioneringsmechanisme: Om de computationele bottleneck aan te pakken waarbij de contextlengte ( $L$ ) de trajecthorizon ( $H$ ) sterk overschrijdt, gebruikt OmniV2X Cross-Attention Injection. De gegenereerde waypoints voeren self-attention uit ( $O(H^2)$ ) terwijl ze de contextsequentie bevragen via cross-attention ($O(LH)$). Dit elimineert de kwadratische $O(L^2)$ complexiteit van standaard prefix-conditionering, wat real-time inferentie op edge-hardware mogelijk maakt.
Tweefasen Trainingspipeline:
- Fase 1 (Pre-training): Het model wordt gepre-trained op grootschalige single-agent datasets (nuPlan) om algemene rijkinematica en een fundamentele rijprior te leren.
- Fase 2 (Adaptatie): Het model wordt gefinetuned op coöperatieve datasets (DAIR-V2X-Seq). Omdat de input een uniforme sequentie is, worden V2X-tokens simpelweg toegevoegd aan de gepre-trainde context, wat zeer efficiënte transfer learning mogelijk maakt zonder architecturale wijzigingen.

Belangrijkste Bijdragen

Schaalbaar V2X Framework: OmniV2X omzeilt rigide ruimtelijke-temporele fusie door heterogene inputs te behandelen als onafhankelijke contextsequenties. Dit ontwerp maakt naadloze integratie van SAE-standaard conforme V2X-berichten mogelijk zonder dat een gedeelde feature-ruimte vereist is.
Data-efficiënte Kennisoverdracht: Door gebruik te maken van een domeinstabiele feature-ruimte, transfeert het model kennis van single-agent rijden naar coöperatieve scenario's. Het bereikt significante prestatiewinsten met minder dan 10% van de doel-V2X-dataset vergeleken met training vanaf nul.
Inferentie-efficiëntie: Het framework elimineert dure dichte BEV feature-encoding. Het verbruikt minder dan 1,4 kBPS aan communicatiebandbreedte (gebruikmakend van standaard SDSM) en vereist slechts 550 MB GPU-geheugen tijdens inferentie, waarmee tot 29 FPS op edge-devices wordt bereikt.
Uitgebreide Evaluatie: Het paper biedt uitgebreide validatie op de DAIR-V2X-Seq benchmark, ablatie-studies op generatieve modeltypen, en robuustheidstests tegen lokalisatieruis en latentie, naast real-world veldtesten.

Experimentele Resultaten

Geëvalueerd op de DAIR-V2X-Seq benchmark, demonstreert OmniV2X state-of-the-art prestaties:

Planningsnauwkeurigheid: Behaalt een gemiddelde L2-fout van 0,86m (vergeleken met 1,49m voor de vorige beste, UniMM-V2X) en vermindert de gemiddelde botsingsratio naar 0,06%.
Communicatie-efficiëntie: Vermindert de vereiste communicatiebandbreedte tot 1.408 BPS, een reductie van meer dan 574× vergeleken met feature-gebaseerde methoden (die ~8,09 × 10⁵ BPS verzenden).
Resource-efficiëntie: Vereist 550 MB GPU-geheugen voor inferentie, wat minder is dan 8,5% van het geheugen dat door UniMM-V2X wordt vereist (6.483 MB).
Data-efficiëntie: Wanneer gefinetuned met slechts 1% van de V2X-dataset, bereikt het gepre-trainde model een L2-fout van 0,89m, wat beter presteert dan een model dat vanaf nul is getraind op 100% van de data (1,56m).
Robuustheid: Het systeem behoudt een hoge robuustheid onder lokalisatieruis (tot 1,0m/0,1rad) en V2X-latentie (500ms), en handelt occlusie-events succesvol af tijdens real-world veldtesten.

Betekenis en Claims

De auteurs beweren dat OmniV2X een nieuw paradigma vestigt voor end-to-end coöperatief rijden door multi-agent perceptie te ontkoppelen van rigide ruimtelijke uitlijning. De betekenis ligt in het vermogen om:

De "datascarcity" bottleneck van coöperatief rijden te overwinnen door effectief gebruik te maken van overvloedige single-agent data.
Praktische, real-time implementatie mogelijk te maken door de communicatiebandbreedte en computationele geheugenvoetafdruk drastisch te verlagen.
Een gestandaardiseerd, schaalbaar framework te bieden dat voldoet aan SAE-communicatiestandaarden, wat interoperabiliteit tussen verschillende voertuig- en infrastructuurmodellen faciliteert.

Het paper concludeert dat hoewel de huidige prestaties worden beperkt door de imitatieleer-bottleneck (afhankelijk van menselijke bestuurdersdata), de voorgestelde generatieve foundation planner succesvol de kloof tussen single-agent en coöperatief rijden overbrugt, en een levensvatbaar pad biedt naar veiligheidskritische, real-time V2X autonomie.