🤖 AI

VERDI: VLM-Embedded Reasoning for Autonomous Driving

Het paper introduceert VERDI, een trainingsframework dat redeneervermogen van Vision-Language Models distilleert naar een modulaire autonome rijstapel, waardoor de prestaties en veiligheid aanzienlijk verbeteren zonder de hoge inferentiekosten van grote modellen.

Oorspronkelijke auteurs: Bowen Feng, Zhiting Mei, Julian Ost, Filippo Ghilotti, Baiang Li, Roger Girgis, Anirudha Majumdar, Felix Heide

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bowen Feng, Zhiting Mei, Julian Ost, Filippo Ghilotti, Baiang Li, Roger Girgis, Anirudha Majumdar, Felix Heide

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🚗 VERDI: De "Slimme Leermeester" voor Zelfrijdende Auto's

Stel je voor dat je een beginnende chauffeur bent die net zijn rijbewijs heeft gehaald. Je kunt goed rijden op de weg die je hebt geoefend, maar zodra je in een onbekende situatie komt (bijvoorbeeld een onverwachte storm of een vreemd gedrag van een andere bestuurder), raak je in paniek. Waarom? Omdat je alleen hebt geleerd wat je moet doen, maar niet waarom.

Autonome auto's hebben precies dit probleem. Ze zijn getraind op duizenden voorbeelden van hoe mensen rijden, maar ze begrijpen de reden erachter niet. Ze missen het "gezond verstand" en het vermogen om te redeneren als de situatie onduidelijk is.

Aan de andere kant zijn er enorme, superintelligente computermodellen (zoals VLM's of Visueel-Talige Modellen) die wel kunnen redeneren. Ze kunnen een foto van een weg bekijken en zeggen: "Oh, die vrachtwagen links lijkt te gaan keren, dus ik moet mijn snelheid verlagen." Het probleem? Deze modellen zijn zo groot en traag dat ze niet in een auto passen. Ze zijn als een olifant in een porseleinkast: ze zijn slim, maar te zwaar en te traag om in real-time te rijden.

De oplossing: VERDI.

🎓 De Grote Leermeester en de Snelle Leerling

Het idee achter VERDI (VLM-Embedded Reasoning for autonomous DrIving) is heel simpel, maar slim:

De Leermeester (De Grote VLM): Tijdens het trainen van de auto, laten we de enorme, trage "Leermeester" naar de weg kijken. Hij beschrijft in gewone taal wat hij ziet, wat andere auto's doen en wat hij zou doen. Hij denkt hardop na (zoals een mens).
De Leerling (De Auto): De eigenlijke auto (die klein en snel moet zijn) kijkt niet naar de tekst van de leermeester, maar probeert te voelen wat de leermeester voelt. Ze kijken samen naar dezelfde beelden, en de auto probeert zijn eigen "gedachten" (zijn interne data) af te stemmen op de "gedachten" van de leermeester.
Het Resultaat: Na het trainen is de grote, trage leermeester weg. De auto heeft de wijsheid en het gezond verstand van de leermeester in zijn eigen kleine brein "geïnternaliseerd".

Het is alsof je een student laat studeren bij een Nobel-prijswinnaar. Na maanden van intensief samenwerken, hoeft de student de Nobel-prijswinnaar niet meer bij zich te hebben; hij heeft de kennis zelf in zich opgenomen en kan nu net zo snel en slim reageren als de meester, maar dan in een fractie van de tijd.

🧩 Hoe werkt het in de praktijk?

De auto heeft drie belangrijke taken:

Zien (Perceptie): Wat is er om me heen?
Voorspellen (Predictie): Wat gaan die andere auto's doen?
Plannen (Planning): Wat moet ik zelf doen?

Bij VERDI wordt de auto getraind om in al deze drie stappen te denken zoals de "Leermeester".

Voorbeeld: Als de auto een vrachtwagen ziet, zegt de Leermeester: "Die vrachtwagen staat stil, maar de banden lijken te bewegen, hij gaat waarschijnlijk wegrijden."
De auto leert nu niet alleen om de vrachtwagen te zien, maar leert ook de betekenis van die situatie te begrijpen. Hij leert dat hij voorzichtig moet zijn, zelfs als de vrachtwagen nog niet beweegt.

🏆 Waarom is dit beter dan de oude methoden?

Veiligheid: Oude auto's rijden vaak "blind". Als ze iets niet herkennen, doen ze niets of doen ze iets doms. VERDI heeft een "achtergrondgevoel" voor wat er gebeurt. In tests (de HugSim-simulator) bleek VERDI 10% minder vaak ongelukken te veroorzaken dan de beste oude modellen.
Snelheid: De grote "Leermeester" is te traag om in een auto te zitten (hij zou de auto laten vastlopen). VERDI is echter net zo snel als de normale auto's, maar rijdt veel slimmer.
Geen hallucinaties: Grote AI-modellen kunnen soms "dromen" (hallucineren). Ze zien bijvoorbeeld een bus die er niet is. Omdat VERDI de logica van de leermeester heeft overgenomen, maar werkt met de echte sensoren van de auto, maakt hij veel minder zulke rare fouten.

🌍 De conclusie in één zin

VERDI is een slimme truc waarbij we de wijsheid van een supercomputer in een kleine, snelle auto stoppen, zodat deze auto niet alleen kan kijken, maar ook echt kan nadenken over de weg, net als een ervaren menselijke chauffeur.

Het is alsof we een auto niet alleen trainen om de weg te volgen, maar hem ook een rijinstructeur in zijn hoofd geven die hem vertelt waarom hij moet remmen of sturen, zodat hij veilig blijft rijden, zelfs in situaties die hij nooit eerder heeft gezien.

Titel: VERDI: VLM-Embedded Reasoning voor Autonomie in het Verkeer

Auteurs: Bowen Feng, Zhiting Mei, Julian Ost, et al. (Princeton University & Torc Robotics)

1. Het Probleem

Autonome voertuigen (AV's) worstelen nog steeds met besluitvorming in omgevingen met gedeeltelijke waarneembaarheid en complexe real-world scenario's.

Beperkingen van huidige E2E-modellen: Bestaande modulaire, differentieerbare End-to-End (E2E) modellen vertrouwen voornamelijk op toezicht (supervised learning) van menselijke rijtrajecten. Ze missen echter het onderliggende redeneringsproces en de gezonde verstand (commonsense) die menselijke bestuurders toepassen om onduidelijkheden op te lossen. Dit leidt tot gebrek aan semantisch begrip in onbekende situaties.
Beperkingen van Vision-Language Models (VLM's): Hoewel VLM's uitstekend zijn in redeneren en scene-beschrijving, zijn ze onpraktisch voor directe implementatie in real-time rijstapels. Ze vereisen enorme rekenkracht (bijv. 160GB+ geheugen voor een 70B parameter model) en hebben een te hoge latentie (inference-tijd) voor veiligheidskritieke toepassingen.
Veiligheidsrisico's: Directe query's naar VLM's tijdens het rijden kunnen leiden tot hallucinaties (zoals het verkeerd interpreteren van diepte of objecten) en maken het moeilijk om de veiligheid van het systeem te decomponeren (d.w.z. fouten in perceptie vs. planning te isoleren).

2. Methodologie: VERDI

De auteurs stellen VERDI (VLM-Embedded Reasoning for autonomous DrIving) voor. Dit is een trainingsframework dat het redeneervermogen van grote VLM's "distilleert" (overbrengt) naar een lichtgewicht, modulaire E2E-rijstapel, zonder dat de VLM tijdens het rijden (inference) nodig is.

Kernprincipes:

Parallelle Training: Tijdens het trainen worden twee pijplijnen gebruikt:
- De E2E-rijpijplijn: Een differentieerbaar model (gebaseerd op VAD) dat sensorgegevens verwerkt en toekomstige trajecten genereert via perceptie, voorspelling en planning modules.
- De Redeneerpijplijn: Een VLM (Qwen-2.5-VL-72B) dat wordt gevraagd om met "Chain-of-Thought" prompts de redenering achter het grondwaarheid (Ground Truth) traject te verklaren. De VLM analyseert wat er gezien wordt (perceptie), wat andere agents doen (voorspelling), en welke acties worden ondernomen (planning).
Latente Uitlijning (Alignment): In plaats van de VLM-uitvoer direct te gebruiken, worden de tekstuele antwoorden van de VLM gecodeerd naar een semantische vectorruimte. Deze tekst-features worden vervolgens uitgelijnd met de interne latent features van de corresponderende modules van de E2E-rijstapel.
- Perceptie: De beeldfeatures van de E2E-model worden uitgelijnd met de VLM's beschrijving van de scene (objecten, posities).
- Voorspelling: De features die agent-bewegingen voorspellen, worden uitgelijnd met de VLM's redenering over de acties van andere voertuigen.
- Planning: De planning-features worden uitgelijnd met de VLM's redenering over het eigen rijgedrag.
Progressive Feature Projector (PFP): Om de grote visuele features van de E2E-modellen (zoals BEV-maps) te kunnen vergelijken met tekst-features, worden learnable projectoren gebruikt die de features comprimeren naar een gedeelde latent ruimte.
Verliesfunctie: Het totale verlies bestaat uit de standaard supervisie-verliezen (bijv. $\ell_2$ -afstand) plus een uitlijningsverlies (cosine similarity) tussen de E2E-features en de VLM-features.

Inference: Tijdens het daadwerkelijke rijden wordt de VLM-pijplijn volledig verwijderd. De E2E-model heeft het redeneervermogen al "geïnternaliseerd" via de training en kan dus real-time beslissingen nemen met menselijke redenering, maar zonder de hoge kosten van de VLM.

3. Belangrijkste Bijdragen

Modulair Redeneer-framework: Ontwikkeling van een differentieerbaar E2E-autonoom rijmodel dat latent planning bevat en is verrijkt met menselijk redeneerproces.
Cross-Modal Uitlijning: Introductie van een methode om individuele rijsubtaken (perceptie, voorspelling, planning) in de latent ruimte uit te lijnen met natuurlijke taalbeschrijvingen gegenereerd door een VLM.
Uitgebreide Validatie: Evaluatie op zowel open-loop (nuScenes) als gesloten-loop (HugSim simulator) benchmarks, waarbij wordt aangetoond dat het distilleren van redenering leidt tot veiligere en nauwkeurigere rijprestaties zonder inference-kosten van grote modellen.

4. Resultaten

De prestaties van VERDI werden vergeleken met state-of-the-art E2E-methoden (zoals UniAD, VAD-Base) en VLM-gebaseerde methoden (zoals DriveVLM, OpenEMMA, Alpamayo).

Open-Loop (nuScenes):
- VERDI presteert 11% beter in $\ell_2$ -afstand (trajectnauwkeurigheid) vergeleken met de directe baseline (VAD-Base).
- Het behaalt de beste balans tussen snelheid en nauwkeurigheid: 4.5 FPS, wat aanzienlijk sneller is dan VLM-methoden die tijdens inference worden gebruikt (bijv. DriveVLM op 2.4 FPS).
Gesloten-Loop (HugSim Simulator):
- VERDI behaalt de hoogste algehele rij-score (HDScore) van alle geteste methoden.
- Er is een 10% verbetering in de "Non-Collision Rate" (NC) vergeleken met de VAD-Base baseline.
- VERDI presteert aanzienlijk beter dan Alpamayo (een reasoning-augmented VLA): VERDI scoort 0.200 op de HDScore versus 0.041 voor Alpamayo, terwijl VERDI 10x sneller is en 200x minder parameters heeft.
Kwalitatieve Verbeteringen:
- Verbeterde perceptie: VERDI detecteert objecten (zoals voertuigen op de achtergrond) die door baselines worden gemist.
- Betere voorspelling: VERDI voorspelt de beweging van andere agents accurater (bijv. het begrijpen dat een taxi wacht op een groen licht).
- Veiligere planning: VERDI toont voorzichtig gedrag in complexe situaties, wat leidt tot minder botsingen, zelfs ten koste van een iets lagere "Route Completion" (omdat het eerder stopt om veiligheidsrisico's te vermijden).

5. Betekenis en Conclusie

VERDI lost een fundamenteel dilemma op in autonoom rijden: hoe combineer je het diepe semantische redeneervermogen van grote AI-modellen met de strikte real-time en veiligheidsvereisten van een voertuig?

Efficiëntie: Door redenering te distilleren tijdens de training, elimineert VERDI de noodzaak van zware VLM-inference tijdens het rijden, waardoor het geschikt is voor productieomgevingen.
Veiligheid: Het model leert niet alleen wat er moet gebeuren, maar ook waarom, wat leidt tot robuustere beslissingen in "edge cases" en onbekende scenario's.
Interpretbaarheid: Hoewel het een E2E-model is, biedt de uitlijning met taal een vorm van interpretatie, omdat de interne redenering is getraind om te corresponderen met menselijke beschrijvingen.

Kortom, VERDI bewijst dat het mogelijk is om de "intelligentie" van grote taalmodellen te integreren in snelle, veilige en betrouwbare autonome rijstapels, waardoor de kloof tussen menselijke rijvaardigheid en machine-automatisering wordt overbrugd.