Less is More: Lean yet Powerful Vision-Language Model for Autonomous Driving

Dit paper introduceert Max-V1, een compact maar krachtig Vision-Language Model dat autonome rijtaken formuleert als een taalgeneratieprobleem voor next-waypoint-predictie en daarmee state-of-the-art resultaten bereikt op de nuScenes-dataset met uitstekende generalisatievermogens.

De kern

Max-V1: De Slimme, Lichtgewicht Chauffeur die Alles Ziet

Stel je voor dat je een auto bouwt die zelf kan rijden. De meeste wetenschappers doen dit door de auto eerst een "3D-kaart" te laten tekenen van de wereld (zoals een architect die eerst blauwdrukken maakt voordat hij bouwt). Maar dit team van onderzoekers heeft een heel andere, slimmere aanpak bedacht: Max-V1.

Hier is hoe het werkt, vertaald naar gewone taal:

1. Rijden is net als praten

Stel je voor dat rijden een gesprek is. Als je een zin schrijft, denk je niet aan elk individueel lettertje apart; je denkt aan de hele zin en wat er als volgend woord moet komen.

• De oude manier: De auto kijkt naar de weg, maakt een complexe 3D-kaart, en probeert dan te rekenen waar hij heen moet.
• De Max-V1 manier: De auto kijkt gewoon door de voorruit (zoals jij) en denkt: "Oké, ik zie een weg, een auto voor me en een stoplicht. Wat is het volgende stapje dat ik moet zetten?"
  Het team heeft de auto leren praten in "rijbewegingen" in plaats van in woorden. Ze vragen de auto: "Welke coördinaten moet ik over 0,5 seconde hebben?" en dan "En dan over nog 0,5 seconde?" enzovoort. Het is alsof de auto een verhaal schrijft over zijn eigen reis, punt voor punt.

2. Waarom is dit zo slim? (De "Less is More" filosofie)

Veel andere systemen zijn als een zware, ingewikkelde robot die eerst een heleboel extra gereedschap nodig heeft om de wereld te begrijpen.

• Het probleem: Die extra gereedschappen (zoals die 3D-kaarten) gaan vaak fout. Als de kaart een beetje scheef staat, crasht de auto.
• De oplossing van Max-V1: Ze gebruiken een Vision-Language Model (VLM). Dit is een soort "superbrein" dat al is getraind op miljoenen foto's en teksten van over de hele wereld. Het weet al hoe straten eruitzien, wat een stopbord betekent en hoe mensen zich gedragen.
• De analogie: Stel je voor dat je een beginnende chauffeur wilt leren rijden.
  • Oude methode: Je geeft hem een zware handleiding, een GPS-systeem en een 3D-printer om de weg te bouwen.
  • Max-V1 methode: Je geeft hem een bril die hij al draagt (het superbrein) en zegt: "Kijk gewoon naar de weg en doe wat een goede chauffeur zou doen."
    Omdat het brein al zoveel weet, hoeft de auto niet alles opnieuw te leren. Hij is lichter (minder rekenkracht nodig) maar krachtiger omdat hij slimme beslissingen kan nemen.

3. Het geheim: Geen woorden, maar pijlen

Normaal gesproken laten ze een AI tekst schrijven. Als je vraagt om coördinaten (bijv. "ga 2 meter naar rechts"), zou een AI kunnen zeggen: "Twee... meter... naar... rechts..." en dan de verkeerde getallen kiezen. Dat is gevaarlijk.
Max-V1 doet dit anders. In plaats van woorden te gebruiken, leert het de AI om direct pijlen te tekenen.

• Het is alsof je een kind leert tekenen. Je zegt niet: "Teken een lijn van 5 centimeter lang, dan een hoek van 45 graden..." (dat is te ingewikkeld).
• Je zegt: "Teken gewoon de weg waar de auto heen moet."
  Het systeem leert direct de fysieke afstand te schatten. Dit voorkomt dat de auto "hallucineert" (fouten maakt in de getallen) en zorgt voor een veel soepelere rit.

4. Wat levert dit op?

• Beter dan de rest: Op de bekende testbaan (nuScenes) rijdt deze auto 30% beter dan de beste concurrenten. Hij maakt minder fouten en rijdt veiliger.
• Oefening baart kunst (overal): Het meest indrukwekkende is dat de auto, die getraind is in de VS en Singapore, ook perfect kan rijden in Nederland of Engeland, zonder dat hij daar ooit eerder is geweest. Hij heeft het principe van rijden geleerd, niet alleen de specifieke wegen.
• Veiligheid: In tests zag men dat de auto soms zelfs beter rijdt dan de menselijke chauffeur. Mensen hebben soms trillingen in hun handen of maken onnodige scherpe bochten. De AI leert de "ideale" lijn en filtert die menselijke ruis eruit.

Samenvattend

Max-V1 is als het geven van een slimme bril aan een auto. In plaats van de auto te laten rekenen met ingewikkelde kaarten, laat je hem gewoon kijken en doen wat een ervaren, veilige bestuurder zou doen. Het is een bewijs dat je niet altijd de zwaarste, duurste machine nodig hebt; soms is een slim, licht en intuïtief systeem (Less is More) de beste manier om de toekomst van rijden te bouwen.

Technische samenvatting

Probleemstelling

Autonoom rijden is een inherent sequentieel besluitvormingsproces waarbij elke actie afhangt van een real-time begrip van de omgeving. Bestaande end-to-end benaderingen kampen met twee hoofdproblemen:

1. Specialistische modellen: Deze gebruiken vaak Bird's Eye View (BEV) representaties. Dit introduceert een "ill-posed" probleem bij het genereren van BEV uit camera-beelden (verlies van informatie) en vereist grote hoeveelheden duur, handmatig geannoteerde BEV-data. Ze hebben moeite met generalisatie naar zeldzame scenario's (long-tail).
2. Bestaande Vision-Language Models (VLM's): Hoewel deze sterke redeneervermogens hebben, zijn ze vaak niet optimaal afgestemd op autonoom rijden. Ze zijn ontworpen voor discrete tekstgeneratie (cross-entropy loss), wat slecht werkt voor continue ruimtelijke coördinaten (trajecten). Dit leidt tot inefficiëntie, foutopbouw en een mismatch tussen het model en de fysieke vereisten van voertuigbesturing.

De kernvraag is hoe men een model kan bouwen dat de redeneerkracht van VLM's combineert met de precisie en efficiëntie die nodig zijn voor continue trajectplanning, zonder afhankelijk te zijn van complexe tussenstappen zoals BEV.

Methodologie: Max-V1

De auteurs stellen Max-V1 voor, een nieuw framework voor één-staps end-to-end autonoom rijden dat puur gebaseerd is op een Vision-Language Model (VLM).

1. Conceptuele Herformulering:
In plaats van het voertuiggedrag te modelleren als een complexe perceptie-planning-pijplijn, wordt rijden gereduceerd tot een sequentieel besluitvormingsproces dat analoog is aan natuurlijke taalgeneratie. De taak wordt omgezet in het voorspellen van het volgende waypoint (next waypoint prediction).

2. Architectuur en Input:

• Input: Het model werkt uitsluitend op een enkel frame van een vooruitkijkende camera (ego-centric, first-person view). Er is geen externe informatie nodig (zoals voertuigstatus of surround-view video) tijdens het trainen of testen.
• Geen BEV: Het framework elimineert de traditionele BEV-feature space volledig en verwerkt de ruwe sensorinput direct.
• Base Model: Het gebruikt vooraf getrainde VLM's (zoals Qwen2.5-VL en MiMo-VL) die worden fijngefineerd (fine-tuning) op rijdata.

3. Statistische Modellering en Loss Functie (Kerninnovatie):
Een cruciaal inzicht is dat het behandelen van coördinaten als discrete teksttokens (zoals in standaard LLM's) leidt tot slechte prestaties en "hallucinaties" (ongeldige coördinaten).

• Aanpak: In plaats van cross-entropy loss voor discrete tokens, modelleren de auteurs elk waypoint als een Gaussische verdeling in de continue ruimte ($\mathbb{R}^2$).
• Loss Functie: Hierdoor wordt de trainingsdoelstelling omgezet in een regressieprobleem. De gebruikte loss functie is equivalent aan de $\ell_2$-loss (MSE) tussen de voorspelde en de werkelijke coördinaten.
• Voordeel: Dit lost de mismatch op tussen discrete taal en continue fysica, zorgt voor geometrische continuïteit en elimineert de kans op syntactische fouten in de output.

4. Training:
Het model wordt getraind via imitatielearning op grote schaal expert-demonstraties. Er wordt gebruikgemaakt van scheduled sampling om de "exposure bias" (foutopbouw tijdens inferentie) te verminderen, waarbij het model geleidelijk wordt blootgesteld aan zijn eigen voorspellingen in plaats van alleen aan ground truth.

Belangrijkste Bijdragen

1. Principiële Supervisiestrategie: De eerste theoretische onderbouwing van een loss-functie voor VLM-based driving die overgaat van cross-entropy naar een fysiek onderbouwde $\ell_2$-loss voor continue coördinaten.
2. Single-Pass Generatie: Een eenvoudige, één-staps architectuur die het volledige traject direct genereert zonder dure Chain-of-Thought annotaties of iteratieve verfijning.
3. Lightweight Input: Het systeem werkt met slechts één camera-frame, wat de complexiteit verlaagt en beter aansluit bij menselijk rijintuïtie, terwijl het toch robuust presteert.
4. Cross-Domain Generalisatie: Het bewijs dat een puur visueel VLM, zonder specifieke rij-data voor het testgebied, kan generaliseren naar verschillende voertuigen en geografische locaties.

Resultaten

De prestaties zijn getest op de nuScenes dataset en diverse zero-shot datasets (View-of-Delft, Oxford RobotCar).

• State-of-the-Art op nuScenes: Max-V1 behaalt de beste resultaten op de nuScenes dataset, met een verbetering van meer dan 30% in vergelijking met eerdere baselines (zoals UniAD, VAD, en OpenDriveVLA).
  • De variant MiMo-VL-7B-RL bereikte een gemiddelde L2-fout van 0.21m over 3 seconden.
• Zero-Shot Generalisatie: Het model toont uitstekende prestaties op datasets uit het VK en Nederland, die volledig verschillende voertuigen en omstandigheden bevatten. Dit bewijst sterke cross-voertuig robuustheid.
• Ablatie Studies:
  • Het gebruik van continue vectoren (in plaats van teksttokens) is cruciaal; teksttokens leiden tot een prestatiedaling met een orde van grootte en hoge foutpercentages door ongeldige output.
  • Fusie met LiDAR (via projectie op het beeldvlak) verbetert de korte termijn nauwkeurigheid (1s), maar vermindert de lange termijn stabiliteit (3s), wat een afweging tussen precisie en extrapolatiecapaciteit aangeeft.

Betekenis en Toekomstperspectief

Dit werk markeert een verschuiving in de filosofie van autonoom rijden: van complexe, modulaire systemen met tussenrepresentaties (BEV) naar een eenvoudige, directe mapping van visuele input naar rijacties via een generatief taalmodel.

• Fundamentele Vaardigheden: Het bewijst dat VLM's, wanneer correct gefineerd met de juiste statistische loss, fundamentele rijvaardigheden kunnen leren die vaak veiliger en vloeiender zijn dan menselijke expert-demonstraties (bijv. het filteren van ruis in stuurinvoer).
• Schaalbaarheid: De architectuur biedt een schaalbare basis voor de ontwikkeling van nog krachtigere zelfrijdende agenten, bijvoorbeeld door later Reinforcement Learning toe te passen om de beperkingen van imitatielearning te overwinnen.
• Efficiëntie: Door af te zien van zware tussenstappen en extra sensoren, biedt het een pad naar efficiëntere en meer interpreteerbare systemen (hoewel het model zelf nog steeds een "black-box" is).

Kortom, Max-V1 demonstreert dat "minder is meer": een leaner, puur visueel VLM-framework, ondersteund door een wiskundig onderbouwde loss-functie, kan superieure prestaties leveren in autonoom rijden.