ScenePilot-Bench: A Large-Scale Dataset and Benchmark for Evaluation of Vision-Language Models in Autonomous Driving

In dit artikel wordt ScenePilot-Bench geïntroduceerd, een uitgebreid benchmark- en datasetkader dat is ontworpen om de prestaties van vision-language modellen te evalueren in autonome rijscenario's aan de hand van een veerassessessiesysteem dat zich richt op situatiebegrip, ruimtelijke perceptie, bewegingsplanning en veiligheid.

De kern

Stel je voor dat je een auto bouwt die zichzelf kan besturen, maar in plaats van een strakke computer te zijn, heeft deze auto een superintelligente passagier aan boord. Deze passagier is een "Vision-Language Model" (een AI die zowel kan zien als begrijpen wat ze ziet).

Het probleem? Tot nu toe hadden we geen goede manier om te testen of deze passagier echt veilig is. Soms droomt de AI dingen die er niet zijn (hallucinaties), of begrijpt hij niet hoe ver een ander voertuig echt weg is.

In dit artikel presenteren de auteurs ScenePilot-Bench. Hier is hoe dat werkt, vertaald naar alledaagse taal:

1. De Bibliotheek van Duizenden Reisvideo's (ScenePilot-4K)

Stel je voor dat je een enorme bibliotheek bouwt met 3.847 uur aan rijvideo's. Dit is niet zomaar een verzameling; het is een "super-bibliotheek" uit 63 verschillende landen.

• De diversiteit: Je ziet hier alles: van zonnige wegen in China tot regenachtige straten in Japan, van drukke steden tot rustige plattelandswegen.
• De annotatie (de "bijschriften"): Bij elk filmpje hebben de auteurs niet alleen gezegd "dit is een auto", maar ook: "Het is gevaarlijk omdat die vrachtwagen te dichtbij komt," "De weg is nat," en "Over 2 seconden moet je rechtsaf slaan."
• Het doel: Het is alsof je een pasgeboren AI-neus geeft met een reeks van duizenden verhalen over hoe rijden eruitziet in de echte wereld, inclusief de gevaarlijke momenten.

2. De Proefexamen (ScenePilot-Bench)

Nu hebben ze een examenbedacht om deze AI's te testen. Ze noemen dit ScenePilot-Bench. In plaats van alleen te vragen "Wat zie je?", krijgen de AI's vier soorten proefvragen:

• De Verteller (Scene Understanding):
  • Vraag: "Beschrijf de scène. Is het dag of nacht? Is het gevaarlijk?"
  • Analogie: Dit is alsof je vraagt aan de passagier: "Vertel me het verhaal van wat er gebeurt." De AI moet de sfeer en het risico goed kunnen omschrijven.
• De Ruimtelijke Sensor (Spatial Perception):
  • Vraag: "Hoe ver is die fietsman precies van jou af? En hoe ver van die andere auto?"
  • Analogie: Dit is de "ruimtelijk inzicht"-test. Een mens kijkt naar een auto en voelt instinctief de afstand. Veel AI's zijn hier slecht in; ze denken dat iets dichterbij is dan het is. Dit deel van het examen test of de AI echt ruimte begrijpt en niet alleen plaatjes herkent.
• De Chauffeur (Motion Planning):
  • Vraag: "Teken de route die je over 3 seconden gaat rijden."
  • Analogie: Hier moet de AI niet alleen praten, maar doen. Moet je remmen? Moet je de baan veranderen? Als de AI een route tekent die fysiek onmogelijk is (bijvoorbeeld door een muur), faalt hij.
• De Beoordelaar (GPT-Score):
  • Een andere slimme AI kijkt naar het antwoord en zegt: "Klinkt dit logisch en veilig?" Dit is de "leraar" die de antwoorden nakijkt.

3. De Testresultaten: Wie is de beste?

De auteurs hebben verschillende AI's getest, van de supersterke commerciële modellen (zoals GPT-4) tot modellen die speciaal voor auto's zijn gemaakt.

• De "Allesweters" (Algemene AI's): Deze modellen zijn fantastische vertellers. Ze kunnen prachtige verhalen maken over de weg ("Het is een zonnige dag, ik zie een rode auto..."). Maar zodra het gaat om afstanden berekenen of veilig remmen, maken ze fouten. Ze zijn als een passagier die prachtig kan vertellen over een ongeluk, maar zelf niet kan sturen.
• De "Gespecialiseerde AI's": Modellen die al een beetje voor auto's zijn getraind, doen het beter, maar zijn soms nog steeds niet perfect.
• De Winnaars (ScenePilot-modellen): De modellen die de auteurs zelf hebben getraind met hun enorme bibliotheek (ScenePilot-4K), bleken het beste. Ze zijn niet alleen goede vertellers, maar ook veilige chauffeurs. Ze begrijpen de ruimte en kunnen veilig plannen.

4. De "Reis naar een ander land" (Generalisatie)

Een belangrijk deel van het onderzoek was: "Wat gebeurt er als we een AI trainen in Nederland en hem dan in Japan laten rijden?"

• Resultaat: De AI's zijn goed in het begrijpen van de scène (het is een weg, er zijn auto's), maar ze hebben moeite met de regels. In Nederland rijden we rechts, in Japan links. Als de AI niet is getraind op links rijden, raakt hij in paniek bij het plannen van zijn route.
• Conclusie: Om een echt veilige zelfrijdende auto te maken, moet je hem trainen op veel verschillende soorten wegen en regels, niet alleen op één type weg.

Samenvattend

Dit artikel zegt eigenlijk: "We hebben een enorme, diverse bibliotheek gemaakt en een streng examen ontworpen om te testen of AI's niet alleen kunnen 'praten' over rijden, maar ook daadwerkelijk veilig kunnen 'sturen'."

Het laat zien dat de toekomst van zelfrijdende auto's niet ligt in modellen die alleen maar mooie verhalen vertellen, maar in modellen die de fysieke wereld, de afstanden en de lokale verkeersregels echt begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ScenePilot-Bench: A Large-Scale Dataset and Benchmark for Evaluation of Vision-Language Models in Autonomous Driving" in het Nederlands.

Probleemstelling

Hoewel Vision-Language Models (VLM's) snel vooruitgang boeken in algemene taakvervulling, blijven ze een bottleneck vormen voor ruimtelijk ingebedde intelligentie (spatial embodied intelligence) in autonoom rijden. Bestaande evaluatiemethoden zijn vaak ontoereikend omdat ze:

1. Hallucinaties niet effectief opsporen (VLM's genereren ongegronde objecten of relaties).
2. Te vaak focussen op beperkte datasets of smalle taaksegmenten, waardoor geometrische consistentie, risicobewuste planning en cross-regionale robuustheid (verschillende landen/verkeersregels) niet volledig worden getest.
3. Geen onderscheid maken tussen een VLM als "co-piloot" (die context en risico's analyseert) en een volledige controller, terwijl de eerste rol cruciaal is voor veilige besluitvorming in lange-staart scenario's.

Er is een behoefte aan een uitgebreid evaluatiekader dat semantisch begrip, ruimtelijke waarneming en bewegingsplanning koppelt aan veiligheidskritische criteria in realistische, open-wereld omgevingen.

Methodologie

De auteurs introduceren een tweeledige aanpak: een nieuw dataset-ecosysteem en een bijbehorend benchmarkkader.

1. ScenePilot-4K Dataset

Dit is een groot formaat, eerste-persoons rijdataset met de volgende kenmerken:

• Schaal: Bestaat uit 3.847 uur aan rijvideo's (27,7 miljoen frames), verzameld van YouTube en Bilibili.
• Geografische Diversiteit: Dekking van 63 landen/regio's en 1.210 steden, inclusief zowel links- als rechtsrijdend verkeer.
• Unieke Annotaties: In tegenstelling tot eerdere datasets, biedt ScenePilot-4K op dezelfde clips een unificatie van vijf lagen informatie:
  1. Scenariobeschrijvingen (natuurlijke taal).
  2. Risico-inschattingen (laag, medium, hoog).
  3. Identificatie van sleutelparticipanten (voertuigen, voetgangers, etc.).
  4. Ego-trajecten (beweging van het eigen voertuig).
  5. Camera-parameters (intrinsic/extrinsic).
• Annotatiepijplijn: Een geautomatiseerde pipeline gebruikt modellen zoals Qwen2-VL-72B voor beschrijvingen, YOLO11s voor detectie, en VGGT voor diepteschattting en camera-calibratie. Geometrische post-processing zorgt voor metrische schaalherstel en robuuste afstandsmetingen.

2. ScenePilot-Bench Benchmark

Het benchmarkkader evalueert VLM's via een vier-assen evaluatiesuite op basis van clips (10 frames):

• Scenariobegrip (Scene Understanding):
  • Refined SPICE: Semantische consistentie tussen gegenereerde en referentie-scenariobeschrijvingen.
  • Risk-Class-Acc: Nauwkeurigheid in het classificeren van risiconiveaus.
• Ruimtelijke Waarneming (Spatial Perception):
  • Object Classificatie: Algemene nauwkeurigheid in het herkennen van verkeersdeelnemers.
  • Ruimtelijk Redeneren: Fouten in relatieve afstand en hoek ten opzichte van het ego-voertuig (EMRDE, EMRAE) en tussen objecten onderling (OMRDE, OMRAE).
• Bewegingsplanning (Motion Planning):
  • Meta-actie Voorspelling: Voorspellen van versnelling en koerswijziging (DCS-Acc, MRE-Acc).
  • Trajectplanning: Gemiddelde en finale verplaatsingsfouten (ADE, FDE) over verschillende tijdsintervallen.
• GPT-Score: Een semantische evaluatie (0-1) door GPT-4o die de alignering tussen het antwoord en de grondwaarheid meet.

Normalisatie en Gewichten:
Fout-gebaseerde metrieken worden genormaliseerd naar een schaal van 0-100 met een exponentiële afstraffing voor grote fouten (veiligheidscriteria). Het totale gewicht is: Scenariobegrip (15%), Ruimtelijke Waarneming (35%), Bewegingsplanning (40%) en GPT-Score (10%).

Generalisatie-protocollen:

• LOCO (Leave-One-Country-Out): Trainen op alle landen behalve één, testen op dat ene land.
• Rechts-naar-Links Adaptatie: Trainen op rechtsrijdende landen, testen op linksrijdende landen (en vice versa).

Belangrijkste Resultaten

De auteurs hebben diverse VLM's (commercieel, open-source, en gespecialiseerd) getest:

1. Algemene VLM's vs. Gespecialiseerde Modellen:

   • Grote, algemene VLM's (zoals GPT-4o, Gemini) presteren uitstekend in Scenariobegrip (hoge SPICE-scores), maar falen vaak in Ruimtelijke Waarneming en Bewegingsplanning. Ze hallucineren vaak afstanden of genereren fysiek onhaalbare trajecten.
   • Gespecialiseerde modellen (zoals ReasonDrive) verbeteren na fine-tuning, maar bereiken niet altijd een evenwichtige competentie over alle domeinen.

2. ScenePilot Modellen:

   • De auteurs hebben hun eigen modellen getraind door Qwen-backbones te fine-tunen op de ScenePilot-4K dataset.
   • ScenePilot-2.5-3B-200k behaalde de hoogste totaalscore (65,37), presterend beter dan zowel de grootste commerciële modellen als andere gespecialiseerde baselines.
   • Dit bewijst dat directe fine-tuning op een rijk, multi-taak dataset de koppeling tussen visuele grounding, ruimtelijk redeneren en dynamische voorspelling sterk verbetert.

3. Generalisatie:

   • Scenariobegrip en objectdetectie transfereren zeer goed naar nieuwe geografische regio's.
   • Bewegingsplanning is echter gevoelig voor domeinverschuivingen. Vooral het voorspellen van hoge-level acties (zoals "links afslaan" in een rechtsrijdend land) daalt significant bij cross-regionale testen, wat aantoont dat lokale verkeersnormen kritiek zijn voor besluitvorming.

Bijdragen en Significantie

De paper levert de volgende cruciale bijdragen aan het veld van autonoom rijden:

1. De Grootste Eerste-Persoons Dataset: ScenePilot-4K is een van de grootste datasets met een unieke combinatie van visuele data, taal, risico-annotaties en geometrische trajecten, wat het een standaard maakt voor het trainen van VLM's.
2. Veiligheidsbewust Benchmark: ScenePilot-Bench verschuift de focus van "is het antwoord grammaticaal correct?" naar "is het antwoord veilig, fysiek haalbaar en ruimtelijk consistent?". De integratie van risico-inschatting en geometrische fouten in de scoring is een belangrijke stap vooruit.
3. Inzicht in "Embodied Intelligence": De resultaten tonen aan dat algemene taalmodellen niet automatisch ruimtelijk bewust zijn. Effectief autonoom rijden vereist specifieke training die visuele waarneming koppelt aan fysieke beperkingen en verkeersregels.
4. Richting voor Toekomstige Ontwikkeling: De studie benadrukt dat voor echt robuuste autonome systemen diverse trainingsdata nodig is om lokale verkeersconventies (zoals links/rechts rijden) te leren, en dat open-loop benchmarks een noodzakelijke tussenstap zijn voordat gesloten-lus simulaties worden ingezet.

Kortom, ScenePilot-Bench biedt een uitgebreid kader om de kloof tussen generatieve AI en veilig, fysiek haalbaar autonoom rijden te dichten.