🤖 AI

Robusto-2: Benchmarking Humans & VLMs for Autonomous Driving in Lima & New York City

Dit artikel introduceert de Robusto-2 benchmark om de prestaties van menselijke bestuurders uit Lima en New York City te evalueren en te vergelijken met Vision-Language Models (VLM's) in diverse rijscenario's binnen deze twee uitdagende geografische gebieden, waarbij wordt onthuld dat hoewel menselijke en VLM-responsen uiteenlopen op basis van het type vraag, geen van beide groepen een significante prestatievariatie vertoont die toe te schrijven is aan de specifieke stad vanwege het hoog-out-of-distribution karakter van de scenario's.

Oorspronkelijke auteurs: Adrian Cespedes, Marcelo Chincha, Dunant Cusipuma, Victor Flores-Benites, David Ortega, Arturo Deza

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adrian Cespedes, Marcelo Chincha, Dunant Cusipuma, Victor Flores-Benites, David Ortega, Arturo Deza

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Krijgen Zelfrijdende Auto's een "Cultuurshock"?

Stel je voor dat je een robot leert rijden. Je traint het in een rustige, ordelijke stad. Daarna laat je het los in een chaotische, bruisende metropool waar verkeersregels meer lijken op suggesties dan op wetten. Raakt de robot in paniek? Zal hij begrijpen wat er gebeurt?

De auteurs van dit paper wilden precies dat testen. Ze vroegen zich af: Als we de "hersenen" van zelfrijdende auto's (VLMs genoemd) video's laten zien van twee zeer verschillende, chaotische steden—Lima, Peru, en New York City, USA—reageren ze dan anders dan menselijke bestuurders? En zullen mensen uit Lima anders reageren dan mensen uit New York?

Het Experiment: Een Rijexamen voor Mensen en Robots

Beschouw deze studie als een enorme, meertalige rijtest.

De Proefpersonen:
- 10 Mensen uit Lima: Echte bestuurders die de straten van Peru kennen.
- 10 Mensen uit New York: Echte bestuurders die de straten van NYC kennen.
- 10 AI-modellen: Verschillende "hersenen" van diverse technologiebedrijven (de VLMs).
- Totaal: 30 "bestuurders" die de test afleggen.
Het Testmateriaal:
- Ze gebruikten geen perfecte beelden van een zonnige dag. Ze gebruikten dashcam-video's uit Lima en NYC.
- Ze kozen specifiek de "rommeligste" fragmenten van 5 seconden—scènes waarin de AI het meest verward was of met zichzelf in strijd ging. Dit zijn de "edge cases", zoals een taxi die iemand afsnijdt in de regen of een voetganger die ongepast de weg oversteekt.
De Testvragen:
In plaats van alleen maar te kijken, moesten iedereen (mensen en AI) vragen over de video beantwoorden, als een soort quiz. De vragen vielen in vier categorieën:
- Feitelijk: "Wat doet de auto?" (Eenvoudige observatie).
- Beoordeling: "Op een schaal van 1 tot 10, hoe chaotisch is dit verkeer?" (Subjectief oordeel).
- Counterfactual (Tegengestelde scenario's): "Wat zou er moeten gebeuren om een crash te veroorzaken?" (Verbeelding).
- Redenering: "Wie heeft het voorrang?" (Logica en regels).

De Verrassende Resultaten

De onderzoekers verwachtten dat de AI in verwarring zou raken door de "vreemde" stad (bijv. een AI die getraind is op Amerikaanse data, zou kunnen falen in Lima). Ze verwachtten ook dat Lima-bestuurders zaken anders zouden zien dan New York-bestuurders. Dit is wat ze daadwerkelijk vonden:

1. De "Geografie"-mythe

De Verwachting: "Lima-bestuurders zullen Lima anders zien dan New York-bestuurders Lima zien."
De Realiteit: Nee. Mensen uit Lima en mensen uit New York gaven bijna identieke antwoorden, ongeacht welke stad ze in de video zagen.
De Analogie: Stel je voor dat je een foto van een storm laat zien aan een visser uit de Amazone en een visser uit de Arctische gebieden. Hoewel ze in verschillende plekken wonen, zijn ze het er allebei over eens: "Dat is een storm." De chaos van het rijden in Lima of NYC is zo universeel dat menselijke hersenen het op dezelfde manier verwerken.

2. De Kloof tussen Mens en Robot

De Verwachting: Misschien is de AI net zo goed als mensen.
De Realiteit: Nee. Mensen en AI gaven vaak heel verschillende antwoorden.
De Analogie: Als je een mens en een robot vraagt: "Gaat die auto bijna crashen?", zegt de mens misschien: "Ja, de bestuurder lijkt afgeleid," terwijl de robot zegt: "Nee, de afstand is veilig." Ze kijken naar dezelfde scène, maar "denken" in totaal verschillende talen.

3. De "Vraag" Is Belangrijker dan de "Plaats"

Het grootste verschil in antwoorden kwam niet door waar de video werd gefilmd (Lima vs. NYC). Het kwam door wat voor soort vraag er gesteld werd.
Wanneer ze eenvoudige feiten werden gevraagd, waren iedereen het eens. Wanneer ze scenario's moesten voorstellen over "wat als", liepen de AI en de mensen ver uiteen.

De "Chaotische" Conclusie

Het paper concludeert met een wending. Meestal denken we dat "Out-of-Distribution" (OOD) data iets vreemds en unieks is voor een specifieke plek. Maar de auteurs ontdekten dat chaos universeel is.

Of het nu gaat om een chaotische straat in Lima of een chaotische straat in NYC, de "rommeligheid" ziet er hetzelfde uit voor zowel mensen als AI. De kloof zit niet tussen de steden; de kloof zit tussen biologische hersenen (mensen) en digitale hersenen (AI).

Waarom Dit Belangrijk Is (Volgens het Paper)

De auteurs suggereren dat omdat deze steden zo chaotisch zijn en er momenteel geen zelfrijdende auto's opereren, ze eigenlijk perfecte "stress-tests" zijn.

De Analogie: Als je wilt testen of een nieuwe automotor sterk is, rijd je niet over een gladde snelweg. Je rijdt over rotsen. Lima en NYC zijn de "rotsen" van de autowereld.
Door AI te testen op deze rommelige data, kunnen we precies zien waar de "cognitieve ruggengraat" van de AI breekt in vergelijking met een menselijke bestuurder.

Kortom: Mensen uit verschillende culturen zien de chaos in het verkeer op dezelfde manier. AI ziet het echter anders dan mensen, ongeacht waarop de AI getraind is. Het paper biedt een nieuwe dataset om onderzoekers te helpen deze kloof te overbruggen.

Technische Samenvatting: Robusto-2: Het benchmarken van mensen & VLMs voor autonoom rijden in Lima & New York City

Probleemstelling

Terwijl zelfrijdende auto (SDC) technologie evolueert van hard-gecodeerde heuristieken naar modulaire systemen die worden aangedreven door Vision-Language-Action (VLA) modellen met Vision-Language Models (VLMs) als cognitieve ruggengraat, blijft een cruciale openstaande vraag: hoe goed generaliseren deze systemen naar nieuwe geografische gebieden en out-of-distribution (OOD) edge-case scenario's?

Huidige multi-modale fundamentele modellen zijn voornamelijk getraind op data uit de westerse hemisfeer, specifiek uit de Verenigde Staten. Dit roept veiligheidszorgen op met betrekking tot hun inzet in complexe, chaotische omgevingen waar trainingsdata schaars of niet-existent is. Hoewel steden als San Francisco en Shenzhen actieve SDC-implementaties hebben, blijven locaties zoals Lima, Peru, en New York City, VS, uitdagende omgevingen waar momenteel geen SDC-vloten opereren. Het paper onderzoekt de cross-culturele generalisatiekloof tussen menselijke bestuurders en VLMs wanneer zij worden blootgesteld aan riagementscenario's uit deze verschillende geografische gebieden.

Methodologie

De auteurs presenteren Robusto-2, een benchmarking-studie die gebruikmaakt van een volledige factoriële design ( $2 \times 3$ ) waarbij drie populaties betrokken zijn:

Menselijke bestuurders uit Lima, Peru.
Menselijke bestuurders uit New York City, VS.
Tien verschillende VLMs van diverse startups en organisaties.

Datacollectie en Selectie

Stimuli: De studie maakt gebruik van dashcam-beelden opgenomen met dezelfde camera-opstelling in zowel Lima als NYC. Uit de ruwe opnames werden 200 clips van vijf seconden geëxtraheerd (100 per stad).
OOD Selectie Pipeline: Om te zorgen voor de selectie van uitdagende, out-of-distribution scenario's, voedden de auteurs 200 clips aan meerdere VLMs met 20 VQA-vragen. Ze berekenden de embeddings van de antwoorden en selecteerden de 10 clips uit elke stad die de hoogste variantie in modelresponsen vertoonden. Deze clips met een hoge dispersie werden geïnterpreteerd als OOD-scènes en werden gebruikt als de uiteindelijke stimuli voor de enquête.
Deelnemers: De studie rekruteerde 10 menselijke deelnemers uit Lima en 10 uit NYC. Alle mensen werden geverifieerd als universiteitsstudenten (leeftijd 18–30) met een geldig rijbewijs. Alle 30 systemen (20 mensen + 10 VLMs) kregen dezelfde 20 vragen in het Engels gesteld.

Visual Question Answering (VQA) Framework

De evaluatie maakte gebruik van een vierblokken-vragenstructuur:

Feitelijk (Q1–Q5): Vragen over weer, tijd, verkeerssignalen en doorstroming (uniek per video).
Beoordelingen (Q6–Q10): Subjectieve kwantitatieve beoordelingen (1–10 schaal) van rommel (clutter), gevaar, de waarschijnlijkheid om soortgelijke scenario's tegen te komen, en de verwachte prestaties van autonome voertuigen versus menselijke bestuurders.
Contrafactisch & Hypothetisch (Q11–Q15): Creatieve vragen die crash-scenario's verkennen zonder grondwaarheid (ground truth).
Redenering (Q16–Q20): Complexe redeneervragen over voorrangsregels en voetgangersveiligheid, ontworpen om Chain-of-Thought capaciteiten te testen.

Analyse Technieken

Embedding Analyse: Antwoorden werden geprojecteerd in een 2D-ruimte met behulp van Principal Component Analysis (PCA) en geanalyseerd via Representational Similarity Analysis (RSA) om convergentie-/divergentiepatronen te visualiseren.
Systematische Bias Analyse: Multi-Dimensional Scaling (MDS) werd toegepast op de L1-afstanden van de beoordelingsscores. VLMs werden 20 keer per video-vraagpaar geprompt om distributionele violin plots te construeren.
Semantische Gelijkenis: Een "LLM-as-a-Judge" framework (gebruikmakend van Qwen3-4B in thinking mode) voerde paarwijze vergelijkingen van antwoorden uit, waarbij de mate van overeenstemming werd gescoord op een schaal van -2 (sterke onenigheid) tot 2 (sterke overeenstemming).

Belangrijkste Resultaten

1. Geografie vs. Vraagtype

De analyse toonde aan dat respons patronen voornamelijk werden gemoduleerd door het type vragen (bijv. Feitelijk vs. Redenering) in plaats van de geografie van de videodata.

Geografische Invariantie: Er was geen sterk verschil in antwoorden (van zowel Mensen als VLMs) op basis van of de video uit Lima of NYC kwam. De auteurs schrijven dit toe aan het hoogwaardige OOD-karakter van de geselecteerde clips, wat waarschijnlijk de geografische nuances overstemde.
Menselijke Consistentie: Mensen uit Lima en NYC vertoonden zeer vergelijkbare antwoordpatronen, ongeacht de videobron.

2. Mens vs. VLM Divergentie

Convergentie/Divergentie: Mensen en VLMs divergeerden in hun antwoorden, maar deze divergentie was afhankelijk van de categorie van de vragen.
Geografische Modulatie van Divergentie: Terwijl menselijke patronen consistent waren over verschillende geografische gebieden, was de kloof tussen Mensen en VLMs iets prominenter in de context van Lima vergeleken met NYC. Specifiek leken VLMs verder verwijderd van de menselijke cluster in Lima dan in NYC.
VLM Consistentie: Verschillende VLMs deelden vergelijkbare antwoordpatronen, ongeacht hun specifieke trainingsdata of procedures, wat de "Platonic Representation hypothesis" ondersteunt.

3. Specifieke Bevindingen over Beoordelingen

Gevaarperceptie (Q8): VLMs vertoonden een hoge gelijkenis in het beoordelen van gevaarniveaus over beide geografische gebieden heen.
Zelfbewustzijn (Q9): Wanneer gevraagd werd hoe goed een autonoom voertuig de scène zou afhandelen, vertoonden VLMs de grootste afstand (dissimilariteit) over de geografische gebieden heen, wat wijst op een gevoeligheid voor de geografische context bij het evalueren van zelfrijdende capaciteiten.

Belangrijkste Bijdragen

Robusto-2 Dataset: De release van een volledig factorieel dataset bevattende dashcam-beelden uit Lima en NYC, geannoteerd met VQA-responsen van 20 mensen en 10 VLMs.
Cross-Culturele Benchmark: Een nieuw studieontwerp dat geografie controleert door menselijke subjecten uit zowel de "trainingsregio" (VS/NYC) als een "niet-inheemse" regio (Lima) op te nemen, waarmee de biases in eerdere studies (bijv. Robusto-1) worden geadresseerd die niet-moedertaalsprekers vergeleken met in de VS getrainde modellen.
Methodologisch Framework: Een pipeline voor het selecteren van OOD-videoclips op basis van de variantie in model-onenigheid, waardoor de benchmark zich richt op edge cases in plaats van gemiddelde riagementscenario's.

Betekenis en Claims

Het paper claimt dat hoewel er een kloof bestaat tussen menselijke en machinale cognitie, er geen significante cross-culturele generalisatiekloof bestaat tussen geografische gebieden (Lima vs. NYC) voor zowel mensen als VLMs wanneer zij geconfronteerd worden met zeer chaotische, OOD riagementscenario's.

De auteurs benadrukken dat hun bevindingen suggereren dat zowel mensen als VLMs deze chaotische omgevingen op "vergelijkbaar chaotische wijzen" navigeren. Dit impliceert dat het gebrek aan geografische specificiteit in modelresponsen te wijten is aan de inherente moeilijkheid van de OOD-scenario's, in plaats van een falen van culturele adaptatie.

Beperkingen en Bescheidenheid:
De auteurs merken expliciet op dat de schaal van de studie bescheiden is (20 clips, 20 vragen, 30 subjecten, totaal ~12.000 datapunten). Ze erkennen dat het datavolume laag is vergeleken met geaggregeerde crowd-sourced studies, maar dat het ontwerp een unieke dissectie mogelijk maakt van inter-systeem verschillen die vaak verborgen blijven in "Mega-Human" geaggregeerde datasets. De primaire bottleneck die werd geïdentificeerd, was de verzameling van hoogwaardige menselijke bestuurdersdata, niet de computationele rekenkracht voor VLM-responsen. De auteurs zijn van plan dit werk uit te breiden naar grotere populaties en data van vijf continenten in toekomstige iteraties.