🤖 AI

Robusto-2: Benchmarking Humans & VLMs for Autonomous Driving in Lima & New York City

Questo articolo introduce il benchmark Robusto-2 per valutare e confrontare le prestazioni di conducenti umani di Lima e New York City rispetto ai modelli vision-language (VLM) in diversi scenari di guida attraverso queste due geografie impegnative, rivelando che, sebbene le risposte umane e dei VLM divergano in base al tipo di domanda, nessuno dei due gruppi mostra variazioni significative di prestazione attribuibili alla specifica città a causa della natura altamente fuori distribuzione degli scenari.

Autori originali: Adrian Cespedes, Marcelo Chincha, Dunant Cusipuma, Victor Flores-Benites, David Ortega, Arturo Deza

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Adrian Cespedes, Marcelo Chincha, Dunant Cusipuma, Victor Flores-Benites, David Ortega, Arturo Deza

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: Le auto a guida autonoma hanno uno "shock culturale"?

Immagina di insegnare a un robot a guidare. Lo addestri in una città tranquilla e ordinata. Poi, lo abbandoni in una città caotica e frenetica, dove le regole del traffico sono più che altro dei suggerimenti piuttosto che leggi. Il robot andrà nel panico? Capirà cosa sta succedendo?

Gli autori di questo articolo volevano testare esattamente questo. Si sono chiesti: se mostriamo i "cervelli" delle auto a guida autonoma (chiamati VLM) dei video di due città molto diverse e caotiche — Lima, Perù, e New York City, USA — reagiranno in modo diverso rispetto agli esseri umani? E gli umani di Lima reagiranno diversamente dagli umani di New York?

L'Esperimento: Un esame di guida per umani e robot

Pensa a questo studio come a un enorme esame di guida multilingue.

I Soggetti del Test:
- 10 Umani di Lima: Autisti reali che conoscono le strade del Perù.
- 10 Umani di New York: Autisti reali che conoscono le strade di NYC.
- 10 Modelli AI: Diversi "cervelli" di varie aziende tecnologiche (i VLM).
- Totale: 30 "guidatori" che sostengono l'esame.
Il Materiale del Test:
- Non hanno usato filmati perfetti in giornate soleggiate. Hanno usato video da dashcam di Lima e NYC.
- Hanno scelto specificamente i clip da 5 secondi più "disordinosi": scene in cui l'IA era più confusa o in disaccordo con se stessa. Questi sono i "casi limite" (edge cases), come un taxi che taglia la strada a qualcuno sotto la pioggia o un pedone che attraversa all'improvviso.
Le Domande del Test:
Inveve di limitarsi a guardare, tutti (umani e IA) dovevano rispondere a delle domande sul video, come in un quiz. Le domande rientravano in quattro categorie:
- Fattuali: "Cosa sta facendo l'auto?" (Semplice osservazione).
- Valutazioni: "Su una scala da 1 a 10, quanto è caotico questo traffico?" (Giudizio soggettivo).
- Controfattuali: "Cosa dovrebbe accadere affinché si verifichi un incidente?" (Immaginazione).
- Ragionamento: "Chi ha la precedenza?" (Logica e regole).

I Risultati Sorprendenti

I ricercatori si aspettavano che l'IA si confondesse con la città "straniera" (ad esempio, un'IA addestrata su dati statunitensi potrebbe fallire a Lima). Si aspettavano anche che i conducenti di Lima vedessero le cose diversamente dai conducenti di New York. Ecco cosa hanno scoperto realmente:

1. Il Mito della "Geografia"

L'Aspettativa: "I conducenti di Lima vedranno Lima diversamente da come i conducenti di New York vedono Lima."
La Realtà: No. Gli umani di Lima e gli umani di New York hanno dato risposte quasi identiche, indipendentemente dalla città che stavano guardando.
L'Analogia: Immagina di mostrare la foto di una tempesta a un pescatore dell'Amazzonia e a un pescatore dell'Artico. Anche se vivono in posti diversi, entrambi concordano: "Quella è una tempesta". Il caos del traffico di Lima o NYC è così universale che i cervelli umani lo elaborano allo stesso modo.

2. Il Divario tra Umano e Robot

L'Aspettativa: Forse l'IA è brava quanto gli umani.
La Realtà: No. Umani e IA hanno spesso dato risposte molto diverse.
L'Analogia: Se chiedi a un essere umano e a un robot: "Quell'auto sta per schiantarsi?", l'umano potrebbe dire: "Sì, il conducente sembra distratto", mentre il robot potrebbe dire: "No, la distanza è sicura". Guardano la stessa scena ma "pensano" in linguaggi completamente diversi.

3. La "Domanda" Conta Più del "Luogo"

La differenza maggiore nelle risposte non derivava da dove il video fosse stato filmato (Lima vs NYC). Derivava da che tipo di domanda veniva posta.
Quando venivano poste domande su fatti semplici, tutti erano d'accordo. Quando venivano chieste di immaginare scenari "e se...", l'IA e gli umani divergevano drasticamente.

La Conclusione "Caotica"

Il paper conclude con un colpo di scena. Di solito, pensiamo ai dati "Out-of-Distribution" (OOD) come a qualcosa di strano e unico per un certo luogo. Ma gli autori hanno scoperto che il caos è universale.

Che si tratti di una strada caotica a Lima o di una strada caotica a NYC, la "confusione" appare uguale sia agli umani che alle IA. Il divario non è tra le città; il divario è tra cervelli biologici (umani) e cervelli digitali (IA).

Perché Questo è Importante (Secondo il Paper)

Gli autori suggeriscono che, poiché queste città sono così caotiche e attualmente non vi operano auto a guida autonoma, esse sono in realtà dei perfetti "test di stress".

L'Analogia: Se vuoi testare la resistenza del motore di una nuova auto, non la guidi su un'autostrada liscia. La guidi sopra le rocce. Lima e NYC sono le "rocce" del mondo della guida.
Testando l'IA su questi dati disordinosi, possiamo vedere esattamente dove la sua "spina dorsale cognitiva" si rompe rispetto a un conducente umano.

In breve: Gli esseri umani di culture diverse vedono il caos del traffico nello stesso modo. L'IA, tuttavia, lo vede in modo diverso rispetto agli umani, indipendentemente da dove l'IA sia stata addestrata. Il paper fornisce un nuovo dataset per aiutare i ricercatori a colmare questo divario.

Riepilogo Tecnico: Robusto-2: Benchmarking di Umani e VLM per la Guida Autonoma a Lima e New York City

Problematica

Mentre la tecnologia delle auto a guida autonoma (SDC) evolve dagli euristiche codificate in modo rigido verso sistemi modulari alimentati da modelli Vision-Language-Action (VLA) con modelli Vision-Language (VLM) come backbone cognitivi, rimane un interrogativo critico aperto: quanto bene questi sistemi si generalizzano a nuove geografie e a scenari di casi limite (edge-case) fuori distribuzione (OOD)?

Gli attuali modelli fondativi multimodali sono prevalentemente addestrati su dati dell'emisfero occidentale, specificamente degli Stati Uniti. Ciò solleva preoccupazioni sulla sicurezza per quanto riguarda il loro dispiegamento in ambienti complessi e caotici dove i dati di addestramento sono scarsi o inesistenti. Mentre città come San Francisco e Shenzhen hanno attivi dispiegamenti di SDC, località come Lima, Perù, e New York City, USA, rimangono ambienti impegnativi dove non operano attualmente flotte di SDC. Il documento investiga il gap di generalizzazione transculturale tra conducenti umani e VLM quando esposti a scenari di guida provenienti da queste distinte geografie.

Metodologia

Gli autori presentano Robusto-2, uno studio di benchmarking che impiega un disegno fattoriale completo ( $2 \times 3$ ) coinvolgendo tre popolazioni:

Conducenti umani da Lima, Perù.
Conducenti umani da New York City, USA.
Dieci distinti VLM provenienti da varie startup e organizzazioni.

Raccolta e Selezione dei Dati

Stimoli: Lo studio utilizza filmati da dashcam registrati con la stessa configurazione di telecamera sia a Lima che a NYC. Dai video grezzi sono stati estratti 200 clip da cinque secondi (100 per città).
Pipeline di Selezione OOD: Per garantire la selezione di scenari sfidanti e fuori distribuzione, gli autori hanno sottoposto 200 clip a molteplici VLM con 20 domande VQA. Hanno calcolato gli embedding delle risposte e selezionato i 10 clip per ogni città che esibivano la più alta varianza nelle risposte del modello. Questi clip ad alta dispersione sono stati interpretati come scene OOD e utilizzati come stimoli finali per il sondaggio.
Partecipanti: Lo studio ha reclutato 10 partecipanti umani da Lima e 10 da NYC. Tutti gli umani sono stati verificati come studenti universitari (età 18–30) con patente di guida valida. Tutti i 30 sistemi (20 umani + 10 VLM) sono stati sollecitati con le stesse 20 domande in inglese.

Framework di Visual Question Answering (VQA)

L'evaluazione ha utilizzato una struttura di domande a quattro blocchi:

Fattuali (Q1–Q5): Domande riguardanti meteo, ora, segnali stradali e flusso (uniche per ogni video).
Valutazioni (Q6–Q10): Valutazioni quantitative soggettive (scala 1–10) di disordine, pericolo, probabilità di incontrare scenari simili e performance attese di veicoli autonomi rispetto ai conducenti umani.
Controfattuali e Ipotetici (Q11–Q15): Domande creative che esplorano scenari di collisione senza una verità fondamentale (ground truth).
Ragionamento (Q16–Q20): Domande di ragionamento complesso riguardanti la precedenza e la sicurezza dei pedoni, progettate per testare le capacità di Chain-of-Thought.

Tecniche di Analisi

Analisi degli Embedding: Le risposte sono state proiettate in uno spazio 2D utilizzando l'Analisi delle Componenti Principali (PCA) e analizzate tramite l'Analisi della Similarità Rappresentazionale (RSA) per visualizzare i pattern di convergenza/divergenza.
Analisi del Bias Sistematico: La Scalatura Multi-Dimensionale (MDS) è stata applicata alle distanze L1 dei punteggi di valutazione. I VLM sono stati sollecitati 20 volte per ogni coppia video-domanda per costruire grafici a violino distribuzionali.
Similarità Semantica: Un framework "LLM-as-a-Judge" (utilizzando Qwen3-4B in modalità thinking) ha eseguito confronti a coppie tra le risposte, valutando l'allineamento su una scala da -2 (forte disaccordo) a 2 (forte accordo).

Risultati Chiave

1. Geografia vs Tipo di Domanda

L'analisi ha rivelato che i pattern di risposta erano modulati principalmente dal tipo di domande poste (es. Fattuali vs Ragionamento) piuttosto che dalla geografia dei dati video.

Invarianza Geografica: Non c'è stata una forte differenza nelle risposte (sia dagli umani che dai VLM) basata sul fatto che il video fosse di Lima o di NYC. Gli autori attribuiscono ciò all'elevata natura OOD dei clip selezionati, che probabilmente ha sovrastato le sfumature geografiche.
Consistenza Umana: Gli umani di Lima e di NYC hanno dimostrato pattern di risposta molto simili indipendentemente dalla fonte del video.

2. Divergenza Umano vs VLM

Convergenza/Divergenza: Umani e VLM divergono nelle loro risposte, ma tale divergenza dipende dalla categoria della domanda.
Modulazione Geografica della Divergenza: Mentre i pattern umani sono stati coerenti attraverso le geografie, il divario tra Umani e VLM è stato leggermente più pronunciato nel contesto di Lima rispetto a NYC. Nello specifico, i VLM sono apparsi più distanti dal cluster umano a Lima rispetto a NYC.
Consistenza dei VLM: Diversi VLM hanno condiviso pattern di risposta simili indipendentemente dai loro specifici dati di addestramento o procedure, a supporto dell'ipotesi della "Rappresentazione Platonica".

3. Risultati Specifici sulle Valutazioni

Percezione del Pericolo (Q8): I VLM hanno mostrato un'alta similarità nella valutazione dei livelli di pericolo in entrambe le geografie.
Autoconsapevolezza (Q9): Quando interrogati su quanto un veicolo autonomo gestirebbe la scena, i VLM hanno mostrato la massima distanza (dissimilarità) tra le geografie, suggerendo una sensibilità al contesto geografico quando valutano le capacità di guida autonoma.

Contributi Chiave

Dataset Robusto-2: Il rilascio di un dataset completamente fattoriale contenente filmati da dashcam di Lima e NYC, annotati con risposte VQA di 20 umani e 10 VLM.
Benchmark Transculturale: Un nuovo design di studio che controlla la geografia includendo soggetti umani sia dalla regione di "addestramento" (USA/NYC) che da una regione "non nativa" (Lima), affrontando i bias presenti in studi precedenti (es. Robusto-1) che confrontavano parlanti non nativi con modelli addestrati negli USA.
Framework Metodologico: Una pipeline per la selezione di clip video OOD basata sulla varianza del disaccordo dei modelli, garantendo che il benchmark si concentri sui casi limite piuttosto che sugli scenari di guida medi.

Significato e Rivendicazioni

Il documento afferma che, sebbene esista un divario tra cognizione umana e artificiale, non esiste un significativo gap di generalizzazione transculturale tra geografie (Lima vs NYC) né per gli umani né per i VLM quando affrontano scenari di guida altamente caotici e OOD.

Gli autori sottolineano che i loro risultati suggeriscono che sia gli umani che i VLM navigano in questi ambienti caotici in "modi similmente caotici". Ciò implica che la mancanza di specificità geografica nelle risposte dei modelli possa essere dovuta alla difficoltà intrinseca degli scenari OOD piuttosto che a un fallimento dell'adattamento culturale.

Limitazioni e Modestia:
Gli autori notano esplicitamente la scala modesta dello studio (20 clip, 20 domande, 30 soggetti, per un totale di circa 12.000 punti dati). Riconoscono che, sebbene il volume di dati sia basso rispetto agli studi aggregati basati sul crowdsourcing, il design permette una dissezione unica delle differenze inter-sistema che viene spesso oscurata nei dataset "Mega-Human" aggregati. Il principale collo di bottiglia identificato è stato la raccolta di dati di guida umana di alta qualità, non la computazione delle risposte dei VLM. Gli autori pianificano di espandere questo lavoro per includere popolazioni più ampie e dati da cinque continenti nelle iterazioni future.