LightEMMA: A Longitudinal Evaluation of Vision-Language Models for Autonomous Driving

Le auto a guida autonoma si sono a lungo affidate a sistemi rigidi basati su regole che seguono uno script stretto, o a framework basati sull'apprendimento che mappano i dati grezzi dei sensori direttamente ai comandi di sterzata. Sebbene questi approcci abbiano compiuto progressi significativi, spesso faticano con l'imprevisto: situazioni rare e complesse che esulano dai loro dati di addestramento, come un operaio edile che agita una mano o un modello di traffico improvviso e ambiguo. Per colmare questo divario, i ricercatori si sono rivolti ai modelli vision-language. Questi sono potenti sistemi di intelligenza artificiale addestrati per comprendere sia le immagini che il linguaggio umano, capaci di ragionare su una scena in modo molto simile a un conducente umano — descrivendo ciò che vedono, interpretando l'intento e prendendo decisioni basate sul contesto. La speranza prevalente è stata che, man mano che questi modelli diventano più avanzati e capaci di ragionamento generale, diventeranno naturalmente più bravi a guidare, superando infine i sistemi specializzati progettati esclusivamente per la strada.

Un team di ricercatori dell'Università del Michigan si è posto l'obiettivo di testare questa ipotesi con un esame rigoroso e a lungo termine su come questi modelli si comportino effettivamente. Hanno introdotto un nuovo framework di valutazione chiamato LightEMMA, progettato per misurare le capacità di guida di questi modelli senza fornire loro alcun addestramento speciale o modificare le loro impostazioni interne. Invece di insegnare ai modelli come guidare, i ricercatori hanno semplicemente chiesto loro di guardare una scena stradale e prevedere dove la vettura dovrebbe andare successivamente. Hanno testato quindici modelli diversi appartenenti a cinque grandi famiglie, coprendo tre anni di rapido sviluppo, utilizzando un dataset impegnativo di scene di guida urbana reali. L'obiettivo era vedere se i modelli più recenti e potenti fossero davvero migliori guidatori rispetto ai loro predecessori, o se il salto nell'intelligenza generale non fosse riuscito a tradursi in una guida più sicura e accurata.

I risultati di questo studio longitudinale rivelano una sorprendente disconnessione. Nonostante i modelli siano diventati più grandi, più veloci nel ragionamento generale e più capaci di comprendere il linguaggio complesso, non sono diventati costantemente più bravi a prevedere le traiettorie dei veicoli. Infatti, alcune delle generazioni più recenti si sono comportate peggio delle versioni precedenti della stessa famiglia. Quando i ricercatori hanno misurato l'accuratezza dei percorsi previsti rispetto ai percorsi effettivamente intrapresi da auto reali, hanno scoperto che i modelli più nuovi spesso commettevano errori più grandi. Ad esempio, mentre uno dei modelli con le prestazioni migliori della famiglia GPT ha ottenuto un errore medio di poco superiore a un metro in una finestra di previsione di tre secondi, altri modelli più recenti della stessa famiglia o di famiglie diverse hanno mostrato tassi di errore più elevati, superando talvolta i due metri. Ciò suggerisce che rendere un modello semplicemente più "intelligente" in senso generale non lo renda automaticamente un guidatore migliore.

Lo studio ha anche scoperto modi specifici in cui questi modelli falliscono di fronte a scenari di guida reali. Un errore comune riguardava un'eccessiva dipendenza dalla storia recente dell'auto. Se un veicolo aveva appena svoltato a destra in un incrocio, i modelli spesso continuavano a prevedere una curva verso destra, anche quando l'auto si era raddrizzata e la strada davanti era libera. Faticavano ad aggiornare il loro modello mentale basandosi sulla vista attuale, invece proiettando l'azione precedente in avanti. In altri casi, i modelli non riuscivano a conciliare segnali visivi contrastanti. Quando un semaforo diventava verde ma un veicolo era fermo direttamente davanti, alcuni modelli prevedevano correttamente che l'auto dovesse aspettare, mentre altri ignoravano l'ostacolo e prevedevano che l'auto avrebbe attraversato l'incrocio. Allo stesso modo, avvicinandosi a un semaforo rosso, alcuni modelli prevedevano una frenata improvvisa e brusca invece di una decelerazione fluida, mentre altri non rallentavano affatto.

Oltre all'accuratezza, i ricercatori hanno esaminato i costi pratici dell'uso di questi modelli per la guida. Hanno scoperto che il tempo di inferenza — il tempo necessario al modello per elaborare un'immagine e generare una previsione — variava ampiamente. Il modello più veloce impiegava circa 4,5 secondi per elaborare un singolo fotogramma, mentre il più lento impiegava oltre 4 0 la secondi. Per un'auto che viaggia a velocità autostradali, aspettare anche solo pochi secondi per prendere una decisione è troppo lungo; la guida in tempo reale richiede decisioni in millisecondi. Inoltre, il costo dell'uso di modelli commerciali per questo compito era significativo, con alcuni che costavano diversi centesimi per fotogramma, il che si tradurrebbe in una spesa proibitiva per un funzionamento continuo. Lo studio ha anche notato che anche i migliori modelli occasionalmente non riuscivano a seguire le istruzioni, producendo output difficili da leggere o analizzare, sebbene i ricercatori abbiano sviluppato un metodo per correggere la maggior parte di questi errori di formattazione.

In definitiva, il lavoro suggerisce che la strada verso una guida autonoma sicura utilizzando i modelli vision-language richiede molto più che attendere la prossima generazione di IA general-purpose. I modelli sono capaci di descrivere una scena e comprendere il linguaggio, ma mancano dell'intuizione specifica e addestrata al dominio necessaria per navigare nel mondo fisico in modo sicuro e affidabile. I ricercatori concludono che, per rendere questi sistemi sostenibili, avranno bisogno di un adattamento specializzato per apprendere le regole e le dinamiche specifiche della guida, piuttosto che fare affidamento solo sulle loro capacità di ragionamento ampio e generale. Il framework LightEMMA si pone ora come uno strumento per la comunità per continuare a testare e perfezionare questi modelli, assicurando che i futuri progressi nell'intelligenza artificiale si traducano in miglioramenti tangibili sulla strada.