Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

Il sogno di un'auto che si guida da sola è un elemento fisso della fantascienza da decenni, promettendo un futuro in cui il peso dello sterzare, del frenare e del navigare nel traffico viene sollevato dalle spalle umane. Negli ultimi vent'anni, gli ingegneri hanno lavorato per trasformare quella promessa in realtà, costruendo sistemi che possano vedere la strada, prevedere cosa faranno gli altri conducenti e decidere come muoversi in sicurezza. Questi sistemi si basano su tre pilastri principali: la capacità di percepire il mondo attraverso telecamere e sensori, la capacità di indovinare dove andranno le altre persone e i veicoli, e la capacità di pianificare un percorso sicuro in avanti. Sebbene abbiamo visto flotte di prova operare in città specifiche, la tecnologia non è ancora pronta per la strada aperta ovunque. Un ostacolo importante rimane: come facciamo a sapere se un programma per computer è davvero migliore di un altro? Diversi team di ricerca testano spesso i loro software in mondi virtuali differenti o con regole diverse, rendendo impossibile confrontarli equamente. Senza un terreno comune, è difficile dire se un nuovo metodo sia un vero salto in avanti o solo un metodo che funziona solo su un test specifico.

Un team di ricercatori dell'Università della Southern California ha deciso di risolvere questo problema portando otto dei più avanzati pianificatori per la guida autonoma in un'unica arena virtuale condivisa. Hanno scelto una popolare piattaforma di simulazione chiamata CARLA, che ricrea la fisica della guida e la complessità delle strade cittadine, e l'hanno utilizzata come giudice neutrale. I ricercatori hanno preso modelli software che avevano precedentemente vinto i primi posti in tre diverse competizioni principali — una basata su dati reali di Waymo, un'altra sul dataset nuPlan e diverse della comunità CARLA stessa — e li hanno costretti a correre sugli stessi percorsi, affrontando gli stessi ingorghi, pedoni e zone di costruzione. L'obiettivo non era creare un nuovo benchmark, ma vedere come questi diversi approcci, che erano stati sviluppati in isolamento, si sarebbero comportati se giudicati dagli stessi identici standard. Lo studio includeva una grande varietà di metodi: alcuni che si affidano a regole rigide scritte dagli umani, altri che imparano osservando i conducenti umani, altri che imparano attraverso tentativi ed errori come un personaggio di un videogioco, e altri che utilizzano complessi modelli matematici per prevedere il futuro.

I risultati di questo confronto testa a testa hanno rivelato che non esiste un unico modo "migliore" per costruire un guidatore autonomo. Inveve, lo studio ha mostrato che i punti di forza e di debolezza di un sistema dipendono fortemente da quanta informazione è consentito vedere e da come viene addestrato. I ricercatori hanno scoperto che i pianificatori che ricevevano informazioni "privilegiate" — ovvero potevano vedere l'esatta posizione e velocità di ogni altra auto e pedone, come se avessero una mappa perfetta dell'intero mondo — ottenevano prestazioni significativamente migliori su percorsi lunghi e continui. Questi sistemi, che includevano un pianificatore basato su regole e un modello addestrato per imitare la guida umana, sono riusciti a completare quasi il 97 percento dei loro percorsi assegnati senza schiantarsi. Al contrario, il sistema di maggior successo che si affidava solo a sensori standard, come telecamere e scanner laser, ha completato circa il 70 percento dei percorsi. Ciò suggerisce che, mentre i sensori sono buoni per gestire interazioni rapide e locali, avere una visione perfetta, dall'alto, della situazione del traffico è fondamentale per mantenere il progresso su lunghe distanze.

Tuttavia, avere una visione perfetta o un alto tasso di completamento non garantisce una guida sicura o legale. Lo studio ha scoperto un sorprendente compromesso tra il raggiungere la destinazione e il rispettare le regole. Uno dei modelli con le migliori prestazioni, che combinava un potente motore di previsione con un sistema di controllo progettato per seguire un percorso prestabilito, era eccellente nel rimanere sulla strada e raggiungere la destinazione. Eppure, violava frequentemente le leggi del traffico, come passare con il rosso o ignorare i segnali di stop, perché le sue istruzioni si concentravano sul seguire il percorso piuttosto che sull'obbedire alle regole. D'altro canto, un modello addestrato utilizzando l'apprendimento per rinforzo, che impara ricevendo ricompense per i comportamenti corretti e penalità per quelli errati, era molto bravo ad evitare infrazioni ma faticava a completare percorsi lunghi in modo efficiente. Questo evidenzia una sfida critica: un'auto a guida autonoma può essere molto brava a procedere o molto brava nell'essere educata, ma combinare entrambi i tratti in un singolo sistema rimane difficile.

Forse il risultato più rivelatore è stato che nessun approccio singolo poteva gestire costantemente le situazioni più caotiche. Quando i ricercatori hanno testato i modelli contro scenari specifici che coinvolgevano ostacoli, come una portiera di un'auto che si apre nella corsia, una zona di costruzione o un pedone che attraversa inaspettatamente, ogni singolo metodo ha incontrato difficoltà. Che il sistema fosse basato su regole, sull'apprendimento dai dati o su complesse previsioni matematiche, nessuno di essi riusciva a navigare in modo affidabile in questi ambienti complicati e ricchi di ostacoli senza commettere errori. Ciò suggerisce che la capacità di prendere decisioni granulari attorno a oggetti insoliti è un collo di bottiglia condiviso da tutto il settore. Lo studio ha anche dimostrato che guardare solo a un punteggio finale può essere fuorviante. Due sistemi potrebbero finire con la stessa valutazione complessiva, ma uno potrebbe aver fallito perché si è schiantato, mentre l'altro potrebbe aver fallito perché ha infranto le regole. Scomponendo i risultati in specifici tipi di situazioni di guida, i ricercatori hanno mostato che un punteggio alto può nascondere tipi di fallimento molto diversi.

I ricercatori hanno anche introdotto un nuovo approccio ibrido al test, prendendo un modello famoso per prevedere dove andranno le altre auto e aggiungendogli un modulo di pianificazione. Questo nuovo sistema è andato bene nel mantenere l'auto sul proprio percorso, ma, come gli altri modelli di alto livello, ha comunque avuto difficoltà con le regole del traffico. Lo studio ha concluso che, sebbene abbiamo fatto progressi tremendi nella simulazione e nel test della tecnologia a guida autonoma, non siamo ancora al punto in cui questi sistemi siano pronti per l'impiego di massa. Il divario tra un'auto che può guidare su una pista di prova tranquilla e una che può gestire il caos imprevedibile di una vera città è ancora significativo. Il lavoro funge da chiara tabella di marcia per il futuro, mostrando che i prossimi progressi non arriveranno semplicemente rendendo una parte del sistema più veloce o più intelligente, ma risolvendo il difficile equilibrio tra il seguire un percorso, rispettare la legge e reagire in sicurezza all'imprevisto. Finché non si troverà questo equilibrio, la promessa di veicoli completamente autonomi rimarrà fuori portata.