A Simple Approach to Constraint-Aware Imitation Learning with Application to Autonomous Racing

Nel mondo ad alta posta in gioco delle corse autonome, il margine tra la vittoria e il disastro è spesso misurato in millimetri e millisecondi. Affinché un'auto a guida autonoma possa competere, deve fare molto di più che limitarsi a seguire un percorso; deve spingere un veicolo proprio al limite delle sue capacità fisiche, bilanciandosi sulla linea sottilissima dove l'aderenza è massimizzata senza scivolare in uno schianto. Questo è un dominio in cui la programmazione tradizionale fatica, poiché le variabili cambiano troppo velocemente perché un ingegnere umano possa scrivere regole per ogni possibile scenario. Inveve, i ricercatori si rivolgono a un metodo chiamato apprendimento per imitazione (imitation learning), in cui un programma per computer impara osservando un pilota esperto. L'idea è semplice: se la macchina riesce a copiare le azioni dell'esperto con sufficiente precisione, dovrebbe essere in grado di guidare altrettanto bene. Tuttavia, esiste un difetto critico in questo approccio. Se l'esperto commette un errore, o se la macchina interpreta male una situazione e devia anche solo leggermente nella direzione sbagliata, le conseguenze possono essere catastrofiche. La macchina potrebbe imparare a guidare velocemente, ma senza una comprensione intrinseca della sicurezza, potrebbe facilmente finire fuori pista.

Questa è la sfida che i ricercatori Shengfan Cao, Eunhyek Joa e Francesco Borrelli si sono posti di risolvere. Hanno riconosciuto che limitarsi a copiare un esperto non è sufficiente quando il compito consiste nel operare vicino ai limiti di gestione di una macchina. Nel loro lavoro, hanno sviluppato un nuovo modo per insegnare ai veicoli autonomi che combina il desiderio di imitare un esperto con un rigoroso senso interno di sicurezza. Piuttosto che dire semplicemente al computer di copiare i movimenti del volante dell'esperto, hanno creato un sistema che chiede anche: "Questa azione è sicura?" prima che l'auto la esegua. Incorporando questo controllo di sicurezza direttamente nel processo di apprendimento, hanno addestrato una politica che non solo impara a guidare velocemente, ma impara anche a evitare i tipi specifici di errori che portano agli incidenti. Il loro approccio è stato testato in una sofisticata simulazione al computer di un'auto da corsa, dove il veicolo doveva completare cinquanta giri consecutivi senza colpire le pareti. I risultati hanno mostato che, mentre i metodi standard spesso fallivano o richiedevano un tempo di addestramento eccessivo per diventare affidabili, questo nuovo metodo consapevole della sicurezza ha imparato a guidare in modo costante e sicuro molto più velocemente, dimostrando che una macchina può imparare a correre al limite senza perdere la testa.

Il cuore del problema risiede nel modo in cui questi sistemi di apprendimento solitamente funzionano. In una configurazione standard, il computer osserva un video di un pilota esperto e cerca di prevedere cosa farebbe il pilota in una data situazione. Se il pilota gira il volante a sinistra, il computer impara a girare a sinistra. Questo funziona bene quando l'auto si trova in una situazione che il computer ha già visto prima. Ma le corse sono piene di momenti nuovi e inaspettati. Se l'auto incontra una situazione leggermente diversa dai dati di addestramento, il computer potrebbe commettere un piccolo errore. In uno scenario di guida normale, un piccolo errore potrebbe significare solo che l'auto devia leggermente. In una gara, lo stesso piccolo errore può spingere l'auto contro un muro o causarne lo slittamento. I ricercatori hanno scoperto che cercare semplicemente di copiare l'esperto con maggiore accuratezza non era la soluzione. Anche con una copia perfetta, il sistema mancava di un modo per comprendere i confini della sicurezza. Non sapeva che certe azioni, anche se sembravano identiche a quelle dell'esperto, erano pericolose perché violavano i limiti fisici dell'auto.

Per risolvere questo problema, gli autori hanno introdotto un "filtro di sicurezza" che agisce come un secondo insegnante accanto al pilota esperto. Immaginate uno studente che impara a guidare con un maestro che sa come correre, ma anche con un ufficiale di sicurezza che conosce le regole della strada e i limiti del veicolo. Lo studente cerca di copiare l'istruttore, ma l'ufficiale di sicurezza interviene se lo studente sta per fare qualcosa che causerebbe un incidente. In questo nuovo sistema, il computer impara da entrambe le fonti contemporaneamente. Cerca di imitare le prestazioni dell'esperto, ma impara anche a riconoscere quali stati sono sicuri e quali no. I ricercatori hanno sviluppato un modo intelligente per insegnare al computer cosa significa "sicuro" senza la necessità di un modello matematico perfetto della fisica dell'auto. Hanno utilizzato una tecnica in cui il computer osserva molti tentativi di guida, alcuni dei quali hanno successo e altri no. Analizzando i tentativi riusciti, il sistema costruisce una mappa della "zona sicura": la collezione di tutte le posizioni e velocità in cui l'auto può ancora completare la gara senza schiantarsi. Impara poi a evitare qualsiasi azione che spingerebbe l'auto fuori da questa zona sicura.

Gli esperimenti sono stati condotti in un ambiente simulato che imitava la fisica di una vera auto da corsa, completo di una visuale della telecamera e sensori di velocità, proprio come farebbe un veicolo reale. L'obiettivo era che l'auto completasse cinquanta giri consecutivi senza colpire i confini della pista. I ricercatori hanno confrontato il loro nuovo metodo consapevole della sicurezza con un approccio standard di apprendimento per imitazione che non possedeva alcun filtro di sicurezza. I risultati sono stati sorprendenti. Il metodo standard faticava a completare anche dieci giri senza schiantarsi, fallendo spesso perché commetteva piccole deviazioni non sicure che i dati di addestramento non punivano esplicitamente. Al contrario, il nuovo metodo ha imparato a guidare in modo sicuro e costante. In un test, l'auto consapevole della sicurezza ha completato i pieni cinquanta giri in meno di ottanta sessioni di addestramento, mentre il metodo standard non è riuscito a superare i dieci giri. Il nuovo sistema ha imparato a mantenere una distanza di sicurezza dalle pareti pur ottenendo tempi sul giro veloci, dimostrando che aveva imparato non solo a copiare l'esperto, ma anche a comprendere i vincoli dell'ambiente.

Ciò che rende questo approccio particolarmente potente è che funziona anche quando l'auto non può vedere tutto perfettamente. Nel mondo reale, un'auto potrebbe avere solo una telecamera e alcuni sensori di velocità, piuttosto che una visione perfetta e onnisciente della propria posizione. I ricercamenti hanno testato il loro metodo con questa limitazione, fornendo al computer solo l'immagine della telecamera e i dati di velocità, proprio come un'auto reale li sperimenterebbe. Anche con questa informazione parziale, il sistema consapevole della sicurezza ha superato il metodo standard, recuperando una politica di guida sicura molto più velocemente. Il metodo standard, privo della guida alla sicurezza, rimaneva instabile e incline al fallimento. Ciò suggerisce che il filtro di sicurezza aiuta il computer a generalizzare meglio, permettendogli di gestire l'incertezza e il rumore dei sensori del mondo reale in modo più efficace. I ricercatori hanno notato che il sistema non si era limitato ad imparare a evitare gli incidenti; aveva imparato a essere costante. I tempi sul giro sono diventati più prevedibili e il comportamento dell'auto è diventato più affidabile, il che è essenziale per qualsiasi sistema autonomo che debba operare nel mondo reale.

Lo studio ha inoltre evidenziato un'intuizione cruciale su come insegniamo alle macchine a eseguire compiti complessi. Non basta mostrare loro la risposta corretta; dobbiamo anche insegnare loro cosa rappresenta la risposta sbagliata, specialmente quando la risposta sbagliata porta al disastro. Incorporando una penalità di sicurezza nel processo di apprendimento, i ricercatori hanno creato un sistema che dà priorità al rimanere all'interno della zona sicura rispetto al copiare perfettamente ogni mossa dell'esperto. Questo non significa che l'auto guidi lentamente o con cautela; piuttosto, impara a spingere i limiti delle prestazioni senza attraversare la linea del pericolo. I ricercatori hanno scoperto che questo approccio era più efficiente rispetto al tentativo di ottenere un'imitazione perfetta, poiché permetteva all'auto di apprendere una politica sicura e ad alte prestazioni in decisamente meno passaggi di addestramento.

Guardando al futuro, i ricercatori riconoscono che, sebbene i loro risultati siano promettenti, si basano su simulazioni. Il mondo reale è più complesso, con meteo imprevedibile, condizioni stradali variabili e imperfezioni meccaniche che una simulazione al computer non può catturare completamente. Programmano di testare il loro metodo su veicoli fisici e di perfezionare il filtro di sicurezza per gestire queste incertezze del mondo reale. Intendono anche esplorare come questo approccio consapevole della sicurezza possa essere applicato ad altri tipi di compiti di apprendimento oltre alle corse. L'obiettivo finale è creare sistemi autonomi che siano non solo abbastanza intelligenti da eseguire compiti difficili, ma anche abbastanza saggi da conoscere i propri limiti. Nel mondo ad alta velocità delle corse autonome, dove la differenza tra un giro da record e un incidente è spesso una questione di pollici, questa combinazione di imitazione e sicurezza non è solo un miglioramento tecnico; è un passo necessario verso il rendere i veicoli autonomi veramente affidabili.