Insegnare a un computer come guidare non è come insegnare a un bambino come andare in bicicletta. Un bambino impara provando, cadendo e rialzandosi, comprendendo gradualmente la sensazione della strada. Un computer, invece, impara elaborando enormi quantità di dati, spesso in un mondo digitale dove può sperimentare milioni di anni di guida in pochi giorni. Questo processo si basa su un metodo chiamato apprendimento per rinforzo (reinforcement learning), in cui un'intelligenza artificiale prova diverse azioni e riceve un feedback: una ricompensa per aver raggiunto una destinazione in sicurezza, o una penalità per una collisione. Per rendere efficace questo apprendimento, i ricercatori utilizzano dei simulatori che possono eseguire migliaia di questi scenari di guida contemporaneamente, creando una vasta libreria di situazioni di traffico da studiare per l'IA. L'obiettivo è creare un agente di guida che possa gestire il caos imprevedibile delle strade reali, dalle intersezioni trafficate ai repentini cambi di corsia, senza mai aver bisogno di un istruttore umano.

Per anni, il modo standard per addestrare questi agenti è stato un metodo chiamato randomizzazione del dominio (domain randomization). Immaginate un insegnante che lancia uno studente in ogni possibile situazione di traffico in modo casuale, da autostrade deserte a centri cittadini congestionati, sperando che il puro volume porti col tempo alla maestria. Sebbene questo approccio funzioni, è incredibilmente dispendioso. Il computer trascorre un tempo enorme a esercitarsi su scenari che sono o troppo facili per insegnare qualcosa di nuovo, o così difficili che l'attuale versione dell'IA non può fare progressi. È come uno studente che passa ore su un problema di matematica che ha già padroneggiato, ignorando al contempo quelli che sta appena iniziando a comprendere. Questa inefficienza significa che, anche con computer potenti, il processo di addestramento richiede più tempo e più dati di quanto sia necessario per raggiungere un alto livello di abilità.

Un team di ricercatori ha introdotto un nuovo approccio chiamato CL4AD, che cambia il modo in cui queste lezioni di guida digitale vengono organizzate. Invece di sottoporre l'IA a scenari casuali, questo sistema agisce come un intelligente progettista di programmi didattici (curriculum designer). Valuta costantemente quali situazioni di traffico sono più utili per l'attuale livello di abilità dell'IA e dà priorità a quegli scenari specifici. Il sistema osserva quanto l'IA stia andando bene in una determinata situazione e si chiede: È troppo facile? È troppo difficile? O è proprio il livello giusto per imparare? Concentrandosi il tempo di addestramento sugli scenari "giusti", ovvero quelli abbastanza impegnativi da insegnare qualcosa di nuovo ma non così difficili da far arrendere l'IA, i ricercatori hanno scoperto di poter accelerare drasticamente il processo di apprendimento.

I ricercatori hanno testato questa idea utilizzando un potente simulatore chiamato GPUDRIVE, in grado di eseguire migliaia di scenari di guida simultaneamente su chip computerizzati specializzati. Hanno addestrato un agente IA usando il vecchio metodo casuale e lo hanno confrontato con il nuovo metodo basato sul curriculum. I risultati sono stati sorprendenti. L'IA addestrata con il curriculum ha raggiunto un tasso di successo del 99% nel navigare gli scenari di traffico un miliardo di passi prima rispetto a quella addestrata casualmente. In termini di tempo reale, ciò significava che l'addestramento è stato completato il 77% più velocemente. Il metodo del curriculum si è dimostrato superiore anche ad altri tentativi di organizzare l'addestramento, come la selezione manuale degli scenari basata su regole semplici come la densità del traffico o la velocità dei veicoli. Il nuovo sistema ha superato costantemente questi metodi manuali, trovando da solo il percorso più efficace verso la maestria.

Una delle scoperte più interessanti è stata come il sistema decidesse quali scenari mostrare all'IA. I ricercatori hanno progettato il sistema affinché utilizzasse diverse "funzioni di utilità", che sono essenzialmente modi per misurare cosa rende prezioso uno scenario. Alcune funzioni osservavano quanto l'IA fosse vicina al miglior comportamento di guida possibile, mentre altre misuravano quanto spesso l'IA raggiungesse il proprio obiettivo senza collisioni. Un terzo tipo di funzione misurava quanto la guida dell'IA sembrasse realistica rispetto ai conducenti umani. Lo studio ha rivelato che queste diverse misure spesso indicavano tipi diversi di situazioni di traffico. Ad esempio, il sistema che si concentrava sul raggiungimento degli obiettivi tendeva a dare priorità a scenari con meno auto, mentre il sistema che cercava lo scarto tra la prestazione attuale e quella perfetta si concentrava su traffico più denso e complesso. Ciò suggerisce che non esiste un unico modo "migliore" per organizzare l'addestramento; obiettivi diversi richiedono tipi diversi di pratica.

I ricercatori hanno anche indagato se far guidare meglio l'IA significasse anche farla guidare in modo più simile a un essere umano. Hanno scoperto che questi sono in realtà due obiettivi separati. Un'IA può essere addestrata per raggiungere la propria destinazione perfettamente ed evitare tutte le collisioni, pur guidando in un modo che appare innaturale o scomodo per un passeggero umano. Il curriculum ha aiutato l'IA a raggiungere i suoi obiettivi molto più velocemente, ma non ha reso automaticamente lo stile di guida più realistico. Per ottenere sia un'alta prestazione che un comportamento simile a quello umano, i ricercatori hanno notato che il sistema di ricompensa stesso dovrebbe essere modificato per incoraggiare specificamente le abitudini di guida realistiche, non solo gli esiti positivi.

Anche quando i ricercatori hanno limitato la potenza di calcolo disponibile per l'addestramento, il metodo del curriculum ha comunque mostrato il suo valore. In un test in cui hanno utilizzato un computer più piccolo e meno potente, l'agente addestrato con il curriculum ha comunque raggiunto alti tassi di successo il 67% più velocemente rispetto al metodo casuale. Ciò suggerisce che i guadagni di efficienza non sono solo il risultato di avere enormi risorse informatiche, ma sono un beneficio fondamentale derivante dall'organizzare intelligentemente il processo di apprendimento. Il sistema funziona mantenendo l'IA in uno stato di sfida costante e produttiva, assicurando che ogni momento di addestramento contribuisca al miglioramento.

Lo studio ha anche rivelato come il processo di apprendimento evolva nel tempo. Man mano che l'IA migliora, il sistema sposta automaticamente il proprio focus su nuovi scenari più difficili. Non rimane bloccato sugli stessi problemi, né salta troppo rapidamente ai più difficili. Al contrario, crea una frontiera di apprendimento in movimento, regolando costantemente la difficoltà per adattarla alle crescenti abilità dell'IA. Questo processo dinamico permette al sistema di gestire la complessità dei dati di guida del mondo reale, che include centinaia di migliaia di diverse situazioni di traffico. Adattandosi al progresso dell'IA in tempo reale, il curriculum assicura che l'addestramento rimanga efficiente ed efficace, anche al crescere della scala dei dati.

In definitiva, questo lavoro dimostra che il modo in cui organizziamo i dati di addestramento è importante quanto i dati stessi. Passando dal campionamento casualo verso un curriculum intelligente e adattivo, i ricercatori possono insegnare agli agenti di guida autonoma molto più velocemente e con meno risorse. Le scoperte offrono una via chiara per lo sviluppo di auto a guida autonoma più sicure e affidabili, mostrando che la chiave per un apprendimento rapido non risiede solo nel fare di più, ma nel fare le cose giuste al momento giusto. I ricercatori hanno messo il loro sistema a disposizione degli altri, permettendo alla comunità scientifica più ampia di costruire su questo metodo e continuare a perfezionare il modo in cui le macchine imparano a navigare nel mondo.