Decoupling Policy Extraction for Offline Reinforcement Learning

Immaginate uno studente che cerca di imparare a guidare un'auto, ma invece di sedersi dietro il volante e sentire la strada, è costretto a studiare solo un singolo video statico di un guidatore perfetto. Non può commettere errori, non può provare nuove curve, e non può ricevere feedback dal mondo reale. Questa è la sfida dell'apprendimento per rinforzo offline, un campo in cui l'intelligenza artificiale impara a prendere decisioni utilizzando solo una collezione fissa di dati passati. In questo scenario, il computer deve capire come agire meglio degli esempi che ha visto, senza poter mai testare quelle nuove idee nella realtà. Il modo tradizionale di insegnare a questi sistemi prevede due parti che lavorano in un ciclo stretto: una parte impara quali azioni sono buone, e l'altra impara come eseguirle. La prima parte guida costantemente la seconda, dicendole di provare azioni che sembrano preziose. Tuttavia, poiché i dati sono congelati nel tempo, questa guida può diventare pericolosa. Se la parte del "cosa è buono" commette un errore e sovrastima una mossa rischiosa, la parte del "come eseguire" cercherà di farlo, rinforzando l'errore e allontanandosi ulteriormente da un comportamento sicuro e provato.

Un team di ricercatori della Simplexity Robotics e della Rensselaer Polytechnic Institute ha proposto un modo diverso per risolvere questo problema, suggerendo che queste due parti dovrebbero smettere di parlare tra loro durante la fase di apprendimento. Nel loro nuovo approccio, separano completamente il compito di apprendere dai dati dal compito di scegliere l'azione migliore. Per prima cosa, addestrano un modello esclusivamente per imitare il comportamento presente nel dataset, agendo come un copista perfetto che non prova mai a migliorare o a indovinare nuove strategie. Questo modello genera un elenco di diverse possibili azioni che sono note per essere sicure e supportate dai dati. Successivamente, un sistema separato, addestrato indipendentemente per giudicare il valore, osserva questo elenco e sceglie l'unica opzione migliore da eseguire. Rompendo il ciclo di feedback che solitamente collega i due, i ricercatori hanno scoperto di poter evitare la trappola dell'amplificazione degli errori. I loro esperimenti su trenta diversi compiti complessi, che vanno dal navigare in labirinti virtuali al manipolare bracci robotici, hanno dimostrato che questo metodo separato ha superato costantemente gli approcci tradizionali strettamente accoppiati. In alcuni casi, il tasso di successo è passato da meno della metà a quasi il settanta percento, provando che a volte, il modo migliore per migliorare è smettere di cercare di migliorare l'apprendista mentre sta ancora studiando.

Il cuore del problema identificato dai ricercatori risiede nel modo in cui i sistemi standard di intelligenza artificiale apprendono da dati fissi. In una configurazione tipica, il sistema ha un "critico" che stima il valore delle azioni e un "attore" che impara a eseguirle. Il critico dice all'attore quali mosse sono buone, e l'attore cerca di farle. In uno scenario del mondo reale in cui il robot può continuare a interagire con l'ambiente, questo funziona bene perché se il critico commette un errore, i nuovi tentativi dell'attore generano nuovi dati che correggono l'errore. Ma nell'apprendimento offline, il dataset è bloccato. Se il critico crede erroneamente che un'azione pericolosa sia preziosa, l'attore cercherà di farla e, poiché non arrivano nuovi dati per correggere il critico, l'errore peggiorerà. L'attore si allontana verso regioni dello spazio delle azioni che i dati non hanno mai coperto, un fenomeno che i ricercatori chiamano ciclo di amplificazione fuori distribuzione. Per prevenire ciò, i metodi esistenti cercano spesso di costringere l'attore a rimanere vicino ai dati originali, ma questo crea un difficile compromesso: se si limita troppo l'attore, non può trovare le mosse migliori anche all'interno dei dati sicuri; se lo si lascia andare troppo lontano, cade nel ciclo dell'errore.

Per risolvere questo, i ricercatori hanno scisso il processo. Hanno addestrato l'attore a fare una sola cosa: modellare la distribuzione delle azioni trovate nel dataset. Non hanno permesso al critico di influenzare affatto l'addestramento dell'attore. Una volta addestrato questo modello "propositore", esso veniva congelato, il che significava che non sarebbe mai più cambiato. Al momento in cui il robot doveva prendere una decisione, il propositore generava un piccolo insieme di azioni candidate, tutte basate sui dati sicuri e osservati. Un critico separato, che era stato addestrato indipendentemente per giudicare il valore, osservava quindi questo elenco specifico e sceglieva l'opzione con il punteggio più alto. Questo ha spostato il lavoro di miglioramento dalla fase di addestramento al momento della decisione. Invece di cercare di modificare il cervello dell'attore per renderlo migliore, il sistema generava semplicemente alcune opzioni sicure e lasciava che un giudice sceglesse la vincitrice. Questo approccio significava che il critico non doveva più preoccuparsi che l'attore si allontanasse in territori pericolosi, perché l'attore non era mai permesso di allontanarsi fin dall'inizio. Il critico doveva solo classificare le opzioni sicure fornite dal propositore congelato.

I risultati di questo esperimento sono stati sorprendenti. I ricercatori hanno testato il loro metodo su trenta diversi compiti che coinvolgevano comportamenti orientati a obiettivi, come far navigare una formica robotica in un grande labirinto o un robot umanoide attraverso un ambiente complesso. Hanno confrontato il loro metodo disaccoppiato con le tecniche standard che mantengono l'attore e il critico collegati. In un compito di navigazione chiamato AntMaze-Large, il metodo tradizionale che utilizza un tipo specifico di apprendimento del valore ha raggiunto un tasso di successo di circa il trentuno percento. Quando i ricercatori hanno applicato il loro approccio disaccoppiato con lo stesso apprendimento del valore, il tasso di successo è salito al quarantanove percento. In un compito di manipolazione che coinvolgeva un cubo, il miglioramento è stato ancora più drammatico, con il metodo disaccoppiato che raggiungeva un tasso di successo del settantanove percento rispetto al ventuno percento dell'approccio tradizionale. Forse in modo ancora più sorprendente, i ricercatori hanno scoperto che anche un sistema di apprendimento del valore molto semplice e di base, che di solito fatica negli ambienti offline, diventava altamente efficace quando accoppiato con questo processo di selezione disaccoppiato. In un compito di risoluzione di enigmi, un semplice apprenditore di valore combinato con il loro metodo ha raggiunto un tasso di successo del cento percento, superando di gran lunga i sistemi più complessi e standard.

Lo studio ha anche rivelato perché questo separazione funzioni così bene esaminando cosa accade quando al sistema è permesso guardare più opzioni. I ricercatori hanno scoperto che far generare al propositore alcuni candidati, piuttosto che uno solo, permetteva al sistema di esplorare più a fondo la regione sicura dei dati. Tuttavia, c'era un limite. Se il sistema generava troppi candidati, la probabilità di includere un'azione rischiosa e fuori distribuzione aumentava, e il sistema di giudizio del valore avrebbe potuto sceglierla erroneamente. Il bilanciamento ottimale è stato trovato regolando il numero di candidati, un'unica impostazione che poteva essere aggiustata senza riaddestrare l'intero sistema. Questa flessibilità è un vantaggio significativo rispetto ai metodi tradizionali, che spesso richiedono un costoso riaddestramento per correggere l'equilibrio tra sicurezza e prestazioni. I ricercatori hanno notato che questo approccio è particolarmente promettente per i sistemi robotici su larga scala, dove riaddestrare un modello massiccio è computazionalmente costoso. Mantenendo il modello principale congelato e usando solo un sistema di valore leggero per fare la scelta finale, il metodo offre una via computazionalmente efficiente per ottenere prestazioni migliori.

I ricercatori riconoscono che questo metodo ha un confine: il sistema può scegliere solo tra le azioni che il propositore congelato può generare. Se la migliore azione possibile non è mai stata vista nei dati originali, il sistema non può inventarla. Tuttavia, entro i limiti di ciò che è possibile, l'approccio disaccoppiato ha costantemente trovato soluzioni migliori rispetto ai metodi tradizionali accoppiati. Il lavoro suggerisce che la convinzione di lunga data secondo cui l'apprendimento e il miglioramento debbano avvenire simultaneamente in un unico ciclo potrebbe non essere necessaria, o addirittura desiderabile, quando si apprende da dati statici. Separando la generazione di opzioni sicure dalla selezione della migliore, i ricercatori hanno fornito un percorso più chiaro e stabile per l'intelligenza artificiale per imparare dal passato senza rimanere intrappolata nei propri errori. Le scoperte indicano che, per l'apprendimento offline, la strategia più efficace può essere quella di smettere di cercare di insegnare all'attore a essere intelligente durante l'addestramento, e lasciargli invece il compito di ricordare semplicemente il passato, lasciando il lavoro di miglioramento a un occhio critico separato al momento dell'azione.