I robot che imparano facendo stanno diventando una realtà, ma spesso richiedono una quantità estenuante di pratica per padroneggiare anche compiti semplici. Per spostare una tazza da un tavolo a uno scaffale, un robot potrebbe dover provare il movimento migliaia di volte, fallendo ripetutamente prima di riuscirci finalmente. Questo processo di tentativi ed errori è il cuore di un campo chiamato apprendimento per rinforzo (reinforcement learning), in cui un agente impara interagendo con il proprio ambiente e ricevendo feedback dalle proprie azioni. Sebbene i progressi recenti abbiano reso questo processo di apprendimento più veloce, i lavori più complessi, come assemblare uno strumento o navigare in una stanza ingombra, richiedono ancora enormi quantità di dati. I ricercatori cercano costantemente modi per rendere questi robot più efficienti, sperando di ridurre il tempo e l'energia necessari per addestrarli. Un'idea promettente è stata quella di dare ai robot un "modello del mondo", una simulazione mentale che permette loro di immaginare cosa accadrebbe se compissero una certa azione, invece di limitarsi a indovinare alla cieca. Tuttavia, usare queste simulazioni mentali per addestrare direttamente il robot è stato storicamente rischioso; se l'immaginazione del robot è leggermente errata, quegli errori possono accumularsi, portando il robot a imparare una versione distorta della realtà che fallisce nel mondo reale.

Un team di ricercatori della Stanford University e della Peking University ha sviluppato un nuovo approccio che elude questo pericolo cambiando il momento in cui il robot utilizza la sua immaginazione. Invece di affidarsi al modello del mondo per insegnare al robot come muoversi, lo utilizzano solo al momento della decisione. Il loro metodo, chiamato QWM, permette a un robot di apprendere le sue abilità fondamentali dalle interazioni nel mondo reale, garantendo che la sua comprensione della fisica e della causa-effetto rimanga ancorata alla realtà. Ma quando il robot affronta una nuova situazione e deve scegliere cosa fare dopo, si ferma per eseguire una rapida simulazione mentale. Immagina diversi futuri possibili per ogni potenziale azione, prevedendo come cambierebbe il mondo, e poi sceglie l'azione che porta al miglior risultato. Questo processo è simile a come un giocatore di scacchi potrebbe guardare avanti di alcune mosse prima di impegnarsi in una mossa, ma qui, il robot guarda avanti per vedere quale azione fisica porterà il premio più alto.

I ricercatori hanno testato questo sistema su impegnativi compiti di manipolazione robotica, come sollevare oggetti, posizionare lattine e assemblare strumenti. Hanno confrontato il loro metodo con altri algoritmi ad alte prestazioni che o apprendono senza alcun modello mentale o apprendono interamente all'interno di un mondo simulato. I risultati hanno mostrato che QWM ha superato significativamente questi altri metodi. Ha imparato più velocemente, richiedendo meno tentativi nel mondo reale per raggiungere un alto livello di successo, e ha operato in modo più affidabile attraverso diversi compiti. Fondamentalmente, il sistema ha evitato l'errore comune in cui il modello interno di un robot diventa così difettoso da insegnargli cattive abitudini. Mantenendo il processo di apprendimento legato ai dati reali e usando l'immaginazione solo per perfezionare le scelte all'ultimo secondo, il robot ha ottenuto il meglio dei due mondi: la sicurezza dell'apprendimento nel mondo reale e la lungimiranza di un modello predittivo.

Il successo di questo approccio dipende da come il robot costruisce la sua ricerca mentale. Quando il robot ha bisogno di agire, non si limita a fare una singola ipotesi casuale o a fare affidamento su una singola previsione. Inveve, genera un albero di possibilità. Dalla sua posizione attuale, considera diverse azioni differenti. Per ogni azione, utilizza il suo modello del mondo per prevedere lo stato successivo del mondo. Poi ripete questo processo, immaginando cosa accadrebbe se compisse un'altra azione da quel nuovo stato, e così via, creando un percorso ramificato di potenziali futuri. Il robot valuta questi percorsi non solo guardando al risultato immediato, ma aggregando il valore dell'intera sequenza immaginata. Combina la sua conoscenza diretta di quanto valga un'azione con i premi previsti dai passi futuri che ha immaginato. Ciò gli permette di guardare oltre il momento immediato e scegliere azioni che potrebbero sembrare difficili in questo momento, ma che porteranno a un risultato molto migliore in seguito.

Uno dei risultati più significativi è che questo metodo funziona anche quando il robot guarda il mondo attraverso una telecamera, gestendo informazioni visive ad alta dimensionalità piuttosto che semplici numeri. In questi contesti basati sui pixel, apprendere un modello del mondo perfetto è incredibilmente difficile, eppure i ricercatori hanno scoperto che anche un modello parzialmente imperfetto poteva fornire una enorme spinta alle prestazioni quando utilizzato per questo tipo di ricerca al tempo di test. Il robot non aveva bisogno di essere un predittore perfetto per beneficiare; doveva solo essere abbastanza buono da distinguere tra un'azione buona e una cattiva. Lo studio ha anche esplorato quanto profondamente il robot dovesse guardare nel futuro. Guardare troppo avanti introduceva troppa incertezza perché le previsioni diventavano meno affidabili, mentre guardare troppo poco superficialmente impediva di cogliere le conseguenze a lungo termine di un'azione. I ricercatori hanno trovato un punto di equilibrio in cui il robot guardava avanti di alcuni passi, abbastanza per pianificare efficacemente senza perdersi nel rumore degli errori di previsione.

I ricercatori hanno anche confrontato il loro metodo con altri modi di utilizzare i modelli del mondo, come addestrare il robot interamente all'interno della simulazione. Hanno scoperto che quei metodi spesso faticano, specialmente in compiti con ricompense scarse (sparse rewards) in cui il robot riceve un segnale solo quando ha successo alla fine. In quei casi, gli errori nella simulazione si accumulavano rapidamente, rendendo difficile per il robot apprendere qualcosa di utile. Al contrario, l'approccio QWM manteneva l'addestramento ancorato alla realtà. La politica fondamentale del robot e la sua comprenszione del valore venivano aggiornate solo con dati dal mondo reale. Il modello del mondo era semplicemente uno strumento di selezione, un modo per affinare il processo decisionale del robot senza corrompere il suo apprendimento fondamentale. Questa distinzione si è rivelata vitale, permettendo al sistema di scalare verso complessi problemi di robotica del mondo reale in cui i precedenti metodi basati su modelli erano falliti.

In definitiva, il lavoro dimostra che il potere di un modello del mondo non risiede necessariamente nel sostituire il mondo reale, ma nell'هenhance (migliorare) la nostra capacità di navigarlo. Usando l'immaginazione come un filtro per la scelta piuttosto che come un sostituto dell'esperienza, i ricercatori hanno creato un sistema che è sia efficiente in termini di campionamento che robusto. Il robot impara dalle dure lezioni della realtà, ma usa la sua mente per evitare di ripetere gli errori prima che accadano. Questo approccio offre una via pratica per l'impiego di robot in ambienti non strutturati, dove la capacità di pianificare e adattarsi è importante quanto la capacità di apprendere. I risultati suggeriscono che il futuro dell'apprendimento robotico potrebbe non riguardare la costruzione di simulazioni perfette, ma la costruzione di robot che sappiano quando fidarsi della propria esperienza e quando fidarsi della propria immaginazione.