Sandwich-Residuals: Parameter-Efficient Test-time Adaptation of World Models

I robot capaci di pianificare i propri movimenti spesso si affidano a una mappa interna di come funziona il mondo. Immaginate un braccio robotico che cerca di spingere un blocco su un tavolo. Invece di limitarsi a reagire a ciò che vede nel momento inestante, un robot intelligente costruisce un modello mentale che predice cosa accadrà se muove il proprio braccio in un certo modo. Impara a dire: "Se spingo qui, il blocco scivolerà lì". Questo modello mentale, spesso chiamato modello del mondo, permette al robot di simulare azioni future nella sua mente prima di muoversi effettivamente, aiutandolo ad evitare errori e a raggiungere i suoi obiettivi in modo efficiente. Questi modelli sono solitamente addestrati in un ambiente controllato, come una simulazione al computer, dove l'illuminazione è perfetta e la fisica è coerente. Tuttavia, il mondo reale è disordinato. Quando un robot addestrato in una simulazione viene posto in una stanza nuova con un'illuminazione diversa, o quando la superficie del tavolo diventa scivolosa, la mappa interna del robot può diventare errata. Le previsioni che compie non corrispondono più alla realtà, e il robot fallisce nel completare il suo compito. Per anni, la soluzione standard a questo problema è stata quella di riaddestrare parti del cervello del robot mentre è al lavoro, regolando milioni di impostazioni interne per adattarsi alle nuove condizioni. Questo processo è pesante, lento e richiede al robot di riscrivere costantemente la propria comprensione di come si muovono le cose.

Un team di ricercatori ha scoperto un modo molto più leggero per risolvere questo problema. Invece di chiedere al robot di riscrivere l'intera mappa interna, hanno scoperto che spesso è sufficiente regolare i bordi dove il robot legge i suoi input e scrive i suoi output. In un nuovo studio, i ricercatori hanno introdotto un metodo che chiamano "Sandwich-Residuals" (residui a sandwich). Hanno preso un robot che aveva già imparato come muoversi in una simulazione e hanno congelato completamente il suo cervello interno, impedendo a milioni delle sue impostazioni apprese di cambiare. Poi, hanno aggiunto due strati di software molto piccoli e flessibili: uno che modifica le informazioni in entrata nel cervello del robot, e un altro che modifica le previsioni in uscita da esso. Questi piccoli strati agiscono come il ripieno di un sandwich, avvolgendo il nucleo congelato. Mentre il robot cerca di muoversi e commette errori, questi piccoli strati imparano a correggere gli errori al volo, senza mai toccare il pesante cervello pre-addestrato all'interno. Il robot impara a dire: "Il mio cervello pensa che il blocco andrà qui, ma il mio nuovo strato di correzione sa che il pavimento è scivoloso, quindi regolerò il mio piano per mandarlo lì invece".

I ricercatori hanno testato questa idea su una varietà di compiti impegnativi, tra cui navigare in labirinti e spingere oggetti di diverse forme. Hanno confrontato il loro metodo con l'approccio standard, che consiste nell'aggiornare il cervello interno del robot, e con un robot che non effettuava alcun aggiustamento. In ventuno diversi scenari di test, il robot che utilizzava il nuovo metodo "sandwich" è riuscito a raggiungere il proprio obiettivo il 65 percento delle volte. Questo è stato un miglioramento significativo rispetto al robot non regolato, che ha avuto successo solo circa il 49 percento delle volte. Più importante ancora, il nuovo metodo è stato quasi altrettanto efficace dell'approccio standard che riscrive il cervello del robot, che ha avuto successo circa il 68 percento delle volte. La differenza cruciale risiede nell'efficienza. Il metodo standard doveva aggiornare quasi dieci milioni di impostazioni per adattarsi alle nuove condizioni. Il nuovo metodo, al contrario, ha solo bisogno di regolare circa centomila impostazioni. Ciò significa che il nuovo approccio si adatta utilizzando meno del tre percento dello sforzo computazionale richiesto dal vecchio metodo, pur ottenendo quasi lo stesso livello di successo.

Lo studio ha anche esaminato cosa succede quando il robot affronta più problemi contemporaneamente, come un cambiamento nell'illuminazione combinato con un cambiamento in quanto pesanti sono gli oggetti. In queste situazioni "composte" difficili, il nuovo metodo è stato ancora più impressionante. Ha avuto successo 1,9 volte più spesso del robot non regolato, rimanendo comunque efficace quanto il pesante metodo di aggiornamento del cervello. I ricercatori hanno scoperto che il tipo di correzione necessaria dipendeva dal problema specifico. Quando il robot navigava in un labirinto e la fisica del movimento cambiava, lo strato che correggeva le previsioni del robot dopo che erano state fatte svolgeva la maggior parte del lavoro. Quando il robot spingeva oggetti e il controllore diventava più sensibile, lo strato che regolava i comandi di input del robot era più importante. Mantenendo entrambi gli strati, il sistema poteva gestire una vasta gamma di cambiamenti inaspettati senza dover sapere in anticipo che tipo di difficoltà avrebbe affrontato.

Per dimostrare che questa idea funziona oltre i semplici giochi di labirinto, i ricercatori l'hanno applicata anche a un compito più complesso che coinvolge un braccio robotico in stile reale che muove un cubo nello spazio tridimensionale. Hanno utilizzato un tipo diverso di cervello robotico per questo compito, che si basa su schemi visivi piuttosto che sul design precedente. Anche con questa diversa architettura, lo stesso principio "sandwich" ha funzionato. Il robot è stato in grado di adattarsi a cambiamenti nell'illuminazione, negli angoli della telecamera e nella forza dei propri motori. In ogni singolo caso di test in cui le condizioni sono cambiate, il nuovo metodo ha migliorato le prestazioni del robot rispetto al non fare nulla, mentre gli altri metodi a volte hanno fatto performare peggio il robot. Ciò suggerisce che la capacità di adattarsi non richiede sempre che un robot cambi fondamentalmente il modo in cui comprende il mondo. A volte, è sufficiente aggiungere un piccolo filtro flessibile che aiuti il robot a interpretare correttamente la sua situazione attuale.

Le scoperte suggeriscono un cambiamento nel modo in cui potremmo costruire i robot per il futuro. Per molto tempo, l'assunto è stato che se l'ambiente di un robot cambiava, il suo modello interno della fisica doveva essere riscritto per adattarsi. Questo articolo dimostra che tale assunzione non è sempre necessaria. Se la comprensione fondamentale del mondo del robot è ancora per lo più corretta, può semplicemente imparare ad aggiustare i suoi input e i suoi output per adattarsi alla nuova realtà. Questo approccio non è solo più veloce e meno costoso; è anche più stabile, perché evita il rischio che il robot dimentichi ciò che già sa mentre cerca di imparare qualcosa di nuovo. Sebbene gli esperimenti siano stati condotti in simulazioni al computer, i risultati puntano verso un futuro in cui i robot possono entrare in nuovi ambienti e iniziare immediatamente a lavorare, usando piccoli ed efficienti aggiustamenti per gestire le sorprese del mondo reale senza aver bisogno di una massiccia revisione della loro intelligenza.