Am I Still Coupled to My Environment? Task-agnostic Runtime Telemetry from the Reinforcement-learning Interaction Loop

Immaginate un robot che impara a correre attraverso un mondo complesso. Prende decisioni basandosi su ciò che vede, compie delle azioni e poi osserva cosa accade dopo. Questo ciclo è il battito cardiaco dell'intelligenza artificiale moderna, nota come apprendimento per rinforzo. Per anni, gli ingegneri si sono affidati a un singolo numero per dire loro se il robot sta andando bene: un punteggio chiamato "ricompensa". Se il punteggio sale, il robot sta avendo successo. Se scende, qualcosa non va. Ma questo punteggio risponde solo a una domanda: il robot ha raggiunto il suo obiettivo? Non può rispondere a una domanda più sottile, ma critica: il robot sta ancora interagendo con il mondo nel modo in cui avrebbe dovuto fare? Un robot potrebbe inciampare, i suoi sensori potrebbero avere un guasto o i suoi motori potrebbero usurarsi, eppure potrebbe comunque riuscire a raggiungere il traguardo e ottenere un punteggio alto. In tali casi, il segnale della ricompensa mente, nascondendo il fatto che la macchina sta operando in uno stato fragile o guasto.

Questo è il problema che i ricercatori Wael Hafez e Chenan Wei si sono posti di risolvere. Si sono chiesti se potessero costruire un tipo diverso di monitor, uno che non guardi il punteggio finale, ma che invece ascolti la conversazione tra il robot e il suo ambiente. Il loro lavoro, condotto in un mondo simulato dove sciacalletti digitali corrono su un piano piatto, introduce un nuovo modo di osservare queste macchine. Inveve di aspettare che il robot fallisca un compito, volevano rilevare il momento in cui il ritmo interno del robot inizia a deviare dal suo schema sano. Hanno sviluppato un sistema che tratta ogni passo del robot come una piccola storia: ciò che ha visto, ciò che ha fatto e ciò che è accaduto dopo. Analizzando il flusso di queste storie, hanno trovato un modo per individuare problemi che il tradizionale punteggio spesso ignora.

I ricercatori hanno testato la loro idea su ventuno diversi sciacalletti digitali, ognuno addestrato a correre il più velocemente possibile utilizzando due diversi metodi di apprendimento. Una volta che questi agenti erano stati completamente addestrati, i ricercatori hanno bloccato il loro apprendimento in modo che non cambiassero durante il test. Hanno poi introdotto varie problematiche, o "perturbazioni", per vedere se il loro nuovo monitor potesse rilevarle. Alcuni problemi sono stati aggiunti al cervello del robot stesso, come l'aggiunta di rumore casuale ai comandi inviati alle sue zampe. Altri sono stati aggiunti al mondo stesso, come il cambiamento della forza di gravità o la spinta del robot da parte di una forza esterna. In totale, hanno eseguito centosessantotto diverse prove in cui qualcosa non andava, insieme a ventuno prove in cui tutto rimaneva perfetto.

Per capire cosa stessero cercando, i ricercatori si sono concentrati sulla relazione tra le tre parti dell'esperienza del robot. In una corsa sana, esiste una connessione stretta e prevedibile tra ciò che il robot vede, l'azione che sceglie e il risultato che ottiene. I ricercatori hanno creato una misura di questa connessione, che hanno chiamato "rapporto di accoppiamento" (coupling share). Immaginate questo come un modo per controllare quanto dell'attività totale del robot sia effettivamente collegata all'esito che produce. Quando il robot è sano, questo legame è forte e costante. Quando qualcosa va storto, questo legame si allenta. Il robot potrebbe ancora muoversi e il mondo potrebbe ancora reagire, ma la danza specifica e caratteristica tra i due è cambiata. Il nuovo monitor traccia questo cambiamento in tempo reale, utilizzando solo il flusso di dati generato dal robot mentre si muove. Non ha bisogno di sapere quale sia l'obiettivo del robot, né ha bisogno di vedere il punteggio della ricompensa. Chiede semplicemente: il robot sta ancora parlando al mondo con la stessa voce che usava quando era sano?

I risultati hanno mostrato che questo approccio è straordinariamente efficace. Quando i ricercatori hanno confrontato il loro nuovo monitor con il tradizionale punteggio della ricompensa, la differenza era evidente. Il sistema di ricompensa standard ha rilevato solo il quarantaquattro percento dei problemi. Spesso ha mancato i cambiamenti sottili in cui il robot faticava ma riusciva comunque a terminare la corsa. Al contrario, il nuovo monitor ha rilevato il sessantanove percento dei problemi. Ciò significa che ha colto venticinque punti percentuali di errori in più rispetto al sistema di ricompensa, pur generando lo stesso numero di falsi allarmi sui robot sani. In un test specifico in cui la gravità è stata aumentata del dieci percento, il sistema di riccorso ha individuato il problema solo nel ventiquattro percento dei casi, mentre il nuovo monitor lo ha trovato in quasi la metà di essi.

Fondamentalmente, i ricercatori sono stati attenti a spiegare cosa sia il loro sistema e cosa non sia. Non hanno creato una bacchetta magica che ripara i robot guasti o una palla di cristallo che predice il futuro. Il sistema non dice all'operatore esattamente cosa sia rotto, come ad esempio se un sensore sia sporco o un motore sia debole. Inoltre, non avvisa sempre di un problema in modo significativamente anticipato rispetto al punteggio della ricompensa; in molti casi, il nuovo monitor e il punteggio della ricompensa hanno suonato l'allarme contemporaneamente. Invece, il sistema agisce come un controllo complementare. Fornisce un secondo parere sulla salute dell'operazione della macchina. Se il punteggio della ricompensa dice che il robot sta bene, ma questo nuovo monitor dice che l'interazione è cambiata, segnala che il robot sta operando in un modo che non è più caratteristico del suo stato sano. Questo dà agli operatori umani la possibilità di indagare ulteriormente prima che si verifichi un guasto totale.

Lo studio è stato condotto interamente all'interno di una simulazione al computer, e i ricercatori riconoscono che i robot del mondo reale affrontano sfide molto più complesse e imprevedibili. I numeri specifici che hanno trovato sono legati agli sciacalletti digitali e ai tipi specifici di problemi introdotti. Tuttavia, l'idea centrale mantiene una promessa significativa per il futuro dei sistemi autonomi. Mentre distribuiamo più robot nel mondo reale, affidarsi esclusivamente al fatto che raggiungano i loro obiettivi potrebbe non essere sufficiente. Potremmo aver bisogno di verificare che il processo sottostante di come interagiscono con il mondo rimanga solido. Questa ricerca suggerisce che, ascoltando il ritmo dell'interazione stessa, possiamo costruire una rete di sicurezza che catturi i segni sottili di decadimento molto prima che la macchina smetta di muoversi.