Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO

Nel mondo dell'intelligenza artificiale, esiste un ramo dedicato all'insegnare alle macchine come muoversi e interagire con il mondo fisico. Questo campo, noto come controllo continuo, chiede ai computer di imparare come camminare, correre o stare in piedi attraverso tentativi ed errori, proprio come un bambino che impara a mantenere l'equilibrio. Per farlo, il computer utilizza una guida matematica chiamata politica, che suggerisce quale azione intraprendere successivamente in base a ciò che vede. Per decenni, lo strumento standard per questa guida è stato una curva a campana, una forma statistica che suggerisce l'azione più probabile pur permettendo una certa variazione casuale. Tuttavia, il mondo reale ha dei limiti. La gamba di un robot non può piegarsi all'indietro oltre un certo punto, e un muscolo non può contrarsi con una forza infinita. Quando i suggerimenti fluidi e illimitati del computer colpiscono questi duri confini, sono costretti a essere tagliati o schiacciati per adattarsi. Per molto tempo, i ricercatori hanno assunto che se il robot si fosse comportato bene, i dettagli su come gestisse tali limiti non importassero. Si curavano solo del punteggio finale: il robot camminava velocemente? Restava in piedi?

Un nuovo studio mette in discussione questa ipotesi osservando da vicino cosa accade nella mente del computer quando impara a camminare su una gamba simulata dotata di ottanta muscoli. I ricercatori hanno scoperto che il modo in cui il computer misura la propria incertezza cambia la forma del percorso che impara a seguire. Hanno scoperto che quando al computer è permesso essere incerto in un modo che ignora i limiti fisici del robot, esso impara a spingere le proprie azioni proprio contro i bordi del proprio intervallo consentito. È come se il robot premesse costantemente le mani contro i bordi di una scatola, anche quando potrebbe facilmente stare al centro. Questo comportamento non è causato dal fatto che i muscoli del robot siano lenti o che i limiti siano troppo stretti. È invece il risultato diretto di come l'algoritmo di apprendimento calcola la propria "curiosità" o casualità. Lo studio dimostra che se si cambia il luogo in cui questa curiosità viene misurata — dai pensieri interni e illimitati del computer alle azioni fisiche effettive che il robot compie — il robot impara una geometria completamente diversa. Smette di premere contro le pareti e impara a stare comodamente al centro, ottenendo al contempo prestazioni simili o addirittura migliori.

L'indagine è iniziata con una complessa simulazione di una gamba umana, dotata di ottanta muscoli distinti, incaricata di camminare. I ricercatori hanno addestrato un'intelligenza artificiale utilizzando un popolare metodo di apprendimento per far muovere questa gamba. Hanno osservato un fenomeno strano: il computer stava imparando a camminare con successo, ma lo faceva inviando comandi che erano quasi sempre al limite estremo di ciò che i muscoli potevano fare. Circa l'ottantanove percento delle volte, i comandi muscolari erano entro il cinque percento dai loro limiti massimi o minimi. Era come se il camminatore stesse costantemente lottando contro i propri vincoli. Il team ha inizialmente sospettato che si trattasse di un problema fisico, forse causato dal modo in cui i muscoli si attivano e disattivano naturalmente, o dal modo specifico in cui la simulazione filtrava i segoli. Hanno testato queste idee cambiando la fisica della simulazione, rendendo i tempi di attivazione simmetrici e rimuovendo i filtri. Nessuna di queste modifiche ha risolto il problema. Il robot premeva ancora contro le pareti. Ciò ha escluso il mondo fisico come colpevole e ha puntato il dito contro l'algoritmo di apprendimento stesso.

Per capire perché il robot si comportasse in questo modo, i ricercatori hanno scomposto il problema in due parti: la direzione media verso cui il robot voleva andare e la quantità di casualità o variazione che aggiungeva a quella direzione. Si sono posti una domanda semplice: il robot è vicino alla parete perché sta indovinando selvaggiamente o perché punta deliberatamente alla parete? Eseguendo un test controfattuale sugli stessi identici momenti temporali, hanno scoperto che anche se avessero rimosso tutta la casualità e costretto il robot a seguire perfettamente il suo piano medio, esso vorrebbe comunque essere vicino alla parete. Infatti, il piano medio stesso puntava spesso al di fuori dell'intervallo di movimento possibile, costringendo il computer a tagliare l'azione al limite più vicino. La "mente" del robot era estruusa, spingendo le sue azioni intenzionali oltre i confini, e i limiti fisici le stavano semplicemente intercettando. Ciò significava che dire semplicemente al robot di essere meno casuale non avrebbe risolto il problema; il robot doveva imparare ad puntare al centro fin dall'inizio.

La chiave per risolvere il problema risiedeva nel modo in cui il computer misurava la propria incertezza. Nella configurazione standard, il computer calcola la propria casualità basandosi sui propri pensieri interni e illimitati prima che vengano tradotti in azioni fisiche. In questo spazio interno, la matematica tratta il centro e i bordi come identici, non offrendo alcun motivo per stare lontani dalle pareti. Tuttavia, i ricercatori si sono resi conto che se il computer avesse misurato la propria incertezza dopo che le azioni erano state tradotte nel mondo fisico, la matematica sarebbe cambiata. Poiché il mondo fisico ha limiti rigidi, i bordi dello spazio appaiono diversi dal centro. Quando il computer calcola la propria incertezza in questo spazio fisico, la matematica crea naturalmente una forza che allontana l'azione media dalle pareti e la riporta verso il centro. È un sottile cambio di prospettiva: misurare il rumore dove conta davvero, piuttosto che dove viene generato.

Per testare questo, i ricercatori hanno eseguito tre diverse versioni dell'algoritmo di apprendimento sullo stesso compito di camminata. Nella prima versione, il computer misurava l'incertezza nei propri pensieri interni. Nella seconda, non misurava alcuna incertezza. Nella terza, misurava l'incertezza nelle azioni fisiche. I risultati sono stati sorprendenti. La versione che misurava l'incertezza nei propri pensieri interni imparava a essere molto casuale e manteneva le proprie azioni spinte contro le pareti. La versione senza incertezza imparava a essere molto precisa, ma puntava comunque vicino alle pareti. Solo la versione che misurava l'incertezza nelle azioni fisiche imparava a mantenere le proprie azioni medie comodamente al centro dell'intervallo consentito. Questa versione aveva la geometria più "interiore", il che significa che il robot non stava lottando contro i propri limiti.

Il team ha poi ripetuto l'esperimento su un compito completamente diverso: insegnare a un cane simulato come stare in piedi. Questo compito coinvolgeva trentotto articolazioni diverse e utilizzava un codice software differente per garantire che i risultati non fossero un caso fortuito della prima simulazione. Lo stesso schema è emerso. La versione che misurava l'incertezza nelle azioni fisiche imparava a mantenere i propri movimenti centrati, mentre le altre versioni scivolavano verso i bordi. Ciò ha confermato che il risultato non era specifico della gamba che cammina o del primo software. I ricercatori hanno anche testato se bastasse dire al computer di puntare al centro con una penalità diretta. Hanno scoperto che, sebbene una penalità diretta potesse anche spingere il robot verso il centro, creava un tipo di comportamento diverso in termini di casualità e prestazioni complessive. Questo ha dimostrato che misurare l'incertezza nello spazio fisico era un modo efficace per risolvere il problema, ma non l'unico; esso accoppia naturalmente l'obiettivo del robot e la sua variazione, sebbene il bilanciamento risultante tra casualità e prestazioni possa differire significativamente da altri metodi che ottengono lo stesso centramento.

Lo studio conclude che per i robot che imparano a muoversi nel mondo reale, la scelta di dove misurare l'incertezza è una decisione di progettazione critica. Non basta ottenere un punteggio alto in un compito; il modo in cui il robot impara a muoversi è fondamentale per la sua stabilità e sicurezza. Se il robot impara a premere costantemente contro i propri limiti, potrebbe essere fragile o incline al fallimento se l'ambiente cambia leggermente. Misurando l'incertezza nello spazio fisico, il robot impara una geometria che lo mantiene al sicuro e centrato. Questa intuizione suggerisce che il modo standard di insegnare ai robot a muoversi potrebbe dover essere aggiornato. Inveve di ignorare i limiti fisici durante il processo di apprendimento, l'algoritmo dovrebbe tenerne conto, assicurando che il robot impari a muoversi con una grazia naturale e centrata, piuttosto che con una costante e faticosa spinta contro le pareti.