Where to Touch, How to Contact: A Hierarchical RL-MPC Framework for Geometry-Aware Sim-to-Real Manipulation

I robot sono stati a lungo i maestri delle fabbriche, muovendosi con precisione lungo percorsi preprogrammati per assemblare auto o smistare pacchi. Tuttavia, quando queste macchine entrano nel caos imprevedibile del mondo reale, in particolare quando devono manipolare oggetti senza semplicemente afferrarli, spesso incontrano difficoltà. La sfida risiede nella manipolazione "ricca di contatti", dove un robot deve spingere, far scorrere, ruotare o ribaltare un oggetto per spostarlo. A differenza di un semplice sollevamento, queste azioni dipendono da interazioni complesse e mutevoli tra l'oggetto, il braccio del robot e l'ambiente. Se un robot spinge una scatola con troppa forza, questa potrebbe scivolare via; se la spinge con l'angolazione sbagliata, la scatola potrebbe ribaltarsi o incastrarsi. Per anni, i ricercatori hanno cercato di insegnare ai robot come gestire queste situazioni addestrandoli con enormi quantità di dati, sperando che la macchina imparasse eventualmente le regole della fisica attraverso tentativi ed errori. Tuttavia, questo approccio è spesso lento, vorace di dati e non riesce a funzionare quando un robot addestrato in una simulazione al computer viene posizionato in una stanza reale.

Un team di ricercatori ha proposto un modo diverso per risolvere questo problema, imitando il modo in cui gli esseri umani pensano al movimento degli oggetti. Invece di cercare di imparare ogni minuscolo movimento muscolare e dettaglio di attrito tutto in una volta, hanno suddiviso il compito in due livelli distinti di pensiero. Al livello alto, il robot decide dove toccare un oggetto e quale risultato generale vuole ottenere, come ad esempio "spingi la maniglia per far scorrere la scatola in avanti". Al livello basso, un sistema separato determina come eseguire quel piano in tempo reale, adattandosi alla fisica esatta del momento, come se l'oggetto stia aderendo o scivolando. Questo nuovo framework, che combina un "cervello" basato sull'apprendimento con un "muscolo" basato sulla fisica, permette ai robot di imparare molto più velocemente e di trasferire le loro abilità dalla simulazione alla realtà senza ulteriore addestramento.

I ricercatori hanno testato questa idea su un braccio robotico dotato di uno strumento simile a un bastone, chiedendogli di eseguire compiti che richiedevano di non afferrare l'oggetto. In uno scenario, il robot doveva spingere vari blocchi a forma di lettera da posizioni di partenza casuali verso obiettivi specifici. In un altro, doveva riorientare un cubo, ribaltandolo e facendolo ruotare finché non raggiungeva la posa desiderata. In un terzo caso, doveva usare una scala per aiutare a ribaltare un oggetto su un tavolo. La chiave del loro successo è stata un tipo specifico di istruzione che hanno chiamato "intenzione di contatto". Questa non è un comando dettagliato per ogni movimento articolare, ma piuttosto un obiettivo di alto livello che dice: "Tocca l'oggetto qui, e punta a portarlo in quella posizione". La politica di alto livello del robot, addestrata tramite l'apprendimento per rinforzo, prevede questa intenzione basandosi su ciò che vede. Una volta impostata l'intenzione, subentra un controllore di basso livello. Questo controllore agisce come una calcolatrice rapidissima, pianificando costantemente i successivi secondi di movimento per garantire che il bastone del robot rimanga in contatto con l'oggetto nel punto scelto e lo muova verso l'obiettivo, regolandosi istantaneamente se l'oggetto scivola o urta qualcosa.

Ciò che rende questo approccio particolarmente efficace è come separi il "cosa" dal "come". La politica di alto livello deve solo comprendere la forma dell'oggetto e l'obiettivo, ignorando la fisica complessa e disordinata del contatto. Questo permette al robot di imparare rapidamente e di generalizzare a forme mai viste prima. Nei loro test, il robot ha imparato a spingere lettere invisibili con un successo quasi perfetto dopo una quantità relativamente piccola di addestramento. Al contrario, un sistema che cercava di imparare l'intero processo da zero, senza questa separazione dei compiti, richiedeva molti più dati e non riusciva comunque a performare altrettanto bene. I ricercatori hanno scoperto che il loro metodo necessitava di circa quaranta volte meno passi decisionali per imparare un compito rispetto a questi metodi tradizionali "end-to-end". Inoltre, poiché la politica di alto livello si concentra sulla geometria piuttosto che sulle dinamiche fisiche specifiche, può essere addestrata in una semplice simulazione al computer e poi implementata su un vero robot con quasi nessun aggiustamento.

I risultati di questa separazione sono stati sorprendenti sia in simulazione che nel mondo reale. Quando i ricercatori hanno spostato il robot addestrato dal computer a un braccio robotico Franka fisico, esso ha eseguito i compiti con alta affidabilità senza alcuna rifinitura. Per il compito di spinta delle lettere, il robot ha ottenuto un tasso di successo del 100% sulle lettere viste durante l'addestramento e un tasso di successo del 95% sulle lettere mai incontrate prima. Anche per il compito più complesso di ribaltare un cubo nello spazio tridimensionale, il robot ha avuto successo quasi ogni volta. Nei test nel mondo reale, il robot ha spinto con successo lettere inedite e ha riorientato oggetti, completando spesso il compito in meno di dieci decisioni di alto livello. I fallimenti minori sono avvenuti a causa di problemi pratici come la perdita di tracciamento dell'oggetto da parte della telecamera, non perché la logica del robot fosse difettosa. Ciò ha dimostrato che il robot aveva appreso una strategia robusta per interagire con il mondo, piuttosto che aver semplicemente memorizzato un set specifico di movimenti.

Lo studio ha anche esplorato cosa accade quando parti di questo sistema vengono rimosse, confermando che ogni componente è essenziale. Quando i ricercatori hanno rimosso la capacità di impostare obiettivi intermedi, il robot spesso si incagliava, spingendo l'oggetto in cerchi o negli angoli perché cercava di raggiungere la destinazione finale direttamente senza un piano. Quando hanno rimosso le informazioni su dove il robot potesse toccare in sicurezza senza colpire l'ambiente, il robot ha faticato a trovare punti di contatto validi. Questi test hanno dimostrato che il robot ha bisogno sia di un chiaro senso della forma dell'oggetto sia di un piano su come muoverlo a stadi per avere successo. Il framework si è inoltre dimostrato superiore ad altri metodi che cercano di apprendere direttamente le dinamiche di contatto, i quali spesso rimangono bloccati in loop locali o richiedono enormi quantità di dati per convergere. Delegando i difficili calcoli fisici a un controllore dedicato, il sistema di apprendimento è libero di concentrarsi sulle decisioni strategiche più importanti.

In definitiva, questo lavoro offre una nuova strada per rendere i robot più capaci in ambienti non strutturati. Suggerisce che il modo migliore per insegnare a una macchina a manipolare il mondo fisico non è costringerla a imparare ogni dettaglio della fisica in una volta sola, ma fornirle una gerarchia di compiti. Il robot impara a ragionare sulla geometria e sulla strategia, mentre un sistema separato e affidabile gestisce l'esecuzione fisica immediata. Questo approccio non solo rende l'apprendimento più veloce ed efficiente, ma colma anche il divario tra simulazione e realtà, permettendo ai robot di essere addestrati in mondi virtuali e poi messi immediatamente al lavoro nel mondo reale. Mentre i ricercatori guardano al futuro, mirano a estendere questo framework a mani più complesse con più dita, pur riconoscendo che l'attuale metodo si basa sul tracciamento accurato della posizione dell'oggetto e potrebbe affrontare sfide con il numero elevato di punti di contatto in compiti più destri. Per ora, tuttavia, i risultati mostrano un modo chiaro e robusto per permettere alle macchine di imparare l'arte di toccare e muovere il mondo intorno a loro.