RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation

Insegnare a un robot a usare due mani come un essere umano è una delle sfide più difficili nella robotica moderna. Per imparare compiti complessi come piegare il bucato, aprire un barattolo o trasportare una scatola pesante, un robot ha bisogno di vedere migliaia di esempi di come farlo. Nel mondo reale, raccogliere questi esempi è lento, costoso e spesso pericoloso. Se un robot fa cadere un bicchiere, si rompe; se urta una pila di piatti, la pulizia diventa un compito faticoso. Per questo motivo, gli scienziati si sono rivolti alle simulazioni al computer. Costruiscono mondi virtuali dove i robot possono esercitarsi milioni di volte senza rompere nulla. Tuttavia, un problema principale ha frenato questo campo: la maggior parte delle simulazioni è come stanze chiuse con mobili fissi. Puoi far girare il robot nella stanza quanto vuoi, ma non puoi facilmente aggiungere un nuovo oggetto, come una specifica tazza da caffè di proprietà dell'utente, o cambiare la disposizione della stanza. Per farlo, un ingegnere umano deve solitamente trascorrere ore a ricostruire manualmente la forma dell'oggetto, definire quanto sia pesante e capire esattamente dove le dita del robot debbano toccarlo. Questo lavoro manuale è così lento che impedisce la creazione dei dataset massicci e diversificati necessari per insegnare ai robot di essere davvero adattabili.

Un team di ricercatori ha introdotto un nuovo sistema chiamato RoboCousin che risolve questo collo di bottiglia trasformando la simulazione in un laboratorio aperto ed espandibile. Invece di costringere il robot a imparare solo da una lista pre-selezionata di oggetti, questo sistema permette a un utente di scattare una semplice fotografia di qualsiasi oggetto o fornire una descrizione di una stanza e trasformarla istantaneamente in un modello 3D realistico e interattivo con cui il robot può esercitarsi. Il sistema non crea solo una bella immagine; calcola automaticamente le proprietà fisiche dell'oggetto, come il suo peso e quanto sia scivolosa la sua superficie, e calcola i punti migliori in cui le pinze del robot dovrebbero afferrarlo. Questo processo trasforma un'immagine piatta in un "cugino digitale" (digital cousin): una versione virtuale che appare e si comporta come l'originale, ma che è abbastanza flessibile da essere mescolata con altri oggetti e sfondi per creare infiniti nuovi scenari di addestramento.

I ricercatori hanno costruito questo sistema su una piattaforma di simulazione esistente e hanno aggiunto una pipeline che gestisce tutto, dalla foto iniziale al movimento finale del robot. Quando un utolo fornisce l'immagine di un oggetto, il sistema prima lo isola dallo sfondo e ricostruisce la sua forma tridimensionale. Successivamente, utilizza l'intelligenza artificiale per ipotizzare i tratti fisici dell'oggetto, come la massa e l'attrito, assicurando che il robot interagisca con esso in modo realistico. Fondamentalmente, il sistema identifica automaticamente i "punti di contatto", ovvero i punti specifici sull'oggetto dove una mano robotica può afferrare l'oggetto in modo sicuro ed efficace. Nelle configurazioni tradizionali, un essere umano dovrebbe marcare manualmente questi punti per ogni singolo oggetto, un processo tedioso che limita quanti oggetti possano essere aggiunti. In questo nuovo sistema, il computer lo fa istantaneamente. Il risultato è una libreria di oltre 3.000 diverse istanze di oggetti e 50 diversi ambienti di sfondo, tutti pronti per essere utilizzati dal robot.

Per rendere l'addestramento ancora più robusto, il sistema crea dei "cugini digitali". Mentre un "gemello digitale" (digital twin) è una copia esatta e rigida di una scena reale, un cugino digitale è una variazione che mantiene le relazioni importanti ma cambia i dettagli. Ad esempio, se un robot deve imparare come raccogliere una bottiglia da un tavolo, il sistema può generare una scena in cui la bottiglia ha un colore diverso, il tavolo è di un materiale diverso o lo sfondo è una cucina invece di un soggiorno, purché la bottiglia sia ancora appoggiata sul tavolo in un modo che abbia senso. Questo approccio insegna al robot il concetto fondamentale del compito piuttosto che fargli memorizzare un setup specifico. Il sistema si scala anche a livello di stanza. Può pianificare un percorso per un robot mobile per navigare attraverso una casa virtuale, avvicinarsi a un tavolo e poi eseguire il compito di manipolazione, il tutto all'interno di una singola simulazione continua. Ciò consente al robot di imparare non solo come muovere le braccia, ma come muovere tutto il corpo per raggiungere il compito.

Il team ha testato se questo approccio automatizzato funzioni effettivamente nel mondo reale. Hanno generato oltre un milione di traiettorie di addestramento utilizzando il sistema e hanno poi addestrato un robot fisico con due braccia per eseguire compiti specifici. I risultati sono stati sorprendenti. Quando il robot è stato addestrato su oggetti che il sistema aveva ricostruito automaticamente da immagini, ha performato altrettanto bene, e in alcuni casi meglio, rispetto a quando è stato addestrato su oggetti che erano stati accuratamente creati da esperti umani. Ad esempio, in un compito di raccolta di una bottiglia, il tasso di successo è passato dal 40 per cento all'80 per cento utilizzando gli asset del nuovo sistema. Inoltre, quando il robot è stato addestrato su una varietà di scene "cugine" piuttosto che su una singola copia esatta di una stanza, è diventato molto più bravo a gestire nuove situazioni. In un test riguardante il prelievo di un astuccio per occhiali, un robot addestrato su una singola scena esatta è fallito completamente, mentre quello addestrato sulle varie scene cugine ha avuto successo il 55 per cento delle volte.

I ricercatori hanno anche verificato che le ipotesi automatiche del computer su dove afferrare un oggetto fossero accurate. Hanno confrontato i punti di presa suggeriti dal sistema con un set di punti che erano stati accuratamente marcati da esseri umani. I suggerimenti del computer erano leggermente migliori, ottenendo un tasso di successo del 76 per cento in simulazione rispetto al 72 per cento dei punti marcati dagli umani. Questo dimostra che il sistema può sostituire il lento processo manuale di annotazione degli oggetti con uno veloce e automatizzato che è almeno altrettanto affidabile. Collegando la capacità di trasformare le osservazioni del mondo reale in asset di simulazione con la capacità di generare scenari di addestramento diversificati, RoboCousin offre una via pratica per procedere. Suggerisce che il futuro dell'apprendimento robotico non richiede di aspettare che gli ingegneri costruiscano ogni nuovo oggetto a mano, ma si basa su sistemi che possono comprendere istantaneamente e adattarsi al mondo disordinato e variegato in cui viviamo.