ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
ADEPT è un framework di apprendimento per rinforzo su larga scala che accelera lo sviluppo di una destrezza di livello umano in robot ad alto grado di libertà attraverso il pre-addestramento su compiti generici e l'impiego di una ricetta di post-addestramento stabile per consentire il trasferimento zero-shot sim-to-real per la risoluzione di compiti di manipolazione complessi e a lungo termine a partire dalla percezione visuo-tattile grezza.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I robot sono stati a lungo maestri nei reparti di fabbrica, muovendosi con rigida precisiono per assemblare auto o impilare scatole. Eppure, quando viene chiesto loro di eseguire i compiti fluidi e delicati della vita quotidiana — come raccogliere un uovo fragile, ruotarlo e posizionarlo delicatamente in una ciotola — la maggior parte delle macchine fallisce. Questa è la sfida della destrezza. Richiede che un robot coordini decine di parti in movimento simultaneamente, reagendo al tatto e alla vista in tempo reale per gestire la fisica caotica di oggetti che scivolano, rotolano o collidono. Per anni, i ricercatori hanno cercato di insegnare queste abilità ai robot programmando loro regole rigide o mostrando loro dimostrazioni umane, ma questi metodi spesso falliscono quando l'ambiente cambia anche solo leggermente. Un nuovo approccio, tuttavia, suggerisce che il segreto della destrezza robotica non risieda nell'insegnare a un robot ogni compito specifico da zero, ma nel fornirgli innanzitutto un'ampia esperienza fondamentale con il mondo fisico.
Un team di ricercatori ha sviluppato un nuovo framework chiamato ADEPT che insegna ai robot come apprendere complesse abilità di manipolazione, padroneggiando prima un gioco generico di "riposizionamento" di oggetti. Immaginate una mano robotica che trascorre mesi in un mondo virtuale semplicemente raccogliendo forme casuali — cilindri, cubi, sfere — e spostandole in diversi punti su un tavolo. Impara ad afferrare, sollevare e ruotare questi oggetti senza alcun obiettivo specifico, se non quello di spostarli con successo. Questa fase costruisce una comprensione profonda e intuitiva di come si comportano gli oggetti e di come debbano muoversi le dita del robot per controllarli. Una volta gettata questa base, i ricercatori introducono un nuovo compito specifico, come inserire un perno in un foro o posizionare un piatto in un porta piatti. Invece di ricominciare da capo, il robot utilizza la sua esperienza precedente come guida. I ricercatori hanno scoperto che questo metodo consente al robot di saltare la fase iniziale di apprendimento goffo e applicare immediatamente le sue abilità generali alla nuova, specifica sfida.
La potenza di questo approccio diventa evidente quando il robot affronta un compito che non ha mai visto prima. Nei loro esperimenti, i ricercatori hanno testato il sistema su due diversi bracci robotici dotati di mani multi-dito: uno con ventitré giunti mobili e un altro con ventinove. Hanno addestrato i robot in una simulazione ad alta fedeltà dove potevano eseguire migliaia di tentativi simultaneamente. I robot hanno prima imparato a riposizionare una varietà di forme semplici. Quando i ricercatori hanno poi chiesto ai robot di eseguire un compito difficile — inserire un perno in una tavola, una sfida che richiede un allineamento preciso e la gestione delle forze di contatto — i robot non sono partiti da zero. Hanno immediatamente riconosciuto la necessità di raggiungere, afferrare e sollevare il perno, abilità che avevano già padroneggiato. L'unica parte che dovevano apprendere era l'inserimento finale, più delicato.
Tuttavia, prendere semplicemente un robot addestrato su un compito e chiedere di farne un altro spesso causa la perdita di ciò che ha imparato. I ricercatori hanno scoperto che se cercavano di perfezionare direttamente il comportamento del robot, le nuove istruzioni avrebbero sovrascritto le vecchie abilità, causando la perdita della capacità del robot di afferrare o sollevare correttamente. Per risolvere questo problema, hanno sviluppato una attenta ricetta di addestramento. Per prima cosa, hanno utilizzato una tecnica per spingere delicatamente il nuovo comportamento del robot affinché somigliasse al vecchio comportamento di successo, assicurando che le abilità fondamentali rimanessero intatte. Poi, hanno gradualmente regolato la comprensione del robot su cosa costituisca una mossa "buona" per il nuovo compito, permettendogli di adattarsi senza perdere l'equilibrio. Infine, hanno addestrato una seconda versione più semplice del robot che potesse fare affidamento solo su ciò che vedeva attraverso le telecamere e ciò che sentiva attraverso le punte delle dita, eliminando i dati interni che il robot utilizzava durante l'addestramento. Questo robot "studente" è stato poi inviato nel mondo reale.
I risultati sono stati sorprendenti. Nel mondo reale, questi robot potevano raccogliere con successo un perno, riorientarlo nella mano e inserirlo in un foro, il tutto facendo affidamento solo sul feedback visivo e tattile. Potevano gestire un perno a forma di stella simmetrica e un perno molto più difficile, a forma di quadrato e cerchio asimmetrico, che richiede un orientamento singolo e preciso per incastrarsi. Il sistema ha anche imparato a afferrare un piatto piatto, capovolgerlo e posizionarlo in un porta piatti, una sequenza di azioni che l'addestramento iniziale non aveva mai mostrato esplicitamente. I robot hanno eseguito questi compiti in cinque o dieci secondi, una velocità paragonabile a quella umana, mentre i metodi precedenti che utilizzavano gripper più semplici e supporti esterni richiedevano venti o settanta secondi.
Fondamentalmente, i ricercatori hanno scoperto che i robot sviluppavano modi naturali e simili a quelli umani di impugnare gli oggetti. Senza che gli venisse detto come tenere il perno, i robot hanno imparato ad avvolgerci attorno le dita in una presa stabile e multipunto, proprio come una mano umana. Al contrario, i robot addestrati senza la fase iniziale di riposizionamento sviluppavano spesso modi di impugnare l'oggetto goffi e instabili che funzionavano per un momento ma fallivano sotto pressione. Lo studio suggerisce che fornendo a un robot un'esperienza ampia e generale con la fisica degli oggetti in primo luogo, esso può apprendere nuove abilità specifiche molto più velocemente e in modo più affidabile rispetto al tentativo di imparare tutto in una volta sola. Questo approccio non rende i robot solo più veloci; li rende più robusti, capaci di gestire la natura imprevedibile del mondo reale con un livello di destrezza che prima era fuori portata.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.