I bracci robotici stanno diventando sempre più comuni nelle fabbriche e nei laboratori, incaricati di compiti delicati come l'assemblaggio di componenti elettronici o la smistazione di oggetti. Affinché queste macchine funzionino bene, hanno bisogno di un "cervello" che possa decidere esattamente come muovere le sue articolazioni in base a ciò che le loro telecamere vedono. Questo processo decisionale avviene in una frazione di secondo, ripetutamente, mentre il robot reagisce a un mondo in continuo mutamento. La sfida è che il mondo reale è disordinato e imprevedibile. Una singola visione di un blocco su un tavolo potrebbe consentire diversi modi validi per afferrarlo, a seconda dei movimenti precedenti del robot o di lievi cambiamenti nell'illuminazione. Per gestire questa incertezza, i ricercatori hanno sviluppato sistemi che non si limitano a scegliere una singola risposta, ma imparano un intervallo di possibili azioni corrette. I sistemi più riusciti finora utilizzano un metodo che funziona come uno scultore lento e attento: partono da un tentativo casuale e lo raffinano gradualmente, passo dopo passo, finché l'azione non appare perfetta. Sebbene questo approccio produca movimenti di alta qualità, è lento. Il robot deve eseguire il suo cervello informatico molte volte per ogni singolo movimento che compie, creando un ritardo che lo rende troppo pigro per compiti rapidi in tempo reale o per apprendere nuove abilità attraverso tentativi ed errori.

Un team di ricercatori ha ora trovato un modo per rendere questi cervelli robotici intelligenti altrettanto capaci ma vastamente più veloci. Hanno sviluppato un nuovo sistema che produce gli stessi piani d'azione di alta qualità e multi-opzione in un unico istante, invece di richiedere decine di passaggi per perfezionarli. Nel loro lavoro, hanno dimostrato che cambiando il modo in cui il robot impara durante l'addestramento, potevano insegnargli di saltare l'intero processo di raffinamento lento. Invece di imparare a correggere i propri errori dopo averli commessi, il robot impara a dare la risposta giusta al primo colpo. Invece di imparare a sistemare i propri errori dopo averli fatti, il robot impara a dare la risposta giusta fin da subito. Invece di imparare a correggere i propri errori dopo averli commessi, il robot impara a dare la risposta giusta al primo colpo. Testato su una suite di dodici diversi compiti robotici, questo nuovo metodo ha ottenuto un tasso di successo medio superiore rispetto ai vecchi sistemi più lenti.

Il cuore di questa svolta risiede nel modo in cui il robot impara dagli esempi. I metodi tradizionali che producono azioni di alta qualità si affidano spesso a un processo chiamato denoising iterativo. Immaginate un robot che cerca il modo migliore per prendere una tazza. I vecchi sistemi potrebbero partire con una posizione della mano completamente casuale e poi spingerla lentamente verso la tazza, controllando il proprio lavoro, spingendola di nuovo, e ripetendo questo ciclo molte volte finché la mano non si trova nel punto perfetto. Questo assicura che il robot trovi una buona soluzione, ma richiede tempo. Il nuovo approccio, che i ricercatori chiamano politica basata sul drift (drift-based policy), ribalta questa logica. Invece di raffinare la risposta durante il momento effettivo dell'azione, il robot impara a interiorizzare l'intero processo di correzione durante l'addestramento. Durante l'addestramento, il sistema viene mostrato molti esempi di movimenti riusciti ed è istruito a prevedere come un tentativo casuale tenderebbe a "derivare" (drift) verso uno corretto. Impara ad assorbire queste correzioni nelle proprie impostazioni interne in modo che, quando viene finalmente distribuito, non abbia bisogno di compiere quei lenti passaggi incrementali. Semplicemente, emette l'azione finale e corretta immediatamente.

Per dimostrare che questa idea funzioni, i ricercatori hanno testato il loro sistema su una vasta gamma di sfide. Hanno iniziato con un set standard di dodici compiti di simulazione che coinvolgevano lo spostamento di blocchi, il sollevamento di oggetti e la manipolazione di strumenti. I vecchi sistemi multi-step richiedevano al computer di eseguire la propria rete cento volte per decidere un singolo movimento. Il nuovo sistema ha svolto lo stesso lavoro con un'unica esecuzione. Il risultato è stato un sistema che non era solo cento volte più veloce, ma anche leggermente più efficace, raggiungendo un tasso di successo medio dell'83 percento rispetto al 79 percento dei metodi più lenti. Ciò ha dimostrato che la velocità non è arrivata a scapito della qualità; il robot era bravo quanto prima nel compito, ma era molto più efficiente.

I ricercatori hanno poi spinto il sistema oltre per vedere se potesse gestire ambienti 3D più complessi, dove il robot vede il mondo come una nuvola di punti piuttosto che come un'immagine piatta. Lo hanno testato su trentasette compiti diversi, che andavano dalla semplice manipolazione di oggetti a compiti destri più difficili come usare un martello o girare una maniglia. In questi test, il nuovo sistema ha superato nuovamente i principali metodi esistenti progettati per la velocità a singolo step. Ha raggiunto un tasso di successo medio dell'88,4 percento, superando significativamente il miglior sistema a singolo step precedente. Ciò ha dimostrato che il metodo era abbastanza robusto da gestire la complessità della visione 3D del mondo reale senza necessitare del lento raffinamento multi-step che era precedentemente considerato necessario per lavori così difficili.

Tuttavia, un robot che è bravo a copiare le dimostrazioni umane non è sempre bravo a risolvere nuovi problemi o a recuperare dagli errori. Per affrontare questo, i ricercatori hanno aggiunto una seconda fase al loro framework, permettendo al robot di apprendere attraverso l'apprendimento per rinforzo online (online reinforcement learning). Questo è un processo in cui il robot migliora le proprie prestazioni interagendo con l'ambiente e ricevendo feedback sul proprio successo, piuttosto che limitarsi a copiare vecchi video. La sfida qui era che gli algoritmi di apprendimento standard di solito richiedono al sistema di calcolare la probabilità di ogni possibile azione, il che è difficile per i generatori veloci a singolo step. Il team ha risolto questo problema creando un'interfaccia speciale che permetteva al robot di imparare dalle proprie esperienze mantenendo intatta la sua natura veloce a singolo step. Hanno scoperto che questo approccio permetteva al robot di perfezionare le proprie abilità in modo efficace, migliorando le prestazioni nei compiti per i quali era stato inizialmente addestrato solo su dimostrazioni umane.

Il test finale ha portato il sistema fuori dalla simulazione al computer e su un robot fisico in un vero laboratorio. Hanno montato il sistema su un robot dual-arm con due braccia, simile a un essere umano, e gli hanno chiesto di eseguire compiti come sollevare un blocco, trasportare una lattina e spostare oggetti tra le due braccia. Il robot doveva reagire alle informazioni visive delle telecamere in tempo reale, senza intervento umano. Il sistema operava con un ritardo medio di soli 9,5 millisecondi dal vedere il mondo al movimento del braccio, una velocità sufficiente per il controllo ad alta frequenza. In una serie di prove, il robot ha completato con successo 123 tentativi su 150, un tasso di successo dell'82 percento. In confronto, il precedente miglior sistema a singolo step è riuscito in soli 89 tentativi su 150, ovvero il 59 percento. I fallimenti che si sono verificati sono stati dovuti principalmente a problemi fisici come lo scivolamento dell'oggetto o la collisione tra i due braccia, piuttosto che a un fallimento del sistema decisionale stesso.

Questo lavoro suggerisce che il compromesso tra velocità e intelligenza nel controllo robotico non è così fisso come sembrava un tempo. Spostando l'onere del raffinamento dal momento dell'azione al tempo dell'apprendimento, è possibile creare controller robotici che siano sia altamente capaci che incredibilmente veloci. I ricercatori hanno dimostrato che un robot non ha bisogno di passare tempo a riflettere sulle proprie opzioni passo dopo passo per prendere una buona decisione; può imparare a prendere la decisione giusta istantaneamente. Ciò apre la porta a robot che possono operare alla velocità dei riflessi umani, imparando e adattandosi in tempo reale agli ambienti complessi e imprevedibili del nostro mondo. Il codice per questo nuovo sistema è stato reso disponibile ad altri ricercatori, permettendo alla comunità di costruire su questa base di controllo generativo veloce.