DIA: Denoising Intermediate Advantage for Diffusion Policy Optimization

I robot capaci di manipolare oggetti con una destrezza simile a quella umana sono stati a lungo un obiettivo dell'intelligenza artificiale, ma insegnare loro come farlo è un delicato gioco di equilibrio. Per anni, il metodo più efficace è stato il "behavior cloning" (clonazione del comportamento), in cui un robot impara osservando video di esseri umani che eseguono compiti e poi imitando i loro movimenti. Questo approccio ha dato origine a una nuova e potente classe di controller robotici basata su una tecnologia chiamata diffusione. Proprio come uno scultore potrebbe iniziare con un blocco di pietra grezza e gradualmente scolpire il materiale per rivelare una statua, questi modelli di diffusione partono da un rumore casuale e lo raffinano lentamente in una sequenza precisa di azioni. Sebbene questo metodo sia eccellente nel catturare la varietà e la sfumatura delle dimostrazioni umane, presenta un limite fondamentale: il robot è strettamente vincolato alla qualità e alla varietà dei dati che gli sono stati mostrati. Se i video di addestramento non hanno mai mostrato un robot che risolve un problema in un modo nuovo, il robot probabilmente fallirà quando si troverà di fronte a quel problema nel mondo reale. Per superare questo ostacolo, i ricercatori hanno iniziato a combinare questi modelli di diffusione con l'apprendimento per rinforzo (reinforcement learning), una tecnica in cui un agente impara attraverso tentativi ed errori, ricevendo ricompense per i risultati positivi e penalità per gli errori. La sfida, tuttavia, è che i modelli di diffusione non prendono una singola decisione in una volta sola; essi generano un'azione attraverso un lungo processo di raffinamento passo dopo passo. Determinare esattamente quale passaggio in quella lunga catena sia responsabile del successo o del fallimento si è rivelato un puzzle difficile per i metodi esistenti.

Un team di ricercatori dell'Università di Toronto e del Vector Institute ha proposto una nuova soluzione a questo problema chiamata Denoising Intermediate Advantage, o DIA. Il loro lavoro affronta un difetto specifico nel modo in cui i sistemi attuali attribuiscono il merito al processo di apprendimento di un robot. Negli approcci standard, quando un robot completa con successo un compito dopo una lunga sequenza di passaggi di raffinamento, il sistema assegna la stessa quantità di merito a ogni singolo passaggio di quella sequenza. È come se un team di pittori stesse lavorando insieme per finire un affresco, e il manager lodasse ogni pennellata allo stesso modo, indipendentemente dal fatto che una particolare pennellata fosse un dettaglio minore o la linea cruciale che definiva l'intera immagine. I ricercatori sostengono che questo sia inefficiente perché i passaggi intermedi nel processo di generazione contengono informazioni preziose su dove il robot stia andando. Trattando l'intera catena di raffinamento come un unico blocco, i metodi precedenti hanno perso l'opportunità di imparare dalle decisioni specifiche prese in ogni fase del processo.

Per risolvere questo problema, il metodo DIA introduce un modo per valutare il progresso del robot ad ogni singolo passaggio del processo di raffinamento, non solo alla fine. Il sistema impara a prevedere il valore dell'azione che si sta formando mentre prende forma, passo dopo passo. Ciò consente al robot di capire che alcune decisioni intermedie sono più critiche per il risultato finale rispetto ad altre. Inveve di aspettare fino alla fine per vedere se il compito è stato completato, il sistema fornisce un feedback durante tutto il processo di generazione, guidando il robot a fare scelte migliori prima. Questo crea un segnale di apprendimento più sfumato che aiuta il robot a distinguere tra un successo fortuito e una strategia ben eseguita. I ricercatori hanno testato questo approccio attraverso quattro diversi set di compiti robotici, che vanno dalla semplice manipolazione di oggetti a complessi lavori di assemblaggio multi-fase che richiedono a un robot di muovere le braccia in coordinazione per un lungo periodo.

I risultati di questi test sono stati coerenti e significativi. Su un set standard di benchmark noto come Robomimic, che include compiti come sollevare oggetti, spostare lattine e disegnare quadrati, il metodo DIA ha superato costantemente le tecniche esistenti. Nel compito più difficile, una sfida di trasporto bimanuale in cui un robot deve spostare un oggetto usando due braccia, il nuovo metodo ha ottenuto un punteggio di ricompensa superiore del 23 percento rispetto al miglior approccio precedente, mantenendo lo stesso alto tasso di successo. Questo miglioramento non riguardava solo il completare il lavoro più spesso; riguardava il farlo meglio. I robot addestrati con DIA hanno raggiunto lo stato di successo più rapidamente, impiegando meno passaggi per completare il compito. In un test specifico, il tempo necessario affinché il robot avesse successo è stato ridotto del 21 percento. Ciò suggerisce che il robot non stava semplicemente inciampando in una soluzione, ma stava imparando un percorso più efficiente verso l'obiettivo.

La potenza di questo metodo è diventata ancora più evidente quando i ricercatori lo hanno testato su compiti in cui i dati di addestramento erano incompleti o mancavano della soluzione completa. In una simulazione di cucina in cui un robot doveva eseguire una sequenza di sottotemi come accendere un fornello o aprire un armadietto, i dati di addestramento standard mostravano spesso solo parti della sequenza completa. I metodi precedenti faticavano in questi casi, rimanendo spesso bloccati in loop o ripetendo azioni irrilevanti perché erano troppo dipendenti dai pattern esatti visti nei video di addestramento. Il metodo DIA, invece, è stato in grado di ricombinare le dimostrazioni parziali che aveva visto per creare sequenze di azioni completamente nuove e di successo. Nella versione più impegnativa di questo test, in cui nessuna singola dimostrazione mostrava il compito completo, i metodi di base sono falliti completamente, ottenendo lo zero percento di successo. Il metodo DIA, al contrario, ha avuto successo nel 69 percento dei casi. È riuscito a mettere insieme i passaggi necessari per completare il compito, imparando efficacementamente una strategia che non era esplicitamente presente in nessuno degli esempi di addestramento originali.

Questi risultati suggeriscono che, prestando attenzione ai passaggi intermedi del processo decisionale, i robot possono liberarsi dai limiti dei loro dati di addestramento. Il metodo permette loro di esplorare nuove strategie e scoprire modi più efficienti per risolvere i problemi, piuttosto che limitarsi a copiare ciò che hanno visto in precedenza. Sebbene gli esperimenti siano stati condotti in simulazione, i risultati puntano verso un futuro in cui i robot potranno adattarsi in modo più flessibile a complessi ambienti reali. I ricercatori osservano che il passo successivo sarà testare queste idee su robot fisici, una transizione che richiederà di superare le sfide pratiche della raccolta di dati nel mondo reale. Per ora, il lavoro dimostra che dare credito ai momenti giusti nel processo di pensiero di un robot può portare a macchine significativamente più intelligenti e capaci.