WARP-RM: A Warp-Augmented Relative Progress Reward Model for Data Curation
Il documento introduce WARP-RM, un modello di ricompensa completamente auto-supervisionato che genera segnali di progresso relativo densi da dimostrazioni di successo con deformazione temporale per abilitare WARP-BC, un metodo di behavior cloning che migliora significativamente le prestazioni dei robot in compiti a lungo termine filtrando e riponderando i chunk di azioni da dati di qualità mista.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I robot hanno lottato a lungo per imparare osservando gli esseri umani. Mentre una persona può dare un'occhiata a un compito e comprenderne il flusso di movimento, un robot addestrato su dati video spesso impara anche gli errori insieme ai successi. Se un operatore umano si ferma a riflettere, manipola goffamente un oggetto o prova una presa maldestra prima di riuscirci, il robot vede queste esitazioni come parte del percorso corretto. Questo è un problema particolare per i compiti lunghi e complessi come piegare la biancheria o assemblare oggetti, dove un singolo momento di confusione può far deragliare l'intera sequenza. Per anni, i ricercatori hanno cercato di insegnare ai robot a ignorare questi cattivi momenti, ma la maggior parte dei metodi richiedeva etichette umane costose per segnare esattamente dove era avvenuto un errore, o scartava interi clip video se contenevano errori, buttando via preziosi movimenti di recupero nascosti all'interno di dimostrazioni imperfette.
Un team di ricercatori dell'Università della California, Berkeley, e dell'Università di Stanford ha sviluppato un nuovo modo per insegnare ai robot a distinguere tra movimento produttivo e tempo sprecato senza bisogno di etichette umane. Hanno creato un sistema chiamato WARP, che sta per Warp-Augmented Relative Progress (Progresso Relativo Aumentato dalla Deformazione). Invece di chiedere a un essere umano di guardare ore di video e disegnare riquadri attorno ai momenti buoni e cattivi, i ricercatori hanno insegnato al computer a comprendere la velocità e la direzione del progresso riproducendo i video a diverse velocità e persino al contrario. Addestrando il robot a riconoscere cosa sia il progresso "in avanti" rispetto al movimento "all'indietro" o rallentato, il sistema ha imparato ad assegnare un punteggio a ogni singolo fotogramma di un video. Questo punteggio dice al robot quanto velocemente il compito stia procedendo in avanti, se sia bloccato o se stia effettivamente andando all'indietro.
I ricercatori hanno testato questa idea su un robot fisico con due braccia, chiedendogli di piegare magliette che erano accartocciate in un cesto. Hanno creato dataset di qualità variabile. Nei dataset migliori, le dimostrazioni umane erano veloci ed efficienti. Nei peggiori, le dimostrazioni umane erano piene di pause, tentativi e lunghi periodi di goffaggine. Quando hanno addestrato un sistema di apprendimento robotico standard su questi video disordinati e di bassa qualità, il robot falliva quasi completamente. Si incastrava in cicli di piccoli e inutili aggiustamenti, incapace di completare il compito. Tuttavia, quando hanno utilizzato il nuovo sistema WARP per filtrare i dati, i risultati sono cambiati drasticamente. Il sistema identificava automaticamente le parti lente e esitanti dei video e ne riduceva l'importanza, mantenendo invece i momenti veloci e decisi. Sui dataset disordinati dove il robot standard falliva venti volte su venti, il robot addestrato con WARP aveva successo diciannove volte su venti. Ha anche piegato le magliette quasi diciotto volte più velocemente del robot standard quando riceveva gli stessi dati di scarsa qualità.
Il team non si è fermato con le magliette. Ha testato il metodo anche su un compito in cui il robot doveva inserire bottiglie di plastica in un contenitore. Nel mondo reale, il nuovo sistema ha posizionato settantaquattro bottiglie su ottanta, mentre il sistema standard ne è riuscito solo cinquanta nove. Il nuovo robot posizionava le bottiglie più velocemente e con maggiore costanza. Per essere certi che questi risultati non fossero solo un caso dovuto all'hardware specifico del robot, i ricercatori hanno eseguito una massiccia simulazione con cinquecentododici scenari differenti. In questo test virtuale, il nuovo sistema ha posizionato 290 bottiglie all'ora, superando significativamente il sistema standard, che ne gestiva 237 all'ora. Anche confrontato con altri metodi avanzati che cercano di pulire i dati, l'approccio proposto ha prodotto costantemente i risultati più veloci e affidabili.
Una parte fondamentale del perché ciò funzioni risiede nel modo in cui il sistema impara a riconoscere il progresso. I ricercatori non hanno detto al computer che aspetto abbia una "maglietta piegata". Inveve, hanno preso video di successo di esseri umani che piegano magliette e li hanno riprodotti a velocità casuali, a volte rallentandoli fino a un passo d'uomo, altre volte accelerandoli. Hanno anche riprodotto alcuni video al contrario. Al computer è stato poi chiesto di indovinare quanto tempo fosse passato tra l'inizio di un clip e il momento attuale. Imparando a prevedere il tempo trascorso in queste versioni deformate e rimescolate del video, il computer ha imparato a comprendere il ritmo naturale del compito. Ha imparato che un movimento veloce e fluido significa solitamente che il compito sta procedendo in avanti, mentre un movimento lento e scattoso o un movimento all'indietro significa che il compito è in stallo o sta fallendo. Ciò ha permesso al sistema di generare un punteggio continuo per ogni fotogramma del video, dicendo al robot esattamente quali parti della dimostrazione osservare e quali ignorare.
I ricercatori hanno scoperto che semplicemente scartare i video cattivi non fosse sufficiente. La strategia più efficace era mantenere i video disordinati ma cambiare il modo in cui il robot imparava da essi. Il sistema prendeva un blocco di azione dal video e guardava il punteggio di progresso alla fine di quel blocco. Se il punteggio era alto, ovvero il compito stava procedendo rapidamente in avanti, il robot imparava da quel blocco con piena intensità. Se il punteggio era basso o negativo, ovvero il robot stava esitando o andando all'indietro, il sistema o ignorava interamente quel blocco o imparava da esso molto debolmente. Questo approccio ha permesso al robot di imparare dai movimenti di recupero fatti dagli umani quando lasciavano cadere una maglietta e la raccoglievano di nuovo, senza imparare il panico e l'esitazione che avevano causato la caduta in primo luogo.
Questo lavoro suggerisce che i robot non hanno bisogno di dimostrazioni umane perfette per imparare abilità complesse. Possono imparare da dati disordinati del mondo reale se hanno un modo per comprendere il flusso del tempo e del progresso all'interno di tali dati. I ricercatori hanno notato che il loro metodo si basa su un tipo specifico di aumento dei dati in cui i video vengono riprodotti al contrario, il che è fisicamente impossibile per un vero robot. Tuttavia, il sistema ha comunque imparato schemi utili da questo addestramento artificiale. Sebbene il metodo non sia una soluzione magica che funziona per ogni possibile compito, fornisce un nuovo e potente strumento per insegnare ai robot a ignorare il rumore dell'errore umano e concentrarsi sul segnale dell'azione di successo. Il team ha reso disponibili il proprio codice e i propri dati affinché altri ricercatori possano testare queste idee sui propri robot e compiti, portando potenzialmente a una nuova generazione di robot capaci di imparare rapidamente dal mondo imperfetto e quotidiano.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.