Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

Immaginate un mondo in cui i robot sono gli aiutanti definitivi, capaci di saldare parti di auto, salvare persone dalle macerie o impilare scatole in un magazzino. Ma perché un robot sia davvero utile, deve sapere esattamente come muovere le sue braccia. Questo è il compito di un "controller", il cervello che dice alle sue articolazioni dove andare. Di solito, questi robot trasportano oggetti: attrezzi, scatole pesanti o persino estintori che diventano più leggeri mentre spruzzano. Il problema è che quando il peso nella mano di un robot cambia, cambia anche il modo in cui il suo braccio si muove. È come cercare di andare in bicicletta con uno zaino pesante improvvisamente legato sulla schiena; devi pedalare più forte e sterzare diversamente per restare sul percorso.

Per anni, gli scienziati hanno cercato di insegnare ai robot come gestire questi cambiamenti di peso usando trucchi matematici della vecchia scuola. Questi metodi sono come dare al robot un insieme di regole rigide: "Se diventa pesante, spingi più forte". Ma queste regole spesso falliscono quando il peso cambia improvvisamente o in modo selvaggio, causando oscillazioni nel robot, superamenti del bersaglio o persino la sua stessa distruzione per le vibrazioni. Entra in gioco un'idea più nuova e appariscente: il Deep Reinforcement Learning (DRL). Pensate a questo come all'insegnare a un robot non tramite un libro di regole, ma lasciandolo giocare a un videogioco ripetutamente. Il robot prova a muoversi, riceve un "punteggio" per l'ottima esecuzione e impara dai suoi errori finché non diventa un giocatore esperto. Questo articolo approfondisce se questo approccio basato sul "gioco" possa insegnare a un robot di seguire perfettamente un bersaglio in movimento, anche quando il peso nella sua mano cambia costantemente, diminuisce o salta in modo imprevedibile.

I ricercatori dietro questo studio hanno deciso di mettere alla prova questa idea su un popolare robot a sei braccia chiamato UR5e. Volevano vedere se avrebbero potuto addestrare questo robot utilizzando un tipo specifico di algoritmo di gioco chiamato Soft Actor-Critic (SAC). La grande sfida era che il robot doveva seguire un percorso veloce e sinuoso trasportando carichi che variavano da nulla (0 kg) a un carico pesante di 5 kg, e talvolta il peso cambiava proprio nel mezzo del movimento.

Per rendere il robot abbastanza intelligente da gestire qualsiasi peso, il team non si è limitato ad addestrarlo con un carico specifico. Al contrario, ha utilizzato un trucco chiamato "domain randomization" (randomizzazione del dominio). Immaginate un videogioco in cui il designer del livello cambia casualmente la gravità, l'attrito o il peso del personaggio ogni singola volta che iniziate una nuova partita. Addestrando il robot in questo ambiente caotico e in continuo mutamento, il robot ha imparato una strategia flessibile che funzionava per qualsiasi peso, piuttosto che memorizzare una singola soluzione per un carico specifico. Hanno anche dato al robot una speciale "memoria" fornendogli non solo dove si trova in questo momento, ma anche dove si trovava un istante prima e dove deve andare dopo. Questo ha aiutato il robot ad anticipare i cambiamenti nella fisica del suo braccio, proprio come un surfista che guarda in avanti alla prossima onda invece di guardare solo l'acqua sotto i suoi piedi.

I risultati delle loro simulazioni sono stati piuttosto impressionanti. Quando hanno testato il loro nuovo controller "addestrato tramite gioco" contro un controller tradizionale (un classico controllore PID, che è l'approccio del libro di regole della vecchia scuola), la differenza è stata netta. Il controller tradizionale faticava enormemente quando il peso cambiava. Se il robot trasportava un carico pesante e il peso diminuiva improvvisamente, o se partiva senza peso e improvvisamente diventava pesante, il vecchio controller si confondeva. Superava il bersaglio, oscillava violentemente e produceva enormi errori di tracciamento. Nel test più difficile, in cui il carico cambiava in modi complessi (rimanendo fermo, poi cambiando lentamente, poi saltando improvvisamente), l'errore medio del vecchio controller era un disordinoso 19,41 gradi, e utilizzava molta energia in modo scattoso ed inefficiente.

Al contrario, il nuovo controller DRL era un operatore fluido. Manteneva il robot sul percorso con un errore medio di appena 1,41 gradi. Si tratta di un miglioramento enorme, di circa il 92,72%. Non era solo più accurato, ma era anche molto più fluido. La coppia (torque) del vecchio controller variava selvaggiamente, con salti medi di 5,26 Nm, mentre il nuovo controller manteneva tali salti a soli 1,72 Nm. Ciò significa che il robot si muoveva con grazia, usando meno energia e mettendo meno stress ai suoi motori.

Lo studio ha anche dimostrato che questo "addestramento randomizzato" era la formula segreta. Quando hanno provato ad addestrare il robot con un solo peso fisso e poi lo hanno testato con un peso diverso, il risultato è stato un fallimento totale, con gli errori che schizzavano alle stelle. Ma poiché lo hanno addestrato su una miscela selvaggia di pesi, ha imparato una capacità generale che funzionava ovunque. I ricercatori hanno scoperto che anche il modo in cui hanno progettato la "scheda del punteggio" (la funzione di ricompensa) era cruciale. Dovevano bilanciare il dare punti per aver colpito il bersaglio, punti per il movimento fluido e punti per non aver sprecato energia. Se si fossero occupati solo di colpire il bersaglio, il robot si sarebbe distrutto a causa delle vibrazioni; se si fossero occupati solo della fluidità, sarebbe stato meno reattivo nel correggere il proprio percorso. La miscela perfetta di questi premi ha insegnato al robot a essere sia preciso che delicato.

Naturalmente, tutto questo sta accadendo in una simulazione al computer in questo momento. Gli autori sottolineano con cautela che, sebbene il robot abbia imparato a essere un campione nel mondo virtuale, ci sono ancora ostacoli prima che possa diventare un campione nel mondo reale. Per un conto, il robot ha avuto occasionali "giornate no" durante l'addestramento in cui ha commesso un errore improvviso e strano, e sospettano che fornire al robot una memoria migliore (come una rete di memoria a lungo termine) potrebbe aiutare. Avvertono anche che lasciare che un robot esplori casualmente nel mondo reale potrebbe essere pericoloso, quindi devono capire come trasferire in sicurezza queste abilità virtuali a una macchina fisica.

In breve, questo articolo suggerisce che insegnando ai robot a giocare a un gioco in cui le regole (il peso) cambiano costantemente, possiamo creare controller che siano molto più adattabili e precisi rispetto ai vecchi metodi. È un passo promettente verso robot capaci di gestire la realtà disordinata e imprevedibile del mondo reale senza la necessità di un essere umano che debba continuamente regolare le loro impostazioni.