Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

Nel mondo della robotica, il movimento è spesso una questione di compromessi. Un robot standard con ruote si muove in avanti e gira, ma per muoversi lateralmente deve prima ruotare l'intero corpo. Questa limitazione rende la navigazione in spazi ristretti, come magazzini affollati o stretti corridoi di fabbrica, un compito lento e goffo. Per risolvere questo problema, gli ingegneri hanno sviluppato la ruota Mecanum. Queste sono ruote standard dotate di un anello di piccoli rulli angolati. Questa semplice aggiunta permette al robot di scivolare in qualsiasi direzione: avanti, indietro, lateralmente o persino diagonalmente, senza mai cambiare la direzione del suo fronte. È uno strumento potente per l'automazione, che consente alle macchine di insinuarsi tra gli ostacoli con l'agilità di una persona che cammina attraverso una folla affollata.

Tuttavia, far muovere questi robot con precisione è molto più difficile di quanto sembri. La fisica di un robot Mecanum è complicata da due fattori principali. Primo, le ruote stesse sono soggette a scivolamenti; i rulli non fanno presa perfettamente sul terreno, portando a piccoli errori imprevedibili nel movimento. Secondo, e forse più critico, è il problema dell'equilibrio. Quando un robot trasporta un carico, come una scatola o un braccio robotico, il centro del suo peso spesso si sposta lontano dal suo centro geometrico. Questo spostamento cambia il modo in cui il robot resiste alla rotazione e come il peso è distribuito sulle quattro ruote. Se un sistema di controllo non tiene conto di questo spostamento del peso e dell'inevitabile scivolamento delle ruote, il robot devierà dalla rotta, oscillerà o non riuscirà a seguire il percorso previsto.

I ricercatori dell'Università dell'Energia Elettrica di Hanoi, in Vietnam, hanno affrontato questo problema sviluppando un nuovo modo per insegnare a questi robot come rimanere in pista. Il loro lavoro si concentra su un tipo specifico di controllo intelligente che impara dall'esperienza piuttosto che affidarsi a una mappa perfetta e pre-calcolata della fisica del robot. Nel loro studio, hanno creato un sistema che consente a un robot Mecanum a quattro ruote di seguire un percorso desiderato con alta precisione, anche quando la distribuzione del peso del robot cambia costantemente e le ruote scivolano. Ci sono riusciti utilizzando un metodo chiamato apprendimento per rinforzo off-policy (off-policy integral reinforcement learning), una tecnica che permette al robot di imparare il modo migliore di muoversi osservando i dati raccolti durante l'operazione, invece di dover conoscere preventivamente ogni dettaglio della propria meccanica.

La sfida centrale affrontata dai ricercatori è che i robot del mondo reale sono disordinati. I modelli teorici assumono condizioni perfette, ma nella realtà, un robot potrebbe trasportare un carico pesante che si sposta mentre si muove, o le sue ruote potrebbero perdere trazione su un pavimento liscio. I metodi di controllo tradizionali spesso faticano di fronte a queste incertezze, richiedendo agli ingegneri di regolare il sistema in modo conservativo o di avere una conoscenza esatta del peso e dell'attrito del robot in ogni momento. Il nuovo approccio proposto in questo articolo tratta il problema del controllo come un gioco tra due forze opposte. Da un lato c'è il controllore del robot, che vuole minimizzare lo sforzo necessario per rimanere sul percorso. Dall'altro lato c'è la perturbazione del "caso peggiore", che rappresenta l'errore massimo causato dallo scivolamento o dallo spostamento del peso. L'obiettivo è trovare una strategia che funzioni al meglio anche quando l'ambiente sta cercando di spingere il robot fuori rotta con tutta la forza possibile.

Per risolvere questo problema, i ricercatori hanno utilizzato un quadro matematico noto come equazione di Hamilton-Jacobi-Isaacs. Poiché questa equazione è troppo complessa per essere risolta con una semplice formula per un robot reale, il team ha utilizzato un espediente intelligente che coinvolge l'intelligenza artificiale. Hanno impiegato tre reti neurali, sistemi informatici modellati sul cervello umano, per apprendere la soluzione. Una rete agisce come critico, valutando quanto il robot stia andando bene. Una seconda rete, l'attore di controllo, decide quali comandi motori inviare alle ruote. La terza rete, l'attore di disturbo, impara a prevedere i peggiori errori che l'ambiente potrebbe lanciare contro il robot. Addestrando queste reti insieme utilizzando i dati raccolti dai movimenti del robot, il sistema apprende una strategia robusta che bilancia il movimento fluido con la capacità di resistere alle perturbazioni.

I ricercatori hanno testato il loro nuovo controllore in due scenari distinti utilizzando simulazioni al computer. Nel primo scenario, hanno simulato un robot con un offset di peso fisso e immutabile, simile a un robot che trasporta una scatola pesante che non si muove mai. In questo ambiente stabile, il nuovo controllore ha performato quanto un metodo di apprendimento standard, mantenendo il robot sul suo percorso circolare con alta precisiono. I motori del robot producevano una coppia fluida e costante, e il sistema ha imparato rapidamente senza diventare instabile. Ciò ha confermato che il nuovo metodo funziona anche quando le proprietà fisiche del robot sono costanti ma diverse dal design ideale.

Il secondo scenario era molto più impegnativo. In questo caso, i ricercatori hanno simulato un robot in cui il centro di massa cambiava costantemente, come se il robot stesse trasportando un braccio robotico che sposta il proprio peso. Hanno anche introdotto uno scivolamento delle ruote variabile nel tempo e cambiamenti nel peso totale del robot, imitando una macchina che raccoglie e deposita carichi pesanti. In questo ambiente caotico, il metodo di apprendimento standard ha iniziato a faticare, mostrando errori più grandi nell'orientamento del robot e un controllo meno fluido. Al contrario, il nuovo controllore off-policy ha mantenuto una presa stretta sul percorso desiderato. Ha compensato con successo lo spostamento del peso e lo scivolamento delle ruote, mantenendo piccoli gli errori di tracciamento e i comandi dei motori fluidi. La simulazione ha dimostrato che il nuovo controllore riduce l'errore nell'angolo di orientamento del robot in modo più efficace rispetto al metodo standard, provando la sua superiore capacità di gestire incertezze complesse e variabili.

Lo studio conclude che questo nuovo approccio offre un miglioramento significativo per i robot mobili che operano in ambienti imprevedibili. Tenendo conto esplicitamente delle perturbazioni del caso peggiore e imparando dai dati piuttosto che affidarsi a modelli perfetti, il sistema raggiunge un livello di robustezza di cui i metodi tradizionali mancano. I ricercatori hanno verificato che il sistema rimane stabile e che il processo di apprendimento non porta a comportamenti erratici, anche sotto grave incertezza. Sebbene i risultati finora si basino su simulazioni al computer, essi forniscono una solida base per il lavoro futuro. Il passo successivo sarà testare questo controllore su un robot fisico, passando dalla sicurezza di una simulazione digitale alla realtà disordinata e imprevedibile di un pavimento di fabbrica. Se avrà successo, questa tecnologia potrà consentire ai robot Mecanum di operare in modo più autonomo e affidabile in contesti dinamici, dagli magazzini automatizzati agli ambienti di servizio dove le condizioni cambiano costantemente.