SAC-enhanced iterative learning control with two-layer barrier mapping for nonlinear MIMO systems with asymmetric input constraints

Nel mondo della robotica e dei macchinari automatizzati, esiste una distinzione netta tra una macchina che si muove una sola volta e una macchina che ripete un compito migliaia di volte. Quando un braccio robotico deve saldare un telaio di un'auto o una stampante deve depositare strati di plastica con perfetta precisione, essa esegue lo stesso movimento ripetutamente. Gli ingegneri sanno da tempo che se una macchina commette un piccolo errore al primo tentativo, può imparare da quell'errore per riuscirci al tentativo successivo. Questo approccio, noto come apprendimento iterativo, tratta ogni ripetizione come una lezione, permettendo al sistema di perfezionare i propri movimenti finché il percorso non diventa fluido e accurato. Tuttavia, le macchine del mondo reale non sono perfette. Esse affrontano urti imprevedibili, carichi variabili e limiti fisici su quanto i loro motori possano spingere. Se una macchina cerca di correggere un errore spingendo troppo forte, potrebbe colpire un limite fisico, danneggiando se stessa o il prodotto. La sfida consiste nell'insegnare a una macchina come imparare dai propri errori pur rispettando rigorosamente i propri confini fisici, specialmente quando l'ambiente cambia in modo imprevedibile da un tentativo all'altro.

Un team di ricercatori della Jiangnan University e dell'Università di Zielona Góra ha sviluppato un nuovo metodo per risolvere questo specifico problema per macchine complesse con molteplici parti in movimento. Hanno creato un sistema di controllo che combina un algoritmo di apprendimento tradizionale con una tecnica di intelligenza artificiale moderna chiamata soft actor-critic. Questo sistema ibrido è progettato per macchine che devono ripetere compiti ma affrontano due condizioni difficili: l'ambiente cambia leggermente ogni volta che il compito viene eseguito, e la macchina ha limiti stretti e disomogenei su quanta forza può applicare. In molti scenari reali, una macchina potrebbe essere autorizzata a spingere in avanti con una certa forza, ma essere tirata indietro con un limite diverso, oppure potrebbe avere limiti differenti per diverse direzioni. L'obiettivo dei ricercatori era garantire che la macchina potesse apprendere efficacemente senza mai violare questi limiti di sicurezza, anche quando il processo di apprendimento stesso prova a suggerire un movimento troppo forte.

Il cuore della loro soluzione prevede un controllo di sicurezza in due fasi, che descrivono come una barriera a doppio strato. Immaginate una macchina che ha appena terminato un compito e si sta preparando per quello successivo. Per prima cosa, il sistema calcola un piano di movimento nuovo e migliorato basato sugli errori della corsa precedente. Prima che questo piano venga salvato per utilizzi futuri, passa attraverso il primo strato di sicurezza. Questo strato agisce come un filtro che assicura che la memoria memorizzata del movimento rimanga entro confini sicuri, impedendo alla macchina di "ricordare" un comando che sarebbe impossibile o pericoloso da eseguire. Successivamente, mentre la macchina esegue effettivamente il compito, riceve un ulteriore aggiustamento in tempo reale dal componente di intelligenza artificiale. Questa IA agisce come un compensatore intelligente, percependo disturbi imprevisti come il vento o l'attrito e apportando piccole e rapide correzioni. Tuttavia, queste correzioni possono anche spingere la macchina verso i suoi limiti. Pertanto, il segnale passa attraverso un secondo strato di sicurezza appena prima di raggiungere i motori. Questo secondo filtro assicura che il comando finale inviato alla macchina non superi mai le sue capacità fisiche, indipendentemente da quanto sia forte il suggerimento dell'IA o il disturbo esterno.

Per testare questo approccio, i ricercatori hanno simulato un sistema meccanico complesso composto da due masse collegate da molle e smorzatori, un modello comune per comprendere come si muovono insieme le parti accoppiate. Hanno programmato il sistema per seguire un percorso specifico sottoponendolo a disturbi casuali e non ripetitivi che cambiavano ad ogni singolo tentativo. Hanno confrontato il loro nuovo metodo con diverse tecniche esistenti, inclusi i controllori di apprendimento standard e altri metodi avanzati che gestiscono i vincoli. I risultati hanno mostrato che il loro sistema a barriera a due strati ha superato significativamente gli altri. Durante l'ultimo set di prove, il nuovo metodo ha ridotto l'errore medio di inseguimento di oltre la metà rispetto alla seconda migliore alternativa. Fondamentalmente, mentre altri metodi hanno occasionalmente suggerito movimenti che avrebbero violato i limiti di sicurezza della macchina, il nuovo sistema ha mantenuto un record perfetto di zero violazioni. I comandi di apprendimento memorizzati e le forze effettive applicate alla macchina sono rimasti rigorosamente all'interno della zona sicura durante l'intero esperimento.

Lo studio ha incluso anche un'analisi dettagliata di come ogni parte del sistema abbia contribuito al successo. Disattivando componenti specifici, i ricercatori hanno dimostrato che il primo strato di sicurezza era essenziale per mantenere sicura la memoria della macchina, mentre il secondo strato era necessario per mantenere sicuri i movimenti fisici effettivi quando l'IA apportava le correzioni. Senza entrambi gli strati che lavorano insieme, il sistema avrebbe rischiato di memorizzare comandi pericolosi o non sarebbe stato in grado di applicare le necessarie correzioni senza violare le regole. Il componente di intelligenza artificiale ha imparato con successo a generare correzioni che si opponevano ai disturbi casuali, annullandoli efficacementamente. I ricercatori hanno scoperto che la capacità del sistema di apprendere e adattarsi non era solo un artefatto della simulazione, ma un risultato robusto derivato da un'analisi matematica rigorosa che garantisce che la macchina rimanga entro un intervallo di errore prevedibile. Questo lavoro dimostra che è possibile costruire macchine che siano allo stesso tempo altamente adattabili e rigorosamente sicure, capaci di apprendere da ambienti complessi e mutevoli senza mai oltrepassare i propri confini fisici.