🤖 machine learning

Learning Fault-Tolerant Locomotion with Adaptive Gait Timing

Questo articolo presenta un framework di apprendimento per rinforzo profondo che consente a un robot quadrupede da 68 kg di mantenere una locomozione stabile in caso di perdita di potenza degli attuatori, utilizzando un'architettura actor-critic asimmetrica con allineamento latente e un parametro di frequenza del passo apprendibile per riorganizzare adattivamente la coordinazione senza strategie di guasto predefinite.

Autori originali: Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

Pubblicato 2026-08-10

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Giovanbattista Gravina, Luca Rossini, Carlo Rizzardo, Arturo Laurenzi, Nikos Tsagarakis

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i robot non sono solo macchine rigide e goffe che smettono di funzionare non appena inciampano o si rompe un componente. Immaginate invece che siano atleti resilienti, capaci di inciampare, rendersi conto che un muscolo è debole e capire istantaneamente un nuovo modo per correre senza cadere. Questo è il sogno della "robotica a gambe" (legged robotics), un campo in cui gli scienziati insegnano alle macchine con le zampe — come cani o cavalli — a camminare attraverso luoghi reali e disordinati come macerie, foreste o strade cittadine irregolari. La grande sfida? Quando il motore di una gamba del robot si guasta (magari perde potenza o si blocca), il robot non può semplicemente continuare a fare ciò che stava facendo. Deve riorganizzare l'intero corpo, spostando il peso e cambiando il modo in cui fa il passo, tutto in una frazione di secondo. Questo è particolarmente difficile per i robot pesanti; a differenza di un piccolo robot giocattolo che può rimbalzare freneticamente per correggere un errore, un robot pesante è come un lottatore di sumo che cerca di danzare. Se si muove troppo velocemente o in modo aggressivo, potrebbe ribaltarsi. Quindi, la domanda diventa: come insegniamo a un robot pesante a essere un ballerino aggraziato e adattivo anche quando una delle sue gambe è ferita?

Questo articolo presenta una soluzione intelligente utilizzando un tipo di intelligenza artificiale chiamata "apprendimento per rinforzo profondo" (deep reinforcement learning). Pensate a questo come a un metodo di addestramento da videogioco in cui il robot impara per tentativi ed errori, ma con un tocco speciale. I ricercatori hanno insegnato a un robot quadrupede da 68 kg (chiamato Kyon) a continuare a camminare anche quando uno dei suoi motori perde improvvisamente tutta la potenza. Non si sono limitati a dire al robot: "Se la tua gamba sinistra si rompe, fai X". Invece, hanno lasciato che il robot capisse da solo. Il segreto era stato un setup di addestramento in cui il "cervello" del robot (l'attore) doveva indovinare cosa fosse andato storto basandosi solo su come si sentiva il proprio corpo (propriocezione), mentre il suo "allenatore" (il critico) conosceva la verità esatta durante la pratica. Obbligando il cervello a imitare la comprensione dell'allenatore, il robot ha imparato a inferire i propri infortuni semplicemente sentendo la differenza nei propri movimenti.

Il team ha scoperto che dire semplicemente al robot dove mettere i piedi non era sufficiente. Hanno aggiunto un comando speciale di "frequenza del passo" (gait frequency) ai controlli del robot, permettendogli di accelerare o rallentare il ritmo del passo al volo. Questo si è rivelato un elemento decisivo. Quando una gamba falliva, il robot non si limitava a zoppicare; regolava dinamicamente il tempo, a volte passando a un trotto su tre zampe o cambiando la lunghezza del passo per mantenere l'equilibrio. Hanno testato questo sistema in simulazioni ad alta fedeltà su terreni sconnessi e con gradini e persino su un pavimento reale piatto con l'effettivo robot da 68 kg. I risultati hanno mostato che il robot poteva sopravvivere a guasti improvvisi dei motori, mantenendo l'equilibrio e continuando a muoversi senza bisogno di un "piano per l'infortunio" pre-programmato.

Ecco come funziona la magia, suddivisa in concetti quotidiani:

Il gioco "Insegnante-Studente"
Immaginate di imparare ad andare in bicicletta con le rotelle, ma il vostro insegnante può vedere una mappa nascosta della strada che voi non potete vedere. Nel metodo descritto nell'articolo, il "critico" è l'insegnante che vede tutto: la posizione esatta del robot, il terreno e persino quale motore è rotto. L' "attore" è lo studente che sente solo il vento e il manubrio (i sensori del robot). Durante l'addestramento, l'insegnante guida lo studente, ma lo studente deve imparare a indovinare ciò che l'insegnante vede semplicemente sentendo la bicicletta. I ricercatori hanno aggiunto una regola speciale: il "tentativo" dello studente (una mappa mentale nascosta) deve corrispondere il più possibile alla mappa dell'insegnante. Questo costringe il robot a diventare incredibilmente sensibile ai minimi cambiamenti nel proprio corpo che segnalano un motore rotto, permettendogli di reagire senza che gli venga mai detto: "Ehi, la tua gamba è rotta!"

Il Ritmo Adattivo
La maggior parte dei robot cammina seguendo un ritmo rigido, come una banda che marcia. Se una gamba si rompe, un robot che marcia potrebbe cercare di mantenere lo stesso ritmo, il che di solito porta a un incidente. Il robot di questo articolo, tuttavia, ha imparato a essere un batterista jazz. I ricercatori hanno fornito al robot un'azione di "frequenza del passo", che è come una manopola del volume per la sua velocità di passo. Quando il robot percepiva un problema (come un motore che perde potenza), non andava nel panico; regolava il suo tempo. Se si trovava su una gamba sola (supporto singolo), accelerava il ritmo per mettere giù il piede successivo rapidamente. Se si trovava su due gambe (doppio supporto), rallentava per essere più stabile. Questa flessibilità ha permesso al robot pesante di ridistribuire il peso in sicurezza, qualcosa che i robot rigidi e pre-programmati spesso non riescono a fare.

La Sfida dei Pesanti
Perché questo è importante per un robot da 68 kg? L'articolo sottolinea che i robot pesanti sono diversi dai piccoli robot spesso visti nei laboratori. Un piccolo robot può rimbalzare e recuperare rapidamente, ma un robot pesante ha più inerzia e limiti più stretti su quanta forza i suoi motori possono gestire. Se un robot pesante prova a fare una correzione improvvisa e aggressiva, potrebbe rompere i propri giunti o cadere. I ricercatori hanno scoperto che le strategie "aggressive" che funzionano per i piccoli bot non scalano. Invece, la chiave era il "tempo del passo adattivo". Lasciando che il robot cambiasse quando compie il passo, piuttosto che solo dove, poteva mantenere la stabilità senza dover essere un supereroe.

Cosa hanno scoperto (e cosa non hanno scoperto)
Gli esperimenti, condotti in una simulazione computerizzata super accurata e su un robot reale, hanno mostato che questo metodo funziona. Il robot poteva gestire la perdita improvvisa di potenza in ognuno dei suoi 12 giunti. Interessante è che il robot ha capito che i guasti ai giunti del ginocchio erano i più difficili da gestire, costringendolo spesso a passare a una camminata a "tripode" su tre zamre. I ricercatori hanno anche testato quanta "memoria" avesse bisogno il robot. Hanno scoperto che guardare indietro di appena pochi passi (una storia di 3 passi) era sufficiente per far capire al robot cosa fosse successo; guardare più indietro non aiutava molto di più.

Tuttavia, ci sono dei limiti a questo successo. Il robot è stato testato su terreno piano nel mondo reale e su terreno irregolare con gradini nella simulazione. Non aveva una telecamera o un LiDAR per "vedere" il terreno in tempo reale; si affidava interamente ai suoi sensori interni e a una mappa pre-caricata dell'altezza del terreno. L'articolo suggerisce che l'aggiunta di un vero sistema di percezione (come una telecamera) per vedere il terreno in tempo reale sarebbe il prossimo passo logico, ma questo non faceva parte di questo specifico studio. Inoltre, sebbene il robot sia sopravvissuto alla caduta e abbia continuato a camminare, lo studio si è concentrato sulla locomozione (camminare), non su come il robot si sarebbe rialzato se fosse effettivamente caduto.

In breve, questo articolo suggerisce che insegnando ai robot di "ascoltare" i propri corpi e regolare il ritmo del passo al volo, possiamo creare robot pesanti e pratici che siano abbastanza resistenti da gestire parti rotte senza bisogno di un intervento manuale. È un passo verso macchine che non si limitano a seguire ordini, ma si adattano come creature viventi quando le cose vanno male.

Sintesi Tecnica: Apprendimento di una Locomozione Tollerante ai Guasti con Temporizzazione del Passo Adattiva

Problematica
I robot a gambe impiegati in ambienti non strutturati affrontano un alto rischio di guasti hardware, come la perdita di potenza degli attuatori o il blocco delle articolazioni. Sebbene l'Apprendimento per Rinforzo (RL) profondo abbia mostrato risultati promettenti nel controllo tollerante ai guasti, gli approcci esistenti affrontano due limitazioni primarie quando si scalano su piattaforme più pesanti (ad es., quadrupedi da 68 kg). In primo luogo, molti metodi si affidano a generatori di andatura predefiniti o a strategie specifiche per le gambe guaste, il che limita la capacità della policy di sfruttare appieno le capacità di attuazione rimanenti e di adattarsi a terreni complessi. In secondo luogo, la maggior parte delle validazioni sperimentali è limitata a piccoli robot su terreni piani o leggermente irregolari. I robot più pesanti possiedono una massa e un'inerzia maggiori, che amplificano l'accoppiamento dinamico e restringono i margini di attuazione, rendendo meno fattibili le strategie di compensazione aggressive ad alta frequenza. Di conseguenza, vi è la necessità di una policy di controllo che possa riorganizzare autonomamente la coordinazione e la temporizzazione del passo sotto degradazione dell'attuatore senza fare affidamento su una conoscenza esplicita del guasto o su strategie di recupero predefinite.

Metodologia
Gli autori propongono un framework di RL profondo basato su un'architettura actor-critic asimmetrica addestrata tramite Proximal Policy Optimization (PPO). L'obiettivo principale è consentire a un robot di mantenere stabilità e mobilità sotto una improvvisa perdita di potenza dell'attuatore su terreno irregolare.

Actor-Critic Asimmetrico con Allineamento Latente: L'addestramento utilizza informazioni privilegiate (inclusa la maschera del guasto del giunto reale e i dati del terreno privi di rumore) disponibili solo per il critic. L'actor, che funge da controllore distribuibile, riceve solo osservazioni propriocettive e una cronologia degli stati passati. Per colmare il divario tra il critic privilegiato e l'actor propriocettivo, gli autori introducono una perdita di allineamento latente ausiliaria. Questa perdita incoraggia l'encoder dell'actor a ricostruire una rappresentazione latente delle informazioni privilegiate a partire dalla sua cronologia propriocettiva, assicurando che l'actor impari a inferire implicitamente le condizioni di guasto.
Temporizzazione del Passo Adattiva: A differenza degli approcci tradizionali che outputano solo target di posizione del giunto, lo spazio delle azioni è aumentato con un parametro di frequenza del passo apprendibile ( $a^\nu_t$ ). Questo scalare modula la frequenza di passo di un pattern di andatura di riferimento. Ciò consente alla policy di regolare autonomamente la temporizzazione dei passi e la pianificazione del contatto in risposta alle variazioni del terreno e alla degradazione dell'attuatore, anziché aderire a un ciclo di andatura fisso.
Spazio delle Osservazioni e delle Azioni: La policy opera a 50 Hz, producendo scostamenti angolari dei giunti e il termine di frequenza del passo. Lo spazio delle osservazioni include dati propriocettivi (angoli dei giunti, velocità, velocità della base, azioni precedenti) e mappe di altezza del terreno. Fondamentalmente, l'actor elabora una cronologia di $H$ osservazioni propriocettive per inferire lo stato del sistema.
Curriculum di Addestramento: L'addestramento impiega una strategia di curriculum in cui la severità del guasto (modellata come scalatura dell'efficienza della coppia) viene aumentata progressivamente in base alle prestazioni di tracciamento della policy. Ciò assicura che l'agente impari prima a gestire guasti parziali prima di incontrare una perdita totale di potenza.

Contributi Chiave

Locomozione Consapevole del Guasto da Sensori Non Consapevoli del Guasto: Il lavoro presenta una procedura di addestramento a stadio singolo in cui una perdita di allineamento latente permette all'actor di ricostruire le rappresentazioni privilegiate del guasto esclusivamente dalla cronologia propriocettiva, eliminando la necessità di moduli espliciti di stima del guasto o etichette di guasto reali durante l'impiego.
Temporizzazione del Passo Adattiva: Aumentando lo spazio delle azioni con una frequenza di passo apprendibile, il metodo consente la modulazione dinamica della temporizzazione del passo. Ciò permette al robot di adattare il proprio schema di contatto alle condizioni di guasto e alla geometria del terreno senza strategie di gamba guasta predefinite.
Analisi della Cronologia delle Osservazioni: Il lavoro investiga l'impatto della lunghezza della cronologia delle osservazioni sulla capacità della policy di inferire i guasti, dimostrando che una cronologia breve è sufficiente per un efficace allineamento latente.
Validazione Sim-to-Real su Piattaforme Pesanti: L'approccio è validato in una simulazione ad alta fedeltà su terreno irregolare e attraverso esperimenti nel mondo reale su un quadruped robot da 68 kg (Kuron), affrontando le sfide di scalabilità spesso trascurate negli studi precedenti su piccoli robot.

Risultati Sperimentali
Il metodo proposto è stato valutato rispetto a diverse baseline, tra cui un "Oracle" (accesso privilegiato completo), una versione senza allineamento latente e una versione senza cronologia delle osservazioni.

Prestazioni in Simulazione: Il metodo proposto completo ha ottenuto le prestazioni più vicine all'Oracle, superando significativamente le varianti prive di allineamento latente o di cronologia delle osservazioni. La policy ha dimostrato robustezza alla perdita casuale di potenza dell'attuatore in diversi giunti (hip roll, hip pitch, knee pitch) e posizioni delle gambe.
Generalizzazione: Nei test Sim-to-Sim utilizzando il middleware XBot2 per replicare i ritardi di comunicazione del mondo reale, la policy si è generalizzata a profili di terreno non visti, inclusi nuovi profili di scale e rampe con pendenze fino a 13°.
Validazione nel Mondo Reale: Il trasferimento zero-shot sim-to-real è stato dimostrato su terreno piano. Il robot Kyon da 68 kg ha mantenuto con successo la locomozione e ha recuperato la stabilità a seguito di un guasto improvviso di perdita di potenza al giunto knee pitch posteriore sinistro.
Studi di Ablazione:
- Lunghezza della Cronologia: Aumentare la cronologia propriocettiva da $H=1$ a $H=2$ ha prodotto i guadagni di prestazione più significativi, con rendimenti decrescenti oltre $H=3$ .
- Frequenza del Passo: I confronti con un controllore "free-gait" (che produce solo posizioni dei giunti) hanno mostrato che il parametro di frequenza apprendibile ha prodotto pattern di andatura più stabili e periodici e accelerazioni dei giunti più fluide, particolarmente durante le fasi di appoggio singolo in condizioni di guasto.

Significatività e Rivendicazioni
Il documento sostiene che per i robot a gambe più pesanti, le strategie rapide e reattive efficaci sulle piattaforme più leggere sono spesso non praticabili a causa dei limiti di attuazione più stretti e del più forte accoppiamento dinamico. Pertamente, la temporizzazione del passo adattiva è presentata come un meccanismo critico per la tolleranza ai guasti sotto attuazione degradata. Sfruttando le informazioni sul terreno e modulando la frequenza del passo, la policy proposta ottiene una locomozione robusta senza fare affidamento su una limitante modellazione delle ricompense o su strategie di guasto predefinite. Il lavoro dimostra che una singola policy può identificare efficacementamente le condizioni di guasto e riorganizzare la coordinazione, colmando il divario tra simulazione e realtà per quadrupedi di media e grande dimensione in ambienti non strutturati. Il lavoro futuro è identificato nell'integrazione della percezione onboard per la ricostruzione del terreno e nell'estensione del framework al recupero dalle cadute e ai sistemi ibridi ruota-gamba.

Articoli simili