Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing

Sintesi Tecnica: Koopman DCM: Autofunzioni instabili come rappresentazioni basate sui dati per il bilanciamento di robot leggati

Problematica
Il controllo del bilanciamento di robot leggati si è storicamente basato su modelli a ordine ridotto, in particolare il Pendolo Invertito Lineare (LIP). Nel framework LIP, la Componente Divergente del Moto (DCM) funge da coordinata di controllo critica che isola il modo instabile del sistema. Tuttavia, le formulazioni DCM esistenti affrontano due limitazioni primarie:

1. Dipendenza dal Modello: La DCM è strettamente definita per modelli ridotti (come il LIP) e non si estende naturalmente alla dinamica completa e non lineare di un robot reale.
2. Discrepanza dei Parametri: La frequenza naturale $\omega = \sqrt{g/h}$ utilizzata nelle formulazioni standard della DCM è derivata da un'altezza teorica del centro di massa (CoM) $h$. Questo parametro basato sul modello spesso non riesce a catturare la vera dinamica di sistemi complessi e reali, portando a prestazioni di controllo subottimali.

Il paper affronta questi problemi riformulando la DCM non come una proprietà di un modello specifico ridotto, ma come un'autofunzione di Koopman della dinamica completa del sistema, apprendibile direttamente dai dati del robot reale.

Metodologia
Gli autori propongono una pipeline basata sui dati per apprendere "DCM di Koopman" come autofunzioni instabili. La metodologia centrale prevede:

1. Riformulazione Teorica:

   • Gli autori inquadrano la ricerca di una DCM come un problema di ricerca di autofunzioni per l'operatore di Koopman.
   • A differenza delle tipiche applicazioni di Koopman che mirano a autovalori vicini allo zero (quantità conservate), questo lavoro cerca deliberatamente autovarianti instabili con autovalori positivi elevati ($\omega > 0$).
   • Per un sistema control-affine $\dot{x} = f(x) + B(x)u$, l'osservabile appresa $\xi$ è vincolata per soddisfare l'equazione differenziale lineare $\dot{\xi} = \omega(\xi - u)$, rispecchiando la struttura della DCM del LIP ma derivata dai dati.

2. Pipeline di Apprendimento:

   • Input: Il sistema utilizza un embedding ritardato (delay embedding) di cronologie di misurazioni-azioni $z_k$ invece di uno spazio di stato predefinito.
   • Architettura: Un Perceptron Multistrato (MLP) apprende l'osservabile $\xi_\theta$.
   • Funzioni di Perdita (Loss): L'obiettivo di addestramento combina due componenti per evitare soluzioni banali (dove $\omega \to 0$ e $\xi \to 0$):
     • Perdita della Dinamica DCM: Impone la ricorsione lineare $\xi_{k+1} = e^{\omega \delta t}\xi_k + (1 - e^{\omega \delta t})u_k$.
     • Perdita di Predizione del CoM: Impone la relazione tra la DCM appresa e la posizione del CoM, assicurando che l'osservabile appresa ancori la dinamica stabile del CoM.
   • Estensione Temporale: Per prevenire la convergenza verso autovalori bassi su dati reali, gli autori impiegano Tracce di Eleggibilità (perdita TD($\lambda$)), valutando l'encoder contro predizioni multi-step piuttosto che solo residui a singolo step.

3. Applicazione del Controllo:

   • Robot Reale: La DCM appresa viene utilizzata in un loop di feedback proporzionale per tracciare riferimenti ZMP (Zero-Moment Point) su un bipedale con ruote (Cookie).
   • Simulazione (MPC): La DCM appresa funge da variabile di stato in un framework di Controllo Predittivo su Modello (MPC) per un umanoide (Unitree G1). La dinamica della DCM viene utilizzata per formulare vincoli di viabilità (assicurando che il robot rimanga all'interno del poligono di supporto), che vengono imposti come vincoli rigidi nell'ottimizzazione.

Contributi Chiave

1. Riconsiderazione delle DCM: Il paper inquadra le Componenti Divergenti del Moto come autofunzioni instabili di Koopman, generalizzando il concetto oltre i modelli ridotti.
2. Addestramento Basato sui Dati: Viene proposta una nuova pipeline per apprendere queste autofunzioni direttamente da dati di misurazione a ciclo chiuso senza richiedere un modello cinematico a ordine ridotto.
3. Deployment su Robot Reale: Il metodo viene implementato su un bipedale fisico, dimostrando un miglioramento nel tracciamento dei pattern di camminata rispetto ai baseline basati su modelli.
4. Vincoli di Viabilità: Gli autori dimostrano come le DCM apprese possano essere integrate in un MPC per imporre vincoli di viabilità basati sullo stato, migliorando la stabilità in simulazione.

Risultati

• Prestazioni del Robot Reale (Bipedale Cookie):
  • Il sistema è stato addestrato su 1 ora di dati del robot reale.
  • Negli esperimenti di tracciamento ZMP con riferimenti sinusoidali, la DCM appresa (con un orizzonte di ritardo $H=10$) ha superato significativamente il baseline cinematico del LIP.
  • Nello specifico, a un'ampiezza di 0.2, la DCM appresa ha ottenuto un Errore Quadratico Medio (RMSE) di 0.05, rispetto a 0.12 del baseline cinematico (un miglioramento di 2.4x).
  • Il controllore appreso ha costantemente ridotto gli errori di tracciamento attraverso varie ampiezze e periodi.
• Prestazioni in Simulazione (Unitree G1):
  • In una simulazione di bilanciamento laterale, un controllore che utilizza la DCM appresa all'interno di un framework MPC ha ottenuto un tasso di caduta dello 0% su 90 prove.
  • Al contrario, un controllore DCM proporzionale (senza i vincoli di autofunzione appresi) ha causato un tasso di caduta del 33% (30/90 prove) nelle stesse condizioni impegnative.
  • L'approccio MPC ha inoltre ridotto l'errore di tracciamento ZMP (0.59 vs 0.73).

Significatività e Rivendicazioni
Il paper sostiene che, trattando le DCM come autofunzioni instabili di Koopman basate sui dati, sia possibile superare i limiti dei modelli a ordine ridotto. La principale significatività risiede nella capacità di:

• Apprendere la Dinamica Specifica del Sistema: Il metodo cattura le vere modalità instabili del robot direttamente dai dati, anziché fare affidamento su parametri teorici come l'altezza del CoM.
• Abilitare un Controllo Robusto: Le osservabili apprese forniscono una rappresentazione dello stato più accurata per il controllo in feedback e l'analisi di viabilità.
• Evitare Problemi di Sim-to-Real: Poiché la pipeline si addestra direttamente su dati a ciclo chiuso del robot reale (o di un simulatore ad alta fedeltà), essa evita le sfide di adattamento del dominio tipicamente associate all'addestramento in simulazione e al deployment sull'hardware.

Gli autori rimangono modesti riguardo all'ambito, osservando che l'attuale formulazione assume un accoppiamento di input lineare ($\dot{\xi} = \omega(\xi - u)$) e che lavori futuri potrebbero esplorare dinamiche bilineari più generali o modelli a altezza variabile.