Sintesi Tecnica: CableRobotGraphSim

Definizione del Problema

I simulatori general-purpose sono diventati centrali nello sviluppo robotico, in particolare per l'addestramento di controllori appresi tramite reinforcement learning (RL) e imitation learning (IL). Tuttavia, i simulatori tradizionali basati sulla fisica affrontano sfide significative quando applicati ai robot a trazione con cavi (cable-driven robots), come le strutture tensegrity. Questi sistemi esibiscono una dinamica complessa, ricca di contatti e conforme, difficile da modellare. Gli approcci tradizionali soffrono di un divario "sim-to-real" dovuto a una fisica eccessivamente semplificata o a parametri di sistema errati, e l'identificazione di tali parametri è spesso un processo manuale e dispendioso in termini di tempo.

Inoltre, gli esistenti simulatori differenziabili o apprendibili spesso si affidano all'osservabilità dello stato completo. Negli scenari reali, in particolare con robot soft o a trazione con cavi, l'informazione sullo stato completo è raramente disponibile. I sensori possono fornire solo osservazioni parziali, come le posizioni delle estremità (end caps), omettendo variabili di stato critiche come l'orientamento della torsione dell'asta (rotazione attorno all'asse centrale) o le velocità istantanee. Questa osservabilità parziale impedisce l'uso dei simulatori tradizionali e complica l'addestramento di policy di controllo robuste.

Metodologia

Gli autori propongono CableRobotGraphSim, un modello di dinamica basato su Graph Neural Network (GNN) completamente apprendibile, progettato per affrontare l'osservabilità parziale e la scarsità di dati nei robot a trazione con cavi.

1. Rappresentazione a Grafo e Architettura

Il robot è rappresentato come un grafo $G_t = (V_t, E_t)$ dove:

• Nodi ($V_t$): Rappresentano corpi rigidi (decomposti in primitive come sfere/cilindri) e il terreno.
• Archi ($E_t$): Rappresentano le connessioni tra i corpi, i cavi e i contatti dinamici.

Il modello impiega una struttura encode-process-decode con specifiche innovazioni:

• Caratteristiche Basate sulla Configurazione: A differenza dei precedenti simulatori GNN che si affidano esclusivamente agli input di velocità, questo modello include caratteristiche basate sulla configurazione (distanze relative ai nodi designati, centro di massa e assi del frame del corpo). Queste forniscono un contesto implicito dello stato per assistere l'inferenza sotto osservabilità parziale.
• Codifica Ricorrente: Un blocco LSTM è integrato nel codificatore per mantenere gli stati nascosti temporali e la memoria, consentendo al modello di gestire l'osservabilità parziale codificando la storia passata.
• Dinamica Completamente Apprendibile: Il modello è interamente basato sui dati, evitando approcci ibridi analitici che sono risultati instabili sotto osservazioni parziali a causa di loop di feedback negativi con sistemi di cavi rigidi.
• Decoder per l'Arco del Cavo: Un decoder specifico apprende il modello di attuazione direttamente dai vettori latenti degli archi dei cavi, mappando i segnali di controllo nelle variazioni delle lunghezze a riposo dei cavi.

2. Chunk di Predizione

Per migliorare la velocità di inferenza e l'accuratezza, il modello predice simultaneamente un chunk di predizione di $n$ passi futuri ($t+1$ a $t+n$) anziché procedere un passo temporale alla volta. Questo approccio:

• Preserva una discretizzazione fine dei passi temporali pur ottenendo un'accelerazione di un fattore $n$.
• Fornisce una supervisione densa attraverso le verità di base (ground truth) intermedie.
• Abilita una propagazione efficiente a lungo raggio tramite un grafo computazionale compatto.

3. Co-Addestramento Sim-and-Real

Per affrontare il rumore e la scarsità dei dati del mondo reale, gli autori introducono una procedura di co-addestramento sim-and-real:

• Vengono generati molteplici dataset di simulazione variando i parametri di sistema (ad esempio, attrito, rigidità) in un simulatore come MuJoCo.
• Questi vengono uniti a un dataset del mondo reale con parametri di sistema sconosciuti.
• Per evitare che la GNN venga confusa da diverse dinamiche di sistema per lo stesso stato di input, a ciascun dataset (simulazione e reale) viene assegnato un indice unico, che viene passato alla GNN come caratteristica del nodo codificata one-hot. Ciò consente al modello di apprendere una base di conoscenza fisica fondamentale dalla simulazione pur adattandosi al rumore del mondo reale.

4. Integrazione con MPPI

La GNN è integrata in un controllore Model Predictive Path Integral (MPPI). Il controllore agisce come un generatore di dati diversificato, eseguendo task e registrando traiettorie per addestrare ulteriormente la GNN in un ciclo chiuso. Questo processo iterativo affina sia il modello di dinamica che la capacità del controllore di navigare tra gli ostacoli.

Contributi Chiave

1. Nuova Architettura GNN: Una GNN completamente apprendibile progettata specificamente per la dinamica dei cavi che opera efficacementmente sotto osservabilità parziale.
2. Prediction Chunks: L'introduzione della predizione forward simultanea a più passi per migliorare sia l'accuratezza del modello che la velocità di inferenza per i rollout delle traiettorie.
3. Co-Addestramento Sim-and-Real: Una procedura che promuove la generalizzazione e la robustezza ai dati rumorosi del mondo reale sfruttando dataset di simulazione con parametri variati insieme ai dati reali.
4. Valutazione Esaustiva: Valutazioni estese sia in simulazione (sim2sim) che in contesti reali (real2sim) su robot tensegrity a 3 e 6 barre, dimostrando la superiorità rispetto ai simulatori differenziabili e ibridi allo stato dell'arte.
5. Integrazione del Controllo: Integrazione riuscita del modello appreso in un controllore MPPI, dimostrando capacità di navigazione in ciclo chiuso in percorsi a ostacoli.

Risultati Sperimentali

Il metodo è stato valutato rispetto ai baseline, inclusi una GNN Ibrida (Chen et al., 2024) e un Motore di Fisica Differenziabile per Tensegrity (T-DPE) (Wang et al., 2023).

• Performance Sim2Sim: Su una tensegrity a 6 barre, il metodo proposto ha ottenuto un errore di posizione del 48,95% e un errore rotazionale di 26,53° su intere traiettorie, superando significativamente l'euristica T-DPE (102,76% errore pos.) e l'euristica della GNN Ibrida (91,12% errore pos.). Nelle valutazioni a breve orizzonte (critiche per l'MPC), il metodo proposto ha raggiunto un errore di posizione del 3,95% e un errore rotazionale del 7,03°, rispetto al 9,59% e 28,76% di T-DPE.
• Performance Real2Sim: Utilizzando dati da una tensegrity a 3 barre reale con osservabilità parziale (solo posizioni delle estremità), il metodo proposto ha mostrato una forte performance relativa. Gli errori nel mondo reale erano naturalmente più alti rispetto al sim2sim a causa della natura semplificata della simulazione e del rumore dei sensori, ma il modello rimaneva stabile laddove gli altri baseline divergevano o erano instabili.
• Studi di Ablazione:
  • Architettura: La rimozione delle caratteristiche di configurazione o del blocco ricorrente ha degradato significativamente le prestazioni. Il modello motore completamente appreso ha superato il modello motore analitico in presenza di input di controllo.
  • Co-Addestramento: L'uso di fino a quattro dataset di simulazione ha migliorato l'accuratezza posizionale, agendo come regolarizzatore. Oltre questo limite, le prestazioni sono peggiorate, suggerendo un equilibrio ottimale di dati di simulazione.
  • Dimensione del Prediction Chunk: L'accuratezza ha raggiunto il picco con un chunk di 6 passi. Chunk più grandi hanno portato a una degradazione dell'accuratezza, probabilmente a causa dell'accumulo di errori nei passi auto-regressivi che portano lo stato fuori dalla distribuzione.

Significato e Rivendicazioni

L'articolo sostiene che CableRobotGraphSim riesce a colmare il divario tra efficienza dei dati e flessibilità nella simulazione robotica. Rappresentando i robot a trazione con cavi come grafi e utilizzando un'architettura completamente apprendibile, il modello supera i limiti dei simulatori tradizionali che richiedono l'osservabilità dello stato completo o un esteso tuning dei parametri.

Gli autori sottolineano che il loro approccio è particolarmente significativo per le piattaforme non convenzionali come i robot tensegrity, dove la raccolta dati è costosa e il sensing dello stato completo è spesso impossibile. L'integrazione con MPPI dimostra che questi modelli appresi non sono solo accurati, ma anche abbastanza veloci per il controllo in tempo reale a ciclo chiuso, consentendo compiti di navigazione complessi in ambienti simulati. Il lavoro suggerisce che il co-addestramento sim-and-real e i chunk di predizione multi-step siano strategie efficaci per migliorare la robustezza ed l'efficienza dei modelli di dinamica appresi in contesti rumorosi e con osservabilità parziale.