Riepilogo Tecnico: Shield-Loco

Definizione del Problema

Le policy di apprendimento per rinforzo (RL) hanno dimostrato successo nel consentire la locomozione dinamica delle gambe, mappando le posizioni di contatto desiderate in comandi articolari di basso livello. Tuttavia, queste policy mancano di meccanismi attivi per prevenire violazioni della sicurezza quando incontrano vincoli ambientali (ad esempio, ostacoli) che non erano presenti durante l'addestramento. Sebbene l'apprendimento sicuro offline su larga scala sia impraticabile per coprire tutti i casi limite, gli attuali framework di sicurezza presentano limitazioni significative:

• Modelli a ordine ridotto: Metodi come le Funzioni di Barriera di Controllo (CBF) spesso si affidano a modelli semplificati che non possono ragionare sui comportamenti dell'intero corpo, portando a fallimenti sotto dinamiche di contatto non modellate.
• Recupero conservativo: Gli approcci di Schermatura Predittiva del Modello (MPS) e di raggiungibilità di Hamilton-Jacobi (HJ) spesso ricorrono a controllori di recupero conservativi che sacrificano le prestazioni del compito o richiedono certificati artigianali che falliscono in scenari complessi.
• Scalabilità: La raggiungibilità HJ scala esponenzialmente con la dimensione dello stato, rendendo intrattabili i modelli whole-body della locomozione leggata.

La sfida centrale è intervenire sulla policy per garantire la sicurezza senza degradare le prestazioni del compito o richiedere un riaddestramento completo della policy RL.

Metodologia

Gli autori propongono Shield-Loco, un filtro di sicurezza predittivo che opera post-hoc sulle posizioni di contatto fornite a una policy RL condizionata al contatto. L'intuione chiave è che le posizioni di contatto dei piedi servono come astrazione cinematica sufficiente per imporre l'evitamento di collisioni dell'intero corpo, rimanendo al contempo trattabile per l'ottimizzazione online.

Panoramica del Framework

Ad ogni passo di controllo, il filtro riceve una sequenza nominale di posizioni di contatto da un pianificatore di alto livello. Esegue un rollout in avanti utilizzando un simulatore a fisica completa (MuJoCo) e la policy RL congelata per predire gli stati futuri.

1. Predizione: Se non viene predetta alcuna violazione della sicurezza entro l'orizzonte di ricorsa, il contatto nominale viene passato alla policy.
2. Intervento: Se viene predetta una violazione, un ottimizzatore basato sul campionamento cerca una sequenza di contatto alternativa che massimizzi il ritorno a orizzonte finito soddisfacendo i vincoli di sicurezza.
3. Esecuzione: La prima posizione di contatto ottimizzata viene passata alla policy RL, che genera coppie articolari. Il processo si ripete in modo asincrono, permettendo alla policy di basso livello di girare ad alta frequenza (50 Hz) anche se l'ottimizzatore gira a una frequenza inferiore (3 Hz).

Formulazione dell'Ottimizzazione

Il filtro risolve il seguente problema di ottimizzazione quando è richiesto un intervento:
$$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$$
Soggetto ai vincoli di sicurezza $g(s_t, p_t) \leq 0$, dove $a_t = \pi(s_t, p_t)$ e $s_{t+1} = f(s_t, a_t)$.

• Ricompensa ($r$): Codifica le prestazioni del compito (ad esempio, inseguimento dei contatti desiderati, efficienza energetica).
• Funzione di Valore ($V$): Una funzione di valore appresa effettua il bootstrapping dei ritorni a lungo orizzonte, addestrata offline tramite apprendimento per differenza temporale su traiettorie raccolte dall'ottimizzatore.
• Vincoli di Sicurezza ($g$):
  • Penalità di Contatto del Piede: Penalità morbide basate sulla funzione di distanza con segno (SDF) tra i piedi e gli ostacoli.
  • Collisione dell'Intero Corpo: Una grande penalità viene applicata se un qualsiasi link del robot contatta un ostacolo, rilevata tramite i dati di contatto di MuJoCo.

Componenti Algoritmiche per la Trattabilità

Per rendere l'ottimizzazione fattibile in un panorama di contatto discontinuo, gli autori introducono tre componenti chiave:

1. Proiezione Geometrica: Le posizioni di contatto campionate sono proiettate sull'insieme privo di collisioni tramite un Programma Quadratico (QP) prima della valutazione del rollout. Ciò assicura che i candidati soddisfino i vincoli rigidi localmente, sebbene il rollout completo sia ancora valutato per la sicurezza.
2. Aggiornamenti con Augmentazione del Momento: Derivata dall'Accelerated Proximal Natural Gradient Descent, questa regola di aggiornamento accelera la convergenza estrapolando nella direzione del miglioramento, riducendo il numero di iterazioni richieste.
3. Scambio di Repliche (Parallel Tempering): Per sfuggire ai minimi locali superficiali, vengono mantenute molteplici repliche dell'ottimizzatore con diverse temperature inverse ($\lambda$), che scambiano sequenze di contatto basandosi sul criterio di Metropolis-Hastings, permettendo alle repliche ad alta temperatura di esplorare ampiamente mentre quelle a bassa temperatura sfruttano le soluzioni promettenti.

Contributi Chiave

1. Filtro di Sicurezza Predittivo sulle Posizioni di Contatto: Un metodo che opera direttamente sulle posizioni di contatto in input alle policy RL, consentendo l'evitamento di collisioni dell'intero corpo senza modificare la policy sottostante.
2. Ottimizzazione Trattabile Basata sul Campionamento: Uno schema di ottimizzazione innovativo che incorpora la proiezione geometrica, aggiornamenti con augmentazione del momento e lo scambio di repliche per gestire il panorama di costo non liscio e discontinuo della locomozione leggata.
3. Validazione in Simulazione e nel Mondo Reale: Valutazione completa su un quadrupede Unitree Go2 in ambienti densi e ingombrati, dimostrando riduzioni sostanziali delle violazioni della sicurezza con una deviazione minima dal passo nominale.

Risultati

Il metodo è stato valutato su un quadrupede Unitree Go2 sia in simulazione MuJoCo che in esperimenti hardware nel mondo reale.

• Trade-off tra Sicurezza e Prestazioni: Rispetto ai baseline (CBF e raggiungibilità HJ utilizzando approssimazioni unicycle), Shield-Loco ha ottenuto costi di inseguimento significativamente inferiori e meno violazioni di sicurezza effettive. I baseline a ordine ridotto hanno faticato in ambienti densi e ingombrati, mentre Shield-Loco ha mantenuto un forte compromesso tra sicurezza e inseguimento.
• Varianti dell'Ottimizzatore: Tra gli ottimizzatori testati (MPPI, CEM e Replica Exchange MPPI), la variante Replica Exchange ha ottenuto il costo di inseguimento più basso (0.0086) mantenendo bassi tassi di violazione, sebbene abbia comportato tempi di ottimizzazione più elevati.
• Studi di Ablazione:
  • Momento: I coefficienti di momento non nulli ($\beta$) hanno migliorato costantemente i costi di inseguimento, con $\beta=0.1$ che ha fornito le prestazioni ottimali.
  • Orizzonte e Iterazioni: Un budget computazionale moderato ($N=3$ iterazioni, $H \in [4, 6]$) ha fornito il miglior equilibrio tra sicurezza e reattività.
  • Proiezione: L'applicazione della proiezione geometrica sia durante il campionamento del rollout che sul piano ottimizzato finale è stata critica per minimizzare le violazioni.
• Deployment nel Mondo Reale: Il sistema ha navigato con successo in ambienti ingombrati con ostacoli (telefoni, pacchi, cavi) e grandi ostacoli statici. Il design asincrono ha permesso al robot di rimanere stabile anche quando l'ottimizzatore richiedeva più tempo del ciclo di pianificazione (ad esempio, 400ms per $H=8$), poiché la policy di basso livello continuava a inseguire gli ultimi target di contatto sicuri conosciuti.

Significato e Limitazioni

Il paper posiziona Shield-Loco come un intervento di sicurezza minimamente invasivo che colma il divario tra l'espressività dei modelli a fisica completa e la trattabilità richiesta per il filtraggio della sicurezza online. Operando sulle posizioni di contatto piuttosto che sulle coppie articolari, evita la "maledizione della dimensionalità" pur mantenendo la capacità di ragionare sulle collisioni dell'intero corpo.

Limitazioni e Lavoro Futuro:

• Garanzie Teoriche: Il metodo manca di garanzie teoriche formali di ottimalità o sicurezza. Il piano filtrato può deviare dal vero insieme sicuro se l'ottimizzatore converge a un minimo locale.
• Proiezione Euristica: La proiezione geometrica è un'euristica e potrebbe non preservare strettamente le proprietà di convergenza dell'ottimizzatore.
• Limitazioni della Policy: Le violazioni reali negli esperimenti sono state talvolta causate dalla policy RL che generava configurazioni intermedie della fase di volo non sicure, anche quando i target di contatto erano sicuri.
• Ambito: La validazione è attualmente limitata ai quadrupedi su terreni piatti. Estendere la locomozione a multi-terreno, umanoidi o scenari che richiedono torsioni attive del torso rimane un lavoro futuro.
• Percezione: L'attuale framework assume la geometria nota degli ostacoli; l'integrazione di pipeline di percezione online per un deployment completamente autonomo in ambienti non visti è identificata come una necessaria direzione futura.