Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing

Questo articolo introduce lo Sferico Radiale Squashing Decoppiato Dinamico (DD-SRad), un metodo di apprendimento per rinforzo potenziato da vincoli che risolve il disallineamento geometrico tra i limiti di velocità eterogenei degli attuatori e i vincoli isotropi calcolando raggi adattivi alla posizione e specifici per giunto, ottenendo così zero violazioni dei vincoli, retropropagazione esatta del gradiente e prestazioni superiori nei compiti sia in simulazione sia in implementazioni su robot umanoidi ad alta fedeltà.

L'essenziale

Immagina di insegnare a un robot a camminare, ballare o correre utilizzando un controller per videogiochi. Nel mondo reale, le articolazioni del robot (come ginocchia, anche e caviglie) hanno limiti fisici sulla velocità con cui possono muoversi. Se chiedi a un ginocchio di un robot di scattare da una posizione all'altra troppo rapidamente, il motore potrebbe bruciarsi o il robot potrebbe inciampare e cadere.

Il problema è che ogni articolazione ha un limite di velocità diverso. Le anche del tuo robot potrebbero essere forti e veloci, capaci di muoversi rapidamente, mentre le caviglie sono delicate e lente. È come un'auto in cui il motore può salire di giri, ma le ruote sono bloccate nel fango e possono girare solo lentamente.

Il Problema: L'Errore "Taglio Unico"

I metodi precedenti per insegnare ai robot cercavano di gestire questi limiti di velocità imponendo un "limite di velocità globale" all'intero robot. Immagina di avere un gruppo di corridori: uno sprinter, un maratoneta e un bambino piccolo. Se dici a tutti loro: "Potete correre solo alla velocità del bambino", lo sprinter viene trattenuto inutilmente. Se dici: "Correte alla massima velocità possibile", il bambino rimane indietro (o, nel caso del robot, si rompe).

In termini matematici, il documento afferma che i vecchi metodi cercavano di inserire una sfera perfetta (una palla) all'interno di una scatola rettangolare di movimenti consentiti.

• La Scatola: Rappresenta il mondo reale dove l'anca può muoversi molto, ma la caviglia può muoversi solo poco.
• La Sfera: Rappresenta il vecchio metodo di intelligenza artificiale. Cerca di inserire una sfera all'interno di quella scatola.
• Il Risultato: La sfera lascia enormi angoli vuoti nella scatola. Al robot viene detto di non poter muovere l'anca velocemente quanto potrebbe fisicamente, solo per mantenere la "sfera" sicura. Questo spreca il potenziale del robot.

La Soluzione: DD-SRad (Schiacciamento Radiale Sferico Decoupled Dinamico)

Gli autori hanno creato un nuovo metodo chiamato DD-SRad. Immaginalo come dare al robot un guanto intelligente e regolabile per ogni dito (articolazione) individualmente.

Invece di una regola unica per tutta la mano, DD-SRad calcola un "limite di velocità" specifico per ogni dito in base a:

1. Quanto velocemente quel dito specifico è autorizzato a muoversi.
2. Dove si trova attualmente quel dito.

Se l'anca del robot è in una posizione in cui può muoversi velocemente in sicurezza, il "guanto" glielo permette. Se la caviglia è vicina al suo limite, il "guanto" si stringe solo per quella caviglia.

L'Analogia:
Immagina di guidare un'auto con un acceleratore molto sensibile e un freno pesante.

• Metodo Vecchio: Metti un blocco di legno sotto l'acceleratore in modo da non poterlo premere più di 1 pollice. Questo ti mantiene al sicuro, ma non puoi accelerare nemmeno quando la strada è libera.
• DD-SRad: Hai un pedale intelligente che sa esattamente quanto puoi premere in base alla tua velocità attuale e alle condizioni della strada. Ti permette di spingere al massimo quando è sicuro, ma rallenta delicatamente quando sei vicino a un muro.

Perché Questo È Importante (I Risultati)

Il documento ha testato questo metodo su robot digitali (in un simulatore chiamato MuJoCo) e su simulazioni ad alta fedeltà di umanoidi reali (Unitree H1 e G1).

1. Zero Articolazioni Rotte: Il metodo garantisce che il robot non chieda mai a un'articolazione di muoversi più velocemente del suo limite. È una garanzia di sicurezza del 100%.
2. Prestazioni Massime: Poiché smette di trattenere le articolazioni veloci, i robot hanno imparato a muoversi meglio e più velocemente rispetto ai metodi precedenti. Nei test, hanno raggiunto i punteggi più alti possibili senza violare mai una regola.
3. Migliore Copertura: Il documento afferma che questo metodo copre dal 30% al 50% in più dei movimenti possibili rispetto ai vecchi metodi basati sulla "sfera". Riempie gli "angoli" della scatola che erano precedentemente vuoti.
4. Nessun Rallentamento: A differenza di altri metodi che richiedono calcoli matematici complessi (risoluzione di equazioni) ad ogni singolo passo per verificare la sicurezza, DD-SRad lo fa istantaneamente con una formula semplice. È abbastanza veloce per il controllo in tempo reale.

La Conclusione

Il documento sostiene che per rendere i robot sicuri e agili nel mondo reale, dobbiamo smettere di trattare tutte le articolazioni allo stesso modo. Assegnando a ogni articolazione il proprio "limite di velocità" personalizzato che cambia dinamicamente mentre il robot si muove, possiamo sbloccare il pieno potenziale del robot senza rischiare danni. Gli autori hanno dimostrato con successo questo concetto su umanoidi simulati, mostrando una strada chiara dal manuale tecnico (scheda dati) di un robot a una macchina ad alte prestazioni e sicura da implementare.

Sommario tecnico

Riepilogo Tecnico: Spherical Radial Squashing Dinamico e Disaccoppiato (DD-SRad)

1. Enunciato del Problema

La distribuzione di politiche di apprendimento per rinforzo (RL) su robot fisici richiede il rispetto dei vincoli di velocità degli attuatori: limiti rigidi sulla velocità con cui il comando di posizione di ogni giunto può cambiare per ogni passo di controllo ($|a^i_t - a^i_{t-1}| \le \delta^i$). Questi limiti sono strutturalmente eterogenei; a causa delle differenze nell'inerzia del motore e nella rigidità della trasmissione, il limite di velocità $\delta^i$ varia significativamente tra i giunti (ad esempio, i giunti dell'anca spesso consentono velocità molto più elevate rispetto ai giunti della caviglia).

I metodi esistenti non riescono a gestire questa eterogeneità dal punto di vista geometrico:

• Gli approcci MPC/QP comportano un sovraccarico computazionale del risolutore a runtime e soffrono di incoerenza tra addestramento e distribuzione, impedendo l'ottimizzazione end-to-end.
• I metodi MDP vincolati (CMDP) (ad esempio, CPO, FOCOPS) offrono solo garanzie in forma di valore atteso, permettendo violazioni transitorie per passo che possono danneggiare l'hardware.
• I metodi di parametrizzazione dell'azione impongono tipicamente vincoli isotropi a sfera $\ell_2$ (ad esempio, Spherical Radial Squashing, SRad). Sotto vincoli eterogenei, una sfera $\ell_2$ con raggio $R = \min_i \delta^i$ copre in modo insufficiente l'insieme ammissibile reale (un iperrettangolo $\ell_\infty$). Il rapporto di volume tra la sfera $\ell_2$ e l'insieme ammissibile reale degrada esponenzialmente con la dimensionalità e l'eterogeneità, comprimendo efficacemente lo spazio di esplorazione per i giunti con budget elevato.
• I metodi di clipping $\ell_\infty$ (ad esempio, BoxPre+) coprono la geometria corretta ma troncano i gradienti al confine, perdendo informazioni direzionali durante gli aggiornamenti della politica.

La sfida fondamentale è ottenere il rispetto dei vincoli rigidi per passo, la copertura esatta $\ell_\infty$ dell'insieme ammissibile e la retropropagazione del gradiente end-to-end senza sovraccarico computazionale del risolutore a runtime.

2. Metodologia: DD-SRad

Il documento propone il Dynamic Decoupled Spherical Radial Squashing (DD-SRad), una parametrizzazione analitica e liscia dell'azione che risolve il disallineamento geometrico tra l'output della politica e i vincoli di velocità eterogenei.

Meccanismo Principale

A differenza di SRad, che utilizza un unico raggio globale $R$, DD-SRad calcola un raggio efficace adattivo alla posizione $R^i_{\text{eff}}$ indipendentemente per ogni dimensione dell'azione $i$:
$$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{se } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{se } u^i < 0 \\ \delta^i & \text{se } u^i = 0 \end{cases}$$

La mappatura trasforma un'azione latente $u \in \mathbb{R}^d$ nell'azione fisica $a$ tramite uno schiacciamento sferico indipendente per dimensione:
$$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$$

Proprietà Chiave

1. Allineamento Geometrico: L'insieme raggiungibile di DD-SRad è esattamente l'iperrettangolo $\ell_\infty$ definito dai limiti di velocità e dai limiti di posizione, recuperando il volume perso dalle baseline isotrope $\ell_2$.
2. Rispetto dei Vincoli Rigidi: La mappatura garantisce $|a^i - a^i_{\text{prev}}| \le \delta^i$ e $a^i \in [a^i_{\min}, a^i_{\max}]$ con probabilità 1 per qualsiasi azione latente $u$.
3. Conservazione del Gradiente: La mappatura è liscia e analitica (eccetto in $u=0$, un evento di misura zero). Lo Jacobiano è una matrice definita positiva diagonale, garantendo che le informazioni direzionali complete del gradiente dal critico siano propagate alla politica senza troncamento.
4. Sovraccarico Zero: Come layer plug-and-play, non richiede risolutori a runtime (QP/MPC) e si integra direttamente in backbones off-policy come SAC e TD3.

3. Contributi Chiave

• Allineamento Geometrico: DD-SRad ottiene una copertura esatta $\ell_\infty$ dell'insieme ammissibile tramite raggi adattivi per dimensione, recuperando sistematicamente il volume perso dalle baseline $\ell_2$ sotto vincoli eterogenei.
• Garanzie Teoriche: Il documento dimostra il rispetto dei vincoli rigidi per passo con probabilità 1 e stabilisce limiti sul numero di condizione dello Jacobiano, garantendo gradienti ben condizionati.
• Compatibilità End-to-End: La forma analitica liscia supporta la retropropagazione esatta del gradiente della politica con zero sovraccarico computazionale del risolutore a runtime, compatibile con algoritmi off-policy standard.
• Validazione Empirica: Esperimenti estensivi dimostrano che DD-SRad ottiene il ritorno di task più alto con zero violazioni dei vincoli, superando le baseline sia nei benchmark MuJoCo che nelle simulazioni ad alta fedeltà IsaacLab.

4. Risultati Sperimentali

Gli autori hanno valutato DD-SRad su MuJoCo (Ant, Humanoid, HalfCheetah, Hopper) e IsaacLab (robot umanoidi Unitree H1 e G1).

Benchmark MuJoCo

• Prestazioni: Sotto vincoli eterogenei stretti, DD-SRad ha ottenuto il ritorno più alto in tutte le 8 configurazioni ambiente-backbone (SAC e TD3), spesso uguagliando o superando il limite superiore senza vincoli.
• Utilizzo dei Vincoli: DD-SRad ha dimostrato un miglioramento del 30%–50% nella copertura dello spazio dei vincoli rispetto alle baseline sferiche. A differenza di SRad-Strict, che ha subito un collasso strutturale (ad esempio, 68,8% di violazione dei vincoli su Ant-SAC), DD-SRad ha mantenuto zero violazioni.
• Confronto: DD-SRad ha superato il clipping $\ell_\infty$ (BoxPre+) del 5%–14% in termini di ritorno, confermando che la propagazione liscia del gradiente è superiore al troncamento del gradiente ai confini.

Simulazione ad Alta Fedeltà (IsaacLab)

• Robustezza: Utilizzando le specifiche ufficiali dei giunti per Unitree H1 (terreno irregolare) e G1 (terreno pianeggiante), DD-SRad ha raggiunto una locomozione ottimale.
  • H1 (Terreno Irregolare): DD-SRad ha ottenuto un ritorno di 37,14 con un tasso di caduta del 48,7%, superando significativamente BoxPre+ (ritorno 23,11, 70,2% di cadute) e SRad-Strict (ritorno 0,83, 100% di cadute).
  • G1 (Terreno Pianeggiante): DD-SRad ha ottenuto un ritorno di 5473 con un tasso di caduta dello 0,3% e l'errore di tracciamento della velocità più basso (0,138 m/s).
• Allocazione Adattiva: I radar chart e i diagrammi di dispersione hanno confermato che DD-SRad consente un'allocazione adattiva al task dei budget di velocità (ad esempio, utilizzare i giunti dell'anca per la propulsione minimizzando il movimento della caviglia su terreno pianeggiante), una capacità bloccata dall'attivazione uniforme dei metodi di clipping o dalla compressione geometrica dei metodi sferici.

5. Significato e Affermazioni

Il documento afferma di fornire un percorso sistematico dalle schede tecniche dell'hardware alla distribuzione sicura. Parametrizzando lo spazio delle azioni direttamente dalle specifiche ufficiali di velocità dei giunti, DD-SRad permette agli agenti RL di apprendere politiche ottimali che rispettano i limiti fisici senza ingegneria della ricompensa o filtri di sicurezza post-hoc.

Gli autori sottolineano che DD-SRad risolve il disallineamento geometrico fondamentale tra la natura $\ell_\infty$ dei vincoli di velocità e la natura $\ell_2$ delle parametrizzazioni sferiche standard. Questo permette:

1. Distribuzione Sicura: Garanzie rigide sui limiti degli attuatori prevengono il rifiuto silenzioso dei comandi o danni all'hardware.
2. Apprendimento Efficiente: Preservando la geometria completa dell'insieme ammissibile, l'agente può esplorare l'intera gamma di azioni fisicamente possibili, portando a una convergenza più rapida e a prestazioni superiori.
3. Scalabilità: Il metodo scala a robot umanoidi ad alta dimensionalità (17+ giunti) senza il carico computazionale dei risolutori QP.

Il lavoro conclude che, mentre i metodi esistenti sacrificano o la sicurezza, o la copertura geometrica, o l'efficienza dell'addestramento, DD-SRad ottiene simultaneamente tutti e tre, validando la sua utilità per il controllo robotico nel mondo reale.