Sintesi Tecnica: SafeDojo

Definizione del Problema

Il dispiegamento di modelli Vision-Language-Action (VLA) in ambienti fisici reali affronta una sfida critica di sicurezza: l'evitamento delle collisioni durante la manipolazione ricca di contatti. A differenza dei sistemi di controllo a bassa dimensionalità, dove i vincoli di sicurezza possono essere definiti esplicitamente o appresi in modo compatto, le policy VLA devono inferire i confini di sicurezza da osservazioni visive ad alta dimensionalità attraverso configurazioni di ostacoli diverse e precedentemente non viste.

Gli approcci esistenti alla manipolazione robotica sicura soffrono di limitazioni significative:

• Interventi al tempo di inferenza (ad es., Funzioni di Barriera di Controllo) richiedono una modellazione geometrica precisa e la calibrazione della telecamera, il che è impraticabile per il dispiegamento VLA in mondi aperti.
• Reinforcement Learning (RL) vincolato model-free impone la sicurezza attraverso l'ottimizzazione basata su penalità, ma richiede un'esplorazione nel mondo reale costosa e potenzialmente pericolosa. Un singolo contatto non sicuro può causare il fallimento del compito, danni irreversibili all'hardware o disruzioni ambientali.
• Il Safe RL model-based opera tipicamente in spazi di stato a bassa dimensionalità con funzioni di costo fornite dal simulatore, rendendo difficile il trasferimento a modelli VLA ad alta dimensionalità dove i segnali di sicurezza devono essere appresi dai dati visivi piuttosto che definiti analiticamente.

Il problema centrale affrontato è come apprendere policy VLA prive di collisioni in ambienti ricchi di ostacoli senza fare affidamento su funzioni di sicurezza artigianali o su un'esplorazione rischiosa nel mondo reale.

Metodologia: SafeDojo

SafeDojo è proposto come il primo framework di safe reinforcement learning model-based progettato specificamente per le policy VLA. Esso consente l'ottimizzazione della policy online interamente all'interno di un modello di mondo video interattivo, evitando i rischi del mondo reale. Il framework consiste di tre componenti chiave:

1. Rollout del Modello del Mondo Interattivo per Chunk

Invece di raccogliere dati nel mondo fisico, SafeDojo esegue dei rollout "model-in-the-loop" all'interno di un modello di mondo interattivo $p_\phi$.

• Architettura: Il modello del mondo è istanziato come un predittore video condizionato dall'azione (basato su Wan 2.2) che genera osservazioni visive future e dinamiche latenti.
• Processo: Data un'osservazione iniziale $o_0$ e un'istruzione linguistica $l$, l'attuale policy VLA $\pi_\theta$ campiona traiettorie candidate. Il modello del mondo esegue ricorsivamente questi rollout per generare futuri frame immaginati $\hat{o}_{i,k+1}$ e stati latenti $\hat{z}_{i,k+1}$ condizionati su chunk di azioni.
• Robustezza: Per mitigare il mismatch tra addestramento e test e l'errore di esposizione nei rollout a lungo termine, l'addestramento include un'augmentation di video statici che occasionalmente congela i frame di condizionamento, rendendo il modello tollerante a predizioni intermedie imperfette.

2. Decoupling del Task Reward e della Stima del Costo di Sicurezza

SafeDojo valuta le traiettorie immaginate utilizzando un valutatore a due rami che stima segnali densi per ogni step anziché collassarli in uno scalare singolo.

• Task Reward ($f_{task}$): Un classificatore di successo ResNet fine-tuned predice il progresso del compito per ogni step dai futuri frame immaginati.
• Safety Cost ($f_{safe}$): Una testa di sicurezza leggera stima i costi di sicurezza per ogni step (probabilità di contatto con l'ostacolo) dai contesti latenti predetti e dal chunk di azione proposto.
• Aggregazione: Questi segnali densi vengono aggregati in reward a livello di traiettoria ($r_i$) e costi ($c_i$). Il costo di sicurezza aggrega specificamente i top-$M$ step ad alto rischio per enfatizzare gli intervalli critici.

3. GRPO con Vincolo di Sicurezza basato su Lagrangiana

Per ottimizzare la policy sotto espliciti vincoli di sicurezza, SafeDojo impiega una variante di Group Relative Policy Optimization (GRPO) con una formulazione Lagrangiana.

• Calcolo dell'Advantage: I reward del compito e i costi di sicurezza sono normalizzati separatamente all'interno di un gruppo di traiettorie campionate per calcolare gli advantage relativi $\hat{A}^r_i$ e $\hat{A}^c_i$.
• Obiettivo Vincolato: L'advantage finale è calcolato come $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$, dove $\eta$ è un moltiplicatore di Lagrange non negativo.
• Bilanciamento Dinamico: Il moltiplicatore $\eta$ viene aggiornato in base alla violazione del vincolo a livello di batch (costo di sicurezza medio rispetto al budget consentito $d$). Se il costo medio supera il budget, $\eta$ aumenta per penalizzare più fortemente le traiettorie insicure; altrimenti, diminuisce per permettere un miglioramento orientato al compito.
• Regola di Aggiornamento: La policy viene aggiornata utilizzando un obiettivo clipped con l'advantage vincolato alla sicurezza, garantendo un miglioramento coordinato del successo del compito e della sicurezza senza pesi di penalità fissi.

Contributi Chiave

1. Stima del Reward-Cost basata su Modello del Mondo: Sviluppo di un modello del mondo video interattivo accoppiato a un valutatore a due rami che decupla la stima del progresso del compito e del rischio di sicurezza dalle dinamiche immaginate, eliminando la necessità di funzioni di sicurezza artigianali.
2. RL Vincolato alla Sicurezza: Introduzione di un obiettivo GRPO basato sulla Lagrangiana che impone esplicitamente i budget di sicurezza pur coordinando il successo del compito e l'evitamento delle collisioni, evitando la sensibilità dei pesi di penalità fissi.
3. Performance Empirica: Dimostrazione di una performance superiore sul benchmark SafeLIBERO e su implementazioni reali con robot Franka, raggiungendo il miglior successo aggregato del compito, successo sicuro ed efficienza di esecuzione tra i baseline di sicurezza al tempo di inferenza, RL model-free e RL model-based.

Risultati Sperimentali

Il framework è stato valutato su SafeLIBERO (un benchmark critico per la sicurezza costruito su Robosuite) e su robot Franka Emika Panda reali.

Risultati in Simulazione (SafeLIBERO)

• Safe Success Rate (SSR): SafeDojo ha raggiunto il più alto SSR medio sia sul Livello I (53.25%) che sul Livello II (49.62%). Sul Livello I, questo rappresenta un miglioramento di 8.25 punti percentuali rispetto al baseline più forte (SafeVLA al 45.00%).
• Efficienza di Esecuzione: SafeDojo ha ottenuto il minor numero medio di Step di Esecuzione (269.41 sul Livello I), superando il miglior baseline model-based (WMPO con 274.02), indicando che l'ottimizzazione consapevole della sicurezza non porta a policy eccessivamente conservative o inefficienti.
• Generalizzazione: Addestrato solo su dimostrazioni del Livello I, SafeDojo ha mantenuto una performance di vertice sul Livello II (ostacoli posizionati più avanti lungo il percorso di movimento), dimostrando che i segnali di sicurezza appresi tramite i rollout immaginati si trasferiscono a configurazioni di ostacoli non viste.

Risultati nel Mondo Reale

• Distribuito su cinque compiti di manipolazione nel mondo reale, SafeDojo ha raggiunto il miglior Task Success Rate medio (76.00%) e il miglior Safe Success Rate (70.00%).
• L'analisi qualitativa ha mostrato che SafeDojo ha generato traiettorie dirette e consapevoli delle collisioni, mentre i baseline o collidevano con gli ostacoli, diventavano eccessivamente conservativi o non riuscivano a recuperare da stati insicuri.

Studi di Ablazione

• Importanza dei Componenti: Rimuovere la testa di sicurezza ha fatto scendere l'SSR al 38.0%; rimuovere il ramo del reward del compito ha fatto crollare le performance quasi a zero. Sostituire la GRPO vincolata con l'ottimizzazione non vincolata ha ridotto significativamente la sicurezza.
• Fonti di Input: L'uso dello stato attuale del modello del mondo più il chunk di azione proposto ha fornito i segnali di reward-cost più stabili rispetto all'uso delle sole predizioni future.
• Moltiplicatore di Lagrange ($\eta$): Un $\eta$ iniziale di 0.2 ha fornito il miglior equilibrio; valori più alti hanno portato a policy eccessivamente vincolate e inefficienti, mentre valori più bassi non sono riusciti a sopprimere le azioni rischiose.

Significato e Rivendicazioni

Il paper posiziona SafeDojo come un percorso scalabile e generalizzabile verso l'intelligenza incarnata sicura. Sfruttando i modelli del mondo per eseguire "rollout anticipatori" nell'immaginazione, SafeDojo affronta la tensione fondamentale tra la necessità di esplorazione della policy e l'irreversibilità delle violazioni di sicurezza fisica.

Gli autori affermano che SafeDojo è il primo framework ad applicare con successo il safe RL model-based ai modelli VLA, abilitando:

1. Apprendimento Senza Rischi: Il miglioramento della policy avviene interamente all'interno di un modello del mondo simulato, eliminando la necessità di un'esplorazione nel mondo reale costosa e pericolosa.
2. Sicurezza Basata sui Dati: I segnali di sicurezza sono appresi da osservazioni visive ad alta dimensionalità piuttosto che dipendere da vincoli geometrici predefiniti o funzioni di costo artigianali.
3. Ottimizzazione Bilanciata: L'approccio basato sulla Lagrangiana consente l'esplicita soddisfazione dei vincoli mantenendo un'alta performance e un'alta efficienza del compito.

I risultati suggeriscono che il safe RL basato su modelli del mondo è un paradigma valido per il dispiegamento di policy VLA in ambienti fisici aperti dove la sicurezza è un prerequisito.