Resumen Técnico: SafeDojo

Definición del Problema

El despliegue de modelos de Visión-Lenguaje-Acción (VLA) en entornos físicos del mundo real enfrenta un desafío crítico de seguridad: la evitación de colisiones durante la manipulación con contacto rico. A diferencia de los sistemas de control de baja dimensión donde las restricciones de seguridad pueden definirse explícitamente o aprenderse de forma compacta, las políticas VLA deben inferir los límites de seguridad a partir de observaciones visuales de alta dimensión a través de diversas y previamente no vistas configuraciones de obstáculos.

Los enfoques existentes para la manipulación robótica segura sufren limitaciones significativas:

• Las intervenciones en tiempo de inferencia (por ejemplo, Funciones de Barrera de Control) requieren un modelado geométrico preciso y calibración de cámara, lo cual es impráctico para el despliegue de VLA en el mundo abierto.
• El Aprendizaje por Refuerzo (RL) con restricciones sin modelo impone la seguridad mediante la optimización basada en penalizaciones, pero requiere una exploración en el mundo real costosa y potencialmente insegura. Un solo contacto inseguro puede causar el fallo de la tarea, daños irreversibles al hardware o la interrupción del entorno.
• El RL seguro basado en modelos típicamente opera en espacios de estados de baja dimensión con funciones de costo proporcionadas por el simulador, lo que dificulta la transferencia a modelos VLA de alta dimensión donde las señales de seguridad deben aprenderse de datos visuales en lugar de ser definidas analíticamente.

El problema central abordado es cómo aprender políticas VLA libres de colisiones en entornos ricos en obstáculos sin depender de funciones de seguridad diseñadas a mano o de una exploración riesgosa en el mundo real.

Metodología: SafeDojo

SafeDojo se propone como el primer marco de aprendizaje por refuerzo seguro basado en modelos diseñado específicamente para políticas VLA. Permite la optimización de la política en línea enteramente dentro de un modelo de mundo de video interactivo, evitando el riesgo en el mundo real. El marco consta de tres componentes clave:

1. Rollouts de Modelo de Mundo Interactivos por Bloques (Chunk-wise)

En lugar de recolectar datos en el mundo físico, SafeDojo realiza rollouts de "modelo en el bucle" dentro de un modelo de mundo interactivo $p_\phi$.

• Arquitectura: El modelo de mundo se instancia como un predictor de video condicionado por la acción (basado en Wan 2.2) que genera observaciones visuales futuras y dinámicas latentes.
• Proceso: Dada una observación inicial $o_0$ e instrucción de lenguaje $l$, la política VLA actual $\pi_\theta$ muestrea trayectorias candidatas. El modelo de mundo realiza rollouts recursivos de estas trayectorias para generar futuros fotogramas imaginados $\hat{o}_{i,k+1}$ y estados latentes $\hat{z}_{i,k+1}$ condicionados en bloques de acción (action chunks).
• Robustez: Para mitigar el desajuste entre entrenamiento y prueba (train-test mismatch) y el error de exposición en rollouts de largo horizonte, el entrenamiento incluye aumentación de video estático que ocasionalmente congela los fotogramas de condicionamiento, haciendo que el modelo sea tolerante a predicciones intermedias imperfectas.

2. Desacoplamiento de la Recompensa de Tarea y la Estimación de Costo de Seguridad

SafeDojo evalúa las trayectorias imaginadas utilizando un evaluador de doble rama que estima señales densas por paso, en lugar de colapsarlas en un único escalar de recompensa.

• Recompensa de Tarea ($f_{task}$): Un clasificador de éxito ResNet ajustado predice el progreso de la tarea paso a paso a partir de los fotogramas futuros imaginados.
• Costo de Seguridad ($f_{safe}$): Una cabeza de seguridad ligera estima los costos de seguridad por paso (probabilidad de contacto con obstáculos) a partir de los contextos latentes predichos y el bloque de acción propuesto.
• Agregación: Estas señales densas se agregan en recompensas a nivel de trayectoria ($r_i$) y costos ($c_i$). El costo de seguridad agrega específicamente los $M$ pasos de mayor riesgo para enfatizar los intervalos críticos.

3. GRPO con Restricción de Seguridad Basada en Lagrangiano

Para optimizar la política bajo restricciones de seguridad explícitas, SafeDojo emplea una variante de Optimización de Política Relativa de Grupo (GRPO) con una formulación de Lagrangiano.

• Cálculo de Ventaja: Las recompensas de tarea y los costos de seguridad se normalizan por separado dentro de un grupo de trayectorias muestreadas para calcular las ventajas relativas $\hat{A}^r_i$ y $\hat{A}^c_i$.
• Objetivo Restringido: La ventaja final se calcula como $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$, donde $\eta$ es un multiplicador de Lagrangiano no negativo.
• Equilibrio Dinámico: El multiplicador $\eta$ se actualiza basándose en la violación de la restricción a nivel de lote (promedio de costo de seguridad frente al presupuesto permitido $d$). Si el costo promedio excede el presupuesto, $\eta$ aumenta para penalizar más fuertemente las trayectorias inseguras; de lo contrario, disminuye para permitir la mejora orientada a la tarea.
• Regla de Actualización: La política se actualiza utilizando un objetivo recortado (clipped objective) con la ventaja restringida por seguridad, asegurando la mejora coordinada del éxito de la tarea y la seguridad sin pesos de penalización fijos.

Contribuciones Clave

1. Estimación de Recompensa-Costo basada en Modelo de Mundo: Desarrollo de un modelo de mundo de video interactivo acoplado con un evaluador de doble rama que desacopla la estimación del progreso de la tarea y el riesgo de seguridad de las dinámicas imaginadas, eliminando la necesidad de funciones de seguridad diseñadas a mano.
2. RL con Restricción de Seguridad: Introducción de un objetivo GRPO basado en Lagrangiano que aplica explícitamente presupuestos de seguridad mientras coordina el éxito de la tarea y la evitación de colisiones, evitando la sensibilidad de los pesos de penalización fijos.
3. Desempeño Empírico: Demostración de un desempeño superior en el benchmark SafeLIBERO y despliegues reales con el robot Franka, logrando el mejor éxito agregado de tarea, éxito seguro y eficiencia de ejecución entre los baselines de seguridad en tiempo de inferencia, RL sin modelo y RL basado en modelos.

Resultados Experimentales

El marco fue evaluado en SafeLIBERO (un benchmark de seguridad construido sobre Robosuite) y robots Franka Emika Panda en el mundo real.

Resultados de Simulación (SafeLIBERO)

• Tasa de Éxito Seguro (SSR): SafeDojo logró el mayor SSR promedio tanto en el Nivel I (53.25%) como en el Nivel II (49.62%). En el Nivel I, esto representa una mejora de 8.25 puntos porcentuales sobre el baseline más fuerte (SafeVLA con 45.00%).
• Eficiencia de Ejecución: SafeDojo logró el menor número promedio de Pasos de Tiempo de Ejecución (269.41 en el Nivel I), superando al mejor baseline basado en modelos (WMPO con 274.02), lo que indica que la optimización consciente de la seguridad no conduce a políticas excesivamente conservadoras o ineficientes.
• Generalización: Entrenado solo con demostraciones del Nivel I, SafeDoho mantuvo un rendimiento superior en el Nivel II (obstáculos colocados más adelante en la ruta de movimiento), demostando que las señales de seguridad aprendidas mediante rollouts imaginados se transfieren a configuraciones de obstáculos no vistas.

Resultados en el Mundo Real

• Desplegado en cinco tareas de manipulación en el mundo real, SafeDojo logró el mejor Tasa de Éxito de Tarea promedio (76.00%) y Tasa de Éxito Seguro (70.00%).
• El análisis cualitativo mostró que SafeDojo generó trayectorias directas y conscientes de las colisiones, mientras que los baselines o colisionaban con obstáculos, se volvían excesivamente conservadores o fallaban al recuperarse de estados inseguros.

Estudios de Ablación

• Importancia de Componentes: Eliminar la cabeza de seguridad redujo el SSR a 38.0%; eliminar la rama de recompensa de la tarea colapsó el desempeño a casi cero. Reemplazar el GRPO con restricciones por una optimización sin restricciones redujo significamente la seguridad.
• Fuentes de Entrada: El uso del estado actual del modelo de mundo más el bloque de acción propuesto proporcionó las señales de recompensa-costo más estables en comparación con el uso de solo predicciones futuras.
• Multiplicador de Lagrangiano ($\eta$): Un $\eta$ inicial de 0.2 proporcionó el mejor equilibrio; valores más altos llevaron a políticas excesivamente restringidas e ineficientes, mientras que valores más bajos no lograron suprimir las acciones riesgosas.

Significado y Reivindicaciones

El artículo posiciona a SafeDojo como un camino escalable y generalizable hacia la inteligencia corporal segura. Al aprovechar los modelos de mundo para realizar "rollouts anticipatorios" en la imaginación, SafeDojo aborda la tensión fundamental entre la necesidad de exploración de la política y la irreversibilidad de las violaciones de seguridad física.

Los autores afirman que SafeDojo es el primer marco que aplica con éxito el RL seguro basado en modelos a los modelos VLA, permitiendo:

1. Aprendizaje Libre de Riesgos: La mejora de la política ocurre enteramente dentro de un modelo de mundo simulado, eliminando la necesidad de una exploración en el mundo real costosa y peligrosa.
2. Seguridad Basada en Datos: Las señales de seguridad se aprenden de observaciones visuales de alta dimensión en lugar de depender de restricciones geométricas predefinidas o funciones de costo diseñadas a mano.
3. Optimización Equilibrada: El enfoque basado en Lagrangiano permite la satisfacción explícita de restricciones manteniendo un alto desempeño y eficiencia de la tarea.

Los resultados sugieren que el aprendizaje por refuerzo seguro basado en modelos de mundo es un paradigma viable para desplegar políticas VLA en entornos físicos de mundo abierto donde la seguridad es un requisito previo.