Resumen Técnico: SLS2 – Control de Modelo de Mundo Latente Probabilísticamente Seguro

Declaración del Problema

El artículo aborda el desafío de la planificación de movimiento con retroalimentación segura para robots que operan directamente a partir de observaciones de píxeles brutos (por ejemplo, imágenes RGB) en entornos de mundo abierto. Los métodos tradicionales de control crítico para la seguridad dependen de representaciones de estado bien definidas y de baja dimensión, así como de una dinámica conocida, las cuales suelen estar ausentes o son difíciles de estimar para objetos deformables y tareas visuales complejas. Si bien los modelos de mundo latentes recientes (por ejemplo, arquitecturas JEPA) pueden inferir representaciones de estado compactas y dinámicas directamente de las imágenes, introducen riesgos de seguridad significativos:

1. Dinámica Imperfecta: Las dinámicas latentes aprendidas son aproximaciones y pueden ser inexactas en despliegues de múltiples pasos (multi-step rollouts).
2. Traducción de Restricciones: Las restricciones físicas de seguridad (por ejemplo, evitación de obstáculos, límites de articulación) deben traducirse al espacio latente, donde la relación con la seguridad física no está garantizada.
3. Falta de Calibración: Los métodos de seguridad latente existentes suelen depender de aproximaciones heurísticas o carecen de garantías formales y calibradas de que el estado real del sistema permanezca dentro de los límites seguros a pesar de los errores de predicción.

El problema central es sintetizar una política de control que planifique en un espacio latente aprendido proporcionando, al mismo tiempo, garantías de seguridad probabilísticas para el sistema físico real, teniendo en cuenta tanto los errores de predicción del modelo como los cambios en la distribución (distributional shifts).

Metodología: SLS2 (Síntesis a Nivel de Sistema en Espacio Latente Seguro)

Los autores proponen SLS2, un marco que combina modelos de mundo latentes aprendidos con el Control Predictivo Basado en Modelo (MPC) robusto de Síntesis a Nivel de Sistema (SLS) y Predicción Conforme (CP). El proceso consta de tres etapas principales:

1. Entrenamiento de un Modelo de Mundo Latente Amigable con Gradientes

El sistema aprende una representación latente compacta y markoviana a partir de un conjunto de datos offline de transiciones de imágenes $\mathcal{D} = \{(o_t, u_t, o_{t+1})\}$.

• Arquitectura: Una arquitectura de predicción de incrustación conjunta condicionada por la acción (similar a Le-WM). Un codificador de Transformador de Visión (ViT) mapea las imágenes a incrustaciones latentes $z_t$.
• Construcción de Estado Markoviano: Para asegurar que el estado latente cumpla con la propiedad de Markov para la predicción de múltiples pasos, el estado se aumenta con características de diferencia finita: $s^z_t = [z_t, \Delta z_t, \dots, \Delta^K z_t]$.
• Aprendizaje de la Dinámica: Un predictor MLP $f_\phi$ aprende la transición $s^z_{t+1} = f_\phi(s^z_t, u_t)$.
• Objetivos de Entrenamiento: El modelo se entrena utilizando una pérdida de predicción latente de múltiples pasos, una pérdida SIGReg para prevenir el colapso representacional y una pérdida de enderezamiento temporal para fomentar trayectorias latentes suaves. Este diseño facilita la optimización de trayectoria basada en gradientes (por ejemplo, iLQR).

2. Cuantificación de la Incertidumbre mediante Conformal Prediction

Para gestionar las inexactitudes de la dinámica aprendida y del verificador de restricciones latentes, los autores utilizan Predicción Conforme Dividida (Split Conformal Prediction - CP) para calibrar los conjuntos de incertidumbre con garantías estadísticas.

• Error de la Dinámica Latente: Se entrena un modelo de covarianza $\Sigma_\psi$ para predecir la forma de la distribución del error. Se utiliza CP para calcular un factor de escala $q$ (un cuantil de las puntuaciones de no conformidad) de tal manera que el error de predicción real $e_t$ se encuentre dentro de un conjunto elipsoidal $E(s, u)$ con una probabilidad de $1-\delta$.
• Verificador de Restricciones Latentes: Se entrena un clasificador de obstáculos latente $c_\psi$ para puntuar la seguridad. Se utiliza CP para determinar un umbral $\eta$ de modo que el clasificador identifique correctamente las regiones seguras e inseguras con alta probabilidad.
• Soporte de Dominio Interno: Se define un conjunto de soporte interno $\mathcal{I}$ como un subnivel gaussiano calibrado para asegurar que el planificador no opere en regiones muy alejadas de la distribución de entrenamiento.

3. MPC Robusto mediante Síntesis a Nivel de Sistema (SLS)

El bucle de control central utiliza Síntesis a Nivel de Sistema (SLS) para resolver un problema de MPC robusto en el espacio latente.

• Formulación: En lugar de optimizar directamente las ganancias de retroalimentación, SLS optimiza sobre respuestas de sistemas de bucle cerrado (matrices $\Phi_s, \Phi_u$) que mapean las perturbaciones hacia desviaciones de estado/control.
• Robustez: Los conjuntos de error elipsoidales $E(s, u)$ calibrados por CP se inyectan como conjuntos de perturbación en la formulación de SLS. El optimizador propaga estas incertidumbres a lo largo del horizonte de planificación para construir tubos alcanzables ($R^s_k, R^u_k$).
• Restricciones: La optimización impone que todo el tubo alcanzable permanezca dentro del conjunto latente seguro (definido por el verificador de restricciones calibrado) y el conjunto de dominio interno. Esto resulta en un "ajuste de restricciones" (constraint tightening), donde la trayectoria nominal se ajusta para asegurar que, incluso bajo los peores errores acotados, el sistema real permanezca seguro.
• Implementación: El enfoque aprovecha la aceleración por GPU para manejar los estados latentes de alta dimensión y la carga computacional de propagar los tubos de incertidumbre de manera eficiente.

Contribuciones Clave

1. Modelo de Mundo Latente para la Planificación: Los autores demuestran que el entrenamiento de modelos latentes markovianos compactos con regularizaciones específicas (SIGReg, enderezamiento temporal) permite ejecuciones de múltiples pasos precisas y una optimización eficiente basada en gradientes directamente desde píxeles.
2. Conjuntos de Incertidumbre Conformalizados: El artículo introduce un método para calibrar tanto los errores de la dinámica latente como los errores del clasificador de seguridad latente utilizando Predicción Conforma, proporcionando conjuntos de incertidumbre estadísticamente válidos para la planificación robusta.
3. MPC Robusto Escalable: La integración de la incertidumbre calibrada por CP en la Síntesis a Nivel de Sistema acelerada por GPU permite un MPC robusto con restricciones de alcanzabilidad en espacios latentes de alta dimensión, una tarea previamente considerada computacionalmente prohibitiva.
4. Validación Empírica: El método se valida en diversas tareas basadas en visión (navegación, pick-and-place, manipulación de objetos deformables) tanto en simulación como en hardware real, demostando una capacidad de seguridad y de consecución de objetivos superior en comparación con las líneas base.

Resultados Experimentales

Los autores evaluaron SLS2 en cuatro tareas: Reacher, OGBench Cube, Push-T y una tarea de manipulación de Cuerda Bimanual.

• Desempeño de Planificación Nominal:

  • El planificador nominal de SLS2 (usando iLQR sobre el modelo aprendido) superó significativamente a las líneas base (Le-WM, DINO-WM, PLDM) en tasas de éxito.
  • Reacher: 83.5% de éxito (frente al 17–40% de las líneas base).
  • Rope (Cuerda): 93.75% de éxito (frente al 7–25% de las líneas base).
  • Los estudios de ablación confirmaron que la representación de estado markoviana y las pérdidas de entrenamiento de múltiples pasos fueron críticas para el desempeño.

• Desempeño de Seguridad Robusta:

  • En tareas con restricciones (por ejemplo, límites de ángulo de articulación, umbrales de altura, evitación de obstáculos), SLS2 logró tasas de seguridad del 100% en simulación y hardware, mientras que el iLQR no robusto con restricciones y otros filtros de seguridad (HJ-filtered, LPB) violaron las restricciones con frecuencia.
  • Éxito Robusto: SLS2 mantuvo altas tasas de finalización de tareas (por ejemplo, 88.57% en Rope, 94.29% en Cube) mientras cumplía estrictamente con las restricciones de seguridad.
  • Hardware: El método se implementó con éxito en brazos KUKA iiwa reales para la manipulación de cuerdas, demostrando la convergencia al estado objetivo directamente desde los píxeles sin una estimación de estado explícita.

Significado y Reivindicaciones

El artículo afirma que SLS2 cierra la brecha entre la flexibilidad de los modelos de mundo aprendidos y el rigor requerido para el control crítico para la seguridad. Al combinar la predicción conforme para la calibración estadística y la síntesis a nivel de sistema para la optimización robusta escalable, el método proporciona garantías probabilísticas de que el estado real del sistema permanecerá dentro de los límites seguros, incluso cuando opera en un espacio latente de alta dimensión con dinámicas imperfectas.

Los autores enfatizan que su enfoque no requiere representaciones de estado diseñadas a mano ni dinámicas conocidas, lo que lo hace aplicable a tareas complejas, deformables y visualmente ricas. Señalan que, si bien el método mejora significativamente la seguridad y las tasas de éxito, depende de la suposición de que las puntuaciones de residuo de bucle cerrado son intercambiables con las puntuaciones de calibración, y el rendimiento puede verse limitado por la suposición de representaciones latentes isotrópicas en tareas que requieren maniobras secuenciales complejas (como Push-T).