Resumen Técnico: Barrera de Política Latente (LPB)

Declaración del Problema

Las políticas visuomotoras entrenadas mediante Clonación de Comportamiento (BC) son inherentemente vulnerables al desplazamiento de covariables (covariate shift). En este escenario, las desviaciones menores de las trayectorias expertas durante la ejecución se acumulan con el tiempo, empujando al agente hacia estados fuera de la distribución (OOD, out-of-distribution) y provocando el fallo de la tarea.

Las estrategias de mitigación actuales enfrentan limitaciones significativas:

• Correcciones con humanos en el bucle (p. ej., DAgger): Requieren una intervención humana extensiva, son laboriosas y a menudo introducen demostraciones subóptimas o inconsistentes que degradan la calidad de la política.
• Aumento de Datos Sintéticos: Depende de supuestos o invarianzas fuertes específicas de la tarea y corre el riesgo de introducir ruido que comprometa la precisión de la imitación.
• Compromiso Fundamental: Existe una tensión entre la necesidad de datos expertos de alta calidad y consistencia para una imitación precisa y la necesidad de datos diversos, a menudo subóptimos, para asegurar la robustez frente a estados OOD. Construir un único conjunto de datos que equilibre estas necesidades es un desafío.

Metodología: Barrera de Política Latente (LPB)

Inspirado en las Funciones de Barrera de Control (CBF) en la teoría de control, LPB propone un marco que trata la distribución latente de las demostraciones expertas como una barrera implícita que separa los estados seguros (dentro de la distribución) de los estados inseguros (OOD). La innovación central es el desacoplamiento de la imitación experta precisa y la recuperación de OOD en dos módulos distintos.

1. Componentes de la Arquitectura

• Política de Difusión Base ($\pi_\theta$): Entrenada exclusivamente con un conjunto limitado de demostraciones expertas de alta calidad. Su único objetivo es la imitación precisa. Utiliza un codificador visual $h_\theta$ para mapear observaciones crudas a representaciones latentes.
• Modelo de Dinámica Latente Visual ($d_\phi$): Entrenado en un conjunto de datos más amplio y de calidad mixta, que comprende tanto las demostraciones expertas como datos de ejecución (rollout) generados automáticamente.
  • Recolección de Datos de Ejecución: Durante el entrenamiento, se guardan puntos de control intermedios de la política base y se ejecutan en el entorno. Esto genera pares estado-acción diversos que cubren desviaciones sin requerir teleoperación humana, anotaciones de recompensa o etiquetas de éxito.
  • Estructura del Modelo: El modelo de dinámica consiste en el codificador visual congelado $h_\theta$ (compartido con la política base) y un predictor de dinámica aprendible $f_\phi$ (implementado como un transformador de solo decodificador). Predice futuras observaciones latentes dado el estado latente actual y secuencias de acciones candidatas.

2. Fase de Entrenamiento

• Política Base: Optimizada mediante la pérdida de clonación de comportamiento sobre los datos expertos.
• Modelo de Dinámica: Entrenado utilizando una pérdida de Error Cuadrático Medio (MSE) en el espacio latente entre el estado latente futuro predicho y el estado latente futuro real. El uso del codificador congelado asegura la consistencia entre el espacio de decisión de la política y el espacio de predicción del modelo de dinámica.

3. Optimización en Tiempo de Inferencia (Direccionamiento/Steering)

En el tiempo de inferencia, LPB dirige activamente la política base para prevenir el desvío:

1. Detección de OOD: El sistema calcula una Puntuación de OOD Latente ($\delta$), definida como la distancia $\ell_2$ entre la observación codificada actual y su vecino más cercano en el espacio latente experto.
2. Umbralización: Si $\delta$ está por debajo de un umbral predefinido $\tau$, la política base se ejecuta normalmente.
3. Guía por Gradiente: Si $\delta > \tau$, el sistema invoca un mecanismo de corrección inspirado en la guía de clasificador en modelos de difusión.
   • El sistema predice futuros estados latentes usando el modelo de dinámica basado en secuencias de acciones candidatas.
   • Calcula el gradiente de la puntuación de OOD con respecto a la secuencia de acciones.
   • Este gradiente se utiliza para refinar la predicción de ruido en el proceso de eliminación de ruido (denoising) de la difusión, efectivamente atrayendo los estados futuros predichos de vuelta hacia el manifold experto.
   • Nota: Para asegurar la estabilidad, la guía por gradiente se aplica solo durante los últimos $K_{guide}$ pasos de eliminación de ruido (p. ej., los últimos 10 pasos de 100), donde las muestras son más estructuradas.

Contribuciones Clave

1. Marco de Aprendizaje Desacoplado: LPB separa el aprendizaje de la imitación precisa (Política Base) de la robustez (Modelo de Dinámica), permitiendo el uso de conjuntos de datos expertos pequeños y de alta calidad para la imitación, mientras se aprovechan datos de ejecución económicos y subóptimos para la robustez.
2. Mecanismo de Barrera Implícita: En lugar de requerir conjuntos de seguridad analíticos explícitos o dinámicas del sistema, LPB aprende una barrera implícita en el espacio latente definida por la distribución de los datos expertos.
3. Compatibilidad Plug-and-Play: Este método puede mejorar políticas pre-entrenadas estándar sin requerir el reentrenamiento o el ajuste fino (fine-tuning) de la política base misma, siempre que se pueda entrenar un modelo de dinámica con datos de ejecución.
4. Eficiencia de Datos: Al utilizar datos de ejecución generados automáticamente para el modelo de dinámica, LPB reduce la dependencia de correcciones humanas laboriosas.

Resultados Experimentales

Los autores evaluaron LPB en entornos simulados (Push-T, Robomimic, Libero-10) y tareas robóticas en el mundo real (Organización de Tazas, Ensamblaje de Cinturones).

• Eficiencia de Muestreo: En regímenes de pocos datos (p. ej., usando solo el 20% de las demostraciones expertas), LPB superó consistentemente a los modelos de referencia, incluyendo Expert BC, Mixed BC, Filtered BC, CQL y CCIL. Las mejoras fueron más pronunciadas en tareas de largo horizonte y sensibles a la precisión como Tool-Hang y Transport.
• Robustez ante Perturbaciones: Cuando se inyectó ruido Gaussiano en las acciones durante la inferencia, LPB mantuvo las tasas de éxito más altas en comparación con los modelos de referencia, demostando una resistencia superior al desplazamiento de covariables.
• Rendimiento en el Mundo Real:
  • Organización de Tazas: LPB logró recuperarse de poses iniciales fuera de la distribución (don donde la cámara no veía ni la taza ni el plato) dirigiendo al robot para revelar los objetos, mientras que la política base falló.
  • Ensamblaje de Cinturones: En una tarea rica en contactos que requiere alta precisión, LPB mejoró la tasa de éxito de 0.55 (Base BC) a 0.75, recuperándose con éxito de desviaciones iniciales que causaron el fallo de la política base.
• Ablación: El estudio confirmó que el modelo de dinámica se beneficia de la cobertura más amplia de estados-acción de los datos de ejecución, incluso cuando estos datos son subóptimos, y que la puntuación de OOD latente sirve como una señal fiable para detectar y corregir el desvío.

Significado y Reivindicaciones

El artículo afirma que LPB ofrece un camino práctico hacia un aprendizaje visuomotor fiable al resolver el compromiso entre la precisión de la imitación y la robustez. Al transformar la clonación de comportamiento de un imitador pasivo en un controlador activo y autocorrectivo, LPB permite:

• Manipulación fiable a partir de datos expertos limitados.
• Robustez sin corrección humana adicional o anotación.
• La capacidad de recuperarse de estados OOD dirigiendo la política de vuelta al manifold experto en el espacio latente.

Los autores reconocen limitaciones, señalando que LPB actualmente corrige desviaciones locales de corto plazo y requiere modelos de dinámica específicos para cada tarea. Se sugiere como trabajo futuro explorar el razonamiento de largo horizonte, modelos de dinámica multitarea para la generalización zero-shot y la cuantificación de la incertidumbre libre de distribución para escenarios que carecen de datos de entrenamiento experto.