Where Should Action Generation Begin? A Learnable Source Prior for Generative Robot Policies

Resumen Técnico: LeaP - Un Prior de Fuente Aprendible para Políticas Robóticas Generativas

Planteamiento del Problema
Las políticas robóticas generativas, incluyendo los enfoques basados en difusión y de ajuste de flujo (flow-matching), formulan típicamente la generación de acciones como un muestreo condicional. A pesar de la diversidad arquitectónica, estos métodos comparten una limitación común: inicializan la generación de acciones desde una distribución Gaussiana estándar independiente de la observación, $N(0, I)$. Esta distribución de origen no contiene información relativa al estado actual del robot o al contexto de la tarea. En consecuencia, el modelo generativo debe gastar una parte significativa de su "presupuesto de integración" para transportar las muestras desde esta fuente de ruido no informada hacia acciones relevantes para la tarea. Trabajos recientes han intentado reemplazar esta Gaussiana estándar con fuentes deterministas derivadas de la observación (por ejemplo, estimaciones puntuales de la propiocepción o latentes visuales), pero pasan por alto en gran medida la incertidumbre inherente a la distribución de origen. La pregunta central abordada por este trabajo es: ¿Dónde debería comenzar la generación de acciones?, investigando específicamente si la fuente debe ser determinista o distributiva, y si, siendo distributiva, su varianza debe ser fija o adaptativa al estado.

Metodología: LeaP
Los autores proponen LeaP (Prior de Fuente Aprendible), un marco que reemplaza la fuente Gaussiana estándar con una Gaussiana diagonal aprendible y condicionada por la propiocepción sobre bloques de acciones (action chunks). Los componentes clave son:

1. Red de Prior ($g_\phi$): Un MLP ligero de dos capas que mapea las características del estado propioceptivo ($z_s$) a la media ($\mu_\phi$) y a la varianza adaptativa al estado ($\sigma^2_\phi$) de una distribución Gaussiana diagonal. Crucialmente, el prior se condiciona solo a la propiocepción, dejando todo el condicionamiento (visual + propioceptivo) al generador posterior.
2. Inicialización Estocástica: Durante la inferencia, la muestra de origen $z_0$ se extrae de esta Gaussiana aprendida $q_\phi(z_0 | z_s)$ en lugar de $N(0, I)$. Esto proporciona una inicialización que es tanto informada por la observación (anclada en un vecindario dependiente del estado) como estocástica.
3. Diseño Plug-and-Play: LeaP modifica únicamente la distribución de origen. La arquitectura del generador posterior (por ejemplo, ajuste de flujo o puente de difusión), la dinámica generativa y el resolvedor de inferencia permanecen sin cambios.
4. Objetivo de Entrenamiento Conjunto: La red del prior y el generador se entrenan de extremo a extremo utilizando una función de pérdida compuesta:
   • Pérdida de Ajuste de Flujo ($L_{flow}$): Supervisa el campo de velocidad $v_\theta$ para transportar $z_0$ hacia la acción objetivo.
   • Log-Verosimilitud Negativa ($L_{NLL}$): Supervisa la densidad condicional del prior, asegurando que la media y la varianza predichas se alineen con los bloques de acciones de los expertos.
   • Pérdida de Alineación Contrastiva ($L_{align}$): Una pérdida simétrica de tipo CLIP que impone una correspondencia a nivel de instancia entre las muestras de origen y las acciones en un espacio de incrustación (embedding) aprendido.

Contribuciones Clave

• Reencuadre de la Distribución de Origen: El artículo identifica la distribución de origen como un eje de diseño independiente y reutilizable para las políticas robóticas generativas, distinto de la elección de la dinámica generativa.
• Varianza Adaptativa al Estado: A diferencia de los fuentes deterministas previos o las heurísticas de varianza fija, LeaP aprende conjuntamente la media y una varianza adaptativa al estado, modelando explícitamente la incertidumbre de la fuente.
• Selección de Modalidad: Los autores demuestran que la propiocepción por sí sola es suficiente para parametrizar el prior, y que incorporar características visuales en el prior en realidad degrada el rendimiento en su configuración.
• Compatibilidad Plug-and-Play: El método mejora tanto los generadores de ajuste de flujo como los de puente de difusión sin alterar sus arquitecturas internas.

Resultados Experimentales
Los autores evaluaron LeaP en 15 tareas de manipulación bimanual en el entorno de simulación RoboTwin 2.0 y en tres tareas del mundo real con un robot Franka Research 3.

• Rendimiento en Simulación: LeaP alcanzó una tasa de éxito promedio del 81.6%, superando a cuatro líneas base representativas (métodos de fuente determinista A2A y VITA, un contraparte sin prior, y una política de puente de difusión) por 6.5 a 25.5 puntos porcentuales. La brecha más grande (25.5 pp) se observó frente a la línea base "NoPrior", que compartía exactamente la misma arquitectura de generador pero utilizaba $N(0, I)$, confirmando que la ganancia proviene del propio prior aprendible.
• Eficiencia: LeaP utiliza significativamente menos parámetros (13.22M en total, con la cabeza del prior representando solo 0.21M) en comparación con líneas base como ACT o BridgePolicy. También exhibe una convergencia de entrenamiento más rápida y estable.
• Despliegue en el Mundo Real: En experimentos del mundo real, LeaP mantuvo el rendimiento superior con una tasa de éxito promedio del 80.0%, superando a la siguiente mejor línea base (A2A) por 11.7 puntos porcentuales.
• Estudios de Ablación:
  • Modalidad de Entrada: Condicionar el prior únicamente con la propiocepción produjo los mejores resultados; fusionar características visuales en el prior redujo el rendimiento.
  • Parametrización: Aprender conjuntamente la media y la varianza adaptativa al estado fue crítico; las alternativas deterministas o de varianza fija funcionaron peor.
  • Generadores: El prior mejoró consistentemente el rendimiento a través de diferentes arquitecturas de generador.

Significado y Reivindicaciones
El artículo afirma que la distribución de origen es una dimensión de diseño crítica, aunque poco explorada, en las políticas robóticas generativas. Al pasar de una Gaussiana estándar no informada a un prior estocástico aprendible y condicionado por la propiocepción, el generador queda libre de la carga de transportar muestras desde una fuente de ruido distante. En su lugar, el prior coloca la muestra inicial en una "región propioceptivamente plausible", permitiendo que el generador se concentre en el refinamiento preciso y condicionado por la observación. Los autores sostienen que este enfoque ofrece una palanca de bajo costo para mejorar el rendimiento de la política, la velocidad de convergencia y la robustez, complementando las elecciones existentes en la dinámica generativa.