Resumen Técnico: Aprender Conjuntamente Predicados y Acciones Habilita la Composición de Habilidades Zero-Shot

1. Definición del Problema

El Aprendizaje por Demonstración (LfD) ha permitido a los robots adquirir comportamientos complejos, sin embargo, las políticas visuomotoras generativas existentes a menudo fallan al generalizar a nuevas composiciones de habilidades conocidas sin reentrenamiento. Los enfoques actuales suelen modelar distribuciones sobre trayectorias de acción únicamente. Aunque efectivos para capturar comportamientos multimodales, estos modelos carecen de la capacidad de razonar sobre los resultados simbólicos (cambios de estado) inducidos por las acciones. Esta limitación crea una brecha en tareas de horizonte largo donde el desplazamiento de la distribución se complica y el espacio de variaciones de la tarea crece combinatoriamente.

Trabajos anteriores que intentaron cerrar esta brecha a menudo desacoplaron componentes: entrenar un modelo para generar acciones y un modelo separado para clasificar predicados a partir de observaciones. Esta separación ignora el acoplamiento estrecho entre las acciones de manipulación y sus efectos simbólicos. En consecuencia, pueden surgir inconsistencias en tiempo de inferencia donde el estado simbólico predicho no se alinea con el modo de acción real, obstaculizando una composición basada en planificación robusta.

2. Metodología: Habilidades Predicado-Acción (PACTS)

Los autores proponen Habilidades Predicado-Acción (PACTS), una clase de políticas visuomotoras de bucle cerrado que modelan las habilidades como un proceso generativo conjunto sobre trayectorias de acción ($x$) y trayectorias de creencia de predicados ($z$).

Formulación Central

En lugar de aprender $p(x|o)$ y $p(z|o)$ por separado, PACTS aprende una distribución acoplada:
$$(x, z) \sim p_\theta(x, z | o)$$
donde:

• $x$ es la trayectoria de acción sobre un horizonte $H$.
• $z$ es una trayectoria de creencia de predicados, que representa un rastro compacto de valores de verdad suaves (puntuaciones de confianza en $[0, 1]$) para un conjunto de predicados $J$ a lo largo del tiempo.
• $o$ es la observación actual.

Al muestrear de esta distribución conjunta, el modelo produce pares coherentes donde el compromiso con un modo de acción específico compromete inherentemente el rastro simbólico correspondiente.

Implementación Arquitectónica

• Variable Conjunta: El modelo define una variable de trayectoria conjunta $y \triangleq [x | z]$ y aprende un único modelo generativo condicional $p_\theta(y | o)$.
• Objetivos: El marco soporta tanto Modelado Probabilístico de Difusión de Eliminación de Ruido (DDPM) como Emparejamiento de Flujos Condicionales (CFM).
  • DDPM: Entrena una red de predicción de ruido $\epsilon_\theta$ para eliminar el ruido de la variable conjunta $y$.
  • CFM: Entrena un campo vectorial $v_\theta$ para transportar ruido a datos a lo largo de una ruta de transporte óptimo.
• Backbones: El generador de trayectorias puede instanciarse con una UNet temporal (convoluciones 1D) o un Transformer (autoatención sobre pasos de tiempo).
• Ejecución: PACTS opera de manera de horizonte deslizante. En cada ciclo de control, se condiciona sobre la observación actual, muestrea un despliegue conjunto $(x, z)$, ejecuta un prefijo de la acción y vuelve a muestrear.

Composición Basada en Planificación

La trayectoria de creencia de predicados generada $z$ sirve como una interfaz simbólica en línea para la planificación.

1. Estimación de Estado: Los valores de creencia continuos en $z$ se umbralizan (ej. $>0.5$) para producir estados de predicados discretos $\hat{p}_t$.
2. Bucle de Planificación: Un planificador PDDL estándar utiliza estos estados predichos para:
   • Verificar precondiciones y efectos.
   • Secuenciar habilidades para lograr objetivos.
   • Disparar re-planificación si se violan los efectos predichos de una habilidad (ej. debido a perturbaciones ambientales).
     Esto habilita la composición zero-shot, permitiendo a los robots secuenciar habilidades aprendidas para lograr objetivos novedosos sin reentrenamiento.

Herramientas de Datos

Para facilitar el despliegue en el mundo real, los autores introducen un kit de herramientas de segmentación y etiquetado de habilidades. Esta herramienta convierte conjuntos de datos de demostración monolíticos (ej. formato LeRobot) en conjuntos de datos centrados en habilidades mediante:

• Anotación de fotogramas clave dispersos con predicados anclados.
• Interpolación de estos en etiquetas densas por paso de tiempo.
• Segmentación de episodios en trayectorias contiguas por habilidad basadas en configuraciones de predicados que logran el objetivo.

3. Contribuciones Clave

El artículo hace tres contribuciones principales:

1. Formulación Generativa Conjunta: Un modelo de habilidad que trata las trayectorias de acción y los rastros de predicados como un proceso generativo acoplado, produciendo despliegues coherentes de acción-resultado dentro de un único modelo.
2. Composición Basada en Planificación: Un método para secuenciar y monitorear habilidades utilizando rastros de creencia de predicados como una interfaz en línea, habilitando la composición zero-shot con planificadores estándar.
3. Kit de Herramientas de Código Abierto: Un kit de herramientas de segmentación y etiquetado que convierte demostraciones monolíticas en conjuntos de datos adecuados para el aprendizaje conjunto $(x, z)$.

4. Resultados Experimentales

Los autores evaluaron PACTS en un benchmark composicional 2D (PushBarrier), dos tareas 3D de RoboMimic (Cocina y Preparación de Café) y una tarea real de empaquetado de cubos.

Rendimiento de Política Única

• Calidad de Acción: En el entorno 2D PushBarrier, PACTS logró recompensas de tarea perfectas o casi perfectas (Recompensa Máxima $\approx 1.0$) en diversos backbones (UNet/Transformer) y objetivos (DDPM/CFM), superando o igualando las líneas base solo de acción. En tareas 3D, PACTS permaneció competitivo con políticas solo de acción, demostrando que añadir modelado de resultados no degrada el rendimiento de control.
• Predicción de Predicados: PACTS superó consistentemente a las líneas base en clasificación de predicados (F1, Recall, Precisión, Exactitud). Notablemente, superó a una línea base de múltiples tareas con un codificador compartido pero cabezas separadas, sugiriendo que el muestreo conjunto proporciona un sesgo inductivo más fuerte que el simple compartir parámetros.

Coherencia y Composición

• Coherencia Predicado-Acción: Los experimentos mostraron que los despliegues de creencia predichos por PACTS coincidían estrechamente con los resultados reales realizados al ejecutar las acciones generadas (bajas puntuaciones de Cross-Brier y Cross-NLL), confirmando que el rastro simbólico es dependiente de la acción y no un prior.
• Composición Zero-Shot: En simulación y entornos del mundo real, el sistema compuso con éxito sub-habilidades aprendidas para lograr objetivos novedosos (ej. empaquetar solo cubos de colores específicos) que no se demostraron de extremo a extremo.
• Recuperación Adversarial: El sistema demostró la capacidad de detectar cuando los efectos de una habilidad se violaron (ej. una puerta cerrándose a mitad de ejecución) a través de la interfaz de predicados, disparando re-planificación para recuperarse y completar la tarea.

5. Significado y Afirmaciones

El artículo argumenta que la limitación fundamental en el aprendizaje actual de habilidades es el desacoplamiento de las acciones de sus resultados simbólicos. Al modelar las habilidades como despliegues conjuntos de acción-resultado, PACTS proporciona una interfaz "alineada con el planificador" que es naturalmente consistente con el comportamiento de la política.

Los autores afirman que este enfoque habilita:

• Generalización Robusta: La capacidad de secuenciar habilidades para composiciones de tareas no vistas sin reentrenamiento.
• Monitoreo Confiable: Una interfaz simbólica en línea que permite a los planificadores verificar el progreso de la ejecución y detectar fallos.
• Sesgo Inductivo: Aprender la distribución acoplada alienta a la política a representar la relación específica entre modos de acción y transiciones simbólicas, mejorando tanto el control como la predicción.

El artículo concluye con modestia, reconociendo que el rendimiento depende de la calidad del conjunto de predicados y que el enfoque actual asume un dominio simbólico definido manualmente. Sin embargo, postula que el modelado conjunto de acciones y resultados es un paso necesario hacia habilidades robóticas escalables, confiables y composibles.