CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

Resumen Técnico: CAST – Las etiquetas contrafácticas mejoran el seguimiento de instrucciones en modelos de Visión-Lenguaje-Acción

Declaración del Problema
Los robots generalistas requieren la capacidad de seguir instrucciones de lenguaje de vocabulario abierto y diversas. Aunque los modelos de Visión-Lenguaje-Acción (VLA) ofrecen una arquitectura prometedora para mapear el lenguaje a acciones robóticas, actualmente tienen dificultades para el seguimiento de instrucciones finas. Una limitación primaria es la falta de diversidad semántica y de fundamentación lingüística en los conjuntos de datos robóticos existentes. En muchos conjuntos de datos, las observaciones están altamente correlacionadas con acciones específicas (por ejemplo, un cajón implica "abrir el cajón"), lo que conduce al colapso de la posterior (posterior collapse). En este fenómeno, la política aprende a ignorar las entradas de lenguaje y a inferir las tareas basándose únicamente en las observaciones visuales porque el lenguaje no proporciona información predictiva adicional. Además, los conjuntos de datos existentes suelen carecer de la diversidad de tareas finas para observaciones similares, y algunos conjuntos de datos de navegación carecen por completo de etiquetas de lenguaje. Escalar la curación de datos para abordar estos problemas es costoso y tedioso.

Metodología: Aumentación Contrafáctica con Trayectorias Sintéticas (CAST)
Los autores proponen CAST, un marco de aumentación de datos que aprovecha los Modelos de Visión-Lenguaje (VLM) para generar etiquetas de lenguaje contrafácticas y acciones sintéticas para conjuntos de datos de trayectorias robóticas existentes y no curados. La idea central es que, al entrenar políticas en múltiples acciones distintas asociadas con la misma observación (pero impulsadas por diferentes instrucciones), se obliga al modelo a atender a la entrada de lenguaje para predecir la acción correcta, mitigando así el colapso de la posterior.

El flujo de trabajo de CAST opera en cuatro etapas principales:

1. Identificación de Puntos de Decisión: Las trayectorias existentes se segmentan en fragmentos atómicos basados en cambios de comportamiento (por ejemplo, girar, detenerse). Estos límites sirven como puntos de decisión.
2. Generación de Instrucciones Contrafácticas: En cada punto de decisión, se consulta a un VLM (específicamente Gemini 2.5 Pro) con la observación actual y el contexto de la trayectoria original. El VLM genera instrucciones contrafácticas plausibles (por ejemplo, "Girar a la izquierda" en lugar de la ejecutada "Girar a la derecha") y comandos atómicos correspondientes (por ejemplo, "girar a la izquierda").
3. Generación de Acciones Sintéticas: Se utiliza una política atómica ($\pi_a$) preentrenada, entrenada con datos reales de robots para seguir comandos atómicos simples (por ejemplo, "ir hacia adelante", "girar a la izquierda"), para generar los fragmentos de acción reales para estas instrucciones contrafácticas. Esta política se desprende de la trayectoria original para crear un nuevo y plausible "final contrafáctico".
4. Aumentación del Conjunto de Datos: Las trayectorias originales se aumentan con estos tuplas de $(observación, instrucción\_contrafáctica, acción\_contrafáctica)$. Este conjunto de datos expandido se utiliza para entrenar la política VLA final, denominada CounterfactualVLA.

Los autores proporcionan una motivación teórica basada en la información mutua. Argumentan que el seguimiento del lenguaje mejora maximizando la información mutua $I(a; \ell|o)$ entre la acción ($a$) y el lenguaje ($\ell$) condicionada a la observación ($o$). Al aumentar la entropía de los comandos atómicos ($H(\ell_a|o)$) para una observación dada, asegurando al mismo tiempo que el comando atómico sea predecible a partir de la instrucción completa ($H(\ell_a|\ell, o)$), CAST efectivamente eleva una cota inferior de esta información mutua.

Detalles de Implementación
Los autores instancian CAST en dos dominios:

• Navegación: Utilizando el conjunto de datos GNM (interior/exterior), emplean un flujo de trabajo de relabelado retrospectivo (hindsight relabeling) para generar etiquetas iniciales para datos no etiquetados. Segmentan las trayectorias en comportamientos atómicos (girar a la izquierda/derecha, ir hacia adelante, detenerse) para entrenar una política atómica. El VLM genera prompts de navegación contrafácticos, y la política atómica sintetiza los fragmentos de acción correspondientes.
• Manipulación: Utilizando el conjunto de datos Bridge, utilizan etiquetas de nivel de tarea existentes y descomposiciones de subtareas (por ejemplo, "recoger", "mover a") como comandos atómicos. El VLM genera tareas contrafácticas (por ejemplo, colocar un objeto en una superficie diferente), y una Política Dirigible (Steerable Policy) preentrenada genera las acciones.

En ambos casos, el CounterfactualVLA es una versión ajustada de la VLM PaliGemma de 3B, entrenada con el conjunto de datos aumentado utilizando el fragmentado de acciones (action chunking) para asegurar la consistencia temporal.

Resultados Experimentales
Los autores evalúan el método a través de varias perspectivas:

• Calidad de las Etiquetas: Jueces humanos evaluaron la precisión de las etiquetas generadas respecto a objetos, movimiento y fundamentación de la escena. Se encontró que las etiquetas contrafácticas eran precisas y plausibles.
• Rendimiento de Navegación: CounterfactualVLA fue probado en 27 tareas de seguimiento de instrucciones en tres entornos (oficina, cocina, parque exterior). Las tareas incluyeron navegación de objetos, navegación referencial (relaciones espaciales) y navegación continua.
  • CounterfactualVLA superó a los VLAs entrenados con datos no aumentados en un 27%.
  • Logró una tasa de éxito el doble que la del modelo base.
  • Superó a los métodos de vanguardia en el dominio.
• Rendimiento de Manipulación: Evaluado en tareas de recoger y colocar con distractores, el método mostró una mejora del 27% en el rendimiento sobre un VLA entrenado con datos estándar.

Significancia y Reivindicaciones
El artículo afirma que CAST proporciona un método escalable y eficiente en términos de datos para mejorar la capacidad de direccionabilidad y seguimiento de instrucciones de las políticas VLA sin requerir la recolección adicional de datos en el mundo real. Al aprovechar VLMs comerciales para generar datos contrafácticos, el método aborda el problema del "colapso de la posterior" inherente a los conjuntos de datos actuales. Los autores posicionan este trabajo como un "primer paso hacia un seguimiento de lenguaje de conjunto abierto real", demostrando que aumentar los conjuntos de datos existentes con contrafácticos sintéticos puede mejorar significativamente la capacidad de un robot para seguir comandos complejos y finos en entornos diversos. El código, los datos y los checkpoints se liberan de forma abierta para facilitar la investigación posterior.