Do What You Say: Steering Vision-Language-Action Models via Runtime Reasoning-Action Alignment Verification

Resumen Técnico: Dirección de Modelos de Visión-Lenguaje-Acción mediante la Verificación de Alineación entre Razonamiento y Acción en Tiempo de Ejecución

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han avanzado en el seguimiento de instrucciones robóticas mediante la integración de núcleos de visión-lenguaje preentrenados con cabezales de generación de acciones. Una evolución reciente, los "VLAs de Razonamiento", incorpora la Cadena de Pensamiento (CoT, Chain-of-Thought) para generar planes textuales intermedios antes de ejecutar acciones de bajo nivel. Si bien esto mejora el rendimiento en tareas complejas de largo horizonte, persiste un modo de fallo crítico: la Brecha de Fidelidad del CoT Encarnado (Embodied CoT Faithfulness Gap).

Incluso cuando un VLA de Razonamiento genera un plan textual correcto (por ejemplo, "recoger la sopa"), la secuencia de acciones de bajo nivel subsiguiente puede fallar al realizar físicamente dicho plan (por ejemplo, agarrando el queso crema en su lugar). Esta desalineación es particularmente prevalente en escenarios Fuera de Distribución (OOD) que involucran instrucciones, objetos o contextos visuales novedosos. El artículo formaliza esto como una falta de "fidelidad del CoT encarnado", donde los resultados físicos de las acciones no coinciden de manera fiable con el razonamiento autogenerado por el modelo. Los métodos de dirección en tiempo de ejecución existentes suelen depender de críticos aprendidos (como funciones Q) que tienen dificultades para generalizar ante cambios semánticos o visuales novedosos, fallando al verificar la alineación entre la intención de alto nivel y la ejecución de bajo nivel.

Metodología: SEAL (Dirección de Alineación entre Razonamiento y Acción Encarnada)

Los autores proponen SEAL, un marco de dirección de política en tiempo de ejecución libre de entrenamiento, diseñado para imponer la alineación entre razonamiento y acción. SEAL opera mediante el muestreo de múltiples secuencias de acciones candidatas, la simulación de sus resultados y la selección de aquella que mejor se alinea con el propio plan textual del modelo utilizando un Modelo de Lenguaje-Visión (VLM) preentrenado como verificador.

El proceso se desarrolla en tres etapas en cada paso de razonamiento, tras la generación de un nuevo plan textual $\hat{\ell}^r_t$:

1. Hipótesis (Hypothesize): La política base del VLA de Razonamiento ($\pi^{r\text{-}VLA}_\theta$) genera $K$ secuencias de acciones candidatas en paralelo. Estas secuencias son autorregresivas y de longitud variable, terminando cuando el modelo emite un token de "pensar" (que indica el regreso al razonamiento).
2. Predicción (Predict): Un modelo de dinámica (o una simulación de entorno en paralelo en el benchmark) predice la secuencia de observaciones futuras ($\hat{o}^{(k)}_{t:t+H}$) para cada secuencia de acciones candidata. Esto permite al sistema "mirar hacia adelante" al resultado potencial de cada hipótesis sin ejecutarlas en el robot.
3. Verificación (Verify): Un VLM preentrenado (por ejemplo, GPT-4o) actúa como verificador. Se le presenta como prompt la imagen inicial, la imagen final predicha de una secuencia candidata y el plan textual. El VLM asigna una puntuación binaria indicando si el resultado predicho cumple con éxito el plan. Se selecciona para su ejecución la secuencia de acciones con la puntuación de alineación más alta.

Optimización en Tiempo de Ejecución: Para minimizar la latencia, el marco emplea una estrategia de ejecución asíncrona. La etapa de verificación se ejecuta en paralelo con la generación de los candidatos subsiguientes. El sistema utiliza una estrategia de "salida temprana" (early-exit), ejecutando la primera secuencia de acciones candidata que el VLM verifica con éxito, en lugar de esperar a que todos los $K$ candidatos sean generados y evaluados.

Contribuciones Clave

1. Dirección de Política en Tiempo de Ejecución para la Alineación Razonamiento-Acción: El artículo introduce un marco que impone la fidelidad del CoT encarnado sin requerir un ajuste fino (fine-tuning) adicional. Al verificar las acciones frente al propio razonamiento textual del modelo, SEAL convierte la diversidad natural de acciones de la política de una fuente de error en una fortaleza, filtrando las ejecuciones desalineadas.
2. Experimentos de Generalización Extensos y Análisis de Escalamiento: Los autores demuestran que SEAL supera a las líneas base sólidas (incluyendo VLAs vanilla y la dirección basada en funciones Q) hasta en un 15% en tareas de composición de comportamiento y cambios OOD. Crucialmente, muestran que el rendimiento escala con el tamaño y la diversidad del conjunto de datos de ajuste fino; a medida que la política base genera un conjunto más rico de acciones candidatas, la capacidad del verificador para seleccionar la correcta mejora.
3. Conjunto de Datos Anotado con Razonamiento y Benchmark Extendido: Los autores contribuyen con una versión de código abierto del conjunto de datos LIBERO-100 anotada con razonamiento. También extienden el benchmark LIBERO con nuevas descripciones de tareas, variaciones visuales y tareas de composición de comportamiento diseñadas específicamente para evaluar la robustez OOD y la generalización compositiva.

Resultados Experimentales

Los experimentos se realizaron en la suite de benchmarks LIBERO utilizando tres conjuntos de datos de escala creciente (LIBERO-10, LIBERO-100-Basket, LIBERO-100).

• Rendimiento en Distribución (ID): En tareas ID estándar, SEAL alcanzó tasas de éxito de 94–97%, superando al VLA de razonamiento base ($\pi^{0\text{-}reason}$) y a la dirección por función Q ($\pi^{0\text{-}V\text{-}GPS}$). La mejora proviene de filtrar las secuencias de acciones que, aunque plausibles, no coinciden con el subobjetivo específico definido en el plan textual.
• Composición de Comportamiento: En tareas novedosas que requieren la recombinación de habilidades aprendidas (por ejemplo, "poner A y C en la cesta" cuando se entrenó en "A+B" y "C"), SEAL mostró ganancias significativas. Mientras que las líneas base se estancaron en ~15%, SEAL alcanzó hasta un 53% de éxito en el conjunto de datos más grande, demostrando que la verificación permite al modelo aprovechar sus capacidades de razonamiento de manera efectiva incluso cuando la generación de acciones es ruidosa.
• Robustez OOD:
  • Cambios Semánticos: SEAL mantuvo >91% de éxito en instrucciones reformuladas y cambios en las propiedades de los objetos, mientras que las líneas base sin razonamiento cayeron significativamente.
  • Cambios Visuales: En el cambio de "Perspectiva Visual" (Visual-Viewpoint) más desafiante (cambio de ángulos de cámara y fondos), SEAL mantuvo una tasa de éxito del 45%, superando a la siguiente mejor línea base por más de 17 puntos. Esto destaca la capacidad del verificador para filtrar acciones que fallan bajo severas perturbaciones visuales.
• Ley de Escalamiento: Aumentar el número de candidatos muestreados ($K$) de 1 a 10 resultó en una ganancia de rendimiento del 15% en tareas de composición y episodios más cortos. El tiempo de inferencia escaló linealmente con $K$, manteniéndose competitivo con trabajos previos.

Significancia y Reivindicaciones

El artículo sostiene que el cuello de botella principal en los actuales VLAs de Razonamiento no es la generación del plan, sino la ejecución fiel de ese plan. Al introducir un bucle de verificación en tiempo de ejecución que comprueba explícitamente la alineación razonamiento-acción, los autores demuestran que:

1. La fidelidad es accionable: Asegurar que un robot "haga lo que dice" aumenta significativamente la robustez en escenarios OOD y la generalización compositiva.
2. La diversidad es una fortaleza: En lugar de suprimir la estocasticidad de la generación de acciones, SEAL la aprovecha mediante el muestreo de múltiples hipótesis y la selección de aquella que se alinea con el plan semántico.
3. Mejora sin entrenamiento: Se pueden lograr altas ganancias de rendimiento sin reentrenar la política subyacente, simplemente añadiendo un paso de verificación utilizando VLMs comerciales.

Los autores concluyen que verificar lo que un robot hace frente a lo que dice es un paso crítico hacia la construcción de agentes robóticos más robustos, confiables y generalizables. Reconocen las limitaciones, incluyendo la dependencia de la calidad de las propuestas del modelo base y la carga computacional de la verificación por VLM, pero posicionan a SEAL como un paso significativo para abordar la brecha de fidelidad del CoT encarnado.