Resumen Técnico: Razonamiento Latente VLA (LaRA-VLA)

Enunciado del Problema

Los modelos Visión-Lenguaje-Acción (VLA) han demostrado un potencial significativo para la manipulación robótica escalable al mapear observaciones multimodales e instrucciones de lenguaje a comandos de control continuos. Una estrategia predominante para mejorar el rendimiento implica el razonamiento de Cadena de Pensamiento (CoT), que proporciona pasos intermedios estructurados para la descomposición y planificación de tareas. Sin embargo, los enfoques CoT existentes enfrentan dos limitaciones fundamentales:

1. Alta Sobrecarga de Inferencia: Los métodos CoT basados en texto requieren generar extensos tokens de razonamiento discretos durante la inferencia. Esto conduce a costos computacionales sustanciales, un uso excesivo de la memoria caché KV y una alta latencia, reduciendo a menudo las frecuencias de control por debajo de 5 Hz, lo cual es insuficiente para el control robótico en tiempo real.
2. Incompatibilidad Representacional: La mayoría de las formulaciones CoT dependen de representaciones discretas (tokens de lenguaje o tokens visuales discretos de tokenizadores basados en VQ). Esto crea una incompatibilidad con la naturaleza inherentemente continua de los espacios de percepción y acción robóticos. Confinar el razonamiento a tokens discretos puede obstaculizar la fluidez requerida para el control encarnado.

Metodología: LaRA-VLA

Para abordar estos desafíos, los autores proponen Razonamiento Latente VLA (LaRA-VLA), un marco unificado que internaliza el razonamiento CoT multimodal en representaciones latentes continuas. En lugar de generar trazas de razonamiento explícitas durante la inferencia, LaRA-VLA realiza el razonamiento y la predicción enteramente dentro de un espacio latente, alineándose con la percepción y el control continuos.

1. Construcción de Datos

Los autores desarrollaron una tubería de anotación automatizada para construir conjuntos de datos CoT estructurados (LIBERO-LaRA y Bridge-LaRA) tanto para entornos de simulación como del mundo real. Esta tubería emplea un paradigma de "ancla primero, generar después":

• Anclas Semánticas: Extraídas utilizando Qwen3-VL para identificar los objetos manipulados a partir de los cuadros iniciales y las instrucciones.
• Anclas Temporales: Generadas al segmentar las trayectorias del robot en etapas atómicas basadas en cambios en el estado del efector final.
• Anotaciones: El sistema genera descripciones concisas de subtareas, cuadros delimitadores de objetos objetivo temporalmente consistentes (mediante GroundingDINO y SAM3) y razonamiento de movimiento derivado de las trayectorias del efector final.

2. Arquitectura del Modelo

LaRA-VLA utiliza Qwen3-VL como modelo de lenguaje y visión (VLM) base, heredando su codificador de imágenes para representaciones visuales consistentes.

• Latentes de Objetivo Visual: Se introduce un token dedicado <img next> para representar latentes visuales predichos, permitiendo una supervisión y alineación explícitas durante las etapas tempranas del entrenamiento.
• Experto en Acción: En la etapa final, la generación de acciones se desacopla de la decodificación autoregresiva de tokens. Un Transformador de Difusión de 16 capas (Diffusion Transformer) actúa como un experto en acción, condicionándose sobre representaciones latentes aprendidas para producir trayectorias de acción continuas.

3. Entrenamiento por Currículo de Tres Etapas

El paradigma de entrenamiento sigue una transición progresiva desde el razonamiento explícito hasta el razonamiento latente encarnado:

• Etapa I: Ajuste Fino CoT Explícito. El modelo se ajusta finamente en conjuntos de datos con anotaciones CoT textuales explícitas y predicciones de objetivos visuales. Aprende a generar tokens CoT discretos de manera autoregresiva y a alinear latentes visuales futuros ($z_{t+1}$) utilizando un codificador objetivo de Promedio Móvil Exponencial (EMA) para prevenir el colapso de la representación. Los tokens de acción también se entrenan mediante un objetivo de dinámica inversa.
• Etapa II: Reemplazo Basado en Currículo. Los tokens CoT discretos se enmascaran progresivamente y se reemplazan por representaciones latentes continuas aprendibles. La proporción de tokens explícitos disminuye según un programa de currículo, mientras que el modelo depende cada vez más del razonamiento latente, guiado por objetivos de predicción visual y señales de acción.
• Etapa III: Generación de Acción mediante Emparejamiento de Flujos. Se elimina la supervisión CoT explícita. El modelo se adapta al control continuo utilizando un objetivo de emparejamiento de flujos. El experto en acción predice un campo de velocidad condicionado al contexto latente multimodal (entradas visuales/textuales actuales, latentes de razonamiento intermedios y latentes visuales futuros predichos) para generar trayectorias de acción continuas sin generación explícita de CoT.

4. Mecanismo de Atención

Un mecanismo de atención especializado regula el flujo de información entre tokens. En las Etapas I y II, los tokens de imagen futuros atienden causalmente a los tokens de texto e imagen actuales. En la Etapa III, los tokens de acción se excluyen del cálculo de atención, y el modelo opera únicamente sobre tokens de texto y visión bajo las mismas restricciones, asegurando una inferencia eficiente.

Contribuciones Clave

1. Paradigma de Razonamiento Latente: El artículo introduce un paradigma donde el razonamiento CoT se internaliza en representaciones latentes continuas a través de modalidades textuales y visuales, permitiendo un razonamiento eficiente en inferencia que se alinea con la percepción y el control continuos.
2. Marco LaRA-VLA: Un modelo VLA unificado que realiza este paradigma mediante una estrategia de entrenamiento basada en currículo, transitando desde la supervisión CoT multimodal explícita hasta el razonamiento latente encarnado, estabilizado por codificadores visuales basados en EMA.
3. Conjuntos de Datos Estructurados: La construcción de dos conjuntos de datos CoT estructurados (LIBERO-LaRA y Bridge-LaRA) que presentan anotaciones de razonamiento multimodal (descomposición de subtareas, razonamiento de movimiento, localización de objetivos) para la manipulación encarnada.

Resultados Experimentales

Los autores evaluaron LaRA-VLA en puntos de referencia de simulación (LIBERO, SimplerEnv) y tareas de manipulación de robots reales de largo horizonte.

• Rendimiento en Simulación: En el punto de referencia LIBERO, LaRA-VLA logró una tasa de éxito promedio de vanguardia del 97.9%, superando tanto a las líneas base sin CoT (por ejemplo, OpenVLA, $\pi_0$) como a los métodos CoT explícitos (Textual y Visual). En SimplerEnv-WidowX, alcanzó la tasa de éxito promedio más alta del 68.8%, demostrando una superior generalización de real a simulación.
• Rendimiento en el Mundo Real: En tareas de largo horizonte en el mundo real (por ejemplo, ordenar frutas, apilar cuencos), LaRA-VLA logró la tasa de éxito promedio más alta entre los métodos comparados (ACT, ECoT, GR00T N1.5), destacando particularmente en tareas que requieren razonamiento multietapa y coordinación temporal.
• Eficiencia de Inferencia: LaRA-VLA redujo la latencia de inferencia hasta un 90% en comparación con los enfoques basados en CoT explícito, logrando un tiempo de ejecución de 135 ms en una GPU NVIDIA A100. Esto permite frecuencias de control adecuadas para la robótica en tiempo real.
• Robustez: El modelo demostró una mayor robustez ante perturbaciones visuales (ruido gaussiano y desenfoque) en comparación con las líneas base no latentes, manteniendo las representaciones latentes semánticamente consistentes bajo corrupción.
• Estudios de Ablación: Los resultados confirmaron que la supervisión CoT latente proporciona mayores ganancias que el CoT textual explícito. La combinación de CoT latente textual y visual produjo el mejor rendimiento, destacando el beneficio de la alineación multimodal.

Significado y Afirmaciones

El artículo afirma que LaRA-VLA demuestra que el razonamiento estructurado para agentes encarnados puede realizarse efectivamente en el espacio latente sin generación explícita de cadena de pensamiento durante la inferencia. Al internalizar el razonamiento en dinámicas latentes continuas, el enfoque resuelve la incompatibilidad representacional entre tokens discretos y control continuo, reduciendo significativamente la sobrecarga computacional. Los autores postulan que este paradigma ofrece un camino viable hacia una manipulación robótica eficiente, en tiempo real y robusta, superando las limitaciones de las trazas de razonamiento verbosas y discretas.

Los autores reconocen limitaciones, señalando que las representaciones latentes pueden sufrir colapso sin supervisión explícita (mitigado aquí al restringir los tokens latentes y utilizar EMA) y que el proceso de entrenamiento por currículo incurre en mayores costos durante las fases de transición. Sin embargo, el trabajo establece una base para un razonamiento orientado a la acción eficiente en modelos VLA.