Resumen Técnico: Revisitando el Pensamiento de Cadena de Pensamiento Corporeizado para la Manipulación Robótica Generalizable

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han emergido como un paradigma prometedor para el control robótico generalizable mediante la transferencia de prioridades semánticas de los Modelos de Visión-Lenguaje (VLM) a gran escala hacia la toma de decisiones corporeizada. Sin embargo, una percepción mejorada y una cobertura semántica más amplia no garantizan inherentemente una mejor generación de acciones. Los modelos VLA suelen tener dificultades en escenarios complejos y fuera de la distribución que requieren deliberación antes de la ejecución.

Aunque métodos previos de Pensamiento de Cadena de Pensamiento Corporeizado (ECoT) han intentado cerrar esta brecha supervisando trazas de razonamiento explícitas, varios problemas críticos permanecen sin resolver:

1. Forma e Integración: No está claro qué formas de razonamiento corporeizado (por ejemplo, comprensión de la escena, anclaje espacial, predicción de trayectoria) facilitan genuinamente una generación de acciones efectiva frente a aquellas que simplemente añaden sobrecarga verbal.
2. Interacción con la Política: Las formulaciones tempras de ECoT modelan el razonamiento como un prefijo autorregresivo a la generación de acciones. Este diseño es frágil; las trazas de razonamiento largas aumentan la latencia, y los errores en el prefijo de razonamiento se acumulan durante la inferencia, afectando negativamente los tokens de acción subsiguientes.
3. Escalabilidad: El comportamiento de escalado de los datos de CoT no está claro. Los conjuntos de datos de CoT corporeizados a gran escala son escasos debido al alto costo de anotación, y se desconoce si escalar la supervisión del razonamiento produce una generación de acciones más fuerte o introduce ruido que obstaculiza el aprendizaje.
4. Contaminación de CoT: En conjuntos de datos de gran escala con etiquetas automáticas, las etiquetas ruidosas (por ejemplo, cuadros delimitadores inestables, coordenadas del efector final a la deriva) pueden imponer una supervisión inconsistente en observaciones semánticamente similares, dificultando la adaptación.

Metodología: ERVLA

Los autores proponen ERVLA (Embodied Reasoning Vision-Language-Action), un modelo diseñado para aprovechar eficazmente el razonamiento lingüístico para la manipulación robótica generalizable sin depender de un CoT obligatorio en tiempo de prueba.

1. Corpus de CoT Corporeizado a Gran Escala

Los autores curaron el corpus de CoT corporeizado más grande hasta la fecha, que comprende:

• 978,743 trayectorias
• 226.3 millones de muestras
• 2,592.5 horas de datos
• Las fuentes incluyen los conjuntos de datos Bridge, Fractal, Droid, MolmoAct y AgiBot.

Los datos están estructurados en un esquema jerárquico que descompone el razonamiento en cuatro categorías:

• Comprensión: Objetivos de la tarea e intención.
• Anclaje (Grounding): Alineación espacial con entidades visuales (por ejemplo, cuadros delimitadores de objetos, posiciones del gripper).
• Planificación: Descomposición de subtareas y seguimiento del progreso.
• Acción: Descripciones de movimiento orientadas a la acción y trayectorias de puntos futuros.

2. Arquitectura del Modelo

ERVLA integra un módulo de Razonamiento Visión-Lenguaje con un módulo de Acción basado en Difusión:

• Backbone: Un VLM (específicamente Qwen3-VL-4B) procesa las observaciones visuales y las instrucciones de texto. A diferencia de los estilos "ThinkAct" que separan la planificación y la acción, ERVLA inyecta supervisión sensible a la acción directamente en el VLM.
• Cabezal de Acción: Un Transformador de Difusión (DiT) genera acciones robóticas continuas mediante el ajuste de flujo (flow matching).
• Truncamiento de Conocimiento: El DiT se condiciona únicamente en el caché de clave-valor (KV) del prefijo semántico (razonamiento) del VLM, excluyendo los tokens de consulta de control añadidos. Esto evita que el modelo de acción explote atajos sintéticos y reduce la interferencia de patrones de tokens específicos del entrenamiento.
• Consultas de Acción Auxiliares: El VLM es entrenado con una pérdida de regresión de acción auxiliar a través de tokens de consulta. Esto guía al backbone para comprender la semántica relevante para la acción, no solo para producir texto.

3. Estrategia de Entrenamiento: CoT-Dropout

Una innovación central es la estrategia de CoT-dropout. Durante el entrenamiento, el modelo es expuesto a muestras con supervisión de CoT explícita y muestras sin ella (donde el espacio de CoT está vacío) con una cierta probabilidad ($p_{cot}$).

• Propósito: Esto permite al modelo aprovechar ricas trazas de razonamiento durante el entrenamiento para remodelar sus representaciones internas, pero le permite predecir acciones directamente sin CoT durante la inferencia.
• Beneficio: Esto evita la inestabilidad autorregresiva de los prefijos de CoT, mitiga la "contaminación de CoT" de las etiquetas ruidosas y trata el razonamiento como una señal de entrenamiento que remodela el espacio de representación en lugar de un output verbal obligatorio.

Contribuciones Clave

1. Construcción de Dataset: Creación del corpus de CoT corporeizado más grande y completo, con configuraciones multi-vista y bimanuales con anotaciones jerárquicas estructuradas.
2. Análisis Empírico de las Señales de CoT: A través de extensos estudios de ablación, los autores identifican que:
   • La comprensión semántica de alto nivel por sí sola produce ganancias marginales.
   • El CoT efectivo debe anclar la semántica de alto nivel en una guía de acción lingüística concreta (por ejemplo, movimiento del efector final, trayectorias en el espacio de la imagen).
   • El CoT explícito no escala de manera confiable como un prefijo de acción autorregresivo debido a la acumulación de errores.
   • Los campos de anclaje ruidosos (por ejemplo, cuadros delimitadores inestables) pueden ser perjudiciales a menos que se regularicen mediante el razonamiento dropout.
3. Modelo ERVLA: Una arquitectura VLA novedosa que internaliza el razonamiento en representaciones conscientes de la acción. Logra un rendimiento de vanguardia combinando supervisión de CoT explícita, razonamiento dropout, consultas de acción auxiliares y condicionamiento de conocimiento truncado.
4. Perspectivas de Escalado: El artículo demuestra que el CoT corporeizado escala efectivamente cuando la supervisión del razonamiento y las pérdidas de acción se optimizan conjuntamente en el espacio de representación, en lugar de tratarse como objetivos autorregresivos literales.

Resultados Experimentales

Los autores evaluaron ERVLA en entornos de simulación y plataformas de robots reales.

Benchmarks de Simulación

• LIBERO-Plus: ERVLA logró una tasa de éxito de vanguardia del 86.9%, superando bases competitivas como $\pi0.5$ (85.5%). Demostró una fuerte generalización zero-shot, alcanzando un 100% de éxito en variaciones de fondo e iluminación en la pista Spatial.
• VLABench: ERVLA logró una tasa de éxito promedio del 53.2%, superando bases fuertes en entornos desafiantes fuera de la distribución que requieren comprensión semántica y seguimiento de instrucciones.
• Escalado: Los experimentos mostraron que ERVLA se beneficia del aumento de los datos de pre-entrenamiento de CoT corporeizado, mientras que los modelos de CoT + tokens de acción autorregresivos se degradan a medida que los datos escalan debido a la acumulación de ruido.

Experimentos con Robots Reales

Desplegado en robots físicos con cámaras de tercera persona y de muñeca, ERVLA fue probado en tareas que involucran la colocación de cajones y la limpieza de mesas a través de cuatro niveles de dificultad: Básico, Distractores, Semántico y Largo Horizonte.

• Rendimiento: ERVLA superó a las bases (ECoT, WorldVLA, UniVLA, $\pi0.5$), particularmente en el manejo de la ambigüedad semántica (por ejemplo, "pon lejos el objeto que no es una fruta") y tareas de largo horizonte.
• Robustez: Mientras que las bases luchaban con la latencia autorregresiva y la propagación de errores, la capacidad de ERVLA para internalizar el razonamiento permitió una ejecución más robusta bajo cambios semánticos y distractores.

Significado y Afirmaciones

El artículo argumenta que el CoT corporeizado debe entenderse menos como un formato de salida (un robot "diciendo más") y más como una interfaz entre el razonamiento semántico y el aprendizaje de la acción.

• Tesis Central: El razonamiento beneficia a las políticas robóticas no por ser más largo o más explícito, sino cuando su supervisión es confiable, relevante para la acción y está integrada en la política de una manera que moldea las representaciones en lugar de sobrecargar la decodificación.
• Modos de Fallo: El trabajo destaca que el acoplamiento autorregresivo ingenuo de CoT y acción conduce a fallos de escalado y que las señales de anclaje ruidosas pueden contaminar el aprendizaje si no se regularizan.
• Dirección Futura: Los autores posicionan a ERVLA como una base para el trabajo futuro en el aprendizaje robótico consciente del razonamiento, enfatizando la necesidad de una supervisión de anclaje confiable, razonamiento adaptativo en tiempo de prueba y arquitecturas que traten el razonamiento como un puente aprendible desde la percepción hacia la acción en lugar de una decoración verbal.

El artículo concluye que la clave para la manipulación robótica generalizable reside en convertir las prioridades semánticas preentrenadas en representaciones relevantes para la acción a través de un razonamiento estructurado e internalizado, en lugar de depender de trazas verbales explícitas durante la ejecución.