Resumen Técnico: Entrenamiento Híbrido para Modelos Visión-Lenguaje-Acción

Enunciado del Problema

Los modelos Visión-Lenguaje-Acción (VLA) han surgido como un enfoque prometedor para el control de robots generalistas, aprovechando Grandes Modelos Visión-Lenguaje (VLM) preentrenados y ajustados finamente en conjuntos de datos robóticos. Sin embargo, existe un cuello de botella significativo entre el rendimiento y la eficiencia de inferencia. Estrategias recientes, como la Cadena de Pensamiento Encarnada (ECoT), mejoran el rendimiento entrenando a los modelos para generar "pensamientos" lingüísticos intermedios (trazas de razonamiento) antes de ejecutar acciones. Si bien estas salidas intermedias mejoran la planificación y la generalización del agente, aumentan significativamente la latencia de inferencia. En la manipulación robótica del mundo real, donde las tareas requieren secuencias largas de acciones, este retraso impacta negativamente en la usabilidad y la frecuencia de control.

La pregunta central abordada por este trabajo es: ¿Es la generación de cadenas largas de pensamiento un requisito estricto para lograr mejoras de rendimiento en los VLA? Los autores hipotetizan que las ganancias de rendimiento de la Cadena de Pensamiento (CoT) no provienen de la generación de pensamientos en el momento de la prueba, sino de la internalización de patrones de razonamiento durante el entrenamiento. Proponen que los modelos pueden desarrollar una "intuición hábil" (análogo al pensamiento del Sistema 1 en la cognición humana) que les permite predecir acciones directamente con alta precisión, habiendo aprendido de trazas de razonamiento durante la fase de entrenamiento.

Metodología: Entrenamiento Híbrido (HyT)

El artículo introduce Entrenamiento Híbrido (HyT), un marco diseñado para permitir que los VLA aprendan de trazas de razonamiento mientras conservan la capacidad de realizar inferencia de acciones directa y rápida.

Concepto Central

HyT trata al VLA como un único modelo capaz de aprender múltiples distribuciones condicionales basadas en una variable de modalidad ($m$). En lugar de entrenar modelos separados para "pensar" (ECoT) y "actuar" (VLA estándar), HyT optimiza conjuntamente un único conjunto de parámetros ($\theta$) para manejar tres modos distintos:

1. Modo Actuar ($m_a$): El modelo predice acciones directamente, condicionado únicamente a la observación y la descripción de la tarea ($p(a_t | x_t, l)$). Esto imita la inferencia estándar de VLA.
2. Modo Pensar ($m_\tau$): El modelo primero predice pensamientos intermedios ($\tau_t$) y luego acciones condicionadas a esos pensamientos ($p(a_t, \tau_t | x_t, l)$), similar a ECoT.
3. Modo Seguir ($m_f$): El modelo predice acciones condicionadas a pensamientos/instrucciones proporcionadas por una fuente externa (por ejemplo, un humano u oráculo), actuando como una política de bajo nivel en un sistema jerárquico ($p(a_t | x_t, \tau_t, l)$).

Objetivo de Entrenamiento

El objetivo de entrenamiento se formula como una suma ponderada de pérdidas de verosimilitud negativa para cada distribución:
$$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$$

Para evitar reducir la variabilidad del lote (lo cual ocurriría si cada punto de datos incluyera los tres modos), los autores emplean una estimación de Monte Carlo. Durante el entrenamiento, para cada lote, el modelo muestrea entradas y salidas según las probabilidades definidas por los coeficientes ($w_\alpha, w_\tau, w_f$). En los experimentos, los autores utilizan los coeficientes $\{w_\alpha: 0.25, w_\tau: 0.5, w_f: 0.25\}$, priorizando la distribución "pensar" para maximizar la señal de aprendizaje de las trazas de razonamiento.

Flexibilidad de Inferencia

En el momento de la prueba, la variable de modalidad se establece explícitamente para controlar el comportamiento del modelo:

• Predeterminado (Actuar): Se instruye al modelo con $m = \langle act \rangle$ para que genere acciones directamente. Esto mantiene la velocidad de inferencia de los VLA estándar (aprox. 3 Hz en GPUs A100) mientras se beneficia del conocimiento internalizado durante el entrenamiento.
• Modos Alternativos: El modelo puede cambiarse al modo "pensar" para interpretabilidad o al modo "seguir" para ejecutar instrucciones detalladas proporcionadas por un oráculo o un humano.

Contribuciones Clave

1. Marco HyT: Una estrategia de entrenamiento novedosa que unifica el entrenamiento estándar de VLA, ECoT y el seguimiento de instrucciones jerárquico en una única arquitectura de modelo.
2. Desacoplamiento de Entrenamiento e Inferencia: La demostración de que los modelos pueden aprender de trazas de razonamiento (CoT) durante el entrenamiento pero ejecutar acciones directamente durante la inferencia, "destilando" efectivamente el proceso de razonamiento en las representaciones internas del modelo sin incurrir en latencia de inferencia.
3. Modos de Inferencia Flexibles: La capacidad de cambiar dinámicamente entre la predicción directa de acciones, la generación de pensamientos y el seguimiento de instrucciones dentro del mismo modelo, ofreciendo un equilibrio entre velocidad e interpretabilidad.
4. Validación Empírica: Evaluación extensa en benchmarks simulados (ClevrSkills, LIBERO) y tareas robóticas del mundo real (UFactory xArm 6).

Resultados Experimentales

Benchmarks Simulados

• ClevrSkills: Los modelos entrenados con HyT superaron consistentemente a los VLA estándar y generalmente superaron a las líneas base ECoT y jerárquicas (HiRobot) en todos los tamaños de conjunto de datos (de 300 a 3000 demostraciones). Cabe destacar que HyT mostró las ganancias más significativas en tareas complejas de largo horizonte.
  • Velocidad de Inferencia: HyT y los VLA estándar alcanzaron ~3 Hz, mientras que ECoT fue 3 veces más lento y HiRobot 4 veces más lento.
  • Eficiencia de Datos: Los modelos HyT entrenados en conjuntos de datos pequeños (300 demos) mostraron un rendimiento superior en comparación con las líneas base, lo que sugiere que la distribución "pensar" proporciona una señal de entrenamiento fuerte cuando los datos son escasos.
• LIBERO: Cuando se combina con la receta OFT (Ajuste Fino Optimizado), HyT logró resultados de vanguardia, particularmente en las suites de tareas "Goal" y "Long", superando a otros enfoques basados en CoT y VLA estándar.

Experimentos del Mundo Real

• Configuración: Los experimentos se realizaron en un UFactory xArm 6 con una pinza de dos dedos.
• Rendimiento: HyT superó significativamente a la línea base OpenVLA, logrando una tasa de éxito general del 63% en comparación con el 41% de OpenVLA.
• Generalización: La brecha de rendimiento fue más pronunciada en tareas Fuera de Distribución (OOD) (54% vs 29%), lo que indica que HyT mejora la capacidad del modelo para generalizar a nuevas disposiciones de objetos y escenarios.
• Análisis Cualitativo: Los modelos HyT demostraron mayor precisión al alcanzar las posiciones de agarre y colocación, y menos errores en la selección de objetos en comparación con OpenVLA.

Estudios de Ablación

• Coeficientes: Se encontró que la distribución "pensar" era crítica para conjuntos de datos pequeños, mientras que la distribución "seguir" mejoró el rendimiento cuando se requirió que el modelo siguiera instrucciones de oráculos externos.
• Modos de Inferencia: En los entornos evaluados, los modos "actuar" y "pensar" arrojaron un rendimiento similar, lo que respalda la hipótesis de que la generación de pensamientos intermedios no es estrictamente necesaria en el momento de la prueba para tareas de manipulación primitiva.

Significado y Afirmaciones

El artículo afirma que la utilidad principal de las técnicas de CoT en los VLA es mejorar las representaciones aprendidas del modelo en lugar de servir como un paso intermedio obligatorio durante la ejecución. Al internalizar los patrones de razonamiento, el modelo desarrolla una "intuición experta" que permite un control robusto y de alta frecuencia.

Los autores posicionan a HyT como una solución escalable que cierra la brecha entre el razonamiento de alto rendimiento y el control robótico en tiempo real. Argumentan que, si bien las tareas complejas que requieren memoria o razonamiento avanzados podrían seguir beneficiándose del CoT en el momento de la prueba, muchas tareas de manipulación estándar pueden resolverse de manera robusta con bajos costos de inferencia aprovechando HyT. El marco ofrece un camino práctico para desplegar VLA de alto rendimiento en entornos del mundo real donde la latencia es crítica, sin sacrificar los beneficios de generalización del entrenamiento basado en razonamiento.