Resumen Técnico: De Píxeles a Tokens: Un Estudio Sistemático de la Supervisión de Acciones Latentes para Modelos Visión-Lenguaje-Acción

1. Declaración del Problema

Los modelos Visión-Lenguaje-Acción (VLA) han surgido como un paradigma para aprender políticas robóticas generalistas mediante el entrenamiento en conjuntos de datos a gran escala. Sin embargo, persiste un cuello de botella crítico: los datos de entrenamiento son altamente heterogéneos, abarcando espacios de acción inconsistentes de diversas plataformas robóticas y videos humanos. Esta heterogeneidad a menudo conduce a una degradación del rendimiento debido a semánticas de acción desajustadas entre dominios.

Para abordar esto, los investigadores han propuesto acciones latentes como representaciones intermedias para abstraer el movimiento ya sea de transiciones visuales o de acciones crudas, proporcionando una señal de supervisión unificada. A pesar de su potencial, los enfoques para supervisar VLAs con acciones latentes siguen siendo fragmentados. Los métodos existentes van desde la supervisión de tokens discretos hasta objetivos de aprendizaje auxiliares, a menudo entrelazando la formulación de la acción latente con diseños arquitectónicos específicos de VLA. En consecuencia, la estrategia óptima para integrar la supervisión de acciones latentes en el aprendizaje de políticas VLA sigue sin estar clara.

2. Metodología

Este trabajo estructura el estudio de la supervisión de acciones latentes bajo una línea base VLA unificada (basada en Qwen3-VL-2B con ajuste fino LoRA) para aislar los efectos de la formulación y la integración. Los autores categorizan las estrategias de integración en dos perspectivas complementarias basadas en la dirección de mapeo entre el espacio Visión-Lenguaje (VL) y los espacios de acción:

Perspectiva 1: Regularización de la Trayectoria (Acciones Latentes Basadas en Imagen)

Esta perspectiva utiliza acciones latentes basadas en imagen como planes visuales de alto nivel para guiar la toma de decisiones del VLM. Los autores proponen tres estrategias:

• Estrategia 1: Alineación Implícita de Representaciones (LA-Align): Un objetivo auxiliar alinea las representaciones internas del VLM (específicamente los estados ocultos de los marcadores de posición de acción) con incrustaciones de acciones latentes continuas de verdad fundamental derivadas de transiciones visuales, utilizando similitud coseno.
• Estrategia 2: Decodificación Directa Explícita (LA-Direct): El VLM es supervisado directamente para predecir acciones latentes basadas en imagen como una secuencia de tokens discretos en posiciones de marcadores de posición dedicados. El bloque de acción continuo se decodifica posteriormente a partir de estos tokens latentes.
• Estrategia 3: Decodificación Condicional Explícita (LA-Cond): El VLM predice conjuntamente planes latentes y representaciones de acción. El segmento de acción se condiciona sobre el plan latente predicho mediante enmascaramiento de atención causal, imponiendo un flujo de generación "planificar-luego-actuar".

Perspectiva 2: Unificación del Espacio Objetivo (Acciones Latentes Basadas en Acción)

Esta perspectiva cierra la brecha de modalidad reformulando el propio objetivo de supervisión.

• Estrategia 4: Mapeo Acción-a-Token (LA-Tok): Los bloques de acción continuos se discretizan en un espacio de tokens compartido utilizando un modelo de acción latente basado en acción personalizado (un VQ-VAE con características de convolución temporal y en el dominio de la frecuencia). El VLM es luego supervisado directamente para predecir estos tokens de acción discretos como el objetivo principal de entrenamiento.

Objetivo Unificado: Todas las estrategias comparten la misma arquitectura base, diseño de marcadores de posición y cabeza de acción. El objetivo de entrenamiento combina la pérdida estándar de reconstrucción de acción continua ($L_{action}$) con una pérdida de supervisión latente ($L_{latent}$), equilibradas por un peso $\lambda$.

3. Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. Estudio Sistemático: Aísla los efectos de la formulación de acciones latentes y la integración arquitectónica bajo una línea base unificada, avanzando más allá de la evaluación de modelos específicos para comprender el mecanismo de supervisión en sí mismo.
2. Categorización y Propuesta: Define dos perspectivas complementarias (Regularización de Trayectoria vs. Unificación de Objetivo) y propone cuatro estrategias de integración distintas.
3. Análisis Empírico: Proporciona un análisis empírico extenso que revela una "correspondencia formulación-tarea" e identifica las señales de supervisión más efectivas.

4. Resultados Experimentales

Los autores evaluaron las cuatro estrategias en los puntos de referencia LIBERO (razonamiento de largo horizonte) y RoboTwin 2.0 (complejidad motora, doble brazo), así como en experimentos del mundo real con un brazo robótico JAKA.

Hallazgos Clave:

• Correspondencia Formulación-Tarea:
  • Las acciones latentes basadas en imagen (Estrategias 1–3) benefician significativamente el razonamiento de largo horizonte y la generalización a nivel de escena. En LIBERO-Long, estas estrategias mejoraron las tasas de éxito entre un 8.4% y un 10.8% sobre la línea base. En tareas de apilamiento en el mundo real, demostraron un rendimiento superior en manipulación de múltiples etapas.
  • Las acciones latentes basadas en acción (Estrategia 4) sobresalen en la coordinación motora compleja. En RoboTwin 2.0, LA-Tok logró el mejor rendimiento, mejorando la tasa de éxito promedio en un 17.5% sobre la línea base, probablemente debido a la señal de supervisión estructurada proporcionada por la discretización de acciones continuas.
• Estrategia de Integración Óptima:
  • La supervisión explícita (predecir tokens discretos) superó consistentemente a la alineación implícita.
  • Supervisar directamente al VLM para predecir tokens de acción latente discretos (LA-Direct y LA-Tok) produjo el rendimiento más efectivo en general. LA-Direct lideró en LIBERO, mientras que LA-Tok lideró en RoboTwin.
  • Discreto vs. Continuo: La supervisión de tokens discretos superó consistentemente a la regresión continua de incrustaciones latentes, lo que sugiere que la tokenización proporciona una restricción arquitectónica más fuerte.
• Robustez y Generalización:
  • La supervisión de acciones latentes mejoró consistentemente la robustez en tareas de fuera de distribución (OOD) de toma y colocación en el mundo real, donde la línea base se degradó significativamente (por ejemplo, la puntuación promedio OOD cayó de 17 a 75 para LA-Direct).
  • En el entrenamiento conjunto de múltiples tareas, la supervisión de acciones latentes (específicamente LA-Cond) mitigó la transferencia negativa, permitiendo que un solo modelo aprenda diversas tareas sin la inestabilidad de rendimiento observada en la línea base.

5. Significado y Afirmaciones

El artículo afirma que las acciones latentes sirven como una representación intermedia efectiva para el entrenamiento de VLA, ofreciendo orientación práctica para el entrenamiento de políticas robóticas generalistas. El significado central radica en el hallazgo de que la elección de la formulación de acciones latentes debe depender de la tarea:

• Utilizar acciones latentes basadas en imagen para tareas que requieren planificación de largo horizonte y comprensión de escenas.
• Utilizar acciones latentes basadas en acción para tareas que requieren control motor complejo y de alta dimensión.
• Supervisar directamente al VLM con tokens latentes discretos es generalmente la estrategia de integración más efectiva, proporcionando un objetivo de supervisión simple y consistente que mejora la eficiencia de la muestra y la robustez.

Los autores concluyen que, aunque su estudio cubre diseños representativos, ofrece un marco fundamental para seleccionar estrategias de supervisión de acciones latentes, sugiriendo una dirección prometedora para el futuro entrenamiento de VLA en entornos de datos mixtos. Reconocen limitaciones, incluido el alcance de las estrategias de integración estudiadas y la restricción actual a evaluaciones en el mundo real de un solo brazo, identificando diversas encarnaciones de robots como una dirección para trabajos futuros.