Resumen Técnico: Acción con Primitivas Visuales (AVP)

Declaración del Problema

Las arquitecturas actuales Visión-Lenguaje-Acción (VLA) suelen mapear instrucciones de lenguaje y observaciones visuales a acciones del robot en una sola pasada hacia adelante. Aunque conceptualmente simple, este diseño entrelaza la comprensión de instrucciones, la comprensión espacial de la escena y el control motor dentro de un único objetivo de aprendizaje. En consecuencia, el "experto en acción" (el componente responsable de generar comandos motores) se ve forzado a reaprender implícitamente capacidades cognitivas y perceptuales que ya están presentes en el Modelo Visión-Lenguaje (VLM) preentrenado. Este acoplamiento limita la eficiencia del aprendizaje y la generalización, particularmente cuando los objetos, la disposición o los entornos cambian en el momento de la prueba.

Los intentos existentes de abordar esto mediante representaciones intermedias enfrentan compensaciones específicas:

• Enfoques centrados en la planificación (por ejemplo, $\pi0.5$) utilizan subtareas lingüísticas pero luchan con distinciones espaciales de grano fino en escenas densas.
• Modelos mundo-acción (por ejemplo, $\pi0.7$) utilizan cuadros futuros predichos, lo que requiere que el experto en acción redescubra los píxeles relevantes para la tarea.
• Métodos de prompt visual (por ejemplo, Point-VLA, VP-VLA) dependen de modelos externos (como SAM o Grounding DINO) para generar marcadores espaciales. Esto crea pipelines de múltiples etapas que introducen latencia de inferencia y riesgo de propagación de errores por fallos de localización aguas arriba.

Metodología: Arquitectura AVP

Los autores proponen AVP (Acción con Primitivas Visuales), una arquitectura VLA de extremo a extremo que redefine la interfaz entre el VLM y el experto en acción. En lugar de un límite implícito y no estructurado, AVP emplea un protocolo de comunicación centrado en primitivas visuales.

Componentes Principales

1. VLM Preentrenado y Decodificador Autoregresivo: Dada una instrucción de lenguaje ($l$) y observaciones multivista ($o_t$), el VLM analiza la subtarea actual. Un decodificador autoregresivo predice luego una primitiva visual discretizada ($p_t$) que representa el objetivo de la siguiente etapa (por ejemplo, un punto, un cuadro delimitador o una trayectoria).
2. Proyección al Espacio Visual: La primitiva predicha se proyecta desde el espacio del lenguaje al espacio de tokens visuales ($z^{vp}_t$). Estos tokens se superponen a la observación original para crear una representación multimodal aumentada ($z^{aug}_t$).
3. Experto en Acción con Ajuste de Flujo: El experto en acción recibe los tokens aumentados y el estado del robot ($s_t$) para predecir un horizonte de acciones futuras ($a_{t:t+h}$).

Entrenamiento y Supervisión

• Optimización de Extremo a Extremo: A diferencia de los enfoques en cascada, AVP internaliza la interfaz de primitivas visuales. La generación de primitivas y la predicción de acciones se optimizan conjuntamente.
• Fuente de Supervisión: El decodificador de primitivas visuales se supervisa utilizando una pérdida auxiliar ($L_{vp}$). Crucialmente, las primitivas visuales de verdad fundamental ($y^{vp}_t$) se derivan directamente de la cinemática del efector final (propiocepción del robot), eliminando la necesidad de anotación manual o modelos de percepción externos.
• Objetivo: La pérdida total es una suma ponderada de la pérdida de predicción de acción y la pérdida de supervisión de primitivas: $L = L_{act} + \lambda L_{vp}$.

Contribuciones Clave

1. División de Responsabilidades Reconceptualizada: El artículo propone una división clara del trabajo donde el VLM razona sobre qué hacer y dónde (mediante primitivas visuales), mientras que el experto en acción se centra exclusivamente en cómo ejecutar.
2. Primitivas Visuales como Interfaz Explícita: AVP introduce tokens anclados espacialmente producidos internamente por el VLM como medio de comunicación, reemplazando los límites implícitos de las VLA actuales.
3. Implementación de Extremo a Extremo: El sistema implementa esta interfaz sin detectores o segmentadores externos, utilizando supervisión derivada de la cinemática para entrenar el generador de primitivas.
4. Escalabilidad: El método ofrece un camino para escalar mediante datos de entrenamiento de bajo costo (la cinemática proporciona etiquetas automáticas) y una forma compacta que se extiende fácilmente a tareas con memoria aumentada o horizontes más largos.

Resultados Experimentales

Los autores evaluaron AVP en una plataforma dual AgileX Piper a través de tres tareas del mundo real: manipulación de ajedrez chino, colocación de fichas de dominó y agarre y colocación general de objetos.

• Rendimiento vs. Línea Base: En comparación con la línea base $\pi0.5$, AVP logró una mejora general del 27,61% en la tasa de éxito de manipulación en las tareas.
  • Ajedrez Chino: Mejoró la tasa de éxito promedio del 62,67% ($\pi0.5$) al 90,28% (AVP).
  • Colocación de Dominó: Mejoró la tasa de éxito promedio del 81,94% al 88,19%, con ganancias significativas en el éxito de orientación.
  • Agarre y Colocación General: Mejoró la tasa de éxito promedio del 64,96% al 86,18%.
• Generalización:
  • Generalización Composicional Espacial: En transiciones directas no vistas (A $\to$ B) no vistas durante el entrenamiento (que solo mostraba A $\to$ C $\to$ B), $\pi0.5$ falló completamente (0% de éxito), mientras que AVP logró altas tasas de éxito (por ejemplo, 100% en transiciones directas en el tablero de ajedrez).
  • Transferencia de Objetos Zero-Shot: Un modelo entrenado exclusivamente con datos de ajedrez chino se generalizó con éxito a objetos y fondos no vistos en un entorno zero-shot, mientras que la línea base se degradó significativamente bajo cambios de distribución.
• Eficiencia: AVP demostró una latencia de inferencia menor (0,27 s) en comparación con métodos que dependen de APIs de LLM externas (por ejemplo, variantes de Point-VLA que tardan ~37 s).

Significado y Afirmaciones

El artículo afirma que AVP demuestra la eficacia de desacoplar la inferencia de objetivos de la ejecución del movimiento. Al delegar el razonamiento espacial complejo al VLM y proporcionar al experto en acción instrucciones explícitas ancladas visualmente, el sistema logra:

• Mejora en la Eficiencia de Datos: El aprendizaje es más eficiente porque el experto en acción no necesita reaprender el anclaje espacial.
• Generalización Mejorada: La interfaz visual explícita permite que la política recombine patrones de movimiento aprendidos para transiciones y objetos novedosos.
• Reducción de la Sobrecarga de Anotación: La dependencia de la cinemática para la supervisión de primitivas evita el costo y la fragilidad del etiquetado humano o las dependencias de detectores externos.

Los autores reconocen limitaciones, señalando que la inferencia secuencial de dos etapas (predicción de primitivas seguida de generación de acción) introduce una latencia de tiempo de ejecución ligeramente mayor que las políticas de un solo paso, y que el sistema sigue siendo sensible a una calibración precisa mano-ojo. Sin embargo, los resultados sugieren que las primitivas visuales sirven como una interfaz robusta y escalable para la manipulación robótica generalista.