Resumen Técnico: Premover – Control Rápido Visión-Lenguaje-Acción Actuando Antes de que las Instrucciones Estén Completas

Enunciado del Problema

Las políticas actuales de Visión-Lenguaje-Acción (VLA) se evalúan típicamente bajo el supuesto de que la instrucción completa del usuario está disponible antes de que el robot comience el cómputo. Sin embargo, en la implementación en el mundo real, los usuarios requieren varios segundos para escribir o hablar una solicitud. Durante este intervalo de "prefijo en streaming", la política VLA permanece inactiva, creando una brecha de latencia sustancial. En benchmarks como LIBERO, este intervalo de entrada representa aproximadamente el 39% del tiempo total de interacción (promediando ~17.7 segundos de tiempo inactivo por episodio).

La investigación existente sobre eficiencia se centra en reducir la latencia de inferencia después de recibir la instrucción (por ejemplo, mediante puertas de salida temprana o poda de tokens). Estos métodos no abordan el tiempo inactivo durante la entrada del usuario. El desafío central es utilizar este intervalo para el cómputo sin comprometer la seguridad o el éxito: actuar demasiado pronto sobre una instrucción incompleta arriesga comprometer al robot con el objetivo incorrecto, mientras que esperar la instrucción completa sacrifica el beneficio de latencia.

Metodología: Premover

Premover es un módulo ligero diseñado para operar sobre una columna vertebral VLA congelada (específicamente $\pi0.5$ en los experimentos). Convierte el intervalo de entrada inactivo en precomputación útil introduciendo dos componentes acoplados: un Mapa de Enfoque y una Puerta de Preparación de Acción.

1. Mapa de Enfoque Visión-Lenguaje

El primer desafío es determinar dónde atender dada una instrucción parcial (por ejemplo, "agarrar el ketchup..."). Una columna vertebral congelada, entrenada mediante imitación de acciones, a menudo dispersa la atención a través de regiones de fondo en lugar de localizar el referente de un prompt parcial.

• Mecanismo: Premover adjunta dos pequeñas cabezas de proyección entrenables (una para parches de imagen y otra para tokens de lenguaje) a una capa intermedia de la columna vertebral congelada. Estas cabezas mapean los estados ocultos en un espacio latente compartido.
• Cómputo: Calcula la similitud del coseno entre los embebidos de parches de imagen y los tokens de lenguaje en streaming actuales. La similitud máxima sobre la secuencia de tokens genera una puntuación de probabilidad por parche, formando un Mapa de Enfoque.
• Supervisión: Este mapa se supervisa utilizando máscaras de segmentación de objetos objetivo renderizadas por simulador mediante una pérdida de Entropía Cruzada Binaria (BCE) equilibrada por clase.
• Inyección: Para influir en la columna vertebral congelada sin reentrenarla, el Mapa de Enfoque se utiliza para reponderar los tokens de imagen para el siguiente paso de inferencia ($t+1$). Un parámetro de escala de piso $\alpha$ interpola entre el mapa de enfoque y un peso uniforme, preservando el contexto de la escena (por ejemplo, evitación de obstáculos) mientras amplifica las regiones relevantes para la instrucción.

2. Puerta de Preparación de Acción

El segundo desafío es determinar cuándo la instrucción parcial es lo suficientemente informativa para actuar.

• Mecanismo: El sistema calcula una Puntuación de Preparación de Acción ($r_t$) basada en la concentración del Mapa de Enfoque. Mide la diferencia entre la probabilidad media de los parches superiores-$K$ y la probabilidad media global. Una puntuación alta indica que el prefijo ha localizado un objetivo específico; una puntuación baja indica atención dispersa.
• Lógica de Decisión: Un umbral escalar entrenable $\tau$ actúa como puerta. La política ejecuta acciones solo cuando $r_t \geq \tau$.
• Supervisión: El umbral se entrena utilizando una etiqueta binaria que indica si el objeto objetivo ha aparecido en el prefijo actual. Se aplica una pérdida BCE escalada por temperatura para hacer la decisión diferenciable.

Entrenamiento

Ambos componentes se entrenan conjuntamente en una sola pasada hacia adelante. Los parámetros de la columna vertebral permanecen congelados; los gradientes fluyen solo a través de las dos cabezas de proyección y el umbral de preparación. Esto constituye menos del 1% de los parámetros totales de la columna vertebral, permitiendo una adaptación eficiente sin reentrenamiento a gran escala.

Contribuciones Clave

1. Replanteamiento del Tiempo Inactivo: El artículo argumenta que el intervalo de entrada del usuario es un recurso utilizable para el cómputo en lugar de tiempo muerto, proponiendo un régimen donde las políticas anclan la atención visual a prefijos en streaming.
2. Arquitectura Ligera: Premover logra esto añadiendo parámetros entrenables mínimos (dos cabezas de proyección y un escalar) a una VLA congelada, preservando exactamente los pesos preentrenados.
3. Diseño de Doble Componente: Separa explícitamente el problema de dónde enfocarse (Mapa de Enfoque) de cuándo actuar (Puerta de Preparación), abordando la compensación entre la ejecución temprana y la seguridad.
4. Protocolo de Evaluación en Streaming: Los autores introducen un protocolo de evaluación en streaming que simula la llegada de tokens en tiempo real sincronizada con una tasa de escritura estándar (52.24 WPM), proporcionando una métrica de latencia más realista que los baselines de prompt completo estándar.

Resultados Experimentales

El método se evaluó en la suite LIBERO (Espacial, Objeto, Objetivo, LIBERO-10) y VLA-arena (suites de Nivel-1) utilizando la columna vertebral $\pi0.5$.

• Tasa de Éxito: Premover iguala la tasa de éxito del baseline de prompt completo en LIBERO (95.1% vs. 95.0%) y supera significativamente al "Premovering Naive" (que actúa inmediatamente en cada token y colapsa al 66.4%). En VLA-arena, preserva un 30.9% de éxito en comparación con el 33.0% del prompt completo, mientras que el Premovering Naive cae al 27.0%.
• Reducción de Latencia:
  • En LIBERO, Premover reduce el tiempo de reloj real de extremo a extremo medio de 34.0s a 29.4s (una reducción del 13.6%).
  • En VLA-arena, reduce el tiempo de reloj real en aproximadamente un 10.3%.
• Estudios de Ablación:
  • La Puerta de Preparación por sí sola recupera 21.9 puntos porcentuales de tasa de éxito sobre el streaming ingenuo, demostrando su papel crítico en la prevención de acciones prematuras.
  • El Mapa de Enfoque añade 6.7 puntos porcentuales adicionales, mejorando la desambiguación de distractores.
  • La escala de piso $\alpha$ es robusta en un rango de valores, seleccionándose $\alpha=0.2$ como óptima para equilibrar la amplificación del objetivo y la retención del contexto de la escena.

Significado y Afirmaciones

El artículo afirma que Premover representa un paso importante hacia aplicaciones VLA del mundo real eficientes y receptivas. Su significado principal radica en demostrar que:

1. El tiempo de entrada del usuario es un recurso: La latencia puede reducirse realizando cómputo durante el intervalo de escritura en lugar de esperar a la finalización.
2. La modulación ligera es suficiente: No se requiere un reentrenamiento complejo para habilitar el anclaje temprano; un módulo pequeño puede modular efectivamente una política congelada para manejar instrucciones en streaming.
3. Seguridad mediante puertas: Un criterio de preparación aprendido permite que el sistema actúe temprano sin los modos de fallo catastróficos asociados con la ejecución temprana ingenua.

Los autores reconocen limitaciones, señalando que la supervisión del Mapa de Enfoque actualmente depende de máscaras renderizadas por simulador (no disponibles directamente en robots reales) y que las cabezas de proyección se entrenan por benchmark en lugar de transferirse zero-shot. Se sugiere trabajo futuro para abordar el anclaje en robots reales mediante detectores de vocabulario abierto y para manejar dinámicas de prefijo no monótonas (por ejemplo, revisiones del usuario).