Resumen Técnico: Dirección de Políticas de Visión-Lenguaje-Acción Autorregresivas mediante la Intervención de Tokens de Acción

1. Planteamiento del Problema

Las políticas de Visión-Lenguaje-Acción (VLA), como RT-2, OpenVLA y $\pi^0$, han demostrado una fuerte capacidad de generalización al combinar el preentrenamiento de lenguaje-visión a gran escala con datos de trayectoria robótica. Sin embargo, estos sistemas enfrentan desafíos persistentes en la vinculación del lenguaje con el mundo físico, la ejecución de razonamientos de largo horizonte y la adaptación en tiempo real. Los fallos suelen derivar de errores pequeños a nivel de trayectoria que los humanos podrían reconocer y corregir inmediatamente.

Las interfaces existentes para la guía autónoma presentan una dicotomía:

• Prompting de Lenguaje: Aunque es flexible, el lenguaje no es adecuado para la corrección de trayectorias finas y en tiempo real.
• Teleoperación Completa: El control directo elimina la destreza autónoma y los sesgos de tarea aprendidos por la política.

El desafío central es permitir que los usuarios influyan en el comportamiento del robot durante las ejecuciones para corregir errores o guiar la intención sin anular las capacidades aprendidas de la política ni requerir un reentrenamiento.

2. Metodología: Dirección de Tokens (TS)

Los autores proponen la Dirección de Tokens (TS), un método de inferencia para dirigir políticas VLA autorregresivas mediante la intervención directa en el espacio de tokens de acción. TS opera sin modificar la arquitectura subyacente del VLM, sin requerir entrenamiento adicional o ajuste fino (finetuning).

Mecanismo Central

TS aprovecha la estructura discreta y autorregresiva de la generación de tokens de acción (específicamente utilizando el modelo $\pi^0$-FAST). En lugar de reemplazar señales de control de bajo nivel, TS inyecta tokens de dirección generados por el usuario directamente en la secuencia de acción autorregresiva. La política completa entonces el resto de la trayectoria condicionada en este prefijo modificado.

El proceso consta de tres pasos principales:

1. Codificación de Entrada: Una entrada de usuario de baja dimensión $u \in \mathbb{R}^6$ (por ejemplo, direcciones de teclado) se convierte en un vector de velocidad cartesiana ($v_{cart}$).
2. Transformación Cinemática: La velocidad cartesiana se transforma en velocidad de articulación robótica ($\dot{q}$) mediante cinemática inversa ($\dot{q} = J(q)^\dagger v_{cart}$).
3. Inyección de Tokens: La velocidad de articulación se rellena hasta el horizonte de acción, se transforma al dominio de la frecuencia mediante una Transformada de Coseno Discreta (DCT) y se tokeniza mediante BPE para crear tokens FAST. Un subconjunto de estos tokens (definido por un índice de inicio $b$ y un tamaño de ventana $w$) reemplaza los tokens correspondientes en el búfer autorregresivo de la política. La política genera entonces el resto de la secuencia basándose en el prefijo modificado, las observaciones visuales, las instrucciones de lenguaje y el estado del robot.

Estrategia de Tokenización

El método se basa en la tokenización FAST, que representa las trayectorias robóticas en el dominio de la frecuencia.

• Las trayectorias se descomponen en coeficientes ordenados por frecuencia.
• Tokens de baja frecuencia codifican la estructura global de la trayectoria de forma gruesa.
• Tokens de alta frecuencia codifican refinamientos de movimiento finos.
  Esta estructura jerárquica permite que TS influya en la semántica global editando los tokens iniciales, preservando al mismo tiempo la suavidad local.

3. Contribuciones Clave y Hallazgos

El artículo presenta tres hallazgos primarios derivados de experimentos en la plataforma robótica DROID:

1. Dirección Controlable con Preservación de la Autonomía: La inyección parcial de tokens permite una dirección controlable manteniendo la capacidad de la VLA para generar trayectorias suaves, temporalmente coherentes y dinámicamente factibles. La política conserva su destreza aprendida, utilizando la entrada del usuario como una guía en lugar de una anulación estricta.
2. Influencia Dependiente de la Frecuencia: La edición de los tokens FAST de baja frecuencia influye desproporcionadamente en la semántica global de la trayectoria (por ejemplo, la dirección del movimiento), mientras que la edición de los tokens de alta frecuencia afecta principalmente a los refinamientos locales. La inyección de tokens de baja frecuencia produce tasas de éxito de dirección significativamente más altas.
3. Corrección de Fallos de Vinculación (Grounding): TS permite a los usuarios corregir "fallos de vinculación" (donde el robot selecciona el objeto incorrecto basado en el lenguaje) y completar tareas de largo horizonte dependientes del estado que una VLA autorregresiva base no logra ejecutar.

Resultados Experimentales

Los autores evaluaron TS en dos tareas de manipulación doméstica:

• Tarea 1: Cierre de Cajón (Post-Colocación)

  • Base: $\pi^0$-FAST logró una tasa de éxito del 10.0%.
  • Con TS: La tasa de éxito mejoró al 72.5%.
  • Eficiencia: El tiempo de finalización mediana disminuyó de 74.0s a 42.0s.
  • Observación: Los usuarios pudieron guiar la pinza a una posición óptima para cerrar el cajón suavemente, mientras que la política manejó los detalles de movimiento fino, evitando impactos bruscos.

• Tarea 2: Intercambio de Objetos Consciente del Estado

  • Base: La política autónoma logró un 0% de éxito (fallando en el intercambio de esponjas debido a la falta de memoria y seguimiento de estado).
  • Con TS: La tasa de éxito mejoró al 93.8%.
  • Observación: Los usuarios gestionaron la lógica de la tarea de alto nivel (seguimiento de los estados y posiciones de las esponjas) mediante la dirección, mientras la política ejecutaba la manipulación diestra.

Robustez y Entropía

El estudio investigó si la inyección de tokens fuera de la distribución (OOD) causa un "colapso de entropía" (pérdida de diversidad de la política). Los resultados mostraron que, aunque la entropía cae temporalmente inmediatamente después de la inyección de tokens, se recupera rápidamente. La política retiene la capacidad de generar acciones diversas (por ejemplo, ajustando la orientación del agarre para bloques orientados aleatoriamente), lo que indica que TS sesga la generación de la trayectoria sin destruir la adaptabilidad autónoma.

4. Significado

El artículo sostiene que los espacios de tokens de acción autorregresivos no son meramente representaciones comprimidas de trayectorias, sino que sirven como interfaces semánticas controlables para el comportamiento robótico guiado por humanos durante la inferencia.

• Accesibilidad: Al permitir una dirección ligera e intuitiva (por ejemplo, mediante teclado o potencialmente Interfaces Cerebro-Computadora), TS amplía la accesibilidad para personas con control físico limitado que no pueden realizar una teleoperación completa.
• Aplicabilidad Zero-Shot: Debido a que TS opera enteramente en el tiempo de inferencia sin reentrenamiento, puede aplicarse a diferentes tareas y entornos de inmediato.
• Interacción Humano-Robot: La interfaz permite un modelo de "autonomía compartida" donde los usuarios proporcionan la intención de alto nivel (dirección/corrección) y la VLA se encarga de la destreza de bajo nivel, mejorando potencialmente la seguridad y el éxito de las tareas en entornos de consumo.

Los autores señalan las limitaciones respecto a la latencia de inferencia inherente a los modelos autorregresivos en comparación con los enfoques basados en difusión, pero enfatizan que TS proporciona un mecanismo novedoso para la intervención en tiempo real en modelos fundacionales sin cambios arquitectónicos.