Resumen Técnico: Tokens de Acción Ordenados para el Aprendizaje de Políticas Visomotoras

Planteamiento del Problema

La tokenización de acciones sirve como la interfaz crítica entre el control robótico continuo y el modelado de secuencias en las políticas visomotoras modernas. Sin embargo, los enfoques existentes no logran satisfacer simultáneamente tres propiedades esenciales requeridas para un aprendizaje de políticas efectivo:

1. Alta Compresión: Las secuencias de tokens deben ser compactas para minimizar la dificultad de entrenamiento y la latencia de inferencia.
2. Decodificabilidad Total: Secuencias arbitrarias de tokens generadas por una política deben decodificarse de manera confiable en acciones continuas ejecutables.
3. Estructura de Tokens Ordenada: La secuencia de tokens debe organizar la información relevante para el control de tal manera que los primeros tokens capturen movimientos gruesos de alto impacto, mientras que los tokens posteriores refinen los detalles residuales. Esta estructura de "grueso a fino" se alinea con el sesgo inductivo de la predicción del siguiente token en los modelos autorregresivos y proporciona una supervisión significativa para los modelos de visión-lenguaje (VLM).

Los métodos actuales satisfacen subconjuntos de estos desiderata, pero no todos simultáneamente. El embinado por dimensión es totalmente decodificable, pero produce secuencias prohibitivamente largas. Los tokenizadores en el dominio de la frecuencia (por ejemplo, FAST) ofrecen ordenación, pero carecen de decodificabilidad total debido a problemas de expansión de longitud variable. Los tokenizadores latentes aprendidos (por ejemplo, QueST, ACodec) proporcionan compresión, pero a menudo carecen de una estructura ordenada explícita que sitúe la información de control global al principio, lo que limita su efectividad como objetivos de política.

Metodología: Tokenización de Acción Ordenada (OAT)

Los autores proponen la Tokenización de Acción Ordenada (OAT), un tokenizador aprendido diseñado para satisfacer los tres desiderata. OAT discretiza fragmentos de acciones continuas en secuencias de tokens compactas, totalmente decodificables y ordenadas.

Arquitectura

OAT emplea una arquitectura de codificador-decodificador con un cuello de botella discreto:

• Cuello de Botella de Registros (Register Bottleneck): El codificador utiliza tokens de "registro" aprendibles (inspirados en los registros de ViT) para realizar atención cruzada con todas las posiciones en el fragmento de acción continua. Estos registros agregan la información temporal en una secuencia de estados latentes de longitud fija.
• Cuantización Escalar Finita (FSQ): Los estados de registro latentes se discretizan en un vocabulario fijo mediante FSQ, asegurando que cada índice del vocabulario mapee un fragmento de acción continua válido (Decodificabilidad Total).
• Decodificador: Un decodificador Transformer de atención cruzada reconstruye el fragmento de acción continua a partir de los estados de registro cuantizados.

Entrenamiento: Reconstrucción de Prefijo Anidado

Para inducir el orden deseado de grueso a fino, OAT utiliza la Reconstrucción de Prefijo Anidado durante el entrenamiento:

• Dropout Anidado: El objetivo de entrenamiento muestrea un presupuesto de reconstrucción $K$ de un conjunto de presupuestos (por ejemplo, $\{1, 2, 4, \dots, H_l\}$). El decodificador es entrenado para reconstruir el fragmento de acción completo usando solo los primeros $K$ tokens, con el sufijo restante enmascarado.
• Asignación de Información: Esto obliga a los primeros tokens a portar información de control global y notablemente relevante para una acción plausible, mientras que los tokens posteriores refinan los detalles residuales. Esto crea una representación "progresiva" donde cualquier prefijo decodifica una acción ejecutable.
• Restricciones de Flujo de Registros: Los autores introducen máscaras de autoatención específicas para los registros para soportar diferentes esquemas de generación. Definen dos variantes:
  • $OAT_{sing}$ (Por Token): Utiliza atención causal estándar, imponiendo un orden de dependencia estricto en cada token.
  • $OAT_{pow2}$ (Potencia de Dos): Utiliza atención causal por bloques donde los registros dentro de un grupo de potencia de dos no pueden atenderse entre sí, solo a los grupos anteriores. Esto permite una decodificación autorregresiva por bloques escalable.

Interfaces de Política

OAT se valida en dos paradigmas de política predominantes:

1. Políticas Autorregresivas (AR): La política genera tokens OAT secuencialmente (o en bloques), que luego se des-tokenizan en acciones. La estructura ordenada soporta presupuestos de inferencia variables, permitiendo al sistema intercambiar costo de inferencia por fidelidad de la acción.
2. Políticas de Co-Entrenamiento de Tokens (TC): El VLM es entrenado para predecir tokens OAT (supervisión), mientras que un experto de flujo de coincidencia (flow-matching) separado genera acciones continuas a partir del contexto desvinculado del VLM. Aquí, el primer token OAT actúa como un resumen "tipo plan" de todo el fragmento de acción, proporcionando un objetivo global fuerte para la representación de prellenado (prefill) del VLM.

Generación Escalable

El artículo introduce un marco de Autorregresión por Bloques (BAR) que unifica la generación por token, la decodificación paralela de un solo paso y los esquemas de bloques intermedios. Específicamente, la variante $OAT_{pow2}$ combinada con un esquema de generación de potencia de dos reduce la profundidad de llamadas secuenciales de la política de $O(H_l)$ a $O(\log H_l)$, mejorando significativamente la eficiencia de la inferencia sin sacrificar el rendimiento.

Principales Contribuciones

1. Formalización de Desiderata: El artículo identifica y formaliza la alta compresión, la decodificabilidad total y la estructura de tokens ordenada como los tres requisitos centrales para la tokenización de acciones como interfaz de política.
2. Algoritmo OAT: La propuesta de un tokenizador aprendido que satisface estos requisitos mediante compresión basada en registros, FSQ y entrenamiento de prefijo anidado.
3. Marco de Decodificación Escalable: La introducción de un marco BAR que unifica varios esquemas de generación, demostrando cómo el agrupamiento por potencia de dos puede reducir drásticamente la latencia de inferencia.
4. Validación Exhaustiva: Experimentos extensos a través de tres backbones de política (Transformer ligero, PaliGemma2, Qwen3VL) y más de 60 tareas (simuladas y del mundo real) cubriendo tanto los paradigmas AR como TC.

Resultados Experimentales

• Relación Tasa-Distorsión: OAT traza una curva suave de error de reconstrucción vs. presupuesto de tokens, demostrando que los prefijos de longitudes variables decodifican acciones progresivamente más precisas.
• Políticas Ligeras: En control de bucle cerrado con un backbone Transformer fijo, OAT supera consistentemente a las líneas base (Bin, FAST, QueST, ACodec). El rendimiento escala con el presupuesto de tokens, siendo $OAT_{sing}^{8}$ el que logra las tasas de éxito más altas en LIBERO, RoboMimic, MetaWorld y tareas del mundo real.
• VLMs Autorregresivos: OAT mejora las tasas de éxito para grandes VLMs (PliGemma2, Qwen3VL). La variante de potencia de dos ($OAT_{pow2}$) iguala el rendimiento de la generación por token mientras requiere significativamente menos llamadas de política (por ejemplo, 5 llamadas frente a 16 para la generación completa).
• Co-Entrenamiento de Tokens: Incluso cuando los tokens no se decodifican en la inferencia, la supervisión de OAT conduce a representaciones de VLM superiores. OAT logra el éxito promedio más alto en configuraciones TC, superando a QueST y ACodec en varios benchmarks, validando la hipótesis de la supervisión "tipo plan".
• Ablaciones: Eliminar el entrenamiento de prefijo ordenado (dropout anidado) degrada significativamente el rendimiento, confirmando que la estructura de grueso a fino es crítica. Además, el desajuste entre la estructura de atención de los registros y el esquema de generación (por ejemplo, usar $OAT_{sing}$ con bloques de potencia de dos) reduce el rendimiento, resaltando la necesidad de alineación entre el diseño del tokenizador y el esquema de inferencia.

Significado y Reivindicaciones

El artículo afirma que OAT proporciona una interfaz robusta y flexible para el aprendizaje de políticas visomotoras. Al satisfacer la tríada de compresión, decodificabilidad y ordenación, OAT permite:

• Inferencia Flexible: Las políticas pueden adaptar los presupuestos de tokens para equilibrar latencia y fidelidad.
• Mejor Aprendizaje: La estructura ordenada se alinea con los sesgos inductivos de los modelos autorregresivos y proporciona una supervisión global significativa para los VLMs en configuraciones de co-entrenamiento.
• Escalabilidad: La integración con BAR permite una inferencia eficiente en modelos grandes sin la penalización de profundidad lineal de la generación estándar por token.

Los autores concluyen que, si bien el estudio se limita a benchmarks y backbones específicos, los principios de diseño de OAT ofrecen una solución generalizable para el problema de la tokenización de acciones, allanando el camino para sistemas de IA encarnada más eficientes y capaces. Señalan que trabajos futuros podrían explorar la computación adaptativa, donde las políticas decidan dinámicamente el presupuesto de tokens necesario basado en la complejidad o incertidumbre de la tarea.