🤖 AI

X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining

X-Tokenizer es un tokenizador de acciones multimodal y ligero que replantea la tokenización de acciones como una tarea de aprendizaje de interfaz semántica mediante el empleo de una arquitectura de Cuantización de Residuos Semánticos asimétrica y preentrenamiento contrastivo para vincular el razonamiento visión-lenguaje con un control robótico continuo preciso, superando significativamente a los métodos existentes tanto en tareas de largo horizonte en simulación como en el mundo real.

Autores originales: Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

Publicado 2026-06-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot a preparar una taza de café. Tienes un "cerebro" brillante (un modelo de Visión-Lenguaje) que entiende el mundo, sabe qué es una taza de café y puede leer instrucciones como "vierte el café con cuidado". Sin embargo, el cerebro de este robot habla en palabras y conceptos (tokens discretos), mientras que los brazos y motores del robot necesitan hablar en movimientos suaves y continuos (como "mover 0.04 mm a la izquierda, luego 0.02 mm hacia arriba").

El problema es que sus lenguajes no coinciden. Las palabras del cerebro son excelentes para el razonamiento, pero son demasiado "toscas" para controlar un motor directamente.

La forma antigua: El "Cremallera" (The Zipper)

Los métodos anteriores intentaban resolver esto mediante un "tokenizador" (un traductor) que simplemente comprimía los movimientos del robot en una lista corta de códigos, como si se subiera el cierre de una maleta.

Cómo funcionaba: Observaba el movimiento y decía: "Bien, este movimiento parece el código #42, y este otro el código #99".
El fallo: Era una compresión puramente mecánica. Preservaba la forma del movimiento (para que el robot pudiera recrearlo), pero no le enseñaba al cerebro del robot qué significaba ese movimiento. El cerebro solo estaba adivinando códigos aleatorios para minimizar errores, no comprendiendo realmente la intención detrás del movimiento. Era como un traductor que sabe cómo subir el cierre de una maleta, pero no sabe qué hay dentro.

La nueva forma: X-Tokenizer (El "Traductor Inteligente")

Los autores de este artículo presentan X-Tokenizer, que describen no solo como un compresor, sino como una Interfaz Semántica. Piensa en él como un traductor que es fluido tanto en el "Lenguaje del Motor del Robot" como en el "Concepto Humano".

Así es como funciona, utilizando una analogía creativa:

1. El Diccionario de Dos Capas (Cuantización de Residuos Semánticos)

Imagina que el traductor tiene un diccionario especial con dos secciones distintas:

La sección de las "Grandes Ideas" (Nivel Superior): Esta parte aprende la intención. Si el robot está alcanzando una taza, esta sección aprende el código para "Agarrar la taza". Está entrenada para entender la historia de la acción.
La sección de los "Detalles Finos" (Niveles más profundos): Esta parte maneja el matiz. Aprende los ajustes diminutos y precisos necesarios para agarrar la taza sin volcarla.

La innovación del artículo es tratar estas dos secciones de manera diferente. La sección de las "Grandes Ideas" se entrena para entender el significado de la acción, mientras que la sección de los "Detalles Finos" solo se enfoca en hacer que el movimiento sea perfecto. Esto crea un lenguaje compartido donde el cerebro del robot puede entender el objetivo antes de preocuparse por la física.

2. El Campo de Entrenamiento (Preentrenamiento)

Antes de que el robot toque siquiera un objeto real, X-Tokenizer pasa por un enorme campo de entrenamiento utilizando 2.4 millones de movimientos robóticos registrados. Aprende tres habilidades específicas:

Modelado de Acción Enmascarada (MAM): Imagina jugar un juego de "Mad Libs" (completar huecos) con los movimientos del robot. Al traductor se le muestra una secuencia de acciones con una pieza faltante y debe adivinar cuál era la "palabra" (intención de la acción) faltante basándose en el contexto. Esto lo obliga a aprender la lógica del movimiento, no solo su forma.
Alineación Visión-Lenguaje: El traductor observa un video de un robot moviéndose y la instrucción de texto "Recoger la taza". Aprende a vincular directamente los códigos de movimiento del robot con las palabras de la instrucción. Aprende que el código de "alcanzar" está vinculado semánticamente con la palabra "alcanzar".
Predicción del Futuro: Observa el movimiento actual e intenta predecir cómo será la "visión" del robot en el siguiente segundo. Esto le enseña al traductor a entender las consecuencias de una acción, no solo la acción en sí.

3. El Resultado: Un Lenguaje Compartido

Una vez entrenado, las herramientas de "entrenamiento extra" se eliminan, dejando un traductor ligero. Cuando el robot se despliega:

El cerebro del robot (el VLM) predice los códigos de las "Grandes Ideas" (ej. "Moverse hacia la taza").
Debido a que estos códigos fueron entrenados para coincidir con el lenguaje del cerebro, los "pensamientos" internos del robot se alinean mucho mejor con la tarea física.
El controlador de motores continuo toma entonces estos pensamientos y completa los "Detalles Finos" para ejecutar el movimiento de forma fluida.

Por qué es importante (Los Resultados)

El artículo probó esto en robots reales y simulaciones (como un robot de doble brazo jugando con bloques o arreglando flores).

Mejor Comprensión: El cerebro del robot entendió mucho mejor las instrucciones de la tarea. En pruebas donde el robot tenía que señalar objetos basándose en el lenguaje, la precisión aumentó un 13.5%.
Tareas más Largas: El robot mejoró significamente en tareas largas de múltiples pasos (como "arregla las flores, luego enciende la luz"), mejorando el rendimiento en un 8.25%.
Robustez: Incluso cuando los movimientos del robot eran ligeramente ruidosos o erráticos, X-Tokenizer mantuvo estables los códigos de las "Grandes Ideas", mientras que los métodos anteriores se confundían y cambiaban todo el plan.

La Conclusión

X-Tokenizer cambia el papel del traductor. En lugar de ser solo una herramienta de compresión que reduce datos, actúa como un puente semántico. Asegura que cuando el "cerebro" del robot piensa en una acción, lo haga en términos que su "cuerpo" pueda realmente entender y ejecutar, lo que conduce a robots más inteligentes y capaces que pueden seguir instrucciones complejas en el mundo real.

Resumen Técnico: X-Tokenizer

1. Declaración del Problema

Los modelos modernos de Visión-Lenguaje-Acción (VLA) pretenden cerrar la brecha entre el razonamiento de visión-lenguaje preentrenado y el control robótico continuo y preciso. Un desafío fundamental en este dominio es el desajuste de representación: los backbones de visión-lenguaje preentrenados operan sobre representaciones discretas semánticamente estructuradas, mientras que las políticas robóticas deben emitir comandos motores continuos y precisos.

Las soluciones existentes emplean a menudo tokenizadores de acción para mapear fragmentos de acción continuos en símbolos discretos para la predicción autorregresiva. Sin embargo, los tokenizadores actuales (por ejemplo, FAST, VQ-BeT) están diseñados primordialmente como módulos de compresión. Estos minimizan el error de reconstrucción para preservar la geometría del movimiento, pero no logran alinear sus estructuras de tokens con la semántica de la tarea, el contexto visual o la intención condicionada por el lenguaje. En consecuencia, en los sistemas VLA híbridos de tipo discreto-continuo, la pérdida de predicción de tokens de acción actúa meramente como un objetivo auxiliar que supervisa débilmente al backbone, atrayendo los estados ocultos hacia patrones de código geométricos en lugar de hacia una semántica multimodal relevante para la acción. Esto limita la capacidad del modelo para fundamentar el razonamiento de alto nivel en un control ejecutable.

2. Metodología: X-Tokenizer

Los autores proponen X-Tokenizer, un tokenizador de acción ligero diseñado no solo para la compresión, sino como una interfaz semántica entre el razonamiento multimodal y el control ejecutable. La arquitectura consta de un Codificador, un cuello de botella de Cuantización Residual Semántica (SRQ) y un Decodificador.

Arquitectura Central

Codificador: Mapea un fragmento de acción de $T$ fotogramas (específicamente acciones delta relativas a un ancla propioceptiva) en $M$ slots latentes continuos utilizando una red de estilo Perceiver. Incorpora tokens de encarnación (embodiment) para asegurar la robustez a través de diversos brazos robóticos.
Cuantización Residual Semántica (SRQ): Esta es la innovación central. A diferencia de la RVQ estándar, donde todos los niveles se optimizan uniformemente para la reconstrucción, la SRQ impone una estructura de supervisión asimétrica:
- Nivel 1 (Intención Semántica): La capa de nivel superior de la RVQ se entrena con Modelado de Acción Enmascarada (MAM). Esto obliga a los códigos discretos de nivel superior a formar un "lenguaje de acción" coherente que capture la intención de movimiento gruesa (por ejemplo, "mover hacia la taza").
- Niveles Profundos (Residuales de Ejecución): Los niveles $q > 1$ se entrenan únicamente para la reconstrucción. Preservan los detalles geométricos finos y los residuales de ejecución sin supervisión semántica, actuando como correcciones de la intención gruesa.
Decodificador: Reconstruye el fragmento de acción de longitud completa a partir de los latentes cuantizados.

Señales de Supervisión de Preentrenamiento

Para asegurar que los tokens de acción se alineen con la semántica multimodal, X-Tokenizer se preentrena con tres cabezales auxiliares (usados solo durante el preentrenamiento y eliminados en el despliegue):

Modelado de Acción Enmascarada (MAM): Aplica un objetivo tipo BERT a los códigos discretos de nivel superior, requiriendo que el modelo prediga los tokens enmascarados a partir del contexto. Esto establece una regularidad sintáctica en el lenguaje de acción.
Alineación Contrastiva Visión-Lenguaje: Alinea los latentes continuos del codificador con las características fusionadas de visión-lenguaje derivadas de un modelo base Qwen2.5-VL-7B congelado. Esto se logra mediante una pérdida InfoNCE tanto a nivel global (nivel de trayectoria) como local (nivel de slot), asegurando que el espacio de acción comparta un manifold con el espacio de representación del VLM.
Predicción de Características VL del Siguiente Fotograma: Un pequeño predictor regresa las características de visión-lenguaje del fotograma inmediatamente posterior al fragmento de acción. Esto inyecta una señal de anticipación, obligando al libro de códigos a codificar las consecuencias físicas inmediatas de las acciones.

Integración en Etapas Posteriores (Downstream)

En el co-entrenamiento VLA de etapa posterior, el X-Tokenizer congelado proporciona tokens de acción de múltiples niveles como supervisión autorregresiva para los estados ocultos del VLM compartido. Un experto de Flow Matching continuo se condiciona en estos estados ocultos para regredir trayectorias ejecutables. Durante la inferencia, el tokenizador se desactiva; la política se ejecuta como un regresor de flujo continuo de paso único.

3. Contribuciones Clave

Formulación de Interfaz Semántica: El artículo redefine la tokenización de la acción de una tarea de compresión a un "aprendizaje de interfaz semántica", donde los tokens sirven como objetivos de conformación de representación que conectan el razonamiento de alto nivel con el control de bajo nivel.
Cuantización Residual Semántica (SRQ): Introduce una estructura RVQ asimétrica que separa explícitamente la intención semántica (Nivel 1) de los residuales de ejecución (niveles más profundos), permitiendo que el nivel superior capture la semántica de la tarea mientras preserva la fidelidad de la reconstrucción.
Alineación Multimodal: Demuestra que alinear los tokens de acción con el espacio de representación de un VLM congelado (mediante aprendizaje contrastivo y predicción del siguiente fotograma) mejora significamente la fundamentación multimodal sin añadir sobrecarga en el tiempo de inferencia.
Escalabilidad de la Encarnación (Cross-Embodiment): Preentrenado en 2.4 millones de trayectorias (2.0 mil millones de fotogramas de acción) que abarcan 17 familias de brazos, el tokenizador está diseñado para ser una interfaz reutilizable a través de diversas encarnaciones robóticas.

4. Resultados Experimentales

El artículo evalúa X-Tokenizer frente a líneas base como FAST, RDT2 VQ y cuantización uniforme en entornos de simulación y del mundo real.

Alineación Multimodal:
- Estadística/Geométrica: Los latentes de acción y las características del VLM ocupan un manifold compartido, con una alta similitud de coseno entre los slots de acción y sus contextos visuales-lingüísticos correspondientes.
- Funcional: Las características del VLM congelado pueden conducir con éxito el decodificador de acción, logrando una alta similitud de coseno (0.85–0.95) en la dirección de la acción, probando que la alineación es funcional y no solo geométrica.
Estructura del Libro de Códigos: El SRQ exhibe una clara división del trabajo. El nivel superior (regularizado por MAM) muestra una distribución de cola larga (76.4% de uso) indicativa de "palabras" semánticas, mientras que los niveles más profundos se usan uniformemente (>93%) para la corrección de residuales.
Robustez: X-Tokenizer es más robusto al ruido de acción que FAST. Mientras que FAST sufre cambios en la longitud de la secuencia debido a la re-segmentación de BPE bajo ruido, X-Tokenizer preserva el flujo de intención de nivel superior, confinando las ediciones inducidas por el ruido a los códigos residuales de nivel inferior.
Simulación (RoboTwin 2.0):
- Logró el mejor desempeño agregado entre las interfaces evaluadas.
- Superó a la línea base $\pi0.5$ por un +8.25% en configuraciones difíciles (Hard settings).
- Mostró ganancias significativas en la transferencia entre encarnaciones cuando se entrenó conjuntamente en cinco tipos de brazos.
Evaluación en el Mundo Real (7 tareas de mesa):
- Fundamentación Multimodal: Mejoró la precisión de VQA en un +13.5% (75.7% $\to$ 85.9%) comparado con FAST.
- Tareas de Largo Horizonte: Mejoró el desempeño en un +8.25% (61.0% $\to$ 69.25%).
- General: Logró una Tasa de Progreso (PR) promedio del 77.4% en todas las tareas, superando tanto a los tokenizadores de solo reconstrucción como al cabezal de flujo continuo original.

5. Significado y Reivindicaciones

El artículo sostiene que los tokenizadores de acción pueden funcionar como interfaces semánticas reutilizables para el preentrenamiento VLA, en lugar de actuar meramente como módulos internos de compresión de acción.

Más allá de la Compresión: Los resultados sugieren que el valor principal de un tokenizador en un VLA no es solo reducir la dimensionalidad, sino dar forma a los estados ocultos del backbone del VLM para que estén semánticamente alineados con acciones ejecutables.
Separación de Preocupaciones: El diseño SRQ logra desacoplar la intención semántica del detalle geométrico, permitiendo que el VLM se concentre en el "qué" hacer mientras el experto continuo se encarga de "cómo" hacerlo con precisión.
Eficiencia: La supervisión semántica se aplica solo durante el preentrenamiento. El sistema desplegado sigue siendo ligero, sin incurrir en costos adicionales de extracción de características visuales o rollouts de dinámica durante la inferencia.
Generalización: La capacidad de transferir un tokenizador alineado con un VLM de 7B parámetros a un backbone de política de 3B parámetros sugiere que la interfaz aprendida es robusta y no está ligada a una escala de modelo específica.

Los autores concluyen que la compresión guiada por el contexto, donde la estrategia de tokenización se alinea explícitamente con el modelo multimodal consumidor, es una dirección crítica para mejorar los modelos fundacionales imbuidos de cuerpo (embodied foundation models).