🤖 AI

X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining

X-Tokenizer est un tokenizer d'actions multimodal et léger qui reformule la tokenisation d'actions en tant que tâche d'apprentissage d'interface sémantique en employant une architecture de quantification résiduelle sémantique asymétrique et un pré-entraînement contrastif pour combler le fossé entre le raisonnement vision-langage et le contrôle robotique continu précis, surpassant de manière significative les méthodes existantes dans les tâches de longue portée en simulation et dans le monde réel.

Auteurs originaux : Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xirui Kang, Yanpei Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Danpeng Chen, Xiaoyi Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à préparer une tasse de café. Vous possédez un « cerveau » brillant (un modèle Vision-Langage) qui comprend le monde, sait ce qu'est une tasse de café et sait lire des instructions comme « versez le café avec précaution ». Cependant, ce cerveau parle en mots et concepts (des jetons discrets), tandis que les bras et les moteurs du robot doivent parler en mouvements fluides et continus (comme « bouger de 0,04 mm vers la gauche, puis de 0,02 mm vers le haut »).

Le problème est que leurs deux langages ne correspondent pas. Le langage du cerveau est excellent pour le raisonnement, mais il est trop « grossier » pour contrôler directement un moteur.

L'ancienne méthode : La « Fermeture Éclair »

Les méthodes précédentes tentaient de résoudre ce problème en utilisant un « tokenizer » (un traducteur) qui se contentait de compresser les mouvements du robot en une courte liste de codes, comme si l'on fermait une valise avec une fermeture éclair.

Comment cela fonctionnait : Il regardait le mouvement et disait : « D'accord, ce mouvement ressemble au code n°42, et celui-ci au code n°99. »
La faille : C'était une compression purement mécanique. Cela préservait la forme du mouvement (afin que le robot puisse le recréer), mais cela n'enseignait pas au cerveau du robot ce que signifiait le mouvement. Le cerveau ne faisait que deviner des codes aléatoires pour minimiser les erreurs, sans réellement comprendre l'intention derrière le mouvement. C'était comme un traducteur qui sait fermer une valise, mais qui ne sait pas ce qu'il y a à l'intérieur.

La nouvelle méthode : X-Tokenizer (Le « Traducteur Intelligent »)

Les auteurs de ce papier introduisent le X-Tokenizer, qu'ils décrivent non pas comme un simple compresseur, mais comme une Interface Sémantique. Considérez-le comme un traducteur qui est fluide aussi bien en « Moteur de Robot » qu'en « Concept Humain ».

Voici comment il fonctionne, en utilisant une analogie créative :

1. Le dictionnaire à deux couches (Quantification Résiduelle Sémantique)

Imaginez que le traducteur possède un dictionnaire spécial avec deux sections distinctes :

La section « Grande Idée » (Niveau supérieur) : Cette partie apprend l'intention. Si le robot tend la main vers une tasse, cette section apprend le code pour « Saisir la tasse ». Elle est entraînée pour comprendre l' histoire de l'action.
La section « Détails Précis » (Niveaux plus profonds) : Cette partie gère la nuance. Elle apprend les micro-ajustements précis nécessaires pour saisir la tasse sans la renverser.

L'innovation du papier est de traiter ces deux sections différemment. La section « Grande Idée » est entraînée pour comprendre le sens de l'action, tandis que la section « Détails Précis » se concentre uniquement sur le fait de rendre le mouvement parfait. Cela crée un langage partagé où le cerveau du robot peut comprendre l' objectif avant de se soucier de la physique.

2. Le camp d'entraînement (Pré-entraînement)

Avant même que le robot ne touche un objet réel, le X-Tokenizer passe par un camp d'entraînement massif utilisant 2,4 millions de mouvements de robots enregistrés. Il apprend trois compétences spécifiques :

Modélisation d'Action Masquée (MAM) : Imaginez jouer à un jeu de « Mad Libs » avec des mouvements de robot. Le traducteur se voit présenter une séquence d'actions avec une pièce manquante et doit deviner quel était le « mot » (l'intention d'action) manquant en se basant sur le contexte. Cela le force à apprendre la logique du mouvement, et non seulement sa forme.
Alignement Vision-Langage : Le traducteur voit une vidéo d'un robot en mouvement et l'instruction textuelle « Prendre la tasse ». Il apprend à lier directement les codes de mouvement du robot aux mots de l'instruction. Il apprend que le code pour « tendre la main » est sémantiquement lié au mot « tendre la main ».
Prédiction du Futur : Il observe le mouvement actuel et tente de prédire à quoi ressemblera la « vision » du robot dans la seconde suivante. Cela enseigne au traducteur à comprendre les conséquences d'une action, et pas seulement l'action elle-même.

3. Le résultat : Un langage partagé

Une fois entraîné, les outils d'entraînement « supplémentaires » sont retirés, laissant un traducteur léger. Lors du déploiement du robot :

Le cerveau du robot (le VLM) prédit les codes de la « Grande Idée » (ex: « Se déplacer vers la tasse »).
Parce que ces codes ont été entraînés pour correspondre au langage du cerveau, les « pensées » internes du robot deviennent beaucoup plus alignées avec la tâche physique.
Le contrôleur moteur continu prend ensuite ces pensées et complète les « Détails Précis » pour exécuter le mouvement de manière fluide.

Pourquoi c'est important (Les résultats)

Le papier a testé cela sur de vrais robots et des simulations (comme un robot à deux bras jouant avec des blocs ou arrangeant des fleurs).

Meilleure compréhension : Le cerveau du robot a bien mieux compris les instructions de la tâche. Dans des tests où le robot devait pointer des objets en fonction du langage, la précision a bondi de 13,5 %.
Tâches plus longues : Le robot est devenu nettement meilleur dans les tâches longues et multi-étapes (comme « arrange les fleurs, puis allume la lumière »), améliorant ses performances de 8,25 %.
Robustesse : Même lorsque les mouvements du robot étaient légèrement bruyants ou saccadés, le X-Tokenizer maintenait la stabilité des codes de la « Grande Idée », là où les anciennes méthodes auraient été confuses et auraient changé tout le plan.

L'essentiel

Le X-Tokenizer change le rôle du traducteur. Au lieu d'être simplement un outil de compression qui réduit les données, il agit comme un pont sémantique. Il garantit que lorsque le « cerveau » du robot pense à une action, il pense en termes que le « corps » du robot peut réellement comprendre et exécuter, menant à des robots plus intelligents, plus capables, capables de suivre des instructions complexes dans le monde réel.

Résumé Technique : X-Tokenizer

1. Énoncé du Problème

Les modèles modernes de Vision-Langage-Action (VLA) visent à combler le fossé entre le raisonnement vision-langage préentraîné et le contrôle robotique continu et précis. Un défi fondamental dans ce domaine est le décalage de représentation : les architectures de base (backbones) vision-langage préentraînées opèrent sur des représentations discrètes sémantiquement structurées, tandis que les politiques robotiques doivent produire des commandes motrices continues et précises.

Les solutions existantes emploient souvent des tokeniseurs d'action pour mapper des segments d'actions continus en symboles discrets pour la prédiction autoregressive. Cependant, les tokeniseurs actuels (par exemple, FAST, VQ-BeT) sont principalement conçus comme des modules de compression. Ils minimisent l'erreur de reconstruction pour préserver la géométrie du mouvement, mais échouent à aligner leurs structures de tokens avec la sémantique des tâches, le contexte visuel ou l'intention conditionnée par le langage. Par conséquent, dans les systèmes VLA hybrides discrets-continus, la perte de prédiction des tokens d'action discrets agit simplement comme un objectif auxiliaire qui supervise faiblement le backbone, tirant les états cachés vers des motifs de codage géométriques plutôt que vers une sémantique multimodale pertinente pour l'action. Cela limite la capacité du modèle à ancrer le raisonnement de haut niveau dans un contrôle exécutable.

2. Méthodologie : X-Tokenizer

Les auteurs proposent X-Tokenizer, un tokeniseur d'action léger conçu non pas simplement pour la compression, mais comme une interface sémantique entre le raisonnement multimodal et le contrôle exécutable. L'architecture se compose d'un Encodeur, d'un goulot d'étranglement de Quantification Résiduelle Sémantique (SRQ), et d'un Décodeur.

Architecture Centrale

Encodeur : Mappe un segment d'action de $T$ images (spécifiquement des actions delta par rapport à une ancre proprioceptive) en $M$ slots latents continus à l'aide d'un réseau de type Perceiver. Il incorpore des tokens d'incarnation (embodiment tokens) pour assurer la robustesse à travers diverses manipulations robotiques.
Quantification Résiduelle Sémantique (SRQ) : C'est l'innovation centrale. Contrairement à la quantification vectorielle résiduelle (RVQ) standard où tous les niveaux sont optimisés uniformément pour la reconstruction, la SRQ impose une structure de supervision asymétrique :
- Niveau 1 (Intention Sémantique) : Le niveau RVQ supérieur est entraîné avec une Modélisation d'Action Masquée (MAM). Cela force les codes discrets de haut niveau à former un « langage d'action » cohérent qui capture l'intention de mouvement grossière (ex: « se déplacer vers la tasse »).
- Niveaux Profonds (Résidus d'Exécution) : Les niveaux $q > 1$ sont entraînés uniquement pour la reconstruction. Ils préservent les détails géométriques fins et les résidus d'exécution sans supervision sémantique, agissant comme des corrections de l'intention grossière.
Décodeur : Reconstruit le segment d'action complet à partir des latents quantifiés.

Signaux de Supervision de Préentraînement

Pour garantir que les tokens discrets s'alignent avec la sémantique multimodale, X-Tokenizer est préentraîné avec trois têtes auxiliaires (utilisées uniquement pendant le préentraînement et supprimées lors du déploiement) :

Modélisation d'Action Masquée (MAM) : Applique un objectif de type BERT aux codes discrets de haut niveau, exigeant que le modèle prédise les tokens masqués à partir du contexte. Cela établit une régularité syntaxique dans le langage d'action.
Alignement Contrastif Vision-Langage : Aligne les latents continus de l'encodeur avec les caractéristiques fusionnées vision-langage dérivées d'un modèle de fond Qwen2.5-VL-7B gelé. Ceci est réalisé via une perte InfoNCE aux granularités globale (niveau trajectoire) et locale (niveau slot), garantissant que l'espace d'action partage un espace de variétés (manifold) avec l'espace de représentation du VLM.
Prédiction de Caractéristiques VL de l'Image Suivante : Un petit prédicteur régresse les caractéristiques vision-langage de l'image immédiatement suivant le segment d'action. Cela injecte un signal prospectif, forçant le codebook à encoder les conséquences physiques immédiates des actions.

Intégration en Aval (Downstream)

Dans le co-entraînement VLA en aval, le X-Tokenizer gelé fournit des tokens d'action multi-niveaux comme supervision autoregressive pour les états cachés du VLM partagé. Un expert de Flow Matching continu est conditionné sur ces états cachés pour régresser les trajectoires exécutables. À l'inférence, le tokeniseur est désactivé ; la politique fonctionne comme un régresseur de flux continu en un seul passage (single-forward).

3. Contributions Clés

Formulation d'Interface Sémantique : L'article reformule la tokenisation d'action, passant d'une tâche de compression à un « apprentissage d'interface sémantique », où les tokens servent de cibles de façonnage de représentation qui connectent le raisonnement de haut niveau au contrôle de bas niveau.
Quantification Résiduelle Sémantique (SRQ) : Introduit une structure RVQ asymétrique qui sépare explicitement l'intention sémantique (Niveau 1) des résidus d'exécution (niveaux profonds), permettant au niveau supérieur de capturer la sémantique de la tâche tout en préservant la fidélité de la reconstruction.
Alignement Multimodal : Démontre qu'aligner les tokens d'action avec l'espace de représentation d'un VLM gelé (via l'apprentissage contrastif et la prédiction de l'image suivante) améliore considérablement l'ancrage multimodal sans ajouter de surcharge lors de l'inférence.
Scalabilité Cross-Embodiment : Préentraîné sur 2,4 millions de trajectoires (2,0 milliards de frames d'action) couvrant 17 familles de bras, le tokeniseur est conçu pour être une interface réutilisable à travers divers corps robotiques.

4. Résultats Expérimentaux

L'article évalue X-Tokenizer par rapport à des bases de référence comme FAST, RDT2 VQ et la quantification uniforme dans des environnements de simulation et du monde réel.

Alignement Multimodal :
- Statistique/Géométrique : Les latents d'action et les caractéristiques VLM occupent une variété commune, avec une haute similitude cosinus entre les slots d'action et les contextes vision-langage correspondants.
- Fonctionnel : Les caractéristiques VLM gelées peuvent piloter avec succès le décodeur d'action, atteignant une haute similitude cosinus (0,85–0,95) dans la direction de l'action, prouvant que l'alignement est fonctionnel, et non seulement géométrique.
Structure du Codebook : La SRQ présente une division claire du travail. Le niveau supérieur (régularisé par MAM) montre une distribution à longue traîne (76,4 % d'utilisation) indicative de « mots » sémantiques, tandis que les niveaux plus profonds sont utilisés uniformément (>93 %) pour la correction de résidus.
Robustesse : X-Tokenizer est plus robuste au bruit d'action que FAST. Alors que FAST souffre de changements de longueur de séquence dus à la re-segmentation BPE sous l'effet du bruit, X-Tokenizer préserve le flux d'intention de haut niveau, confinant les éditions induites par le bruit aux codes de résidus de niveau inférieur.
Simulation (RoboTwin 2.0) :
- A obtenu la meilleure performance globale parmi les interfaces évaluées.
- A surpassé la base de référence $\pi0.5$ de +8,25 % dans les réglages difficiles (Hard settings).
- A montré des gains significatifs de transfert cross-embodiment lorsqu'il est entraîné conjointement sur cinq types de bras.
Évaluation en Monde Réel (7 tâches de table de travail) :
- Ancrage Multimodal : Amélioration de la précision VQA de +13,5 % (75,7 % $\to$ 85,9 %) par rapport à FAST.
- Tâches à Long Horizon : Amélioration de la performance de +8,25 % (61,0 % $\to$ 69,25 %).
- Global : A atteint un taux de progression (PR) moyen de 77,4 % sur toutes les tâches, surpassant à la fois les tokeniseurs de reconstruction pure et l'original de tête de flux continu.

5. Signification et Revendications

L'article affirme que les tokeniseurs d'action peuvent fonctionner comme des interfaces sémantiques réutilisables pour le préentraînement VLA, plutôt que de servir simplement de modules internes de compression d'action.

Au-delà de la Compression : Les résultats suggèrent que la valeur primaire d'un tokeniseur dans un VLA n'est pas seulement de réduire la dimensionnalité, mais de façonner les états cachés du backbone VLM pour qu'ils soient sémantiquement alignés avec des actions exécutables.
Séparation des Préoccupations : La conception SRQ parvient à découpler l'intention sémantique du détail géométrique, permettant au VLM de se concentrer sur le « quoi » faire tandis que l'expert continu gère le « comment » le faire précisément.
Efficacité : La supervision sémantique est appliquée uniquement pendant le préentraînement. Le système déployé reste léger, n'entraînant aucun coût supplémentaire d'extraction de caractéristiques visuelles ou de déroulement de dynamique lors de l'inférence.
Généralisation : La capacité de transférer un tokenizer aligné avec un VLM de 7 milliards de paramètres vers un backbone de politique de 3 milliards de paramètres suggère que l'interface apprise est robuste et n'est pas liée à une échelle de modèle spécifique.

Les auteurs concluent que la compression guidée par le contexte, où la stratégie de tokenisation est explicitement alignée avec le modèle multimodal consommateur, est une direction critique pour améliorer les modèles de fondation incarnés.