💻 computer science

Native Video-Action Pretraining for Generalizable Robot Control

LingBot-VA 2.0 est un modèle de fondation vidéo-action conçu de toutes pièces pour l'incarnation robotique, présentant un tokenizer visuel-action sémantique, un pré-entraînement causal, une architecture MoE parcimonieuse et un schéma d'inférence asynchrone afin de parvenir à un contrôle robuste et généralisable en peu d'exemples dans des environnements réels.

Auteurs originaux : Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Gua

Publié 2026-07-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment jouer à un jeu vidéo. La plupart des gens aujourd'hui essaient de le faire en prenant une IA de création de films super intelligente, en lui ajoutant quelques boutons supplémentaires pour « bouger à gauche » ou « ramasser », et en espérant qu'elle comprenne le reste. Les auteurs de cet article soutiennent cependant que c'est comme essayer d'apprendre à un poisson à faire du vélo en lui attachant simplement une selle. C'est le mauvais outil pour la tâche.

Au lieu de cela, ils ont construit LingBot-VA 2.0, un cerveau de robot conçu dès le départ spécifiquement pour comprendre comment le monde physique bouge et réagit. Ne le voyez pas comme un directeur de cinéma, mais comme un coach de « prévision du futur » qui observe une scène, prédit exactement comment elle changera dans une fraction de seconde, et dit au robot exactement quoi faire pour que ce futur se réalise.

Pourquoi l'ancienne méthode ne fonctionnait pas

L'article s'oppose explicitement à la tendance actuelle du « réemploi » des générateurs de vidéos. Ces anciens modèles ont été entraînés pour créer de beaux films où l'objectif est simplement d'être réaliste. Ils sont « bidirectionnels », ce qui signifie qu'ils peuvent regarder le futur pour aider à prédire le passé, ce qui est excellent pour monter un film mais terrible pour un robot qui doit agir maintenant en se basant uniquement sur ce qu'il voit maintenant.

Les auteurs ont identifié trois problèmes majeurs avec l'ancienne approche :

C'est trop esthétique, pas assez physique : Les anciens modèles se concentrent sur l'aspect visuel des pixels, pas sur la compréhension du fait que si vous poussez une tasse, elle glisse. Ils ne « comprennent » pas vraiment la cause et l'effet.
C'est trop lent : Les vrais robots ont besoin de réfléchir des centaines de fois par seconde. Les anciens modèles mettent trop de temps à « débruiter » (nettoyer) une image vidéo, ce qui fait que le robot se fige ou subit des latences.
Il oublie les règles : Forcer un créateur de films à apprendre des mouvements de robot fait souvent oublier les connaissances générales acquises en regardant des milliards d'heures de vidéos sur Internet.

Le nouveau secret : Quatre astuces magiques

Pour corriger cela, l'équipe a construit LingBot-VA 2.0 en utilisant quatre principes de conception ingénieux :

1. Le « Traducteur de Sens » (Tokeniseur Sémantique)
Imaginez que vous avez un traducteur qui ne traduit pas seulement les mots, mais qui traduit aussi le sentiment de la phrase. Les anciens modèles traduisaient la vidéo en une multitude de petits fragments de pixels. LingBot-VA 2.0 utilise un nouveau « tokeniseur » qui traduit la vidéo en un résumé compact et de haut niveau qui comprend ce que sont les objets et comment ils bougent. Il aligne la vision du robot avec un gigantesque « cerveau visuel » pré-entraîné afin qu'il comprenne qu'une « tasse » est une tasse, et non juste une collection de couleurs. Crucialement, il apprend aussi des « actions latentes » : un code secret qui représente le changement entre deux moments, comme la force invisible d'une main saisissant une tasse, sans avoir besoin qu'un humain étiquette chaque mouvement.

2. La « Rue à Sens Unique » (Pré-entraînement Causal)
Les monteurs de films peuvent naviguer de l'avant vers l'arrière dans le temps. Les robots ne le peuvent pas. Les auteurs ont entraîné leur modèle sur un chemin strict de « sens unique » (causal). Il n'apprend qu'à partir du passé pour prédire le futur. Ils n'ont pas simplement peaufiné un ancien modèle ; ils ont entraîné tout ce système à partir de zéro sur des données à l'échelle du web. Cela garantit que le cerveau du robot est naturellement câblé pour penser vers l'avant, évitant ainsi l'« amnésie » qui survient lorsqu'on tente de forcer un modèle tourné vers le passé à agir vers le futur.

3. Le Réseau « Abeille Travailleuse » (MoE Sparse)
Pour rendre le robot assez rapide pour attraper une balle volante, le modèle utilise une architecture « Mixture of Experts » (MoE - Mélange d'Experts). Imaginez une immense bibliothèque où, au lieu que chaque bibliothécaire lise tous les livres, seul l'expert spécifique nécessaire pour la tâche est appelé. Cela permet au modèle d'être immense et intelligent (13 milliards de paramètres !) tout en n'activant qu'une petite fraction de son cerveau (environ 1,9 milliard) pour chaque étape. Cela le maintient extrêmement rapide sans perdre en intelligence.

4. L'Inférence par « Vision Cristalline » (Raisonnement de Prospective)
C'est la partie la plus impressionnante. Habituellement, un robot attend que l'ordinateur finisse de réfléchir, puis bouge, puis attend que la caméra se mette à jour, puis réfléchit à nouveau. C'est trop lent. LingBot-VA 2.0 utilise le « Raisonnement de Prospective » (Foresight Reasoning). Pendant que le robot déplace physéralement son bras pour accomplir la Tâche A, l'ordinateur est déjà en train de prédire la Tâche B en arrière-plan.
Mais voici le filet de sécurité : si la prédiction du robot dévie (par exemple, s'il imagine que la tasse est toujours sur la table alors qu'elle est au sol), le système se « ré-ancre » instantanément grâce à la dernière image réelle de la caméra. C'est comme un pilote qui vole en regardant par la fenêtre tout en vérifiant simultanément ses instruments, corrigeant sa trajectoire instantanément si la réalité ne correspond pas à la prédiction.

Est-ce que cela fonctionne vraiment ?

Les auteurs n'ont pas seulement imaginé cela ; ils l'ont testé rigoureusement.

Dans le monde réel : Ils ont placé le robot dans un laboratoire pour effectuer des tâches comme trier des fruits, ramasser des stylos et ranger des tiroirs. LingBot-VA 2.0 a nettement surpassé les modèles précédents (comme $\pi0.5$ et l'original LingBot-VA). Par exemple, pour le « Tri de Fruits », il a réussi 77 % du temps, contre 64 % pour le modèle suivant.
En simulation : Ils l'ont testé dans une simulation complexe de robot à deux bras appelée RoboTwin. Il a atteint un taux de réussite de 93,6 %, battant tous les concurrents.
Vitesse : Grâce à leurs astuces de rapidité, le robot peut prendre des décisions à une fréquence de pointe de 225 Hz. C'est plus de 200 fois par seconde — assez rapide pour jouer au air hockey ou attraper un objet qui tombe.
Apprentissage rapide : Le robot peut apprendre de nouvelles tâches avec très peu d'exemples. Dans un test, il a appris à organiser des assiettes et des tasses après avoir vu seulement 15 démonstrations par tâche, et il a même pu généraliser à de nouvelles combinaisons d'objets qu'il n'avait jamais vus auparavant simplement en regardant une vidéo humaine (une technique appelée « apprentissage en contexte »).

L'essentiel

L'article suggère que pour construire un robot véritablement polyvalent, nous ne pouvons pas simplement greffer d'anciens outils vidéo sur des bras robotisés. Nous avons besoin de construire un nouveau type de cerveau qui comprend la physique, qui est rapide et qui apprend simultanément de l'immense réservoir de vidéos d'Internet et des données réelles de robots. LingBot-VA 2.0 prouve que c'est possible, montrant qu'un robot peut être à la fois un penseur rapide et un exécutant précis, prêt à s'attaquer aux tâches quotidiennes désordonnées avec seulement quelques instructions.

Résumé Technique : Pré-entraînement Natif Vidéo-Action pour un Contrôle Robotique Généralisable (LingBot-VA 2.0)

Énoncé du Problème

Les modèles actuels vidéo-action pour le contrôle robotique détournent largement des architectures de génération de vidéos génériques (conçues pour la création de contenu numérique) en y ajoutant des modules d'action a posteriori. Les auteurs soutiennent que cette approche est intrinsèquement inadéquate pour les environnements physiques en raison de trois limitations principales :

Décalage de Représentation : Les auto-encodeurs variationnels (VAE) standards optimisent la reconstruction de pixels, préservant le détail visuel mais échouant à capturer la structure sémantique ou la dynamique physique. Par conséquent, les états du monde et les actions restent dans des espaces latents mal alignés.
Latence d'Inférence : Les jetons (tokens) vidéo de haute dimension et les processus de débruitage itératifs rendent les modèles existants trop lents pour le contrôle en boucle fermée à haute fréquence requis par les vrais robots.
Désalignement du Signal de Pré-entraînement : Les objectifs de pré-entraînement vidéo à l'échelle du web n'enseignent pas comment les actions façonnent le monde. L'adaptation de modèles vidéo bidirectionnels au contrôle causal via le fine-tuning mène souvent à un oubli catastrophique des priors larges ou repose sur des données robotiques rares, limitant l'échelle des connaissances de contrôle acquises.

De plus, il existe un décalage structurel entre les mécanismes d'attention bidirectionnels des backbones vidéo pré-entraînés et la nature strictement causale et temporelle (vers l'avant) du contrôle robotique en boucle fermée.

Méthodologie

Le papier présente LingBot-VA 2.0, un modèle de fondation vidéo-action construit « de fond en comble » pour l'incarnation (embodiment). L'architecture suit une voie de pré-entraînement natif, évitant le détournement de générateurs de vidéos génériques. Le système repose sur quatre principes de conception fondamentaux :

1. Tokeniseur Visuel-Action Sémantique

S'écartant des VAE axés sur la reconstruction, les auteurs introduisent un tokeniseur qui aligne les représentations visuelles avec la sémantique et les actions.

Alignement Visuel : Le tokeniseur visuel aligne les latents orientés vers la reconstruction avec un modèle de fondation visuelle gelé (Encodeur de Perception) en utilisant un objectif d'alignement sémantique. Cela produit des représentations compactes et riches en sémantique plutôt que de simples approximations de pixels.
Extraction de l'Action Latente : Sans utiliser d'étiquettes d'action explicites, le tokeniseur apprend les actions latentes ( $\ell_t$ ) par une dynamique inverse et directe auto-supervisée. Un Modèle de Dynamique Inverse (IDM) prédit une transformation compacte entre les latents visuels consécutifs, et un Modèle de Dynamique Directe (FDM) reconstruit le latent suivant. Cela place les états du monde et les actions dans un espace latent sémantique partagé, permettant à la vidéo web non étiquetée de fournir une supervision pertinente pour l'action.

2. Paradigme de Pré-entraînement Causal

Le modèle adopte une stratégie de pré-entraînement causal pour contourner l'oubli catastrophique associé à l'adaptation des architectures bidirectionnelles.

Architecture : Le backbone est un Transformer de Diffusion Causal (DiT). Il emploie une structure de Mélange d'Experts (Mixture-of-Experts - MoE) pour le flux vidéo (routage parcimonieux/sparse) tout en gardant le flux d'action dense. Cela étend la capacité du modèle sans compromettre l'efficacité de l'inférence.
Objectif de Pré-entraînement : Le modèle est pré-entraîné sur des données d'images et de vidéos à l'échelle du web en utilisant un objectif de prochain-latent causal. Cela garantit que le modèle acquiert des priors larges de manière native sous une forme causale.
Prédiction Multi-Chunks (MCP) : Pour éviter que le modèle ne se contente de copier l'apparence visuelle à court terme, le MCP est introduit comme un objectif auxiliaire. Il supervise la prédiction de plusieurs chunks futurs simultanément, forçant l'espace latent à encoder des dynamiques de trajectoire plutôt que de la simple continuité locale.

3. Planification Hiérarchique et Apprentissage en Contexte

Planificateur Hiérarchique : Un planificateur de type Modèle de Langage-Vision (VLM) de haut niveau décompose les objectifs à long terme en sous-tâches structurées (instructions, indices de génération, descriptions de scènes). Ce planificateur s'exécute de manière asynchrone, fournissant du contexte à la politique de bas niveau sans bloquer la boucle de contrôle.
Apprentissage en Contexte (ICL) : Le modèle supporte la spécification de tâches par vidéo. Des vidéos de démonstration humaine sont encodées dans l'espace latent partagé et utilisées comme prompts visuels, permettant au robot d'inférer des indices procéduraux pour des tâches rares ou complexes sans mise à jour des paramètres.
Co-entraînement Humain-Robot : Le modèle est entraîné conjointement sur des données robotiques et des vidéos de manipulation humaine égocentrée. Les poses des mains humaines sont mappées vers un espace de pince robotique fonctionnel (pose racine 6-DoF + ouverture scalaire), permettant au modèle de monde partagé d'apprendre des dynamiques d'incarnation croisées tout en utilisant des têtes spécifiques au domaine pour le décodage d'actions de bas niveau.

4. Raisonnement de Prospective pour le Contrôle en Temps Réel

Pour résoudre le goulot d'étranglement sériel où la latence du modèle devient la latence de contrôle, les auteurs proposent la Foresight Reasoning (Raisonnement de Prospective), un schéma d'inférence asynchrone.

Exécution Parallèle : Pendant que le robot exécute le chunk d'action actuel, le flux de prédiction prédit simultanément le prochain latent visuel et le prochain chunk d'action.
Ré-ancrage (Re-grounding) : Pour éviter la dérive due à des états hallucinés, le système ré-ancre chaque prédiction sur la dernière observation réelle. Une étape de dynamique directe apprise au sein même de la politique imagine le résultat de l'action actuelle, qui est ensuite corrigée par le retour sensoriel réel avant l'étape suivante.
Accélération : Le système utilise la distillation de cohérence à quelques étapes (few-step consistency distillation), l'exécution compilée en basse précision (FP8) (TensorRT), la gestion de cache KV paginée/irrégulière (paged/ragged), et la réduction des surcharges d'exécution pour atteindre des performances en temps réel.

Contributions Clés

Pré-entraînement Vidéo-Action Natif : Le premier pré-entraînement complet d'un modèle vidéo-action (incluant un tokeniseur sémantique et un DiT causal) spécifiquement pour le contrôle robotique via une auto-supervision scalable, plutôt que d'adapter des composants de génération de vidéo génériques.
Représentation Sémantique Partagée : Un espace latent unifié pour les états du monde et les actions, ancré à un modèle de fondation visuelle aligné sur le langage, ce qui renforce l'alignement vision-langage-action pour une meilleure exécution des instructions et une plus grande précision.
Contrôle Général, Rapide et Précis : La combinaison de l'inférence MoE parcimonieuse, de la distillation à quelques étapes, de la Foresight Reasoning et du déploiement quantifié permet une exécution en boucle fermée en temps réel (jusqu'à une fréquence asynchrone de 225 Hz). Le modèle démontre de fortes capacités de généralisation few-shot et zero-shot.

Résultats Expérimentaux

Le papier valide LingBot-VA 2.0 à travers des benchmarks de simulation et du monde réel :

Déploiement en Monde Réel : Évalué sur un benchmark robotique interne (Tri de fruits, Collecte de stylos, Rangement de tiroirs, Passage de plats). LingBot-VA 2.0 a surpassé les bases solides, incluant le modèle VLA $\pi0.5$ et le précédent modèle VA LingBot-VA, atteignant des taux de succès et des scores de progression de tâche plus élevés, particulièrement pour les tâches continues à long horizon.
Simulation (RoboTwin) : Sur le benchmark bimanuel RoboTwin, le modèle a atteint un taux de succès moyen de 93,6 %, surpassant $\pi0.5$ (79,8 %) et le précédent LingBot-VA (92,2 %). Il a démontré une robustesse avec un écart de performance minimal entre les réglages propres et ceux avec randomisation de domaine.
Apprentissage en Contexte (ICL) : Le modèle a transféré avec succès des indices procéduraux à partir de vidéos de démonstration humaine vers des compositions de tâches et des arrangements d'objets inédits sans fine-tuning.
Études d'Ablation :
- Tokeniseur : Remplacer le VAE standard par le tokeniseur visuel-action sémantique a considérablement amélioré les performances, surtout pour les horizons de prédiction plus longs.
- MCP : La prédiction multi-chunks a accéléré la convergence (accélération de 2,3x dans les étapes d'entraînement) et amélioré la précision finale.
- Accélération : Le pipeline d'inférence a réduit la latence de 927 ms à 142 ms par chunk, augmentant la fréquence de contrôle asynchrone de 35 Hz à 225 Hz.

Signification et Revendications

Les auteurs affirment que LingBot-VA 2.0 représente un changement de paradigme, passant du « détournement » de générateurs de vidéos numériques à la « construction » de modèles natifs pour l'incarnation physique. En alignant l'objectif de pré-entraînement, l'espace de représentation et l'architecture d'inférence avec les exigences strictes de causalité et de dynamique du contrôle robotique, le modèle atteint :

Scalabilité : Acquisition de connaissances de contrôle à l'échelle de la vidéo web plutôt que d'être limité par les démonstrations robotiques rares.
Généralisation : Capacité de s'adapter à de nouvelles tâches avec peu de démonstrations (10–15) et de transférer entre différentes incarnations sans collecte de données à grande échelle.
Viabilité en Temps Réel : Preuve que des modèles de fondation vidéo-action complexes peuvent opérer dans les contraintes de latence serrées du contrôle en boucle fermée du monde réel.

Le papier conclut que bien que le système actuel soit une fondation robuste, les travaux futurs pourraient explorer un entraînement conjoint plus étroit des planificateurs et des politiques, en incorporant des signaux de renforcement interactifs et en passant à des types d'incarnation plus larges.