🤖 machine learning

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip est un modèle de fondation vision-langage-action généralisable qui exploite un cadre d'alignement unifié à travers les dimensions de la représentation, du mouvement et du comportement pour permettre un entraînement à grande échelle sur un corpus open-source d'environ 38 100 heures, atteignant des performances de pointe et des capacités de généralisation émergentes à travers diverses plateformes robotiques et des bancs d'essai hors distribution.

Auteurs originaux : Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An

Publié 2026-06-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée maîtresse : Enseigner aux robots à « penser » comme les humains

Imaginez que vous vouliez apprendre à un robot à faire les tâches ménagères. Par le passé, les scientifiques essayaient d'enseigner aux robots en leur montant des milliers de vidéos d' autres robots effectuant des tâches spécifiques. Mais c'est comme essayer d'apprendre à un chien à jouer aux échecs en lui montrant des vidéos d'autres chiens jouant aux échecs. C'est coûteux, les données sont rares, et si le nouveau robot est légèrement différent (a une forme de bras différente), il est confus.

L'équipe de Qwen-RobotManip a posé une question différente : Pouvons-nous enseigner aux robots en utilisant la même « recette de mise à l'échelle » qui a rendu les chatbots d'IA si intelligents ?

Les chatbots sont devenus intelligents parce qu'ils ont lu tout ce qui se trouve sur Internet — livres, forums, articles et vidéos. Ils ont appris à connecter les idées parce que tout ce texte était « aligné » (ils utilisaient tous le même langage). L'équipe voulait voir s'ils pouvaient faire la même chose pour les robots : prendre toutes les données robotiques disponibles (même provenant de différents robots) et tous les mouvements de mains humaines disponibles, les mélanger, et apprendre à un robot à comprendre le monde de manière générale, et non pas seulement une tâche spécifique.

Le problème : La « barrière de la langue » entre les robots

L'équipe a réalisé qu'il y avait un énorme problème. Le texte est facile à aligner ; « chat » signifie « chat » dans tous les livres. Mais les données robotiques sont désordonnées.

Corps différents : Un robot a un bras long ; un autre en a un court. L'un a deux mains ; un autre n'en a qu'une.
Vues différentes : Une caméra regarde d'en haut ; une autre regarde de côté.
Langages différents : Un robot enregistre le mouvement en « angles articulaires » (combien le coude se plie) ; un autre l'enregistre dans l'« espace 3D » (où se trouve la main dans la pièce).

Si vous jetez simplement toutes ces données dans un mixeur, le robot aura mal à la tête. C'est comme essayer d'apprendre une langue en écoutant des locuteurs français, japonais et espagnols crier tous en même temps sans traducteur. Les signaux entrent en conflit, et le robot n'apprend rien.

La solution : Le « Traducteur Universel »

Pour corriger cela, l'équipe a construit Qwen-RobotManip, un cerveau de robot qui agit comme un Traducteur Universel. Ils n'ont pas seulement déversé des données ; ils ont créé un ensemble strict de règles pour tout traduire dans un langage commun avant d'enseigner au robot.

Ils ont aligné trois choses :

Le Corps (Représentation) : Ils ont créé une « carte corporelle standardisée ». Que le robot soit un bras de type humain ou une simple pince, le cerveau traduit ses mouvements en un format unique et partagé.
La Vue (Mouvement) : Au lieu de dire au robot « bouge ton coude de 30 degrés », ils lui apprennent « déplace ta main vers cette tasse ». Ils ancrent tous les mouvements à la vue de la caméra. Si la caméra voit la tasse se déplacer vers la gauche, le robot apprend à se déplacer vers la gauche, peu importe ce que font ses propres articulations. C'est comme apprendre à conduire en regardant la route, plutôt qu'en mémorisant de combien il faut tourner le volant.
Le Contexte (Comportement) : Ils ont donné au robot une « fenêtre de mémoire ». Avant de faire un mouvement, le robot regarde ce qu'il vient de faire une seconde auparavant. Cela l'aide à s'adapter à la volée, comme un humain qui ajuste sa prise si un carton lui glisse des mains.

Les Données : Le tour de magie « Humain-vers-Robot »

L'équipe avait besoin d'une quantité massive de données pour entraîner ce cerveau. Ils n'avaient pas des millions d'heures d'enregistrements robotiques coûteux. Ils ont donc utilisé une astuce ingénieuse : la Synthèse Humain-vers-Robot.

La Source : Ils ont collecté des milliers d'heures de vidéos d'humains effectuant des tâches (comme cuisiner ou nettoyer) filmées en perspective à la première personne (comme avec une GoPro).
La Magie : Ils ont utilisé l'IA pour « remplacer » les mains humaines dans la vidéo par des bras robotiques.
- Analogie : Imaginez prendre une vidéo d'un chef humain coupant des légumes. L'IA observe le mouvement de la main humaine, détermine où se trouverait le couteau, puis remplace numériquement la main humaine par un bras robotique, rendant le bras robotique effectuant exactement le même geste de coupe.
Le Résultat : Ils ont transformé 1 900 heures de vidéos humaines en 24 800 heures de données robotiques réparties sur 15 types de robots différents.

Au total, ils ont construit une bibliothèque d'entraînement de 38 100 heures de données, en utilisant uniquement des données open-source (pas de données d'entreprise secrètes).

Les Résultats : Est-ce que cela fonctionne vraiment ?

L'équipe a testé ce cerveau de robot de deux manières :

Le Test du « Manuel » : Des tests standards où le robot voit exactement la même pièce et les mêmes objets pour lesquels il a été entraîné. Ici, le robot s'en est bien sorti, mais beaucoup d'autres modèles aussi.
Le Test du « Monde Réel » (OOD) : C'est là que la magie a opéré. Ils ont testé le robot dans de nouvelles pièces, avec de nouveaux objets, une lumière différente, et même sur des robots qu'il n'avait jamais vus auparavant.

Les conclusions :

Généralisation : Alors que d'autres robots échouaient quand la lumière changeait ou que la table bougeait, Qwen-RobotManip continuait de fonctionner. Il comprenait le concept de la tâche, et pas seulement le motif visuel.
Transfert Cross-Body : Ils ont entraîné le robot sur un robot à deux bras (AgileX) puis l'ont testé sur un robot complètement différent (comme un bras Franka ou UR5) qu'il n'avait jamais vu. Il a réussi là où les autres ont échoué.
Auto-correction : Dans les tests en conditions réelles, si le robot laissait tomber un objet, il ne s'arrêtait pas là. Il essayait à nouveau, en ajustant sa prise, tout comme un humain le ferait.
Suivi d'instructions : Si vous lui disiez « Prends la tasse rouge », il prenait la tasse rouge, même si la tasse était dans un endroit bizarre ou si l'éclairage était étrange. D'autres modèles ignoraient souvent l'instruction et prenaient simplement ce qui était le plus proche.

Ce qu'il faut retenir

L'article soutient que le secret pour rendre les robots intelligents n'est pas seulement de collecter plus de données, mais d'aligner correctement ces données d'abord.

Voyez cela comme la construction d'une bibliothèque. Si vous jetez des livres de différentes langues, tailles et formats dans un tas, personne ne peut les lire. Mais si vous les traduisez tous dans une langue standard et que vous les organisez sur les mêmes étagères, vous pouvez tout lire.

Qwen-RobotManip a prouvé qu'en traduisant toutes les données robotiques et humaines dans un « langage commun » (des actions alignées sur la caméra), on peut entraîner un robot pour qu'il soit un véritable généraliste — capable d'apprendre de nouvelles tâches et de travailler sur différents corps sans avoir besoin d'être réentraîné de zéro. Ils y sont parvenus en utilisant uniquement des données gratuites et ouvertes, suggérant que la barrière pour construire des robots intelligents est peut-être plus basse que nous le pensions, à condition d'avoir les bons outils de « traduction ».

Résumé Technique : Qwen-RobotManip : L'alignement débloque l'échelle pour les modèles de fondation de la manipulation robotique

Problématique

Bien que les modèles de fondation dans le domaine du langage et de la multimodalité aient atteint une forte généralisation en alignant des sources de données hétérogènes sous une formulation unifiée, l'application de cette « recette de mise à l'échelle » à la manipulation robotique reste un défi majeur. Contrairement au texte, les données de manipulation sont intrinsèquement hétérogènes, coûteuses à collecter et limitées en diversité. Les modèles actuels de Vision-Langage-Action (VLA) présentent souvent une généralisation superficielle, performant bien sur des benchmarks standards intra-distribution, mais échouant lorsqu'ils sont testés au-delà de cadres étroits (par exemple, différents embodiments de robots, perturbations visuelles ou instructions inédites). Le problème central identifié est que, sans un cadre d'alignement unifié, le passage à l'échelle du volume de données à travers divers embodiments entraîne une interférence plutôt qu'une synergie, car des représentations d'observations et d'actions incompatibles empêchent le modèle d'apprendre des compétences physiques transférables.

Méthodologie

1. Cadre d'alignement unifié inter-embodiment

Le cœur de Qwen-RobotManip est un cadre d'alignement unifié conçu pour rendre cohérente la formation à grande échelle multi-sources. Ce cadre opère sur trois dimensions :

Alignement de représentation : Le modèle utilise un vecteur état-action canonique de 80 dimensions. Cette structure accomode diverses morphologies de robots (bras unique, bras doubles, mains dextres, bases mobiles) en mappant les degrés de liberté spécifiques vers des créneaux sémantiques fixes (positions articulaires, pose de l'effecteur terminal, état de la pince) et en complétant par des zéros les dimensions inutilisées. Un masque binaire par dimension garantit que les gradients ne circulent que via les entrées sémantiquement peuplées.
Alignement de mouvement : Pour traiter la fragmentation causée par les différents référentiels de coordonnées entre les jeux de données, le modèle adopte une représentation de pose delta dans le référentiel de la caméra pour les actions de l'effecteur terminal. Au lieu de poses absolues dans les référentiels de la base du robot, les actions sont exprimées comme des deltas relatifs dans le système de coordonnées de la caméra. Cela garantit que des mouvements visuellement similaires sont numériquement proches à travers différents embodiments, facilitant le transfert inter-embodiment. La géométrie de la caméra est injectée dans l'expert d'action via un encodage positionnel de la caméra (CaPE).
Alignement comportemental : Le modèle emploie un mécanisme d'adaptation de politique en contexte. En conditionnant les prédictions d'action actuelles sur une fenêtre structurée d'historique d'exécution récent (paires observation-action) du même épisode, la politique s'adapte aux signatures cinématiques et aux dynamiques comportementales spécifiques du robot actuel sans mise à jour des paramètres. L'échantillonnage de contexte stochastique pendant l'entraînement empêche le modèle de s'appuyer sur des raccourcis de récence, le forçant à apprendre des profils comportementaux cohérents.

2. Corpus de données multi-sources évolutif

Pour atteindre l'échelle nécessaire, les auteurs ont construit un corpus de pré-entraînement d'environ 38 100 heures en utilisant uniquement des jeux de données open-source et des vidéos de démonstrations humaines, évitant ainsi la collecte de données propriétaires.

Synthèse Humain-vers-Robot : Un pipeline convertit environ 1 933 heures de vidéos de manipulation de mains humaines en égocentriques en trajectoires robotiques sur 15 plateformes robotiques différentes. Cela implique un retargeting d'action (mappage des points clés de la main vers les poses de la pince), un alignement visuel (inpainting des mains humaines et rendu des modèles de robots) et une optimisation de la pose de base. Ce processus génère environ 24 808 heures de données synthétisées.
Curation de données : Un pipeline rigoureux en plusieurs étapes filtre les données hétérogènes pour détecter les changements soudains, l'alignement des tendances état-action, les valeurs extrêmes et la cohérence cinématique (vérifications de la cinématique directe). Il inclut également des contrôles de qualité cross-modaux pour la cohérence des instructions et le chevauchement vidéo-état.
Co-entraînement Vision-Langage : Pour éviter l'oubli catastrophique des capacités perceptuelles et de raisonnement, le modèle est entraîné via une stratégie à double flux. Il optimise conjointement le corpus de manipulation et un flux vision-langage (VL) sélectionné (~28M de points de données), qui comprend le raisonnement de chaîne de pensée incarnée (ECoT), la compréhension de vidéos égocentriques et des tâches de raisonnement spatial général.

3. Architecture du modèle

Qwen-RobotManip est construit sur l'architecture Qwen-VL (Qwen3.5-4B), qui encode les entrées multimodales. La génération d'action est gérée par un Transformer de Diffusion de Flow-Matching (DiT) agissant comme un expert d'action. Le backbone et l'expert sont couplés via une attention croisée (cross-attention), où l'expert fonde les prédictions d'action dans les observations spatiales et les instructions linguistiques. Le modèle est entraîné avec un objectif de flow-matching pour prédire des champs de vitesse pour la génération d'actions continues.

Contributions clés

Cadre d'alignement unifié : Introduction d'une représentation état-action canonique, d'une paramétrisation de pose delta dans le référentiel caméra, et d'une adaptation de politique en contexte qui permet un entraînement cohérent à travers divers embodiments.
Moteur de données évolutif : Un pipeline de synthèse humain-vers-robot et un processus de curation qui agrège environ 38 100 heures de données de manipulation à partir de sources ouvertes, démontrant que la pré-formation à grande échelle est réalisable sans données propriétaires.
Nouvelle norme d'évaluation : Un passage des benchmarks intra-distribution vers l'évaluation Hors-Distribution (OOD). Le papier introduit de nouveaux benchmarks (RoboTwin-IF pour le suivi d'instructions, RoboTwin-XE pour le transfert inter-embodiment) et utilise des réglages OOD existants (LIBERO-Plus, RoboCasa365, EBench) pour mesurer la généralisation réelle.
Validation en conditions réelles : Validation étendue sur quatre plateformes physiques (AgileX ALOHA, Franka, UR, ARX) et classement 1er dans la piste généraliste RoboChallenge Table30-v1.

Résultats

Qwen-RobotManip démontre des améliorations substantielles par rapport aux modèles de l'état de l'art précédents (incluant $\pi0.5$ , GR00T-N1.7 et StarVLA) sur tous les axes d'évaluation OOD :

Généralisation des tâches et des scènes : Surpasse $\pi0.5$ de 7,0 points sur LIBERO-Plus, de 21,5 points sur le réglage difficile RoboTwin-Clean2Rand et de 18,5 points sur EBench.
Suivi d'instructions : Atteint 72,2 % sur le nouveau benchmark RoboTwin-IF, soit une amélioration de 22,6 points par rapport à $\pi0.5$ , indiquant un conditionnement linguistique robuste.
Transfert inter-embodiment : Dans les tests de transfert zero-shot (entraîné sur AgileX, testé sur ARX, UR5, Franka), le modèle atteint un taux de succès de 23,9 % en utilisant des actions EEF dans le référentiel caméra, ce qui est 3,2 fois plus élevé que $\pi0.5$ (7,5 %) et surpasse significativement les bases en espace articulaire.
Performance en conditions réelles : Sur la piste généraliste RoboChallenge Table30-v1, il atteint un taux de succès de 45 % et un score de processus de 59,83, se classant 1er. Il montre des capacités émergentes telles que le comportement de tentative spontanée en cas d'échec de saisie et une coordination bimanuelle robuste sur des tâches complexes comme verser des frites ou brancher des câbles.
Lois d'échelle (Scaling Laws) : Les études d'ablation confirment qu'avec un alignement approprié (UnifiedEEF), la performance suit une croissance log-linéaire avec le volume de données, tandis que les représentations non alignées ne montrent pas de bénéfices de mise à l'échelle.

Signification et affirmations

Le papier soutient qu'l'alignement est un prérequis pour la mise à l'échelle des données en robotique. Sans une formulation unifiée rendant les mouvements physiques numériquement cohérents entre les embodiments, l'augmentation du volume de données produit des signaux conflictuels plutôt qu'une capacité améliorée.

Les auteurs affirment que Qwen-RobotManip apporte une réponse affirmative à la question de savoir si la recette de mise à l'échelle des modèles de langage peut être appliquée à la robotique. En privilégiant d'abord l'alignement, le modèle atteint des capacités de généralisation émergentes — incluant le suivi d'instructions zero-shot, la robustesse aux perturbations, la récupération d'erreurs réactive et le transfert inter-embodiment — en utilisant uniquement des données open-source.

De plus, le papier postule que les benchmarks standards intra-distribution sont des proxys insuffisants pour la capacité des modèles de fondation, récompensant souvent la mémorisation de motifs plutôt que la véritable généralisation. Les auteurs préconisent les réglages d'évaluation OOD comme l'étoile polaire pour mesurer les modèles de fondation robotiques, arguant que la véritable généralisation n'est révélée que lorsque les modèles sont testés sur des tâches, des environnements et des embodiments inédits. Le travail suggère que la barrière des données pour les modèles de fondation de la manipulation est potentiellement plus basse que supposé, à condition de disposer d'infrastructures de synthèse et de curation robustes.