A Pragmatic VLA Foundation Model

Ce papier présente LingBot-VLA, un modèle fondationnel Vision-Language-Action pragmatique entraîné sur 20 000 heures de données réelles de robots à deux bras, qui démontre une supériorité généralisée sur plusieurs plateformes et une efficacité d'entraînement accrue grâce à un code optimisé, le tout étant rendu accessible à la communauté pour favoriser le développement de tâches robotiques complexes.

L'essentiel

🤖 Le Super-Chef de Cuisine Robotique : LingBot-VLA

Imaginez que vous voulez apprendre à un robot à faire des tâches ménagères complexes, comme préparer un sandwich, ranger des jouets ou plier des serviettes. Avant, c'était comme essayer d'apprendre à un enfant à cuisiner en lui donnant un seul livre de recettes pour une seule recette. Le robot apprenait vite, mais dès qu'on changeait la cuisine ou l'ingrédient, il était perdu.

Les chercheurs ont créé LingBot-VLA, un nouveau modèle qui agit comme un super-chef de cuisine qui a lu des millions de livres de recettes et a pratiqué dans des milliers de cuisines différentes.

Voici comment ça marche, en trois étapes simples :

1. L'École de Cuisine Géante (L'Entraînement)

Pour devenir un expert, un chef a besoin de beaucoup de pratique.

• L'ancien problème : Les robots étaient entraînés avec peu de données, comme un élève qui n'aurait que 3 heures de cours.
• La solution LingBot : Les chercheurs ont donné au robot 20 000 heures de pratique réelle ! C'est comme si le robot avait travaillé sans dormir pendant plus de 2 ans, en manipulant des objets avec 9 types de bras robotiques différents (certains avec deux bras, d'autres avec des mains différentes).
• L'analogie : C'est la différence entre un élève qui regarde un seul dessin animé et un étudiant qui a vécu dans 9 écoles de cuisine différentes, apprenant à utiliser tous les types de couteaux et de casseroles.

2. Le Cerveau et les Mains (L'Architecture)

Le robot a besoin de deux choses : comprendre ce qu'on lui demande et savoir comment bouger ses mains.

• Le Cerveau (Le VLM) : C'est la partie qui comprend le langage. Si vous dites "Fais-moi un sandwich", il comprend le concept.
• Les Mains (L'Expert d'Action) : C'est la partie qui calcule les mouvements précis.
• Le Secret : Dans LingBot, le cerveau et les mains parlent constamment entre eux grâce à une structure spéciale (appelée "Mixture-of-Transformers"). C'est comme si le chef ne se contentait pas de lire la recette, mais qu'il regardait aussi ses mains en temps réel pour ajuster la pression de la cuillère ou la force pour saisir un œuf sans le casser.
• La Vision 3D : Le robot utilise aussi des caméras de profondeur (comme des yeux qui voient en 3D) pour ne pas heurter les objets. C'est comme porter des lunettes de réalité augmentée qui lui disent exactement où est le bord de la table.

3. L'Examen Final (Les Résultats)

Pour voir si ce robot est vraiment bon, les chercheurs l'ont mis à l'épreuve dans un grand examen appelé GM-100.

• Le Test : Le robot a dû accomplir 100 tâches différentes (ranger, assembler, verser, plier) sur 3 robots physiques différents.
• Le Résultat : LingBot a gagné haut la main ! Il a réussi beaucoup plus de tâches que ses concurrents (les autres robots les plus avancés).
• L'Analogie : Imaginez un examen où l'on demande à un élève de cuisiner dans trois cuisines différentes, avec trois types de fours différents. LingBot a réussi presque tout le menu, tandis que les autres élèves ont brûlé la moitié des plats.

⚡ Pourquoi c'est révolutionnaire ?

Au-delà de la performance, il y a deux autres super-pouvoirs :

1. La Vitesse d'Apprentissage : Les chercheurs ont créé un code informatique ultra-rapide. Entraîner ce robot est devenu 1,5 à 2,8 fois plus rapide que les méthodes actuelles. C'est comme passer d'une voiture de ville à une fusée pour apprendre de nouvelles compétences.
2. L'Accessibilité : Contrairement à d'autres projets gardés secrets, les chercheurs ont rendu gratuit tout le code, le modèle et les données. C'est comme ouvrir une bibliothèque publique où n'importe qui peut venir apprendre à construire son propre robot.

En résumé

LingBot-VLA, c'est le robot qui a lu tous les livres, pratiqué dans toutes les cuisines, et qui a appris à utiliser ses yeux et ses mains ensemble pour ne jamais se tromper. Il est plus intelligent, plus rapide à entraîner et plus facile à partager que tout ce qui existait avant. C'est un grand pas vers le jour où un robot pourra vraiment nous aider à la maison, sans avoir besoin d'un ingénieur pour le reprogrammer à chaque nouvelle tâche.

Résumé technique

1. Problématique et Contexte

Les modèles fondationnels Vision-Language-Action (VLA) promettent de permettre aux robots d'exécuter des tâches de manipulation diverses guidées par des instructions en langage naturel. Cependant, plusieurs défis majeurs freinent leur adoption réelle :

• Manque d'études empiriques sur l'échelle : Il existe peu de données sur la façon dont les performances des robots réels évoluent avec l'augmentation massive des volumes de données d'entraînement.
• Inefficacité computationnelle : La communauté manque de codebases hautement optimisées capables de gérer l'entraînement sur de vastes quantités de données robotiques réelles sans coûts prohibitifs.
• Évaluation limitée : La plupart des études précédentes se concentrent sur des simulations ou un nombre restreint de tâches et de plateformes, ne reflétant pas la complexité du déploiement réel.

La question centrale de ce travail est : Comment les modèles VLA évoluent-ils réellement avec des données robotiques réelles massives, et comment pouvons-nous les déployer efficacement ?

2. Méthodologie

Les auteurs proposent LingBot-VLA, un modèle VLA pragmatique conçu pour la généralisation et l'efficacité.

A. Collecte et Préparation des Données

• Échelle des données : Le modèle est pré-entraîné sur environ 20 000 heures de données de manipulation réelles.
• Diversité des plateformes : Les données proviennent de 9 configurations robotiques à deux bras populaires (incluant AgiBot G1, AgileX, Galaxea R1Lite/Pro, Realman, Leju KUAVO, Qinglong, ARX Lift2, et Bimanual Franka).
• Annotation : Un processus hybride combine l'annotation automatique (via des modèles VLM comme Qwen3-VL) et le raffinement humain. Les vidéos sont segmentées en actions atomiques, et les instructions de tâches et sous-tâches sont générées avec précision.
• Bénéfice : Cette diversité comportementale et structurelle renforce considérablement la capacité de généralisation du modèle.

B. Architecture du Modèle

• Fondation VLM : Utilisation de Qwen2.5-VL comme colonne vertébrale sémantique pré-entraînée.
• Expert d'Action (Action Expert) : Un module généré d'actions initialisé séparément.
• Architecture MoT (Mixture-of-Transformers) : Inspirée de BAGEL, cette architecture utilise des chemins de transformateurs distincts pour les modalités vision-langage et action, couplés par un mécanisme d'attention partagée couche par couche. Cela permet de maintenir des priors sémantiques élevés tout en réduisant les interférences inter-modales.
• Modélisation des actions : Utilisation du Flow Matching pour générer des actions continues, assurant un contrôle fluide et précis.
• Perception Spatiale : Intégration d'informations de profondeur via une approche de distillation (alignement des requêtes apprenables du VLM avec les tokens de profondeur de LingBot-Depth), améliorant la robustesse dans des environnements complexes.

C. Optimisation de l'Entraînement

Pour répondre au défi de l'efficacité, les auteurs ont développé une codebase open-source optimisée :

• Stratégie Distribuée : Utilisation de FSDP (Fully Sharded Data Parallel) avec des groupes de "sharding" spécifiques pour les modules d'expert d'action, réduisant l'empreinte mémoire et les surcoûts de communication.
• Optimisation des Opérateurs : Utilisation de FlexAttention pour gérer l'attention sparse multimodale et fusion d'opérateurs via torch.compile.
• Résultat : Un débit de 261 échantillons par seconde sur un cluster de 8 GPU, soit une accélération de 1,5 à 2,8 fois par rapport aux codebases existantes (StarVLA, Dexbotic, OpenPI).

3. Résultats Clés

Les évaluations ont été menées sur des benchmarks rigoureux, notamment GM-100 (100 tâches de manipulation) et RoboTwin 2.0 (simulation).

A. Évaluation sur le Monde Réel (GM-100)

• Plateformes : Tests sur 3 plateformes distinctes (AgileX, Agibot G1, Galaxea R1Pro) avec 100 tâches chacune et 130 épisodes par tâche.
• Performance : LingBot-VLA surpasse systématiquement les modèles de pointe (WALL-OSS, GR00T N1.6, π0.5).
  • La version avec profondeur (Ours w/ depth) atteint un taux de réussite moyen (SR) de 17,30 % et un score de progression (PS) de 35,41 %, surpassant le meilleur concurrent (π0.5) de +4,28 % en SR et +7,76 % en PS en moyenne.
• Généralisation : Le modèle démontre une forte capacité d'adaptation à de nouveaux robots et tâches non vus pendant l'entraînement.

B. Évaluation en Simulation (RoboTwin 2.0)

• Sur des tâches avec scènes aléatoires (lumière, encombrement, positions), LingBot-VLA améliore le taux de réussite de 8,58 % par rapport à π0.5 en environnement non structuré.
• L'intégration de la profondeur apporte des gains supplémentaires significatifs (+9,92 % sur les scènes aléatoires).

C. Analyse de l'Échelle (Scaling Laws)

• Une étude montrant l'évolution des performances de 3 000 à 20 000 heures de données révèle une amélioration continue et substantielle des taux de réussite.
• Contrairement à d'autres domaines où la saturation est rapide, les performances des VLA sur des données robotiques réelles ne montrent aucun signe de saturation à 20 000 heures, suggérant un potentiel de croissance illimité avec plus de données.

D. Efficacité de l'Entraînement

• La codebase proposée atteint un débit quasi-linéaire lors du passage de 8 à 256 GPU, validant son efficacité pour l'entraînement à grande échelle.

4. Contributions Principales

1. LingBot-VLA : Un modèle fondationnel VLA de pointe entraîné sur 20 000 heures de données réelles multi-plateformes, démontrant une généralisation supérieure.
2. Codebase Optimisée : Une infrastructure open-source permettant un entraînement VLA hautement efficace (261 samples/s), résolvant les goulots d'étranglement I/O et de communication.
3. Benchmark Rigoureux : Une évaluation systématique sur 100 tâches réelles à travers 3 plateformes robotiques, établissant de nouvelles normes pour l'évaluation des politiques robotiques.
4. Preuve de Concept sur l'Échelle : La première preuve empirique que l'augmentation massive des données d'entraînement robotiques réelles conduit à une amélioration continue des performances sans saturation.
5. Open Science : Publication complète du code, des modèles de base, des données de benchmark et des checkpoints pour favoriser la recherche communautaire.

5. Signification et Impact

Ce travail marque une étape importante dans l'apprentissage robotique en passant de l'expérimentation à petite échelle à une approche pragmatique et industrielle.

• Pour la recherche : Il valide l'hypothèse que "plus de données réelles = meilleures performances" pour les VLA, encourageant la collecte de données à grande échelle.
• Pour l'industrie : La démonstration d'une efficacité computationnelle accrue et d'une généralisation multi-plateforme rend le déploiement de robots intelligents dans des environnements réels plus viable économiquement et techniquement.
• Standardisation : En fournissant un benchmark robuste (GM-100) et une méthodologie d'évaluation stricte, le papier aide à établir des standards de comparaison fiables pour la communauté.

En résumé, LingBot-VLA démontre que la combinaison de données massives réelles, d'une architecture multimodale avancée et d'une infrastructure d'entraînement optimisée est la clé pour débloquer le plein potentiel des robots autonomes dans le monde réel.