💻 computer science

BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation

BagelVLA est un nouveau modèle de Vision-Langage-Action qui améliore la manipulation robotique à long terme en intégrant de manière unifiée la planification textuelle, la prévision visuelle et la génération d'actions grâce à une méthode innovante appelée *Residual Flow Guidance*.

Auteurs originaux : Yucheng Hu, Jianke Zhang, Yuanfei Luo, Yanjiang Guo, Xiaoyu Chen, Xinshu Sun, Kun Feng, Qingzhou Lu, Sheng Chen, Yangang Zhang, Wei Li, Jianyu Chen

Publié 2026-02-12

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yucheng Hu, Jianke Zhang, Yuanfei Luo, Yanjiang Guo, Xiaoyu Chen, Xinshu Sun, Kun Feng, Qingzhou Lu, Sheng Chen, Yangang Zhang, Wei Li, Jianyu Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Robot "Tête en l'air"

Imaginez que vous demandiez à un assistant : "Prépare-moi un café, puis range la cuisine."

Aujourd'hui, la plupart des robots sont comme des exécutants très rapides mais un peu "bêtes". Ils sont excellents pour faire un mouvement précis (comme attraper une tasse), mais ils perdent vite le fil de l'histoire. Ils voient la tasse, ils l'attrapent, mais ils oublient pourquoi ils l'ont fait ou ce qu'ils doivent faire après. Ils n'ont pas de vision d'ensemble. C'est comme essayer de lire un roman en ne regardant qu'un seul mot à la fois sans jamais comprendre la phrase.

La Solution : BagelVLA, le Robot "Rêveur et Réfléchi"

Les chercheurs ont créé BagelVLA. Au lieu de simplement donner un ordre et d'attendre que le robot bouge, ils ont donné au robot une méthode de pensée en trois étapes, un peu comme un chef cuisinier qui planifie sa recette.

Voici comment BagelVLA fonctionne, grâce à trois super-pouvoirs :

1. Le Pouvoir de la Parole (Le Planificateur) 🗣️

Avant de bouger le moindre doigt, le robot "se parle à lui-même". Si vous lui dites "Range les blocs par couleur", il ne fonce pas tête baissée. Il commence par se dire : "D'accord, la première étape est de trouver le bloc rouge." Il décompose la grande mission en petites étapes logiques. C'est son cerveau stratégique.

2. Le Pouvoir de l'Imagination (Le Rêveur) 💭

C'est là que ça devient magique. Avant d'agir, le robot imagine le futur. Il se crée une image mentale (un "rêve") de ce à quoi la scène devrait ressembler une fois l'étape réussie.

Analogie : C'est comme un joueur d'échecs qui visualise le plateau après son prochain coup avant même de toucher la pièce. En "rêvant" du résultat final, le robot sait exactement vers quoi il doit diriger sa main.

3. Le Pouvoir du Mouvement (L'Exécutant) 🦾

Une fois qu'il a le plan (les mots) et l'image du futur (le rêve), le robot peut enfin bouger. Il utilise ces deux informations pour guider ses bras avec une précision chirurgicale.

L'astuce technique : Le "Guide de Flux Résiduel" (RFG) ⚡

Un problème avec les robots qui "rêvent" (qui génèrent des images), c'est que cela prend énormément de temps de calcul. Si le robot doit passer 10 secondes à imaginer chaque mouvement, il sera trop lent pour réagir en cas de problème.

Pour régler ça, les chercheurs ont inventé le RFG.

L'analogie du dessin : Imaginez que vous deviez dessiner une personne qui court. Au lieu de repartir d'une feuille blanche (ce qui est long), vous prenez une photo de la personne debout et vous ne dessinez que le changement (le mouvement des jambes).
En ne calculant que la "différence" entre l'instant présent et le futur, le robot devient incroyablement rapide. Il peut réfléchir, rêver et agir en une fraction de seconde.

Pourquoi est-ce une révolution ? 🚀

Grâce à cette méthode, BagelVLA ne se contente pas de répéter des gestes appris par cœur. Il est capable de :

S'adapter à l'imprévu : Si vous changez la couleur d'un objet ou si vous déplacez une table, il comprend la situation car il "raisonne" au lieu de simplement "copier".
Réaliser des tâches complexes : Il peut faire des calculs mathématiques (comme assembler des blocs pour écrire "2+2=4") car il combine la logique du langage et la précision de la vision.

En résumé : BagelVLA, c'est donner à un robot la capacité de réfléchir comme un humain, d'imaginer comme un artiste et d'agir comme un athlète.

Résumé Technique : BagelVLA

Titre original : BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation

1. Problématique (Le Problème)

Les modèles actuels de Vision-Language-Action (VLA) pour la robotique font face à un défi majeur : la gestion des tâches à long horizon (tâches complexes nécessitant plusieurs étapes successives).

La plupart des approches existantes traitent les capacités de raisonnement et d'exécution de manière isolée :

Certains modèles se concentrent sur la planification linguistique (haut niveau) mais manquent de prévision visuelle.
D'autres se concentrent sur la prédiction visuelle (modèles de monde) mais échouent dans le raisonnement logique nécessaire pour décomposer une instruction complexe.
Cette séparation crée un fossé entre la compréhension de l'instruction et l'exécution précise du mouvement, rendant les robots incapables de "prévoir" l'issue physique de leurs actions au sein d'une séquence logique.

2. Méthodologie (L'Approche)

Les auteurs proposent BagelVLA, un cadre unifié qui intègre la planification linguistique, la prévision visuelle et la génération d'actions au sein d'une architecture unique de type Mixture of Transformers (MoT).

A. Planification Entrelacée (Interleaved Planning)

Au lieu d'une simple cartographie directe de l'image vers l'action, BagelVLA décompose la tâche en une chaîne causale de trois étapes :

Planification Linguistique : Le modèle génère un sous-objectif textuel ( $l_t$ ) à partir de l'instruction globale.
Prévision Visuelle (Visual Forecasting) : Le modèle prédit l'état visuel futur (image clé ou keyframe) qui correspond à la réussite de ce sous-objectif.
Génération d'Action : Le modèle génère les commandes motrices ( $a_t$ ) en s'appuyant à la fois sur le plan textuel et sur la prévision visuelle.

B. Architecture du Modèle

Le modèle utilise trois experts spécialisés connectés par attention :

Expert de Compréhension (7B) : Basé sur Qwen2.5, il traite le texte et les images pour la planification.
Expert de Génération (7B) : Utilise un processus de Flow Matching pour prédire les images clés.
Expert d'Action (2B) : Un transformateur plus compact pour permettre une fréquence d'exécution élevée.

C. Innovation Technique : Residual Flow Guidance (RFG)

Pour résoudre le problème de la latence (la génération d'images étant coûteuse en calcul), les auteurs introduisent le RFG. Au lieu de générer une image entière à partir de zéro, le RFG utilise l'observation actuelle comme priorité structurelle et effectue un débruitage en une seule étape pour prédire uniquement le changement résiduel vers l'image cible. Cela permet de guider l'action avec un coût computationnel minimal.

D. Stratégie d'Entraînement

L'entraînement se déroule en deux étapes :

Pré-entraînement : Entraînement des experts de compréhension et de génération sur un mélange massif de données multimodales générales et de données robotiques (sans étiquettes d'action) pour acquérir la logique et la dynamique visuelle.
Ajustement fin (Fine-tuning) : Introduction des étiquettes d'action pour coupler la planification et le contrôle.

3. Contributions Clés

Architecture Unifiée : Premier modèle intégrant de manière fluide le raisonnement (texte), l'imagination (image) et le contrôle (action) dans une boucle de rétroaction unique.
Mécanisme RFG : Une méthode efficace pour extraire des caractéristiques visuelles prédictives sans le coût d'une synthèse d'image complète.
Pipeline de Données Hybride : Utilisation de modèles de langage (comme Seed-1.5-VL) pour annoter automatiquement des jeux de données robotiques existants, permettant un transfert de connaissances massif.

4. Résultats

Les expérimentations ont été menées en simulation (Calvin, Robotwin) et en conditions réelles (plateforme bimanuelle Aloha-AgileX).

En Simulation : BagelVLA surpasse largement les modèles de référence comme $\pi_0$ et RDT, particulièrement dans les environnements avec des variations de couleurs ou de textures (généralisation OOD).
En Réel (Tâches Long-Horizon) : Le modèle réussit des tâches complexes comme l'empilement de cubes dans un ordre spécifique ou la résolution d'équations mathématiques par manipulation de blocs.
Performance : Le modèle atteint une précision de planification de près de 90 % sur les tâches de raisonnement complexe. Grâce à l'exécution asynchrone, il peut atteindre une fréquence de contrôle de 72 Hz.

5. Signification et Impact

BagelVLA démontre que la capacité d'un robot à "penser" (planification textuelle) et à "imaginer" (prévision visuelle) est cruciale pour la manipulation de précision sur le long terme. En unifiant ces capacités, le modèle réduit l'écart entre la compréhension sémantique de haut niveau et le contrôle moteur de bas niveau, ouvrant la voie à des agents robotiques plus autonomes et capables de s'adapter à des environnements non structurés et imprévus.