💻 computer science

Wall-OSS-0.5 Technical Report

L'article présente Wall-OSS-0.5, un modèle Vision-Langage-Action open-source de 4B qui démontre que le pré-entraînement VLA génère directement des comportements robotiques zero-shot exécutables à travers diverses incarnations, tout en améliorant simultanément les performances de l'ajustement fin en aval et en préservant les capacités de vision-langage ancrées.

Auteurs originaux : Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vince

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vincent Chen, Harrison Huang, James Wang, Dance Kuzi, Andy Zhai, Hang Su, Roy Gan, Lucy Liang, Hao Wang, Qian Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : « Pré-entraîner une fois, agir partout »

Imaginez que vous vouliez apprendre à un robot à faire les tâches ménagères. Habituellement, vous devez lui apprendre les bases (comme ce qu'est une tasse) puis passer des mois à lui enseigner des compétences spécifiques (comme comment ramasser cette tasse précise).

L'équipe derrière Wall-OSS-0.5 s'est posé une question audacieuse : Et si nous pouvions entraîner un robot si bien sur les connaissances générales et le mouvement qu'il pouvait réellement accomplir des tâches réelles dès sa sortie de boîte, sans avoir besoin d'un entraînement supplémentaire pour chaque nouveau travail ?

Ils ont construit un cerveau de robot appelé Wall-OSS-0.5. C'est un modèle « Vision-Langage-Action » (VLA). Voyez cela comme un robot qui peut voir (Vision), comprendre les instructions (Langage) et bouger ses bras (Action) tout en même temps.

Le problème qu'ils ont résolu : L'écart entre le « manuel scolaire » et la « pratique »

Par le passé, les cerveaux de robots étaient comme des étudiants qui avaient lu tous les livres de la bibliothèque mais n'étaient jamais entrés dans une cuisine. Ils connaissaient parfaitement la théorie, mais restaient figés lorsqu'on leur demandait de cuisiner.

La plupart des modèles de robots précédents n'étaient testés qu'après avoir été affinés (ré-entraînés) pour une tâche spécifique. Cela laissait un mystère : l'entraînement initial avait-il réellement appris au robot comment bouger, ou lui avait-il simplement donné un bon point de départ ?

Wall-OSS-0.5 prouve que l'entraînement initial enseigne bel et bien au robot comment bouger. Même avant tout entraînement de « finition », le robot pouvait déjà accomplir des tâches complexes comme trier des fruits, empiler des anneaux et même serrer une corde (une tâche très délicate et molle) simplement en lisant une instruction simple.

Comment ils ont fait : Le « tabouret à trois pieds »

Pour que cela fonctionne, ils ne se sont pas contentés de nourrir le robot de données ; ils ont utilisé une recette d'entraînement spéciale appelée Gradient-Bridged Co-Training (Co-entraînement à pont de gradient). Imaginez que le cerveau du robot est entraîné par trois coachs différents travaillant ensemble :

Le « Coach d'Action » (Tokens Discrets) : Ce coach apprend au robot à prédire le prochain mouvement comme un mot dans une phrase. Il est excellent pour enseigner au cerveau la « grammaire » du mouvement. Il agit comme un pont, envoyant des signaux forts au cerveau principal pour apprendre comment contrôler le corps.
Le « Coach de Compréhension » (Données Multimodales) : Ce coach veille à ce que le robot n'oublie pas comment lire, voir et comprendre le monde. Il maintient le robot ancré dans la réalité afin qu'il sache ce qu'est une « tasse » et ce que signifie « la mettre dans l'évier ».
Le « Coach de Fluidité » (Flow Matching) : Ce coach apprend au robot à bouger de manière fluide et continue, comme un danseur, plutôt qu'en étapes saccadées et robotiques. C'est ce que le robot utilise réellement lorsqu'il travaille dans le monde réel.

Le tour de magie : Habituellement, ces coachs se combattent. Le « Coach d'Action » veut apprendre au cerveau à bouger, mais le « Coach de Fluidité » utilise un langage différent. Wall-OSS-0.5 a construit un pont entre eux. Le « Coach d'Action » parle la langue que le cerveau comprend le mieux, tandis que le « Coach de Fluidité » assure que les mouvements finaux sont fluides et précis.

Les résultats : Un robot capable de réellement agir

Ils ont testé ce robot sur un véritable bras robotique sur 17 tâches différentes.

Zero-Shot (Sans entraînement supplémentaire) : Sans aucun entraînement spécifique pour ces tâches, le robot a réussi plusieurs d'entre elles.
- Tri de blocs : 100 % de réussite.
- Tri de fruits : 96 % de réussite.
- Serrage de corde : 82 % de réussite (C'est énorme car les cordes sont molles et difficiles à contrôler !).
Après l'ajustement (Fine-tuning) : Lorsqu'ils ont donné au robot un peu d'entraînement spécifique pour 15 tâches, il est devenu encore meilleur, surpassant les meilleurs modèles de robots précédents de manière significative (17,5 % de mieux).

Pourquoi c'est important (en termes simples)

Avant cela, les gens pensaient que le pré-entraînement d'un robot était comme donner à un étudiant une bonne moyenne générale : cela l'aide à réussir l'examen final, mais il doit quand même étudier pour le test spécifique.

Wall-OSS-0.5 montre que le pré-entraînement est en soi l'examen. Le robot a appris la « mémoire musculaire » générale et le « bon sens » durant sa grande phase d'entraînement. C'est comme un enfant qui, après avoir joué avec toutes sortes de jouets et observé comment les adultes bougent, peut entrer dans une nouvelle pièce et comprendre comment ouvrir une porte ou ramasser un jouet sans qu'on lui dise exactement comment faire.

La « recette secrète » technique

Le Cerveau : Il est construit sur un « cerveau » de 3 milliards de paramètres (un grand modèle de langage) qui a été amélioré pour gérer les mouvements robotiques.
Les Données : Ils l'ont entraîné sur plus d'un million de mouvements robotiques provenant de plus de 20 types de robots différents, en plus d'une immense bibliothèque d'images et de textes.
La Vitesse : Ils ont rendu le robot capable de réfléchir assez vite pour contrôler un bras réel en temps réel (15 fois par seconde), ce qui est crucial pour ne pas faire tomber les objets.

Résumé

Wall-OSS-0.5 est une avancée majeure car il prouve que si l'on entraîne un cerveau de robot sur des données suffisamment diverses en utilisant les bonnes techniques de « pont », le robot ne devient pas seulement un observateur intelligent ; il devient un exécutant capable immédiatement. Il peut regarder une table en désordre, comprendre l'instruction « range tout » et commencer à trier les objets sans avoir besoin d'un manuel pour chaque objet sur la table.

Résumé Technique : Wall-OSS-0.5

Problématique

La communauté de la robotique adopte de plus en plus les modèles Vision-Language-Action (VLA) comme fondations pour les politiques robotiques. Cependant, une lacune critique subsiste dans l'évaluation de ces modèles : les résultats les plus probants sont presque invariablement rapportés uniquement après un ajustement fin (fine-tuning) spécifique à une tâche. Cela laisse une question fondamentale sans réponse : le préentraînement VLA produit-il lui-même un comportement robotique exécutable, ou sert-il simplement d'une meilleure initialisation pour l'apprentissage de politiques en aval ?

Les preuves actuelles suggèrent que le préentraînement seul peut ne pas produire une politique directement utilisable. Le papier pose comme postulat que pour qu'un checkpoint préentraîné soit crédible, il doit démontrer des capacités observables et exécutables sur du matériel physique avant toute adaptation spécifique à une tâche.

Méthodologie

Wall-OSS-0.5 est un modèle VLA open-source de 4 milliards de paramètres construit sur un squelette de modèle Vision-Language (VLM) de 3 milliards de paramètres (Qwen2.5-VL-3B-Instruct). L'architecture et la stratégie d'entraînement sont conçues pour satisfaire trois exigences : exécuter des compétences de manipulation utiles immédiatement (out-of-the-box), conserver la compétence vision-langage dérivée du VLM, et fournir des priors solides pour l'adaptation en aval.

1. Architecture : Mixture-of-Transformers (MoT)

Le modèle utilise une architecture Mixture-of-Transformers où chaque couche contient deux experts distincts :

Expert VL : Traite la vision, le langage, la proprioception et les jetons d'action discrets.
Expert d'Action : Traite les signaux d'action continus pour la génération par flow-matching.
Crucialement, ces experts partagent le même contexte d'attention au niveau de la séquence. Cela permet à l'Expert d'Action d'être attentif aux informations visuelles et linguistiques lors de la génération d'actions, mais plus important encore, cela garantit un flux de gradient de bout en bout entre les experts. Il s'agit d'une décomposition de routage plutôt que d'un mécanisme d'arrêt de gradient, permettant à la voie d'action continue de façonner le squelette pendant l'entraînement.

2. Co-entraînement à Pont de Gradient (Gradient-Bridged Co-Training)

La principale contribution méthodologique est une recette de co-entraînement en une seule étape qui optimise simultanément trois objectifs complémentaires :

Prédiction de Jetons d'Action Discrets (Le Pont de Gradient) : Le modèle prédit des jetons d'action par quantification vectorielle résiduelle (RVQ) de manière autorégressive. Cela fournit un signal de cross-entropie fort, natif du VLM, qui met à jour le squelette dans une direction alignée avec le contrôle. Il agit comme le principal moteur des mises à jour du squelette.
Cross-Entropie Multimodale (L'Ancre) : Entraîné sur des données vision-langage ancrées, cet objectif préserve le suivi d'instructions, l'ancrage visuel et la compréhension de scène. Sa direction de mise à jour est largement orthogonale à l'optimisation de l'action, empêchant le modèle de perdre ses capacités VLM générales.
Flow Matching Continu (L'Interface de Déploiement) : L'Expert d'Action est entraîné pour générer des blocs d'actions continues via le flow matching. Bien que cela définisse l'objectif d'exécution, les études d'ablation montrent qu'il ne contribue qu'à une petite part (~5 %) des mises à jour du squelette par rapport aux pertes de cross-entropie.

Insight Clé : La voie discrète sert principalement de « pont de gradient » au moment de l'entraînement pour façonner le squelette, tandis que la voie continue sert d'interface au moment du déploiement.

3. Tokeniseur d'Action RVQ Aligné sur la Vision

Pour remplacer les tokeniseurs basés sur des règles (comme FAST), les auteurs introduisent un tokeniseur de Quantification Vectorielle Résiduelle (RVQ) aligné sur la vision et appris. Il compresse les séquences d'actions delta conditionnées par l'observation en jetons discrets. Contra contrairement aux compresseurs standards, il est entraîné avec des objectifs auxiliaires :

Alignement Visuel-Action : Tire les latents d'action vers les caractéristiques visuelles du VLM.
Prédiction de l'Image Suivante : Encourage les jetons à encoder les conséquences de l'action.
Reconstruction dans le Domaine DCT : Supprime le jitter haute fréquence.
Cela garantit que les jetons discrets sont sémantiquement significatifs pour le squelette VLM.

4. Supervision de l'Espace d'Action

Pour l'objectif de flow matching, les auteurs proposent une Supervision de l'Espace d'Action. Au lieu de minimiser la perte sur le champ de vitesse (flow matching standard), la perte est définie sur l'action récupérée elle-même. Cette formulation pondère efficacement la perte par $(1-\tau)^2$ , mettant l'accent sur les étapes de bruit élevé où la forme globale de la trajectoire se forme. Cela s'aligne sur la structure spectrale des actions robotiques, qui concentrent les structures de tâches utiles dans les tendances basse fréquence.

5. Données et Inférence

Données : Le modèle est préentraîné sur un mélange de plus de 1 million de trajectoires robotiques par époque (provenant de plus de 20 embodiments) et un corpus multimodal de 90 millions d'échantillons. Le corpus inclut des échantillons de « pont incarné » (embodied bridge) synthétisés à partir de trajectoires d'action pour lier directement la compréhension multimodale à un comportement exécutable.
Inférence : Une pile d'inférence de classe déploiement utilisant les CUDA Graphs et des noyaux fusionnés (fused kernels) permet d'obtenir une accélération de 4× par rapport au mode PyTorch eager, maintenant un contrôle à 15 Hz à haute résolution.

Résultats Clés

Performance Zero-Shot sur Robot Réel

Évalué sur une suite de 17 tâches sur robot réel (incluant des tâches déformables non vues lors de l'entraînement) sans aucun ajustement fin spécifique à la tâche, le modèle préentraîné Wall-OSS-0.5 atteint des comportements non négligeables :

Tri de Blocs : 100 % de progression de la tâche.
Tri de Fruits : 96 %.
Empilement d'Anneaux : 86 %.
Resserrement de Corde (Déformable non vu) : 82 %.
Le modèle démontre que le préentraînement seul produit des capacités de manipulation réutilisables, particulièrement pour les tâches dominées par l'ancrage sémantique.

Performance de l'Ajustement Fin (Fine-Tuning)

Après un ajustement fin sur 15 tâches de robot réel :

Wall-OSS-0.5 atteint une progression moyenne de tâche de 60,5 %.
Il surpasse $\pi_{0.5}$ de 17,5 % (60,5 % contre 43,0 %) et DreamZero de 27,1 %.
Il est en tête sur 10 des 15 tâches, montrant des gains significatifs en manipulation (61,1 % contre 35,0 % pour $\pi_{0.5}$ ).

Compréhension Multimodale

Le co-entraînement n'érode pas la compétence vision-langage générale. Bien que la performance VQA générale régresse légèrement (un compromis pour la spécialisation), l'ancrage incarné (embodied grounding) s'améliore considérablement :

Ancrage Incarné : Gain de +21,8 %.
Where2Place : Gain de +11,0 %.
Cela confirme que le modèle renforce la perception incarnée sans perdre ses capacités fondamentales de VLM.

Études d'Ablation

Co-entraînement vs Alternatives : La stratégie complète de co-entraînement à pont de gradient surpasse les approches « flow-only », « stop-gradient » et « two-stage » de 7,4 à 25,1 points de pourcentage sur les tâches de robot réel.
Perte d'Espace d'Action : Améliore la vitesse de convergence et la performance de pointe (taux de succès de 96,5 %) par rapport à la perte d'espace de vitesse en simulation.
Tokeniseur RVQ : Surpasse les tokeniseurs FAST tant en précision VQA (+1,8 %) qu'en progression de tâche (+18,9 %).

Signification et Revendications

Le papier prétend repositionner le préentraînement VLA non plus comme une simple stratégie d'initialisation, mais comme une source de capacité robotique directement testable et déjà utile.

Le Préentraînement Produit un Comportement Exécutable : Les résultats démontent que le préentraînement VLA à grande échelle peut produire un comportement zéro-shot mesurable et à haut niveau de progression sur des robots physiques, contestant l'idée que le préentraînement n'est utile que pour l'ajustement fin en aval.
Le Pont de Gradient est Décisif : Les auteurs soutiennent que les jetons d'action discrets ne sont pas seulement un artefact de déploiement, mais un mécanisme d'entraînement critique. Ils fournissent le signal de gradient fort nécessaire pour façonner le squelette VLM vers le contrôle, un rôle que le flow matching continu seul ne peut remplir efficacement.
Architecture Unifiée : En utilisant une architecture MoT avec une attention partagée, Wall-OSS-0.5 intègre avec succès la génération d'actions sans couper le flux de gradient vers le squelette VLM, permettant au modèle d'apprendre des caractéristiques pertinentes au contrôle tout en conservant la compréhension sémantique.
Benchmark Open-Source : En publiant un modèle de 4B qui fonctionne immédiatement, les auteurs fournissent une nouvelle base de référence pour évaluer la « capacité préentraînée » plutôt que simplement la « capacité ajustée ».

Les auteurs concluent qu'un préentraînement VLA suffisamment à grande échelle peut produire un comportement robotique réel, et que le checkpoint résultant sert de prior substantiellement plus fort pour l'adaptation en aval que les approches précédentes.