🤖 AI

Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

Z-1 est un cadre de post-entraînement par apprentissage par renforcement qui exploite l'optimisation de politique relative au groupe (GRPO) sur des démonstrations RoboCasa publiquement disponibles pour améliorer significativement les performances et les taux de réussite des modèles Vision-Langage-Action basés sur le flux sans nécessiter de données privées supplémentaires.

Auteurs originaux : Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à cuisiner un repas complexe, comme faire du café ou ouvrir un tiroir difficile.

Le Problème : Le Robot « Imitateur »
Jusqu'à présent, la plupart des entraîneurs de robots utilisaient une méthode appelée « Apprentissage par Imitation » (Behavior Cloning). Imaginez un étudiant qui n'apprend qu'en regardant les vidéos parfaites d'un professeur. Le robot regarde l'enseignant réussir et tente de copier chaque mouvement exactement.

La Faille : Si l'étudiant commet une petite erreur (comme tendre la main vers une poignée un millimètre trop loin), la vidéo ne montre pas comment la corriger. Le robot reste bloqué, ne sait pas comment se rattraper et échoue. Il ne peut pas apprendre de ses propres erreurs car il n'a jamais été autorisé à en commettre pendant l'entraînement.

La Solution : Z-1 (Le Coach par « Essai et Erreur »)
L'article présente Z-1, un nouveau système d'entraînement qui permet au robot d'apprendre en faisant, en échouant et en essayant à nouveau. C'est comme un coach qui laisse l'étudiant s'exercer dans la cuisine, échouer, puis lui donne des commentaires spécifiques sur la façon de faire mieux la prochaine fois.

Voici comment fonctionne Z-1, en utilisant des analogies simples :

1. Le Point de Départ (SFT)

D'abord, le robot suit un « cours intensif » en regardant des vidéos publiques d'humains accomplissant des tâches (comme ouvrir des portes ou utiliser un évier). Cela lui donne une idée de base de ce qu'il doit faire, un peu comme lire une recette avant de cuisiner.

2. L'« Entraînement en Groupe » (GRPO)

Au lieu de laisser le robot s'entraîner seul, Z-1 utilise une méthode appelée Optimisation de la Politique Relative de Groupe (GRPO).

L'Analogie : Imaginez un coach envoyant 8 étudiants dans la cuisine pour préparer du café en même temps.
L'Objectif : Le coach ne se contente pas de dire « Bon travail » ou « Mauvais travail ». Au lieu de cela, le coach compare les 8 étudiants entre eux. Si 7 étudiants renversent le café mais qu'un seul réussit, le coach dit à l'étudiant qui a réussi : « Tu as fait différemment ; continue de faire ce que tu viens de faire ». Cela aide le robot à comprendre exactement quel petit mouvement a fait la différence.

3. Les Astuces Intelligentes (Les Nouveaux Modules)

L'article présente quatre astuces ingénieuses pour rendre cet entraînement efficace et stable :

Préfixe Partagé (La Règle du « Même Départ ») :
- Le Problème : Si l'Étudiant A commence par marcher vers la gauche et l'Étudiant B commence par marcher vers la droite, comparer leurs compétences finales de préparation du café est injuste. Ils avaient des points de départ différents.
- La Solution : Z-1 force les 8 étudiants à commencer par les exacts mêmes premiers mouvements (comme marcher vers le comptoir). Une fois qu'ils sont tous debout devant le comptoir, ils se séparent et essaient différentes façons de saisir la tasse. Cela garantit que le robot apprend la partie critique de la tâche (la saisie), et non la marche.
Ramification en Structure d'Arbre (La Règle du « Chemin de Branchement ») :
- Le Problème : Parfois, même la partie « marcher vers le comptoir » nécessite de l'entraînement. Si nous les forçons à commencer exactement de la même manière, ils n'apprendront jamais à corriger une mauvaise marche.
- La Solution : Z-1 utilise une structure en « arbre ». Tous les étudiants commencent ensemble, mais se séparent ensuite en petits groupes à différents moments. Certains se séparent tôt, d'autres tard. Cela permet au robot de s'exercer à corriger de petites erreurs tout en gardant l'entraînement organisé.
Décroissance de Récompense Sensible au Succès (Le « Bonus de Vitesse ») :
- Le Problement : Si un robot met 10 minutes pour ouvrir une porte et un autre 1 minute pour ouvrir la même porte, un système standard pourrait donner le même autocollant « Bon Travail » aux deux.
- La Solution : Z-1 donne un plus gros autocollant « Bon Travail » au robot qui termine plus rapidement. Il ne punit pas le lent, mais il récompense davantage le rapide. Cela encourage le robot à être efficace sans avoir peur d'essayer.
Entraînement Conjoint Sélectif (L'Interrupteur « Cerveau vs Mains ») :
- Le Problème : Parfois, le robot échoue parce que ses « mains » (l'expert en action) sont maladroites. D'autres fois, il échoue parce que ses « yeux » (le cerveau vision-langage) ne voient pas clairement le bouton.
- La Solution : Habituellement, Z-1 n'entraîne que les « mains » pour maintenir la stabilité. Mais si le robot échoue de façon répétée parce qu'il ne peut pas voir ou comprendre l'objet, Z-1 bascule un interrupteur et entraîne le « cerveau » et les « mains » ensemble. C'est comme réaliser : « Oh, l'étudiant n'est pas maladroit ; il ne voit juste pas bien la poignée ! » et lui apprendre à mieux regarder.

Les Résultats

L'équipe a testé Z-1 sur 24 tâches domestiques différentes (comme ouvrir des tiroirs, utiliser des éviers et faire du café).

Avant Z-1 (Simple observation de vidéos) : Le robot réussissait environ 67 % du temps.
Après Z-1 (Pratique avec les nouvelles astuces) : Le robot réussissait 80,6 % du temps.

Cette amélioration était suffisamment significative pour battre d'autres modèles de robots de haut niveau actuellement disponibles publiquement, même si Z-1 n'a utilisé aucune donnée privée ou secrète — seulement des vidéos publiques et ses propres sessions d'entraînement.

En Résumé :
Z-1 prend un robot qui n'était qu'un simple imitateur et le transforme en un résolveur de problèmes. En le laissant s'exercer en groupe, en partant du même point, en récompensant la vitesse et en sachant quand entraîner ses yeux plutôt que ses mains, le robot apprend à gérer bien mieux les défis désordonnés du monde réel d'une maison que auparavant.

Résumé Technique : Z-1 – Apprentissage par Renforcement Efficace pour les Modèles Vision-Langage-Action

1. Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) sont apparus comme un cadre prometteur pour la manipulation robotique, unifiant les instructions linguistiques, les observations visuelles et le contrôle continu. Cependant, les politiques de pointe (SOTA) actuelles sont principalement entraînées via l'Apprentissage par Imitation (BC) ou le Fine-Tuning Supervisé (SFT) sur des démonstrations humaines fixes. Cette dépendance à l'apprentissage par imitation présente deux limitations critiques :

Généralisation Limitée : La performance est bornée par la couverture des données de démonstration. Dans les tâches à long horizon ou compositionnelles, de petites erreurs de prédiction peuvent s'accumuler, poussant le robot vers des états mal représentés dans les données d'entraînement.
Incapacité à s'Auto-Corriger : Le BC et le SFT manquent de mécanismes pour s'améliorer à partir des propres échecs de la politique. Ils ne peuvent pas optimiser le succès de la tâche via des interactions par essais et erreurs, ce qui est essentiel pour affiner les comportations de manipulation complexes.

Bien que le post-entraînement par Apprentissage par Renforcement (RL) offre une voie pour surmonter ces limitations en optimisant les récompenses au niveau de la tâche, l'application du RL aux modèles VLA basés sur le flux (flow-based) reste difficile. Les obstacles clés incluent le coût élevé de la génération de déploiements (rollouts), la parcimonie des récompenses, et la difficulté de corriger les échecs découlant de l'ancrage visuel ou du raisonnement spatial lorsque le socle vision-langage est gelé.

2. Méthodologie : Le Cadre Z-1

Z-1 est un cadre de post-entraînement par RL modulaire conçu spécifiquement pour les modèles VLA basés sur le flux. Construit sur le modèle de base pré-entraîné $\pi_0.5$ , Z-1 utilise un pipeline d'entraînement en deux étapes utilisant uniquement les démonstrations publiques de RoboCasa.

Étape 1 : Fine-Tuning Supervisé (SFT) par Scène

Le pipeline commence par l'adaptation de $\pi_0.5$ à l'environnement RoboCasa. Au lieu d'entraîner un modèle distinct pour chaque tâche, Z-1 effectue un SFT par scène (regroupant les tâches par catégorie de scène, ex: portes, tiroirs, éviers). Cette approche améliore l'efficacité des données en exploitant les configurations d'objets et les primitives de manipulation partagées au sein d'une même scène. Le module vision-langage et l'expert d'action sont tous deux mis à jour lors de cette étape pour produire une initialisation robuste.

Étape 2 : Optimisation de la Politique Relative au Groupe par Tâche (GRPO)

Après le SFT, Z-1 applique une stratégie de post-entraînement GRPO spécifique à la tâche. Contra matter de l'RL standard qui traite les déploiements comme des trajectoires complètes indépendantes, Z-1 introduit quatre composants modulaires clés pour améliorer l'efficacité et la stabilité :

GRPO à Préfixe Partagé (Shared-Prefix GRPO) : Pour traiter le problème où les phases initiales d'approche varient considérablement et diluent les signaux de récompense, Z-1 force les déploiements au sein d'un groupe GRPO à partager un préfixe commun. L'état du simulateur au point de bifurcation est cloné, et seuls les suffixes (actions post-bifurcation) sont échantillonnés indépendamment. Cela garantit que les comparaisons relatives au groupe se concentrent sur les phases d'interaction critiques plutôt que sur les variations redondantes d'approche.
Bifurcation de Préfixe à Structure Arborescente (Tree-Structured Prefix Branching) : Pour les tâches nécessitant un raffinement durant la phase d'approche, Z-1 généralise l'approche de préfixe partagé plat. Il introduit des points de bifurcation intermédiaires au sein du préfixe, créant un arbre de grappes de déploiements. Cela réduit le masquage excessif, permettant aux segments partiellement partagés de contribuer au signal d'apprentissage tout en réduisant le calcul redondant.
Décroissance de Récompense Sensible au Succès (Success-Aware Reward Decay) : Pour gérer les récompenses parcimonieuses où tous les déploiements réussis sont traités de la même manière, Z-1 introduit un facteur de décroissance basé sur le temps de complétion ( $\tilde{r}_i = r \cdot \gamma^{d_i}$ ). Les complétions réussies plus rapides reçoivent des récompenses plus élevées. Crucialement, pour les groupes où tous les déploiements réussissent, Z-1 utilise un ordonnancement de base minimale non négative ( $A_i = R_i - \min_j R_j$ ) plutôt qu'une normalisation par la moyenne. Cela empêche les déploiements réussis mais plus lents de recevoir des avantages négatifs, évitant la pénalisation excessive des complétions fiables mais lentes.
Entraînement Conjoint Sélectif VLM–Expert d'Action (Sel-JT) : Alors que le RL-VLA standard gèle souvent le socle vision-langage, Z-1 sélectionne dynamiquement si mettre à jour le Modèle Vision-Langage (VLM) aux côtés de l'Expert d'Action. Cette décision est basée sur des diagnostics de phase d'entraînement (ex: taux de succès SFT, modes d'échec). Si les échecs sont attribués à un mauvais ancrage visuel ou à un raisonnement spatial plutôt qu'à un contrôle de bas niveau, le VLM est dégelé pour permettre une co-adaptation perception-action.

3. Contributions Clés

Le papier présente les contributions suivantes :

Cadre Z-1 : Un cadre de post-entraînement GRPO modulaire pour les modèles VLA basés sur le flux qui fonctionne efficacement avec uniquement des données de démonstration publiques, évitant le besoin de jeux de données privés.
Nouvelle Construction de Déploiement : La proposition de Shared-Prefix GRPO et de Tree-Structured Prefix Branching pour réduire la simulation redondante et concentrer l'optimisation sur les segments d'interaction critiques.
Innovations de Récompense et d'Entraînement : Le développement de la Success-Aware Reward Decay pour fournir un retour plus fin sur la vitesse de complétion sans façonnage de récompense dense, et du Selective Joint Training pour adapter les modules de perception uniquement quand cela est nécessaire.
Nouvelle Performance SOTA : L'établissement d'un nouveau taux de succès moyen de pointe sur le benchmark RoboCasa sous des conditions de démonstrations publiques.

4. Résultats Expérimentaux

Z-1 a été évalué sur 24 tâches de manipulation standard de RoboCasa à travers 7 catégories (portes, tiroirs, pick-and-place, micro-ondes, évier/robinet, cuisinière, et préparation de café).

Gain de Performance : Le RL de Z-1 a amélioré le taux de succès moyen de 67,4 % (initialisation SFT) à 80,6 %, soit un gain de 13,2 points de pourcentage.
Comparaison avec le SOTA : Z-1 RL a surpassé les résultats précédemment publiés, incluant GR00T, GR00T N1.5, Video Policy, et X-WAM. Spécifiquement, il a dépassé X-WAM (le baseline le plus fort de la comparaison) de 1,4 point de pourcentage en moyenne, bien que X-WAM utilise des informations de profondeur tandis que Z-1 repose uniquement sur des démonstrations publiques.
Améliorations Spécifiques aux Tâches :
- Tiroirs et Évier/Robinet : Des améliorations significatives ont été observées (ex: Tiroir : 83,4 % $\to$ 96,1 % ; Évier : 63,2 % $\to$ 94,3 %), démontrant l'efficacité de la construction de déploiement par préfixe pour les tâches nécessitant une manipulation précise post-approche.
- Pick-and-Place : Des gains substantiels ont été réalisés (53,9 % $\to$ 70,9 %).
- Tâches de Cuisinière : Bien que Z-1 se soit amélioré par rapport à sa base SFT, il est resté légèrement en dessous de X-WAM, indiquant que les tâches nécessitant un transport complexe à long horizon et une récupération robuste présentent encore des défis.
Études d'Ablation :
- Les variantes basées sur les préfixes (Shared-Prefix et Tree-Structured) ont systématiquement surpassé le GRPO classique, le Tree-Structured offrant une performance de pointe plus élevée lorsque l'entraînement restait stable.
- Le Selective Joint Training (Sel-JT) a nettement surpassé l'entraînement de l'Expert d'Action seul sur des tâches difficiles comme "TurnOnStove", validant la nécessité d'adapter les représentations visuelles lorsque l'ancrage est insuffisant.
- La Success-Aware Reward Decay a permis des améliorations de taux de succès plus rapides et plus stables par rapport aux pénalités de récompense standard, qui avaient tendance à être trop agressives.

5. Signification et Revendications

Le papier affirme que le post-entraînement systématique par GRPO peut substantiellement améliorer les politiques VLA basées sur le flux sans dépendre de démonstrations privées supplémentaires.

Les auteurs soulignent que Z-1 démontre la viabilité du RL en ligne pour les modèles VLA en adressant les inefficacités spécifiques de la génération de déploiements et de la calibration des récompenses. Les résultats suggèrent qu'avec une conception soignée — spécifiquement via la construction de préfixe partagé, la calibration de récompense tenant compte de la complétion, et la sélection adaptative de modules — le RL peut efficacement affiner les politiques au-delà des limites de l'apprentissage par imitation. Ce travail établit un nouveau benchmark pour l'entraînement VLA utilisant uniquement des données publiques, montrant que les améliorations algorithmiques dans le post-entraînement peuvent produire des gains de performance comparables ou supérieurs à ceux de modèles entraînés avec des données plus étendues ou propriétaires.