💻 computer science

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

Cet article présente dVLA-RL, un cadre d'apprentissage par renforcement pour les modèles de vision-langage-action de diffusion discrète qui surmonte l'intraitabilité des probabilités d'action marginales en optimisant la probabilité jointe des trajectoires de débruitage, atteignant ainsi des performances de pointe sur les bancs d'essai de manipulation robotique grâce à une approche d'ordonnancement unifiée à étapes variables.

Auteurs originaux : Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à cuisiner un plat complexe, comme un soufflé.

L'ancienne méthode (Le problème du « Copieur ») :
Auparavant, les robots apprenaient en regardant un chef humain le faire une seule fois et en essayant de copier exactement ses mouvements. C'est ce qu'on appelle l'« ajustement fin supervisé » (Supervised Fine-Tuning). Cela fonctionne assez bien pour des tâches simples, mais si la cuisine devient désordonnée ou si les ingrédients sont légèrement différents, le robot panique et échoue. C'est comme un étudiant qui a mémorisé les réponses d'un examen blanc mais qui est incapable de résoudre un nouveau problème.

Le nouvel outil (Le robot de « Débruitage ») :
Récemment, des scientifiques ont construit un nouveau type de cerveau de robot appelé dVLA (modèle Vision-Langage-Action de diffusion discrète). Au lieu de décider du prochain mouvement instantanément, ce robot réfléchit de manière « bruitée ». Imaginez que le robot commence avec une feuille de papier blanche remplie de gribouillis (du bruit). Il efface ensuite progressivement les gribouillis, étape par étape, pour révéler la recette parfaite.

Étape 1 : Il devine quelques mots.
Étape 2 : Il affine ces mots en fonction de ce qu'il voit.
Étape 3 : Il finalise la recette.

Ce processus de « révélation progressive » est excellent car il permet au robot d'affiner son plan de manière itérative, comme un artiste esquissant un dessin avant de l'encrer.

La pièce manquante (Le fossé de l'« Apprentissage par Renforcement ») :
Bien que ce robot de « révélation progressive » soit intelligent, il n'était encore qu'un copieur. Il n'avait pas appris de ses erreurs. Les scientifiques voulaient utiliser l'Apprentissage par Renforcement (RL) — une méthode où le robot essaie des choses, reçoit un « pouce levé » (récompense) en cas de succès, et un « pouce baissé » en cas d'échec, apprenant ainsi à faire mieux au fil du temps.

Le gros problème :
Il y avait un obstacle mathématique. Dans les cerveaux de robots standards, on peut facilement calculer la probabilité d'obtenir la bonne réponse. Mais dans ce robot de « révélation progressive », la réponse finale est le résultat d'un long chemin tortueux de suppositions. Essayer de calculer la probabilité exacte du résultat final en examinant chaque chemin possible que le robot aurait pu emprunter revient à essayer de compter chaque grain de sable sur une plage pour prédire la marée. C'est mathématiquement impossible (intractable).

La solution : dVLA-RL (L'approche du « Voyage »)
Les auteurs de cet article, dVLA-RL, ont résolu ce problème en changeant la question. Au lieu de demander : « Quelle est la probabilité d'obtenir la réponse parfaite finale ? », ils ont demandé : « Quelle est la probabilité de suivre le chemin spécifique que nous venons de parcourir ? »

Pensez-y comme à un jeu vidéo :

Ancienne Mathématique : Essayer de calculer les chances de gagner tout le tournoi avant même que le jeu ne commence.
Nouvelle Mathématique (dVLA-RL) : Calculer les chances de faire les étapes spécifiques que vous venez de franchir pour passer au niveau suivant.

En traitant le processus de « révélation progressive » du robot comme un voyage étape par étape (une trajectoire), ils ont pu enseigner au robot en utilisant l'apprentissage par renforcement standard. Ils récompensent le robot pour l'ensemble du chemin qu'il a parcouru pour résoudre le problème, et non pas seulement pour le résultat final.

La stratégie « Hybride » (Le « Planificateur Intelligent »)
L'article introduit également une astuce ingénieuse appelée Hybrid dVLA-RL.

Tâches faciles : Si le robot est doué pour une tâche simple (comme ramasser une tasse), il n'a pas besoin de prendre 10 étapes pour réfléchir. Il peut ne prendre que 1 ou 2 étapes. Cela permet d'économiser du temps et de l'énergie.
Tâches difficiles : Si la tâche est complexe (comme empiler une tour de blocs), le robot est autorisé à prendre plus d'étapes pour « réfléchir » et affiner son plan.

C'est comme un professeur qui donne un quiz rapide pour les questions faciles, mais qui autorise un format dissertation pour un article de recherche difficile. Cela rend le robot plus rapide sur les tâches simples et plus intelligent sur les tâches complexes.

Les Résultats
L'équipe a testé leur méthode sur deux terrains d'entraînement majeurs pour robots :

LIBERO : Une simulation pour robots à un seul bras. La nouvelle méthode a atteint un taux de réussite de 99,7 %, perfectionnant pratiquement les tâches.
RoboTwin 2.0 : Une simulation plus difficile pour des robots à deux bras (comme un humain). La nouvelle méthode a amélioré le taux de réussite de 30,6 % par rapport à l'ancienne version « copieur », surpassant d'autres cerveaux de robots de haut niveau.

En Résumé
L'article présente une façon d'enseigner aux robots de « réflexion lente » à apprendre de leurs propres expériences. Au lieu de rester bloqués en essayant de calculer des mathématiques impossibles sur le résultat final, ils apprennent au robot à apprendre à partir du chemin spécifique qu'il a parcouru pour y arriver. Cela rend les robots nettement meilleurs pour suivre des instructions et gérer des tâches physiques complexes.

Résumé Technique : dVLA-RL

Énoncé du Problème

Les modèles de Vision-Langage-Action (VLA) ont établi un paradigme puissant pour la manipulation robotique en ancrant le contrôle dans le raisonnement sémantique des grands Modèles de Vision-Langage (VLM). Bien que les dVLA à diffusion discrète (dVLA) soient apparus comme une alternative prometteuse qui unifie la vision, le langage et l'action dans un espace unique de jetons discrets via une modélisation générative masquée, leur entraînement a été limité au réglage fin supervisé (SFT - Supervised Fine-Tuning).

L'application de l'apprentissage par renforcement (RL) aux dVLA natifs fait face à un goulot d'étranglement fondamental : l'intraitabilité de la probabilité marginale de l'action. Les algorithmes de politique de gradient standard (par exemple, PPO) nécessitent la probabilité exacte de l'action finale exécutée, $\pi_\theta(a_t | s_t)$ . Or, dans les modèles de diffusion discrète, l'action finale est le résultat d'un processus de débruitage stochastique en $K$ étapes. Calculer la probabilité marginale exacte nécessite de sommer sur l'espace combinatoire de toutes les trajectoires de débruitage intermédiaires possibles, ce qui est numériquement infaisable. De plus, approximer la politique en utilisant uniquement la sortie de la dernière étape ignore les états intermédiaires qui dictent le déroulement, ce qui entraîne des écarts de gradient et une instabilité de l'entraînement.

Méthodologie : dVLA-RL

Pour remédier à cela, les auteurs proposent dVLA-RL, un cadre qui déplace l'objectif d'apprentissage de l'intraitable probabilité d'action marginale vers la probabilité jointe de la trajectoire de débruitage échantillonnée.

1. Modélisation de Probabilité au Niveau de la Trajectoire

Les auteurs modélisent le processus de débruitage comme un processus de décision de Markov (MDP). Au lieu d'optimiser la probabilité de l'action finale, ils déroulent le processus de débruitage et formulent la probabilité du chemin de génération spécifique échantillonné, $\tau = (x_K, \dots, x_0)$ , comme un produit de transitions par étape :
$\log \pi_\theta(\tau | s_t) = \sum_{k=1}^K \left[ \log P_{\text{unmask}}(U_k | p_\theta, k) + \sum_{i \in U_k} \log p_\theta(x_{k-1}^i | x_k, s_t) \right]$
où $U_k$ est le sous-ensemble de jetons sélectionnés pour le démasquage à l'étape $k$ .

2. Optimisation Implicite du Processus de Démasquage

Un défi critique est que le calendrier de démasquage des jetons (déterminé par un mécanisme Gumbel-TopK) est discret et non différentiable. La rétropropagation directe à travers les probabilités de sélection de démasquage introduit des gradients à haute variance.

Solution : Les auteurs traitent le processus de démasquage comme une dynamique de système intrinsèque et non différentiable. Ils suppriment le terme de démasquage de la mise à jour du gradient, en concentrant l'objectif exclusivement sur les probabilités de génération de jetons pour les jetons qui passent de [MASK] à un ID de jeton spécifique.
Effet Implicite : En optimisant la précision de la prédiction des jetons de base, la distribution de confiance du réseau s'améliore, ce qui optimise de manière implicite et adaptative le planificateur Gumbel-TopK pour cibler les régions incertaines sans nécessiter d'estimateurs de gradient explicites pour le planificateur lui-même.

3. Stratégie de Débruitage Hybride

Exploitant la flexibilité de la formulation au niveau de la trajectoire, les auteurs introduisent une approche de dVLA-RL Hybride. Puisque le cadre accomode naturellement des horizons de débruitage variables, différentes tâches peuvent se voir assigner un nombre différent d'étapes de débruitage en fonction de leur complexité et de la performance initiale du SFT :

Tâches Simples : Moins d'étapes de débruitage réduisent les coûts de déploiement et d'inférence tout en maintenant des taux de réussite élevés.
Tâches Complexes : Des horizons de débruitage plus larges fournissent de meilleures actions initiales et une exploration en ligne plus informative pour l'affinement itératif.

Principales Contributions

Formulation du RL pour la Diffusion Discrète : L'article formule l'apprentissage par renforcement pour les VLA à diffusion discrète native en optimisant la probabilité des trajectoires de débruitage échantillonnées plutôt que la vraisemblance marginale intraitable des actions finales. Cela fournit un moyen de rendre possible l'intégration de la politique de gradient de RL (PPO) avec des politiques de diffusion discrète multi-étapes.
Stratégie d'Entraînement Unifiée : Les auteurs introduisent une approche de planification d'étapes unifiée (Hybrid dVLA-RL) qui adapte les étapes de débruitage à la complexité spécifique des tâches. Cela équilibre la qualité de l'action, l'efficacité de l'échantillonnage et le coût computationnel au sein d'un seul cadre.
Validation Empirique : Le cadre démontre que le RL peut considérablement améliorer les politiques VLA de diffusion discrète au-delà de leur initialisation SFT, atteignant des résultats de pointe sur les benchmarks standards.

Résultats Expérimentaux

Les auteurs ont évalué dVLA-RL sur deux benchmarks de manipulation robotique : LIBERO (bras unique) et RoboTwin 2.0 (bimanuel).

LIBERO : dVLA-RL a atteint un taux de réussite moyen de 99,7 % sur les quatre suites (Spatial, Object, Goal, Long), surpassant à la fois les bases SFT-only et les autres bases VLA/World-Action Model (WAM).
RoboTwin 2.0 : La méthode a délivré une amélioration absolue de 30,6 % par rapport à la base MM-ACT SFT-only (passant de 61,4 % à 92,0 % de taux de réussite moyen). Elle a obtenu la meilleure performance parmi les méthodes basées sur VLA sur ce benchmark bimanuel exigeant et est restée compétitive avec les bases WAM robustes.
Études d'Ablation :
- Trajectoire vs Dernière Étape : Les comparaisons ont montré que la modélisation au niveau de la trajectoire est nécessaire ; un proxy de type "dernière étape uniquement" a conduit à un entraînement instable et à des taux de réussite inférieurs, particulièrement à mesure que le nombre d'étapes de débruitage augmentait.
- Stratégie Hybride : L'approche hybride a amélioré avec succès l'efficacité de l'échantillonnage, atteignant des taux de réussite plus élevés avec moins d'étapes d'interaction avec l'environnement par rapport aux stratégies à étapes fixes.

Signification et Revendications

L'article affirme que dVLA-RL résout le décalage fondamental entre les processus de diffusion discrète multi-étapes et les objectifs de RL standard. En recadrant la cible d'optimisation vers la probabilité jointe de la trajectoire de débruitage, les auteurs permettent la première application réussie du RL en ligne aux politiques VLA de diffusion discrète native.

Les résultats suggèrent que la diffusion discrète est un paradigme de génération d'actions prometteur pour les politiques VLA optimisées par RL, capable d'atteindre des performances de pointe tant dans la manipulation à bras unique que dans les tâches bimanuelles complexes. Ce travail souligne que l'« intraittabilité » des probabilités marginales dans les modèles de diffusion peut être contournée en alignant l'objectif de RL avec le chemin d'exécution réel du processus de débruitage, débloquant ainsi le potentiel d'affinement de la politique au-delà du clonage de comportement.