🤖 AI

ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation

Ce papier présente ProgressVLA, un modèle de politique de diffusion guidée par l'estimation de progression qui améliore la manipulation robotique vision-langage en intégrant une estimation robuste de l'avancement du tâche et une guidance différentiable pour optimiser les actions sur des horizons longs.

Auteurs originaux : Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment faire la vaisselle ou ranger son jouet dans un tiroir. Jusqu'à présent, les robots intelligents (les modèles "Vision-Language-Action") étaient comme des étudiants très studieux mais un peu perdus : ils pouvaient voir l'objet et entendre la consigne ("Ranger le bol"), mais ils ne savaient pas où ils en étaient dans la tâche.

Ils avançaient au hasard, essayant des mouvements, et s'arrêtaient seulement quand un humain leur disait "Stop, c'est fini !" ou quand ils tombaient en panne. C'est comme si vous conduisiez une voiture de nuit sans phares ni compteur de vitesse, en espérant arriver à destination sans vous perdre.

Voici comment ProgressVLA change la donne, expliqué simplement :

1. Le Problème : Le Robot "Amnésique"

Les robots actuels sont excellents pour faire un mouvement précis (comme saisir une pomme), mais ils ont du mal à voir la "grande image". Ils ne savent pas si leur action les rapproche du but ou s'ils tournent en rond. Pour savoir quand arrêter, ils utilisent des règles rigides et fragiles (comme "arrête après 100 mouvements"), ce qui échoue souvent sur des tâches longues et complexes.

2. La Solution : Le "GPS de Progression"

Les auteurs ont créé un nouveau système appelé ProgressVLA. Imaginez que vous donnez au robot deux choses :

Un cerveau créatif (une politique de diffusion) qui imagine les mouvements.
Un GPS intelligent (le "Progress Estimator") qui regarde constamment : "Où en sommes-nous par rapport au but ?"

Ce GPS ne se contente pas de dire "C'est fini". Il donne un score de 0 à 100 % à chaque instant.

0 % : Le robot vient de commencer.
50 % : Il a attrapé l'objet, mais il n'est pas encore à sa place.
100 % : Mission accomplie !

3. Comment ça marche ? (L'Analogie du Sculpteur)

Pour comprendre la partie technique, imaginez un sculpteur qui doit tailler une statue à partir d'un bloc de marbre.

Sans ProgressVLA : Le sculpteur frappe le marteau au hasard. Il espère que le bloc ressemble de plus en plus à une statue, mais il ne sait pas s'il s'approche du résultat ou s'il casse juste le marbre.
Avec ProgressVLA : À chaque coup de marteau, un expert (le GPS) regarde le bloc et dit : "Attends, ce coup-ci t'a rapproché de la statue de 2 %. Mais ce coup-là ? Tu t'éloignes !".
Le robot utilise alors cette information pour corriger son coup de marteau en temps réel. Il ajuste son mouvement pour maximiser ce score de progression. C'est ce qu'on appelle la "guidance par le progrès".

4. L'Entraînement : Apprendre à voir l'avenir

Pour que ce GPS soit aussi bon, les chercheurs l'ont entraîné sur des milliers d'heures de vidéos de robots (comme un étudiant qui regarde des milliers de tutoriels).

Ils ont appris au robot à prédire : "Si je fais ce mouvement, à quoi ressemblera la scène dans 2 secondes ?"
Ensuite, ils ont demandé au GPS : "Est-ce que cette nouvelle scène est plus proche du but ?".
En répétant cela des millions de fois, le robot a appris à imaginer le futur et à choisir les mouvements qui mènent directement au succès, évitant ainsi les impasses.

5. Les Résultats : Plus rapide, plus sûr

Dans les tests (sur des simulateurs et de vrais robots), cette méthode a fait des merveilles :

Moins d'erreurs : Le robot ne perd plus de temps à faire des mouvements inutiles.
Plus de succès : Il réussit beaucoup plus souvent des tâches longues et complexes (comme ouvrir un tiroir, puis prendre un objet, puis le mettre ailleurs).
Arrêt précis : Le robot sait exactement quand s'arrêter, car son GPS lui dit "Tu es à 99 %, tu peux arrêter", au lieu de continuer à bouger bêtement.

En Résumé

ProgressVLA, c'est comme donner au robot une boussole interne qui lui dit en permanence : "Tu vas dans la bonne direction, continue !". Au lieu d'agir au hasard et d'espérer réussir, le robot utilise cette boussole pour ajuster chaque mouvement, rendant les robots plus intelligents, plus rapides et beaucoup plus fiables pour nous aider dans la vie de tous les jours.

Titre : ProgressVLA : Une Politique de Diffusion Guidée par la Progression pour la Manipulation Robotique Vision-Langage

1. Problématique

Les modèles existants de type Vision-Language-Action (VLA) pour la manipulation robotique souffrent d'un manque crucial de conscience de la progression de la tâche.

Limitations actuelles : La plupart des approches reposent sur des heuristiques manuelles pour déterminer la fin d'une tâche ou sur des signaux implicites et bruyants de satisfaction d'objectif.
Conséquences : Dans les tâches à long horizon impliquant des sous-objectifs en cascade, les politiques génératives (comme les modèles de diffusion) génèrent souvent des trajectoires visuellement plausibles mais non pertinentes pour l'objectif final. Elles manquent de mécanismes de terminaison robustes et gaspillent des ressources computationnelles sur des trajectoires qui ne font pas avancer la tâche.
Défi technique : Apprendre directement la progression à partir de pixels bruts est difficile en raison des variations visuelles parasites (jitter de caméra, objets distracteurs, changements de fond) qui noient les dynamiques de la tâche.

2. Méthodologie : Le Framework ProgressVLA

L'approche proposée, ProgressVLA, intègre un estimateur de progression explicite et différentiable directement dans le processus de génération d'actions par diffusion. L'architecture repose sur trois composants principaux :

A. Estimateur de Progression (Progress Estimator)

C'est un évaluateur conditionné par le langage et la vision qui prédit un score de complétion normalisé $p \in [0, 1]$ .
Entrées : L'instruction textuelle ( $l$ ), l'image initiale ( $o_0$ ) servant d'ancrage global, et l'image courante ( $o_t$ ).
Entraînement : Pré-entraîné sur de vastes ensembles de données robotiques non supervisés (Open X-Embodiment) en utilisant le temps normalisé ( $t/T$ ) comme proxy de la progression, puis affiné (finetuned) sur des données spécifiques (LIBERO, CALVIN).
Robustesse : Il est conçu pour ignorer les variations visuelles non pertinentes et se concentrer sur les changements d'état liés à la tâche.

B. Modèle du Monde Orienté Action (Action-Oriented World Model)

Ce modèle permet un raisonnement "à l'envers" (inverse dynamics) et "vers l'avant" (forward dynamics) dans un espace d'actions latentes.
Fonctionnement :
1. Un encodeur (dynamique inverse) mappe la transition entre deux images vers un vecteur d'action latente compacte.
2. Un décodeur (dynamique forward) prédit les caractéristiques visuelles futures à partir de l'état actuel et de l'action latente.
Ce modèle permet de simuler l'avenir ("imagination") sans exécution physique coûteuse.

C. Politique de Diffusion Guidée par la Progression

Au lieu de simplement échantillonner des actions, le modèle utilise une guidance de classeur (Classifier Guidance) dans l'espace latent.
Mécanisme :
1. Le modèle de diffusion génère un candidat d'action latente.
2. Le modèle du monde projette cette action vers un état futur visuel.
3. L'estimateur de progression évalue cet état futur.
4. Le gradient de la progression est rétropropagé à travers le modèle du monde pour guider le processus de débruitage de la diffusion.
Résultat : L'échantillonnage est biaisé vers des séquences d'actions qui maximisent la progression prédite vers l'objectif.

D. Affinement par Apprentissage par Renforcement (RL)

Une étape de finetuning en ligne utilise des expériences réelles pour améliorer l'alignement entre la progression estimée et la réussite réelle.
Une perte de monotonie est appliquée pour corriger les anomalies où la progression prédite diminue alors que la tâche avance.
Une optimisation contrainte par la divergence KL (KL-regularized) ajuste la politique pour privilégier les actions à haute progression tout en restant proche de la politique initiale.

3. Contributions Clés

Estimation de progression robuste : Un estimateur pré-entraîné sur de grandes échelles de données robotiques qui généralise en "zero-shot" vers des mondes réels non vus, avec une erreur de prédiction très faible (0.07 sur une échelle [0,1] dans CALVIN).
Guidage de progression différentiable : Introduction d'un pipeline où les gradients de progression guident directement la génération d'actions latentes via un modèle du monde, évitant ainsi les heuristiques de terminaison fragiles.
Validation empirique extensive : Démonstration de gains significatifs sur des benchmarks simulés (CALVIN, LIBERO) et des déploiements sur robots réels (ARX dual-arm).

4. Résultats Expérimentaux

Sur les Benchmarks Simulés (CALVIN & LIBERO) :

CALVIN : La version complète (avec guidance et RL) atteint un taux de réussite de 95.2% pour une séquence de 1 sous-tâche et 52.0% pour 5 sous-tâches consécutives, surpassant les méthodes de l'état de l'art (ex: GR-MG, Dita). La guidance de classeur réduit le nombre d'étapes nécessaires pour compléter la tâche.
LIBERO : Sur la tâche à long horizon (LIBERO-LONG), ProgressVLA atteint 66.2% de réussite contre 53.7% pour OpenVLA, démontrant une meilleure capacité à gérer des interactions complexes et variées.

Sur Robots Réels (ARX Dual-Arm) :

Tâches : Cinq tâches de manipulation (ouvrir un tiroir, empiler des bols, saisir des objets, etc.).
Performance :
- Le taux de réussite moyen passe de 23% (Octo, baseline) à 76% avec ProgressVLA guidé.
- L'efficacité est améliorée : la distance parcourue par l'effecteur terminal est réduite de 1.30m à 0.81m, et le nombre d'étapes d'action de 187.9 à 53.3.
Généralisation : L'estimateur de progression pré-entraîné reste robuste face aux changements d'éclairage et à l'introduction d'objets nouveaux, contrairement aux modèles entraînés "from scratch" qui échouent dans ces conditions.

5. Signification et Impact

Ce travail marque une avancée significative dans la robotique d'apprentissage par imitation et générative :

Fin des heuristiques fragiles : Il remplace les critères d'arrêt manuels par une mesure continue, dense et apprise de la progression de la tâche.
Efficacité de l'échantillonnage : En guidant la diffusion vers des états futurs prometteurs, le modèle réduit le besoin de ré-échantillonnage et génère des trajectoires plus directes et décisives.
Généralisation : La méthode démontre qu'un modèle pré-entraîné sur de grandes quantités de données peut être finetuné avec peu de données réelles pour fonctionner de manière fiable dans des environnements non vus, un pas crucial vers le déploiement de robots polyvalents dans le monde réel.

En résumé, ProgressVLA transforme la génération d'actions robotiques d'un processus passif (suivre une instruction) en un processus actif et orienté but, où le robot évalue continuellement son avancement et ajuste sa trajectoire pour maximiser l'efficacité de la tâche.