Résumé Technique : ProcVLM

Énoncé du Problème

La manipulation robotique à long horizon nécessite des signaux de retour d'information denses qui reflètent avec précision l'avancement de la tâche à travers les étapes procédurales, plutôt que de reposer uniquement sur des résultats binaires succès/échec au niveau de la trajectoire. Les modèles de récompense existants dépendent souvent d'étiquettes terminales éparses ou d'une interpolation basée sur le temps. Les auteurs soutiennent que ces approches échouent à capturer des états critiques tels que les étapes inachevées, la stagnation et la récupération après échec, car le temps écoulé ne correspond pas nécessairement à un véritable progrès de la tâche dans les tâches de manipulation complexes. De plus, la plupart des ensembles de données robotiques à grande échelle manquent d'annotations explicites de la structure procédurale (par exemple, les limites des sous-tâches et les actions restantes), contraignant les modèles de récompense à s'appuyer sur une supervision indirecte qui confond les proxies temporels avec le progrès sémantique.

Méthodologie

1. Synthèse de Supervision Procédurale (ProcCorpus-60M)

Pour pallier le manque de supervision procédurale dense, les auteurs ont développé un pipeline évolutif pour synthétiser des annotations au niveau des images à partir de trajectoires robotiques brutes.

• Annotation Hiérarchique : En utilisant de grands modèles Vision-Langage (VLM) comme annotateurs, le pipeline infère d'abord des plans de tâches de haut niveau et des plages temporelles de sous-tâches à partir de l'ensemble de la vidéo. Il étend ensuite ces segments en attributions image par image, générant des indices de raisonnement (raisonnement sur l'état, statut d'achèvement, actions restantes) sur des images clés visuellement dédupliquées.
• Construction de l'Ensemble de Données : Ce pipeline a été appliqué à 30 ensembles de données incarnés (incluant DROID, BridgeData V2, Fractal et des benchmarks de simulation), aboutissant à ProcCorpus-60M, contenant plus de 400 000 trajectoires et 60 millions d'images annotées.
• Étiquetage du Progrès : Des cibles de progrès continues sont dérivées en combinant la structure au niveau des sous-tâches avec le mouvement visuel intra-sous-tâche. Un budget de progrès est attribué à chaque sous-tâche en fonction de sa durée relative, et ce budget est distribué dans le temps selon les changements visuels locaux ($\|\dot{\phi}(\tau)\|$), évitant ainsi une simple interpolation linéaire du temps.

2. ProcVQA et Paradigme d'Entraînement

Les annotations sont converties en ProcVQA, un corpus d'entraînement de 20 milliards de tokens centré sur l'estimation du progrès de la tâche. L'entraînement suit un paradigme « raisonnement avant estimation », où le modèle doit d'abord inférer l'étape d'exécution actuelle et les actions atomiques restantes avant de prédire un score de progrès continu.

• Familles de Tâches :
  • Prédiction de progrès structurée par sous-tâche : Le modèle émet les sous-tâches atomiques restantes, suivies d'un pourcentage d'achèvement continu encapsulé dans des balises <progress>.
  • Segmentation d'actions : Prédiction des limites temporelles des actions atomiques.
  • Planification future : Prédiction de la séquence des actions restantes nécessaires pour achever la tâche.
• Architecture : ProcVLM est construit sur une base Qwen3-VL-2B-Instruct. Il utilise une tête standard de modélisation linguistique auto-régressive pour la génération de texte et une tête de valeur de progrès dédiée (un MLP à 3 couches) pour la régression continue.
• Objectifs d'Entraînement : Une fonction de perte conjointe combine la perte de modélisation linguistique ($L_{LM}$) avec une perte de régression ($L_{value}$) pour le score de progrès. Un mécanisme de commutation active la tête de valeur uniquement lorsque la supervision du progrès est présente.
• Entraînement en Deux Étapes :
  1. Préentraînement : Entraînement à grande échelle sur l'ensemble complet des données ProcVQA (~20 milliards de tokens) pour apprendre des représentations procédurales générales.
  2. Raffinement : Affinage sur un sous-ensemble curaté de haute qualité (~2,8 milliards de tokens) pour affiner l'alignement des sous-tâches et l'estimation du progrès.

Contributions Clés

1. ProcVLM : Un VLM incarné conscient du progrès qui prédit des récompenses denses ancrées dans la procédure. Il lie l'estimation continue du progrès à la sémantique des sous-tâches, aux actions restantes et à l'avancement au sein de l'étape via un paradigme de raisonnement avant estimation.
2. Pipeline de Supervision Évolutif : Une méthode pour convertir les trajectoires de manipulation brutes en annotations structurées par sous-tâches au niveau des images, produisant ProcCorpus-60M et le benchmark ProcVQA.
3. Évaluation Systématique : Évaluation complète couvrant la compréhension consciente de la procédure, la modélisation de récompense, l'adaptation inter-tâches et l'optimisation de politique en aval.

Résultats Expérimentaux

Compréhension Procédurale Incarnée (ProcVQA)

Évalué sur des splits en distribution (ID) et hors distribution (OOD), ProcVLM a surpassé les VLMs dominants (incluant GPT-5.4, Gemini 3.1 Pro et Qwen3.5) dans la segmentation d'actions, la planification future et l'estimation du progrès de la tâche. Il a obtenu les scores les plus élevés pour BF1@5, Success, VOC (Corrélation Valeur-Ordre) et EPR@50 (Résolution de Progrès Efficace).

Évaluation de la Récompense de Progrès Généralisable

• Comparaison Zero-Shot : Sur le sous-ensemble ProcVQA-OOD, ProcVLM a obtenu le meilleur VOC, indiquant un ordonnancement interne de la trajectoire supérieur à celui des bases de référence comme Robometer et RoboDopamine.
• Adaptation One-Shot : Sur le benchmark RoboFAC (analyse d'échec sur robot réel), l'ajout d'une seule démonstration réussie a amélioré le VOC de ProcVLM de 85,7 % et le MCC de 18,8 %. En revanche, des bases de référence comme Robometer ont montré une amélioration minimale, suggérant que la supervision préférentielle éparsée est moins efficace pour l'adaptation à une seule démonstration.
• Études d'Ablation : La suppression du préentraînement conscient de la procédure a provoqué une dégradation sévère (par exemple, -88,8 % en MAE pour la localisation des défauts), confirmant que le préentraînement à grande échelle est essentiel pour une perception du progrès transférable. La suppression de la supervision formatée par raisonnement a également entraîné des baisses constantes, soulignant l'importance de la structure explicite des sous-tâches.

Optimisation de Politique en Aval

Dans les expériences d'affinage guidé par récompense (RFT) utilisant le cadre Evo-RL :

• Simulation (LIBERO-10) : Le RFT avec les récompenses de ProcVLM a produit des gains modérés (+0,4 à +1,2 points de pourcentage) par rapport à l'affinage supervisé (SFT).
• Robot Réel (Stack Bowls) : Le RFT a démontré des améliorations significatives, augmentant les taux de succès de +25,0 % à 5 000 étapes et de +12,5 % à 10 000 étapes par rapport au SFT. Les auteurs attribuent cela à la capacité de ProcVLM à réduire le poids des segments bruyants (par exemple, les tentatives répétées de préhension) dans les données téléopérées, stabilisant ainsi l'optimisation de la politique.

Signification et Revendications

L'article revendique que l'estimation de progrès ancrée dans la procédure est un catalyseur critique pour la modélisation de récompense transférable en robotique. En ancrant le progrès dans la structure procédurale plutôt que dans des proxies temporels, ProcVLM fournit un retour d'information discriminatif qui soutient une amélioration stable de la politique, en particulier dans les scénarios impliquant des données de robots réels bruyantes et des tâches à long horizon. Le travail suggère que le préentraînement à grande échelle conscient de la procédure est une voie prometteuse pour développer des modèles de récompense capables de généraliser à travers les tâches et les modes d'échec, facilitant l'optimisation de politique guidée par la récompense au-delà des démonstrations hors ligne.

Les auteurs reconnaissent des limitations, notant que les estimations dépendent de la qualité de la décomposition des sous-tâches et que le travail actuel se concentre sur un ensemble spécifique de paramètres d'optimisation guidée par récompense plutôt que de couvrir exhaustivement toutes les intégrations de gradient de politique ou basées sur les préférences.