💻 computer science

ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies

ValueFormer remédie à l'échec silencieux des politiques de vision-langage-action basées sur l'apprentissage par imitation en introduisant un transformeur causal compact qui génère des étiquettes de valeur denses et sensibles aux étapes par trame afin de permettre une détection d'erreurs et une estimation de l'avantage efficaces en ligne, améliorant ainsi considérablement les taux de réussite des tâches de manipulation sur robot réel sans nécessiter d'apprentissage par renforcement coûteux.

Auteurs originaux : Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Publié 2026-08-05

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots apprennent à faire les tâches ménagères non pas en étant programmés avec des règles rigides, mais en observant les humains et en les imitant, tout comme un bambin apprend à lacer ses chaussures en regardant ses parents. Ce domaine est appelé Vision-Language-Action (VLA), où un robot utilise ses « yeux » (caméras) et son « cerveau » (modèles de langage) pour décider de ce qu'il doit faire ensuite. Le gros problème de cette approche est que le robot n'apprend souvent qu'à partir d'exemples réussis. C'est comme essayer d'apprendre à faire du vélo en ne regardant que des vidéos de personnes qui ne sont jamais tombées. Si le robot commence à vaciller ou à lâcher le guidon, il ne sait qu'il échoue qu'au moment de l'accident. Il n'a pas de « sensation interne » pour lui dire : « Hé, tu te débrouilles bien ! » ou « Stop ! Tu es sur le point de faire tomber ce sandwich ! »

Ce document s'attaque à ce « sentiment intérieur » manquant. Les chercheurs ont voulu construire un second, plus petit cerveau pour le robot, qui agirait comme une barre de progression. Au lieu d'attendre simplement que le robot termine une tâche pour dire ensuite « Bon travail » ou « Échec », ce nouveau système observe le robot en temps réel, image par image. Il tente de répondre à : « À quel point sommes-nous proches de la ligne d'arrivée en ce moment ? » et « Venons-nous de commettre une erreur ? ». L'objectif est de rendre les robots semi-autonomes plus sûrs et plus utiles, afin qu'un opérateur humain n'ait pas à fixer un écran en attendant qu'un désastre survienne.

La « barre de progression » du robot qui sait quand vous êtes coincé

Rencontrez ValueFormer, un nouvel outil conçu pour donner aux robots un sentiment de progression. Imaginez un robot essayant de faire un sandwich. Il doit poser le pain du bas, ajouter un steak, du fromage, de la tomate, de la laitue, et enfin le pain du haut. Si le robot reste bloqué sur la laitue, un robot standard entraîné uniquement sur des histoires de succès pourrait simplement continuer à essayer de saisir la laitue éternellement, ou pire, sauter l'étape et mettre le pain du haut sur un steak nu, pensant que tout va bien. Il n'a aucune idée qu'il est en difficulté.

Les auteurs de ce document ont réalisé que le plus grand obstacle n'était pas de construire un nouveau cerveau de robot sophistiqué, mais de comprendre comment enseigner au robot ce que signifie « bien faire » à chaque seconde.

Le problème des étiquettes « Tout ou Rien »

Imaginez que vous corrigez la copie de mathématiques d'un élève. Si vous ne lui donnez une note qu'à la toute fin, vous ne savez pas quand il s'est bloqué. A-t-il échoué à la première question, ou à la dernière ?

L'ancienne méthode : La plupart des robots sont entraînés avec un simple interrupteur « Succès/Échec » à la fin de la tâche. Si le sandwich est fait, c'est un 1. S'il est raté, c'est un 0.
La faille : C'est trop parcimonieux. Si un robot commet une erreur à mi-chemin mais continue quand même, le « 0 » à la fin ne dit pas au robot quelle partie était mauvaise. C'est comme dire à un coureur : « Tu as perdu la course », sans lui dire qu'il a trébuché au deuxième kilomètre.

Les chercheurs ont essayé une approche différente. Ils voulaient une étiquette dense, un score qui se met à jour chaque fraction de seconde, montrant exactement à quel point le robot est proche de l'objectif. Mais voici la partie délicate : si vous dites simplement au robot « Tu as échoué, donc ton score est de 0 » pour l'entièreté de la tentative ratée, le robot est confus. Il voit les premières secondes (où il se débrouillait bien) et pense : « Attendez, j'étais très bien, mais vous dites que j'échoue ? Je dois échouer depuis le début ! ». Cela confond le robot et dégrade ses performances, même lors de tentatives réussies.

La solution « Success-Then-Decay » (Succès puis Décroissance)

La principale avancée de ce document est une méthode astucieuse de marquage des erreurs appelée « Stage-Aware, Success-Then-Decay » (Sensible à l'étape, Succès puis Décroissance).

Imaginez le robot en train de grimper une montagne (faire un sandwich).

La montée : À mesure qu'il grimpe, son « score de progression » augmente de manière fluide.
La glissade : S'il glisse et tombe (commet une erreur), le score ne retombe pas instantanément à zéro. Au lieu de cela, il reste élevé pour les parties qu'il a bien réussies (le pain du bas et le steak) et ensuite, il décroît lentement lorsqu'il réalise qu'il est en difficulté.
Le résultat : Cela enseigne au robot que la première moitié de la tentative était en fait bonne, mais que la fin était mauvaise. Cela préserve le « crédit partiel » pour le travail accompli avant l'erreur.

Les auteurs ont testé cela contre quatre autres méthodes de marquage des erreurs (comme faire chuter le score instantanément à zéro, ou réduire l'ensemble du score) et ont constaté que leur méthode de « décroissance fluide » était la seule qui ne confondait pas le robot. Elle a permis au robot d'apprendre qu'une tentative ratée possède toujours une valeur dans son début, évitant ainsi qu'il ne fasse « s'effondrer » ses prédictions sur les tentatives réussies ultérieures.

Deux têtes, un cerveau

ValueFormer est un modèle petit et efficace qui fonctionne parallèlement au cerveau principal du robot. Il possède une conception à « double tête » unique, comme un robot doté de deux types d'yeux différents :

L'œil fluide ( $V_{mc}$ ) : Il donne un score de progression continu et doux (de 0 à 1). Il dit à l'opérateur : « Nous sommes à 60 % du travail », ou « Nous stagnons ». Il est idéal pour suivre la progression globale.
L'œil tranchant ( $V_{bin}$ ) : C'est une alarme binaire. Elle passe instantanément en mode « Danger ! » dès qu'une erreur survient. Elle est conçue pour détecter les erreurs rapidement, comme lorsque le robot lâche la laitue, afin qu'un humain puisse intervenir avant que le sandwich ne soit totalement ruiné.

L'article montre qu'en entraînant le système sur 1 427 épisodes réels de robot de fabrication de sandwichs, ce dernier a appris à reconnaître quatre modèles distincts :

Succès net : Le score grimpe régulièrement jusqu'au sommet.
Succès avec tentative de rattrapage : Le score chute lorsque le robot tâtonne (comme lorsqu'il lâche un steak) mais remonte une fois qu'il se corrige.
Effondrement précoce : Le score monte, puis chute et reste bas parce que le robot a fait une erreur tôt.
Stagnation par tâtonnement : Le score reste bas parce que le robot tourne en rond sans avancer.

Résultats en conditions réelles

Lorsque les chercheurs ont utilisé cette « barre de progression » pour aider le robot à apprendre, les résultats ont été prometteurs. En utilisant le propre « instinct » du robot pour pondérer ses données d'entraînement (en lui disant de prêter plus d'attention aux parties où il était en difficulté), ils ont amélioré le taux de réussite du robot de 70 % à 85 % sur une tâche de fabrication de sandwich. Ils ont également réussi à éliminer une mauvaise habitude spécifique où le robot continuait d'essayer de ramasser un ingrédient qu'il avait déjà placé avec succès (une erreur de « répétition de saisie »).

Cependant, les auteurs précisent avec prudence que, bien que l'amélioration soit réelle, la taille de l'échantillon (20 sandwichs lors du test final) est petite, les résultats sont donc « suggestifs » plutôt qu'une solution garantie. Ils ont également constaté que le système a besoin d'un peu de temps pour réagir — environ 5 à 10 secondes — car il analyse un court historique de ce qui s'est passé avant de rendre un jugement.

Faire en sorte que ce soit assez rapide pour fonctionner

Enfin, l'équipe a dû s'assurer que cette nouvelle « barre de progression » ne ralentissait pas le robot. Faire tourner deux cerveaux sur une seule puce informatique est difficile. Ils ont découvert que le coût principal n'était pas la partie « réflexion », mais la partie « vision » (le traitement des images de la caméra). En optimisant la façon dont les images étaient traitées (en utilisant une technique de « batching » et un format mathématique spécifique appelé « bf16 »), ils ont réduit le temps nécessaire pour vérifier la progression de 3 à 5 fois. Cela a permis au système de fonctionner de manière fluide à 2 Hz (deux fois par seconde) sur la même puce que le cerveau principal du robot, sans provoquer de latence.

En résumé, ValueFormer donne aux robots un moyen de dire : « Je vais bien, mais je viens de faire tomber le fromage, et j'ai besoin d'aide », plutôt que de simplement échouer en silence à la fin. Cela transforme une imitation aveugle en un partenaire semi-autonome qui sait quand il est en difficulté.

Résumé Technique : ValueFormer

Énoncé du Problème

Les politiques Vision-Langage-Action (VLA) entraînées par imitation de comportement (par exemple, la famille $\pi_0$ ) échouent souvent de manière silencieuse. Comme l'apprentissage par imitation ne fournit aucune notion intrinsèque de progression, un robot effectuant des progrès nets et un autre qui stagne ou échoue peuvent produire des flux d'actions et des sorties visuelles identiques. Bien que l'apprentissage par renforcement (RL) puisse théoriquement fournir un signal de valeur, il est peu pratique pour les tâches robotiques impliquant des objets déformables (comme la nourriture) en raison du coût élevé de la collecte de données et de l'incapacité des simulateurs actuels à reproduire fidèlement les interactions physiques.

Les alternatives existantes, telles que les bits de succès/échec terminaux, souffrent d'une extrême parcimonie. Un simple bit à la fin d'un épisode de deux minutes ne peut pas informer un opérateur quand une erreur s'est produite, ni fournir le signal dense requis pour l'estimation de l'avantage ou le filtrage de sécurité en ligne. De plus, les schémas d'étiquetage denses simples (par exemple, attribuer une valeur de 0 à toutes les trames d'un épisode échoué) sont activement préjudiciables ; ils apprennent au modèle que les observations de début d'épisode dans un déroulement raté sont intrinsèquement "mauvaises", poussant le modèle à prédire l'échec même lors de succès propres durant le déploiement.

Méthodologie

Le papier propose ValueFormer, un transformeur causal compact et agnostique à la politique, qui émet deux signaux par trame à partir d'une seule passe directe : une valeur de Monte Carlo lisse ( $V_{mc}$ ) pour le suivi de la progression et une valeur binaire nette ( $V_{bin}$ ) pour la détection d'erreurs.

1. Étiquetage par Étapes, Succès puis Décroissance

La contribution technique centrale est un nouveau schéma d'étiquetage pour les épisodes échoués qui traite le problème de l'« étiquette mal façonnée » :

Pré-Échec : Les trames précédant l'échec dans un épisode raté sont étiquetées de la même manière que les épisodes réussis, suivant une courbe de Monte Carlo ascendante ( $V \approx \gamma^{N-1-k}$ ). Cela préserve le crédit partiel pour les étapes accomplies avant l'erreur.
Post-Échec : Au lieu d'une chute brutale vers zéro (un "cliff"), l'étiquette décroît de manière fluide à partir de la valeur au point de l'échec ( $V_{fail} = V_{succ}(k_{fail}) \cdot \gamma^{k-k_{fail}}$ ). Cela encode l'intuition qu'un robot échouant tardivement dans une tâche mérite plus de crédit qu'un robot échouant tôt.
Détection Binaire : Une seconde cible, $V_{bin}$ , est générée à partir d'intervalles d'erreurs segmentés $(t_{start}, t_{end})$ plutôt qu'un point d'échec unique. Cela permet au modèle d'apprendre à partir d'erreurs transitoires dans des déroulements par ailleurs réussis (par exemple, une saisie ratée qui est récupérée).

2. Architecture

ValueFormer est un transformeur causal léger (environ 3,5 millions de paramètres entraînables) construit sur un squelette DINOv3 ViT-L/16 gelé.

Entrée : Il traite une fenêtre temporelle courte et fixe (8 secondes, 16 trames) de six vues : trois images de caméra complètes et trois recadrages de zones d'intérêt (ROI) (régions de la pince et du poignet). Il ingère également les états articulaires et les caractéristiques temporelles.
Conception Causale : Le transformateur utilise un masque causal, garantissant que la valeur à l'instant $t$ ne dépend que des trames passées et présentes, ce qui le rend valide pour l'inférence en ligne.
Sortie à Double Tête :
- Tête $V_{mc}$ : Un MLP à 3 couches produisant une valeur lisse dans $[0, 1]$ , supervisée par les étiquettes de Monte Carlo dépendantes des étapes.
- Tête $V_{bin}$ : Un MLP à 2 couches produisant une probabilité nette d'échec, supervisée par les intervalles d'erreurs.

3. Entraînement et Supervision

Le modèle est entraîné conjointement sur les deux têtes en utilisant l'entropie croisée binaire (BCE). Pour mettre à l'échelle l'annotation, les auteurs utilisent les drapeaux d'intervention humaine (HIL) issus des sessions de téléopération. Lorsqu'un opérateur prend le contrôle d'un déroulement défaillant, l'intervalle d'intervention est traité comme un segment d'erreur, fournissant une supervision dense et peu coûteuse qui augmente les annotations manuelles.

Résultats Clés

La méthode a été évaluée sur une tâche réelle de montage de sandwich bimanuel avec 1 427 épisodes (1 249 succès experts, 178 déroulements autonomes).

Efficacité de l'Étiquetage : Une étude d'ablation comparant cinq formes d'étiquetage a démontré que le schéma proposé "MC-smooth" (succès puis décroissance) surpasse significativement les autres (échelonné par résultat, chute brutale, mélange linéaire, divergence tardive). Il a obtenu la perte BCE de validation et l'erreur absolue moyenne (MAE) de déroulement les plus faibles, tout en évitant la "fuite de résultat" (prédire l'échec à $t=0$ basé sur le résultat final) observée avec d'autres schémas.
Signatures Qualitatives : ValueFormer parvient à reproduire quatre signatures de déroulement canoniques sur des données non vues :
1. Courbes ascendantes fluides pour les succès nets.
2. Creux et récupérations pour les succès avec tentatives.
3. Profils de montée puis de chute pour les effondrements précoces.
4. Profils plats et bas pour les épisodes bloqués ou de grattage.
Détection d'Échec : En combinant les annotations manuelles et les segments dérivés des interventions, la tête binaire a atteint une précision moyenne (AP) de 0,82 sur la détection d'échecs sur des données test (comparé à 0,38 avec les seules étiquettes manuelles), détectant 95 % des erreurs avant l'intervention de l'opérateur.
Amélioration de la Politique (Test A/B) : Dans une expérience sur robot réel, l'utilisation du critique pour dériver des poids d'entraînement par trame pour la politique VLA a amélioré la réussite de la tâche de 70 % à 85 % (dans la marge d'erreur statistique pour $n=20$ ) et a éliminé un mode d'échec spécifique de "répétition de saisie" qui persistait avec la ligne de base à drapeau uniquement.
Efficacité de Déploiement : Grâce à l'encodage par lots et à l'autocast BF16 sur l'encodeur gelé, le coût de service en direct a été réduit de 3 à 5 $\times$ , permettant au critique de s'exécuter à 2 Hz aux côtés de la politique sur un seul GPU sans ralentir la boucle de contrôle.

Signification et Revendications

Le papier soutient que l'étiquette, et non l'architecture, est le goulot d'étranglement critique pour l'apprentissage de fonctions de valeur pour l'imitation de comportement. La contribution principale est la démonstration qu'une étiquette dense, correctement façonnée et sensible aux étapes, est essentielle pour apprendre un signal de valeur utile.

Densité de Supervision : Passer d'un bit terminal à une cible par trame est nécessaire mais insuffisant ; la forme de cette cible détermine le succès. Une étiquette dense avec la mauvaise forme (par exemple, un zéro plat pour tous les échecs) est pire que l'absence de label car le modèle l'ajuste fidèlement, apprenant des associations incorrectes.
Agnosticisme de la Politique : ValueFormer fonctionne aux côtés d'une VLA gelée, ne nécessitant aucune modification de la boucle d'entraînement de la politique ou de son format d'entrée, ce qui en fait un module prêt à l'emploi pour la famille $\pi_0$ .
Conception à Double Cible : La séparation d'une valeur lisse (pour l'estimation de la progression) et d'un signal binaire net (pour les arrêts de sécurité) permet à un seul modèle de servir à la fois le besoin de l'opérateur pour une "barre de progression" et le besoin du système pour un déclencheur d'arrêt immédiat.

Les auteurs concluent que bien que l'application spécifique ait été le montage de sandwich, le modèle de conception — une petite tête de valeur à double sortie avec des cibles ingéniées partageant un squelette — offre une voie généralisable vers des robots semi-autonomes capables de détecter leurs propres échecs avant qu'une intervention humaine ne soit requise.