💻 computer science

Decoding Task Progress from VLA Representations

Cet article démontre que la progression des tâches dans les modèles Vision-Language-Action (VLA) est linéairement lisible à partir de leurs activations internes, permettant l'utilisation de sondes simples pour une détection de hors-distribution sans étiquetage et une surveillance en temps réel efficaces des politiques robotiques déployées.

Auteurs originaux : Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

Publié 2026-08-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots ne sont pas seulement des bras maladroits répétant le même mouvement encore et encore, mais des assistants intelligents capables de comprendre votre voix, de voir le désordre sur votre comptoir et de trouver comment le nettoyer. C'est le rêve des modèles « Vision-Langage-Action » (VLA). Considérez-les comme le cerveau d'un robot qui combine une caméra super intelligente (vision), un traducteur linguistique qui comprend vos commandes (langage) et un ensemble de muscles qui bougent réellement (action). Les scientifiques construisent ces cerveaux en utilisant de massifs modèles pré-entraînés — c'est comme donner au robot une bibliothèque contenant tous les livres et tous les films jamais créés, afin qu'il sache déjà à quoi ressemble une « tasse » ou un « vase » avant même d'en toucher un seul dans la réalité.

Mais voici la partie délicate : une fois que nous avons affiné ces robots pour accomplir des tâches spécifiques, comme poser une banane sur une assiette, ils commencent parfois à agir bizarrement. Ils peuvent être déroutés par un léger changement de luminosité, ou continuer à essayer de saisir une banane qui n'est plus là, échouant silencieusement sans que nous le sachions. Nous avons besoin d'un moyen de jeter un coup d'œil à l'intérieur du cerveau du robot pendant qu'il travaille pour voir s'il progresse réellement ou s'il fait simplement du surplace. C'est là qu'intervient l'idée d'« interprétabilité ». C'est comme avoir un tableau de bord qui vous indique non seulement ce que le robot fait, mais aussi ce qu'il pense qu'il se passe. Si nous pouvons lire les pensées internes du robot, nous pouvons repérer quand il est bloqué et le corriger avant qu'il ne casse quelque chose.

Dans cet article, une équipe de chercheurs a décidé de voir s'ils pouvaient lire une pensée très spécifique à l'intérieur du cerveau d'un robot : quelle part de la tâche reste-t-il à accomplir ? Ils appellent cela la « progression de la tâche ». Imaginez que vous mangez une pizza. Vous savez que vous avez fait la moitié du chemin quand vous avez mangé la moitié des parts. Les chercheurs voulaient savoir si les « ondes cérébrales » du robot (qui ne sont que des nombres à l'intérieur de son ordinateur) contiennent naturellement un signal disant : « Hé, je suis à 50 % du but ! » ou « Oh non, je n'en suis qu'à 10 % ! ».

Ils ont testé cela sur un modèle de robot appelé $\pi0.5$ , qui est un cerveau de robot de haute technologie construit sur un modèle célèbre d'image et de langage appelé PaliGemma. Ils n'ont pas appris au robot à calculer sa progression ; ils ont simplement demandé : « Si nous regardons les chiffres à l'intérieur du cerveau du robot en ce moment même, pouvons-nous deviner combien de temps il reste pour accomplir la tâche ? »

La Grande Découverte : Le Robot Sait (Mais N'Écoute Pas)

La réponse est un oui retentissant. Les chercheurs ont découvert que la progression de la tâche est écrite clairement dans le cerveau du robot, presque comme une ligne tracée sur un graphique. Si vous utilisez un outil mathématique simple (appelé « sonde linéaire ») et que vous examinez les nombres dans les premières couches du cerveau du robot, celui-ci peut vous dire exactement quelle part de la tâche reste à accomplir. C'est incroyable, car cela signifie que le robot comprend naturellement le concept de « temps restant » sans que l'on lui ait explicitement appris à compter à rebours.

Plus impressionnant encore, ils ont découvert que ce « signal de progression » était déjà présent avant que le robot ne soit entraîné sur une tâche robotique spécifique. Il était intégré dans le grand cerveau pré-entraîné (PaliGemma) simplement grâce à la lecture de livres et à l'observation d'images. C'est comme si le robot avait appris le concept de « terminer une histoire » simplement en lisant des histoires, et qu'il appliquait ce même sentiment pour déplacer une tasse d'une table vers un réfrigérateur.

Le Test de la « Baguette Magique » : Pouvons-Nous Le Contrôler ?

C'est ici que les choses deviennent intéressantes. Les chercheurs se sont demandé : « Si nous savons que le robot pense à sa progression, pouvons-nous piquer son cerveau pour lui faire croire qu'il est plus avancé qu'il ne l'est réellement ? » Ils ont essayé de « diriger » le robot en injectant un signal disant : « Tu es 20 % plus proche du but ! »

Le résultat ? Non. Le robot n'a pas écouté. Même si les chercheurs pouvaient lire le signal de progression clairement, ils n'ont pas pu changer le comportement du robot en simulant ce signal. C'est comme regarder le compteur de vitesse d'une voiture et voir qu'elle roule à « 60 mph », puis essayer de pousser l'aiguille vers « 100 mph » avec son doigt. L'aiguille peut bouger, mais la voiture ne va pas réellement plus vite. Le cerveau du robot connaît la progression, mais cette connaissance ne semble pas être l'interrupteur principal qui contrôle ses muscles. Cela suggère un fossé : le robot possède une carte interne riche de l'endroit où il se trouve, mais il n'utilise pas nécessairement cette carte pour décider de ce qu'il doit faire ensuite de la manière que nous espérions.

L'Alarme du « Robot Bloqué »

Alors, si nous ne pouvons pas contrôler le robot avec ce signal, est-il inutile pour autant ? Pas du tout ! Les chercheurs ont trouvé une utilisation très pratique pour celui-ci : repérer quand le robot est bloqué.

Imaginez que vous regardez un robot essayer de mettre une rose dans un vase. Si le robot fonctionne normalement, le « signal de progression » devrait descendre de manière fluide, comme un compte à rebours. Mais si le robot est confus — peut-être que le vase est dans un endroit étrange, ou que la lumière change — le robot pourrait cesser de progresser. Il pourrait essayer le même mouvement raté encore et encore.

Les chercheurs ont construit un système d'alarme simple en utilisant ce signal de progression. Ils ont dit au système : « Si le signal de progression cesse de descendre, déclenchez l'alarme ! ». Ils ont testé cela contre d'autres méthodes plus complexes qui nécessitent d'entraîner le robot sur des exemples d'échec. Leur simple « alarme de progression » a fonctionné aussi bien, et parfois même mieux, pour détecter quand le robot échouait. Il n'avait pas besoin d'apprendre à quoi ressemblait l'échec ; il savait simplement que si le robot n'avançait pas vers le but, quelque chose n'allait pas.

Ce que cela Signifie pour l'Avenir

L'article suggère que ces cerveaux de robots sont remplis de signaux cachés et faciles à lire sur ce qu'ils sont en train de faire. Nous pouvons utiliser ces signaux comme un moyen léger et peu coûteux de surveiller les robots dans le monde réel. Si un robot se retrouve bloqué, nous n'avons pas besoin d'une IA complexe pour comprendre pourquoi ; nous pouvons simplement vérifier son « horloge de progression » interne. Si l'horloge s'arrête, nous savons qu'il est temps d'intervenir.

Bien que les chercheurs n'aient pas pu utiliser ces signaux pour forcer magiquement le robot à réussir (la partie « direction » n'a pas fonctionné), ils ont prouvé que le robot possède bel et bien un sens clair de sa progression. Cela nous donne un nouvel outil pour garder nos futurs assistants robotiques sûrs, honnêtes et sur la bonne voie, garantissant qu'ils ne font pas semblant de travailler alors qu'ils ne font rien en réalité.

Résumé technique : Décodage de la progression de la tâche à partir des représentations VLA

Énoncé du problème

Les modèles Vision-Language-Action (VLA) émergent comme des politiques généralistes pour la manipulation robotique, exploitant des architectures de modèles Vision-Language Models (VLM) pré-entraînés pour supporter des tâches à vocabulaire ouvert. Cependant, le déploiement de ces modèles nécessite souvent un ajustement fin (fine-tuning) spécifique à la tâche, ce qui peut dégrader la généralisation, réduire la sensibilité au langage et augmenter la fragilité face aux perturbations perceptuelles. Une lacune critique existe dans la capacité à surveiller l'état interne de ces modèles au moment de l'exécution. Bien que les outils d'interprétabilité existants puissent décoder ce qu'une politique « sait » du monde (par exemple, l'état des objets), ils ne traitent pas actuellement de l'endroit où la politique se situe par rapport à sa tâche spécifique. Plus précisément, il manque des outils pour surveiller la progression de la tâche — le temps restant normalisé dans une trajectoire — en interne, ce qui est essentiel pour détecter les exécutions bloquées ou les échecs hors distribution (OOD) sans nécessiter de signaux de récompense externes ou d'étiquettes OOD.

Méthodologie

Les auteurs étudient si la progression de la tâche est linéairement lisible à partir des activations internes du modèle VLA $\pi_{0.5}$ (basé sur l'architecture PaliGemma). La méthodologie est structurée autour de trois concepts clés : la décodabilité et la pilotabilité (steerability), ainsi que l'application de ces signaux à la détection OOD.

1. Définition et extraction des caractéristiques

Progression de la tâche ( $\tau$ ) : Définie comme la fraction normalisée d'une trajectoire restant avant l'achèvement ( $1 - t/T$ ), où $t$ est l'instant actuel et $T$ la longueur totale de la trajectoire. Cette étiquette est dérivée directement de démonstrations d'experts hors ligne sans annotation supplémentaire.
Extraction d'embeddings : Les auteurs extraient les activations du flux résiduel ( $z_i$ ) des couches transformer de $\pi_{0.5}$ pour chaque observation du jeu de données.
Sondage linéaire (Linear Probing) : Un sonde linéaire $\phi(z) = w^\top z + b$ est entraîné pour prédire $\tau$ à partir des activations.

2. Formalisation des représentations

Le document formalise trois niveaux distincts de représentation de caractéristiques :

Décodabilité faible : La capacité d'extraire un signal linéaire corrélé à $\tau$ à partir des activations de la distribution d'origine (in-distribution).
Décodabilité forte : La capacité d'un sonde unique (sans ré-entraînement) à se généraliser à des entrées contrefactuelles transformées (par exemple, en échangeant le nom de l'objet cible dans l'instruction linguistique). Cela teste si le signal dépend des entrées sémantiques correctes plutôt que de corrélations spécieuses.
Pilotabilité (Steerability) : La capacité d'intervenir sur les activations (en les déplaçant le long du vecteur de poids du sonde) pour altérer de manière causale le comportement du modèle (par exemple, forcer le modèle à agir comme s'il avait progressé davantage).

3. Mécanisme de détection OOD

Un détecteur d'exécution est construit à l'aide du sonde de progression. Il compare la progression prédite ( $\tau_{pred}$ ) à la progression attendue basée sur le temps écoulé ( $1 - t/E[T|\ell]$ ). Un résidu significatif ( $V_\tau(t) > \delta$ ) indique que la politique est bloquée, signalant l'état comme étant OOD. Cette méthode ne nécessite aucune étiquette OOD pendant l'entraînement.

Contributions clés

Définitions : Les auteurs introduisent des définitions formelles pour la décodabilité faible, la décodabilité forte et la pilotabilité dans le contexte des modèles génératifs, distinguant l'existence d'un signal, sa dépendance vis-à-vis des entrées correctes et son effet causal sur les sorties.
Résultats de décodabilité : Ils démontrent que la progression de la tâche est à la fois faiblement et fortement décodable à partir du flux résiduel de $\pi_{0.5}$ $π_{0.5}$ .
- Le signal est présent dans l'architecture de base de PaliGemma avant tout ajustement fin spécifique à la robotique, suggérant qu'il émerge du pré-entraînement à grande échelle sur des données robotiques.
- Un sonde entraîné avec des contrefactuels linguistiques (échangeant les noms des tâches) ajuste correctement sa sortie, prouvant que le signal est ancré dans le langage et n'est pas simplement une fonction du temps ou des caractéristiques visuelles.
Limitation de la pilotabilité : Malgré sa décodabilité, le signal de progression de la tâche n'est pas pilotable. L'injection d'un « boost » de progression dans les activations ne se propage pas à travers le réseau pour modifier les actions futures de la politique ou pour piloter avec succès le comportement contrefactuel.
Détection OOD : Le sonde de progression sert de détecteur OOD sans étiquette. Il détecte la progression bloquée lorsque la politique rencontre des perturbations (bruit, flou, occlusion) ou des tâches inconnues.

Résultats

Émergence du signal : La caractéristique de progression est observable dans tous les modèles testés, y compris le backbone PaliGemma brut, $\pi_{0.5}$ de base et les variantes ajustées. Cependant, les variantes $\pi_{0.x}$ (entraînées sur des données robotiques) surpassent nettement le VLM brut, indiquant que la caractéristique est établie lors du pré-entraînement robotique.
Robustesse contrefactuelle : Un sonde entraîné avec des contrefactuels linguistiques atteint une décodabilité forte ( $R^2 \approx 0,33$ sur les données in-distribution en raison de proxys bruités, mais suit correctement $\tau=1,0$ sous des instructions modifiées), tandis qu'un sonde standard échoue à répondre aux changements de langage.
Échec de la pilotabilité : Les expériences d'injection d'un boost de progression ( $\tau_{boost} = 0,2$ ) à la couche 0 montrent que la progression prédite ne change pas dans les couches suivantes, et que les actions résultantes ne s'alignent pas sur la cible contrefactuelle. Les actions injectées restent éloignées des actions futures réelles.
Performance de la détection OOD :
- Généralisation inter-tâches : Le détecteur basé sur la progression ( $V_\tau$ ) atteint un AUROC de 0,833 sur des tâches non vues (contre 0,796 sur les tâches vues), démontrant une robustesse sans ré-entraînement. Il surpasse les méthodes basées sur la densité (Mahalanobis, VAE) sur les tâches non vues et est compétitif avec les bases supervisées (SAFE-MLP) sans nécessiter de supervision OOD.
- Généralisation inter-perturbations : Lorsqu'il est entraîné uniquement sur des données in-distribution et testé sur des modes de bruit non vus (par exemple, entraîné sur le bruit A/B, testé sur C/D), $V_\tau$ atteint un AUROC par épisode de 0,960, surpassant les détecteurs supervisés qui ont été entraînés sur des types de bruit spécifiques.

Signification et affirmations

L'article affirme que les VLA possèdent des représentations internes riches et linéairement lisibles de quantités sémantiques comme la progression de la tâche. Cette conclusion suggère que :

La surveillance est réalisable : Apprendre à lire ces signaux offre une voie légère et interprétable vers la surveillance des politiques visuomotrices déployées, sans avoir besoin de modèles externes complexes ou de données d'échec étiquetées.
Le pré-entraînement est la clé : L'émergence de la progression de la tâche dans le backbone pré-entraîné indique que le pré-entraînement robotique à grande échelle installe une compréhension structurée de l'achèvement de la tâche qui persiste à travers l'ajustement fin.
Observabilité vs Contrôlabilité : Il existe un écart distinct entre ce qu'une politique représente (progression observable) et ce sur quoi elle agit (pilotabilité). L'incapacité à piloter le modèle via l'injection de progression souligne que la politique n'utilise pas ce signal interne spécifique comme une variable de contrôle directe pour la prise de décision.

Les auteurs présentent ce travail comme une étape vers l'instrumentation des VLA déployés, fournissant un outil pour détecter les échecs silencieux (progressions bloquées) qui est robuste tant aux variations de tâches qu'aux perturbations environnementales.