💻 computer science

Think Proprioceptively: Embodied Visual Reasoning for VLA Manipulation

Le papier introduit ThinkProprio, une méthode qui convertit l'état proprioceptif en jetons textuels pour une fusion précoce avec les instructions de tâche dans les modèles Vision-Langage-Action, permettant à l'état incarné de guider le raisonnement visuel et la sélection de jetons tout en atteignant des performances comparables ou supérieures à des bases de référence solides avec une latence d'inférence réduite de plus de 50 %.

Auteurs originaux : Fangyuan Wang, Peng Zhou, Jiaming Qi, Shipeng Lyu, David Navarro-Alarcon, Guodong Guo

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fangyuan Wang, Peng Zhou, Jiaming Qi, Shipeng Lyu, David Navarro-Alarcon, Guodong Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un robot à cuisiner un plat complexe. Vous lui donnez une recette (l'instruction) et il regarde le plan de travail de la cuisine (la vision). Mais voici le problème : la plupart des cerveaux de robots actuels ignorent la position de leurs propres bras, la force de leur prise ou si leurs articulations sont fatiguées. Ils se contentent de regarder l'image et de lire le texte, puis devinent quoi faire.

L'article « Think Proprioceptively » introduit une nouvelle façon pour les robots de penser, appelée ThinkProprio. Il soutient que pour qu'un robot comprenne véritablement une tâche, il doit « ressentir » son propre corps pendant qu'il regarde le monde, et non pas seulement après avoir déjà décidé quoi faire.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le problème : L'invité qui arrive tard

Dans la plupart des systèmes robotiques, les données corporelles du robot (appelées proprioception — comme savoir que votre coude est plié ou que vos doigts sont ouverts) sont traitées comme un invité qui arrive à la fête après que la conversation principale a déjà commencé.

L'ancienne méthode : Le robot regarde l'image, lit l'instruction, établit un plan, et ensuite demande : « Oh, où sont mes mains en ce moment ? » C'est trop tard. Le temps qu'il vérifie son corps, il a peut-être déjà choisi le mauvais objet ou s'est déplacé trop loin.
Le résultat : Le robot est lent et fait des erreurs parce qu'il ne « ressent » pas la tâche pendant qu'il y réfléchit.

2. La solution : « Textualiser » le corps

ThinkProprio change la donne en transformant les données corporelles du robot en tokens textuels (comme des mots dans une phrase) dès le tout début.

L'analogie : Imaginez que vous lisez une histoire. Habituellement, vous lisez l'intrigue (l'instruction) et regardez les images (la vision). ThinkProprio ajoute une nouvelle phrase à la toute première page du livre qui dit : « Le héros a le bras levé et sa prise est serrée. »
Pourquoi cela aide : Désormais, alors que le robot lit l'histoire et regarde les images, il connaît déjà son propre état physique. Il peut utiliser cette connaissance pour décider quelles parties de l'image sont réellement importantes.

3. Le tour de magie : Le « projecteur intelligent »

La plus grande innovation est la manière dont ce système gagne du temps. Habituellement, un robot regarde chaque pixel d'une image de caméra, ce qui revient à essayer de lire chaque mot sur un panneau publicitaire tout en conduisant sur l'autoroute. C'est épuisant et lent.

ThinkProp

Proprio utilise le « texte du corps » et le « texte de l'instruction » pour agir comme un projecteur intelligent.

Comment ça marche : Le robot se demande : « Étant donné que je tiens un outil et que l'instruction dit "appuyer sur le bouton", quelles parties de cette image sont réellement pertinentes ? »
Le résultat : Il ignore 85 % de l'image (l'arrière-plan, le sol, le plafond) et ne conserve que les 15 % de l'image qui sont pertinents pour la tâche (le bouton et l'outil).
Le bénéfice : C'est comme passer de la lecture d'une bibliothèque entière à la lecture de la seule page dont vous avez besoin. Cela rend le robot 58 % plus rapide et utilise beaucoup moins de mémoire informatique, sans perdre en précision.

4. Le système de « vote »

Comment le robot décide-t-il de ce qu'il doit garder ? Il utilise un système de « vote » ingénieux.

L'instruction et les données corporelles votent pour savoir quelles parties de l'image sont importantes.
Si l'instruction dit « ramasser le bloc rouge » et que la main du robot est près de la table, le « bloc rouge » reçoit un vote. Le mur vide ne reçoit aucun vote.
Le robot garde les gagnants et jette le reste.

5. Ce que montrent les résultats

Les auteurs ont testé ce système sur deux terrains d'entraînement célèbres pour les robots (CALVIN et LIBERO).

Une meilleure performance : Le robot s'est amélioré sur des tâches longues et complexes (comme empiler des blocs ou ouvrir des tiroirs) car il pouvait « ressentir » son chemin à travers les étapes.
Beaucoup plus rapide : Parce qu'il a cessé de regarder toute l'image pour ne regarder que les parties importantes, il prend des décisions en 22 millisecondes (contre 52 millisecondes pour les autres modèles de pointe).
Efficacité : Il a obtenu ces résultats tout en utilisant nettement moins de mémoire informatique (VRAM).

Résumé

ThinkProprio est comme donner à un robot un sixième sens qu'il peut utiliser pendant qu'il lit et regarde, plutôt que d'attendre la fin. En transformant sa propre position corporelle en « mots » et en utilisant ces mots pour filtrer le bruit de sa vision, le robot devient plus rapide, plus intelligent et plus efficace pour accomplir des tâches physiques. Il prouve que pour bien bouger, un robot doit réfléchir à comment il bouge dès le premier instant de la compréhension.

Résumé technique : Think Proprioceptively: Embodied Visual Reasoning for VLA Manipulation

Problématique

Les modèles Vision-Langage-Action (VLA) ont émergé comme un paradigme puissant pour le contrôle robotique généralisable en traduisant des observations visuelles et des instructions en langage naturel en actions exécutables. Cependant, les pipelines VLA actuels introduisent généralement les signaux proprioceptifs (état du robot, tel que les angles articulaires et la pose de l'effecteur terminal) tardivement dans la pile de traitement, les couplent faiblement à la perception, ou les ignorent totalement.

Cette intégration tardive empêche l'incarnation physique du robot de façonner la compréhension initiale de la tâche ou d'influencer les tokens visuels auxquels le modèle prête attention tout au long de la politique. Par conséquent, le modèle ne parvient pas à exploiter l'état physiquement ancré pour déterminer quels éléments de la scène sont pertinents pour des actions spatialement ancrées. Bien que des travaux récents comme $\pi^0$ et $\pi^{0.5}$ aient commencé à intégrer la proprioception plus tôt, le rôle fonctionnel de la proprioception reste difficile à isoler en raison des choix de conception couplés concernant l'agrégation vision-langage et le conditionnement de la tête d'action.

Méthodologie : ThinkProprio

Les auteurs proposent ThinkProprio, une architecture conçue pour « penser de manière proprioceptive » en traitant la proprioception comme une modalité de premier rang qui participe activement au raisonnement visuel précoce. Les composants clés sont :

1. Encodage de l'état proprioceptif via la tokenisation textuelle

Contrairement aux méthodes utilisant des perceptrons multicouches (MLP) appris pour projeter des vecteurs d'état continus dans l'espace d'embedding du VLM (ce qui peut introduire des décalages de distribution), ThinkProprio discrétise les valeurs de l'état proprioceptif continu.

Discrétisation : Les valeurs d'état continues sont tronquées et réparties uniformément en classes (bins).
Tokenisation : Ces indices de classe sont mappés vers des identifiants de tokens spécifiques de la table d'embedding du VLM pré-entraîné.
Intégration : Les tokens proprioceptifs résultants sont concaténés avec les tokens d'instruction de langage aux entrées du VLM. Cela permet à l'état du robot de participer au même espace d'embedding que le langage, permettant un conditionnement visuel conscient de l'état sans couches de projection supplémentaires.

2. Sélection de tokens physiquement ancrés

ThinkProprio introduit un mécanisme pour guider la sélection des tokens visuels en se basant à la fois sur l'instruction de la tâche et sur l'état proprioceptif actuel du robot.

Génération de requête : Les tokens d'instruction ( $H_l$ ) et les tokens proprioceptifs ( $H_p$ ) sont concaténés pour former des tokens de guidage ( $H_q$ ).
Scoring : Les tokens visuels prêtent attention à ces tokens de guidage pour former une « requête physiquement ancrée ». Une matrice de score est calculée en faisant correspondre les requêtes normalisées aux tokens visuels normalisés.
Mécanisme de sélection : Le système emploie une sélection discrète basée sur le vote avec un estimateur de passage direct (straight-through estimator - STE). Un bruit de Gumbel est ajouté aux scores pour permettre un entraînement différentiable. Les tokens recevant des votes sont conservés, tandis que les autres sont écartés.
Contexte global : Pour éviter la perte d'informations de scène grossières, un token de contexte global (moyenné sur tous les tokens visuels) est ajouté au sous-ensemble sélectionné.

3. Architecture et Entraînement

Backbone : La séquence compacte de tokens visuels sélectionnés, le contexte global, les tokens proprioceptifs et les tokens de langage est traitée par un backbone VLM pré-entraîné.
Tête d'action : La tête d'action se conditionne sur les caractéristiques fusionnées du VLM via l'attention croisée (cross-attention).
Objectif : La tête d'action est entraînée en utilisant le flow matching (une approche basée sur la diffusion) pour prédire des segments d'actions (action chunks) continus. L'objectif d'entraînement minimise l'erreur entre le champ de vitesse prédit et la vitesse cible.

Principales Contributions

Ablation systématique du design VLA : Le papier fournit la première comparaison systématique des axes de conception dans les modèles VLA, en découplant l'agrégation vision-langage, les mécanismes de conditionnement et l'encodage/points d'entrée de la proprioception.
Tokenisation textuelle de la proprioception : Les auteurs démontrent que la discrétisation de la proprioception en tokens textuels et leur injection dans l'entrée du VLM est plus efficace que les projecteurs appris ou les mécanismes de conditionnement tardif. Cela tire parti de l'interface de token pré-entraînée du VLM.
Sélection de tokens physiquement ancrés : La méthode montre qu'un guidage conjoint par l'instruction et la proprioception peut efficacement biaiser le calcul vers les preuves critiques pour l'action. Cela permet de ne conserver qu'environ 15 % des tokens visuels tout en égalant ou en dépassant les performances des modèles utilisant des ensembles de tokens complets.
Efficacité : En réduisant le nombre de tokens visuels traités par le VLM et la tête d'action, l'approche diminue considérablement les coûts de calcul.

Résultats Expérimentaux

La méthode a été évaluée sur les benchmarks CALVIN (split ABC→D) et LIBERO, ainsi que sur des tâches de manipulation en conditions réelles.

Performance des tâches :
- CALVIN : ThinkProprio a atteint une longueur de chaîne complétée moyenne de 4,55, surpassant les bases solides comme FLOWER (4,44) et $\pi^{0.5}$ (2,38). Il a montré des gains particulièrement marqués sur les tâches à long horizon (LH-5), atteignant 82,1 % de succès contre 77,8 % pour FLOWER.
- LIBERO : ThinkProprio a atteint un taux de succès moyen de 97,3 %, compétitif avec les meilleures bases (LightVLA à 97,4 %) et atteignant le score le plus élevé sur la suite LIBERO-Long (95,2 %).
Efficacité de calcul :
- Latence : ThinkProprio a réduit la latence d'inférence de bout en bout de 58 % (passant de 52 ms à 22 ms sur CALVIN) par rapport à la base FLOWER.
- Réduction de tokens : Le modèle traite en moyenne seulement 15 tokens visuels par pas de temps (contre 100 disponibles), réduisant considérablement la longueur de la séquence pour le VLM et la tête d'action.
- VRAM : L'utilisation de la VRAM de pointe a été réduite à environ 1,9 Go, une diminution substantielle par rapport à OpenVLA (~14,5 Go).

Signification et Revendications

Le papier affirme que ThinkProprio répond avec succès à la limitation des modèles VLA actuels où la proprioception est traitée comme un signal tardif. En tokenisant la proprioception et en la fusionnant tôt avec les instructions linguistiques, le modèle peut façonner son processus de raisonnement visuel pour prioriser les preuves pertinentes à l'incarnation.

Les auteurs soutiennent que :

La proprioception doit être explicitement fournie et activement impliquée lors de la compréhension de la tâche, et non pas seulement lors de la génération de l'action.
La tokenisation textuelle de l'état continu est une stratégie d'encodage supérieure aux projecteurs appris, car elle s'aligne sur les embeddings de tokens pré-entraînés et permet à l'état de participer au processus de raisonnement du VLM.
Une réduction agressive des tokens visuels est réalisable sans dégradation des performances si la sélection est guidée par l'instruction et l'état du robot.
L'approche produit de fortes performances sur les tâches à long horizon tout en réduisant considérablement la latence d'inférence et l'empreinte mémoire, ce qui en fait une voie viable vers un contrôle robotique incarné efficace.

Le papier conclut que bien que les images fournissent de nombreux indices d'état implicites, l'intégration appropriée de la proprioception fournit des informations ancrées supplémentaires qui sont critiques pour la manipulation complexe, particulièrement dans les scénarios à long horizon nécessitant des corrections prolongées et des dynamiques de contact.