💻 computer science

Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning

Ce document de position soutient que les protocoles d'évaluation actuels pour les modèles Vision-Langage-Action (VLA) ne parviennent pas à distinguer l'appariement sémantique du véritable raisonnement physique, rendant les affirmations de généralisation physique invérifiables et appelant à de nouveaux designs expérimentaux capables d'isoler causalement ces capacités distinctes.

Auteurs originaux : Taozhao Chen, Ian Manchester, Huaming Chen

Publié 2026-07-01

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Taozhao Chen, Ian Manchester, Huaming Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le « Chef Intelligent » qui ne sait pas cuisiner

Imaginez un chef très intelligent qui a lu tous les livres de cuisine, regardé toutes les émissions de cuisine et mémorisé des millions de descriptions de nourriture sur Internet. Ce chef sait exactement à quoi ressemble une « soupe à la tomate épicée », quelle est son odeur et ce que dit la recette.

Maintenant, imaginez que vous demandiez à ce chef de préparer réellement la soupe dans une vraie cuisine.

Ce papier soutient que nous donnons actuellement à ce chef une note de passage simplement parce qu'il est capable de décrire parfaitement la soupe ou de pointer les bons ingrédients. Nous supposons que parce qu'il connaît si bien les mots et les images, il doit aussi savoir comment manipuler la marmite lourde, ajuster la chaleur et remuer sans se brûler la main.

Les auteurs disent : « Nous n'avons pas encore réellement testé s'il sait cuisiner. Nous avons seulement testé s'il sait parler de cuisine. »

Le Problème : Confondre « Savoir » et « Faire »

Le papier se concentre sur un type de cerveau de robot appelé modèle Vision-Langage-Action (VLA). Ces robots utilisent un vaste « Modèle de Vision-Langage » (VLM) — la partie entraînée sur les photos et les textes d'Internet — pour leur dire quoi faire.

Les auteurs divisent le cerveau du robot en deux parties :

La Carte Sémantique (Le « Quoi ») : C'est la partie qui reconnaît les objets. Elle voit une balle rouge et sait : « C'est une balle. L'instruction dit "ramasse la balle" ». Cette partie est excellente pour comprendre le langage et les images.
La Décision Physique (Le « Comment ») : C'est la partie qui détermine comment attraper la balle. Est-elle glissante ? Est-elle lourde ? Si je la prends trop fort, va-t-elle se casser ? Cela nécessite de comprendre la physique, le poids et la friction.

La Faille : Le papier affirme que les robots actuels sont construits sur une hypothèse cachée : « Si le robot comprend parfaitement l'image et les mots, il saura automatiquement comment bouger son bras correctement. »

Les auteurs disent que cette hypothèse est non prouvée. Ce n'est pas parce qu'un robot peut identifier une « tasse lourde et glissante » sur une photo qu'il sait quelle force utiliser pour la soulever sans la faire tomber.

Pourquoi ne pouvons-nous pas faire la différence ? (Le problème de la « Feuille de notation »)

Actuellement, nous testons ces robots en leur donnant une tâche (comme « pose la tasse sur la table ») et en regardant s'ils réussissent. Si la tasse finit sur la table, nous leur donnons un score de « Succès ».

Le papier soutient que cette feuille de notation est défectueuse car elle ne nous dit pas pourquoi le robot a réussi.

Scénario A : Le robot a compris les mots, a compris la physique et a fait un excellent travail. (Succès réel).
Scénario B : Le robot a deviné la bonne action parce qu'il a vu la même configuration dans ses données d'entraînement, même s'il n'a pas compris la physique. (Coup de chance).
Scénario C : Le robot a parfaitement compris les mots mais a échoué à ramasser la tasse parce qu'elle était trop lourde. (Échec physique).

L'Analogie : Imaginez un étudiant passant un examen de mathématiques. S'il trouve la bonne réponse, nous supposons qu'il connaît les mathématiques. Mais et s'il avait juste mémorisé le corrigé ? Ou s'il avait deviné ?
Les tests actuels pour les robots sont comme un test où nous ne regardons que la réponse finale. Nous ne vérifions pas s'ils ont réellement fait le calcul (la physique) ou s'ils ont simplement fait une correspondance de motifs (devinette sémantique).

La « Dérive Narrative » (L'histoire qui s'est échappée)

Le papier décrit un phénomène appelé « Dérive Narrative ».

Premier Robot : « Nous avons fait un robot qui utilise les connaissances d'Internet pour contrôler des bras. Ça marche un peu ! »
Deuxième Robot : « Nous en avons fait un plus grand ! Ça marche mieux ! C'est sûrement parce que la connaissance d'Internet devient meilleure en physique. »
Troisième Robot : « Nous en avons fait un encore plus grand ! C'est incroyable ! Il doit être un génie de la physique ! »

Les auteurs disent que c'est une histoire que nous nous racontons sans cesse. Chaque fois qu'un robot obtient un score légèrement plus élevé, nous supposons que c'est parce que le robot devient plus intelligent en physique. Mais les auteurs soutiennent que nous n'avons jamais réellement isolé la partie physique pour le prouver. Nous avons simplement continué à supposer que la « connaissance d'Internet » (le VLM) faisait le plus gros du travail, même si les photos sur Internet n'apprennent pas la sensation de lourdeur d'une brique.

Les Trois Niveaux de Confusion

Le papier explique pourquoi nous ne pouvons pas savoir ce qui se passe en utilisant trois niveaux :

Niveau 1 (Le Résultat) : Nous voyons un succès, mais nous ne savons pas si c'était parce que le robot comprenait la tâche ou s'il a simplement deviné le bon mouvement.
Niveau 2 (La Source) : Nous ne savons pas si le robot a appris de sa « lecture d'Internet » (VLM) ou de son « entraînement de robot » (pratique physique). Ils sont mélangés.
Niveau 3 (Le Cerveau) : Nous ne savons pas si le robot a réellement perdu certaines de ses capacités de raisonnement intelligent d'Internet lorsqu'on lui a appris à bouger son bras. Peut-être a-t-il oublié comment dire « non » à des tâches impossibles parce que nous l'avons forcé à simplement « faire » les choses.

La Solution : Un Meilleur Test

Les auteurs ne disent pas que ces robots sont inutiles. Ils disent simplement qu'il faut arrêter de deviner. Ils proposent une nouvelle façon de les tester :

Le Test de la « Variation Contrôlée » :
Au lieu de simplement donner une tâche au robot et de voir s'il gagne, nous devons changer une chose à la fois :

Tester le « Quoi » : Gardez le monde physique exactement le même, mais changez les mots ou les images. Le robot sait-il toujours quoi faire ? (Cela teste la partie linguistique).
Tester le « Comment » : Gardez les mots et les images exactement les mêmes, mais changez la physique (par exemple, rendez l'objet plus lourd, ou la table plus glissante). Le robot réussit-il toujours ? (Cela teste la partie physique).

Si nous faisons cela, nous pourrons enfin dire : « D'accord, le robot est excellent pour comprendre les mots, mais il échoue quand la physique change. » Ou : « Le robot est excellent en physique, mais il est confus par de nouveaux mots. »

L'Essentiel

Le papier est un appel à ne pas supposer que connaître le monde (via Internet) est la même chose qu'comprendre comment bouger dans le monde (la physique).

Actuellement, nous félicitons les robots pour être bons à « parler de » tâches, tout en supposant qu'ils sont aussi bons à « accomplir » ces tâches. Les auteurs veulent que nous construisions de meilleurs tests pour séparer ces deux compétences, afin de savoir si les robots apprennent réellement à être des agents physiques ou s'ils sont juste très bons pour la reconnaissance de formes.

En bref : Ne supposez pas qu'un robot peut soulever une boîte lourde simplement parce qu'il connaît le mot « lourd ». Nous devons tester s'il peut réellement la soulever.

Résumé Technique : Les modèles Vision-Langage-Action ne peuvent être vérifiés pour la raisonnement physique

Énoncé du Problème
L'article traite d'une hypothèse fondamentale, bien que non vérifiée, qui sous-tend la recherche récente sur les modèles Vision-Langage-Action (VLA) : l'idée que la généralisation sémantique apprise lors du pré-entraînement vision-langage à l'échelle d'Internet est suffisante pour soutenir les décisions d'action physique dans les systèmes robotiques. Bien que les systèmes VLA (par exemple, RT-2, OpenVLA, $\pi^0$ ) aient démontré une amélioration des taux de réussite des tâches sur les benchmarks de manipulation, les auteurs soutiennent que les protocoles d'évaluation actuels ne permettent pas de distinguer si ces gains proviennent d'un véritable raisonnement physique ou simplement d'une meilleure correspondance sémantique et d'un chevauchement de distribution. Par conséquent, le domaine manque de la capacité d'attribuer causalement les améliorations de performance soit aux capacités sémantiques, soit à la généralisation de l'exécution physique.

Méthodologie et Argument Structurel
L'article emploie une analyse théorique et structurelle plutôt que de nouvelles expériences empiriques. La méthodologie centrale implique :

Décomposition des Politiques VLA : Les auteurs décomposent formellement une politique VLA en deux composants distincts :
- Cartographie Sémantique ( $z_{sem}$ ) : La transformation des observations visuelles et des instructions linguistiques en abstractions pertinentes pour la tâche (identité de l'objet, relations spatiales, objectifs) dérivées de données statiques image-texte.
- Décision d'Action Physique : La sélection d'actions conditionnées par le contexte physique ( $z_{phys}$ ), tel que la masse, la friction et la géométrie de contact, qui ne sont pas récupérables à partir de données visuelles statiques.
Formalisation de l'« Hypothèse de Suffisance Sémantique » : L'article pose que les architectures actuelles supposent implicitement $\pi(a_t | z_{sem}, z_{phys}) \approx \pi(a_t | z_{sem})$ . Les auteurs soutiennent que cela est structurellement injustifié car les signaux de supervision pour le pré-entraînement VLM (paires image-texte statiques) excluent explicitement les résultats d'interaction (force, résistance, dynamique) nécessaires pour apprendre $z_{phys}$ .
Analyse de l'Identifiabilité : Les auteurs identifient trois niveaux de non-identifiabilité dans les protocoles d'évaluation actuels :
- Non-Identifiabilité d'Attribution : Les taux de réussite des tâches confondent les erreurs d'ancrage sémantique avec les échecs d'exécution physique.
- Non-Identifiabilité de Source : Les gains de performance ne peuvent être tracés vers le pré-entraînement VLM, les données d'interaction robotique, ou leur interaction, car les définitions de « hors-distribution » (OOD) ignoreent souvent l'exposition au pré-entraînement VLM.
- Non-Identifiabilité au Niveau de la Représentation : Les benchmarks excluent les instructions infaisables ou dangereuses, empêant la détection de savoir si l'ajustement fin (fine-tuning) dégrade les capacités pré-entraînées comme le jugement de faisabilité.

Contributions Clés

Identification de la « Dérive Narrative » : L'article introduit le concept de dérive narrative, où les systèmes successifs héritent et renforcent les interprétations antérieures des gains de performance (par exemple, attribuer les lois d'échelle à un raisonnement physique) sans isoler le mécanisme causal sous-jacent.
Critique Structurelle de l'Évaluation : Il démontre que les benchmarks actuels sont structurellement incapables de tester l'hypothèse de suffisance sémantique car ils manquent de variations contrôlées qui séparent le contenu sémantique de la configuration physique.
Recadrage des Rôles des VLM : L'article propose que les backbones VLM doivent être considérés comme des interfaces sémantiques pour l'ancrage du langage et de la perception, plutôt que comme des sources implicites de compétence physique. Il suggère que le raisonnement physique peut nécessiter des capacités de représentation distinctes développées par l'interaction, et non seulement par le pré-entraînement sémantique.

Résultats et Observations
L'article ne présente pas de nouveaux résultats expérimentaux mais synthétise la littérature existante pour révéler une signature empirique cohérente :

Erreur d'Attribution des Échecs : Lorsque les systèmes VLA échouent sous des conditions physiques nouvelles (par exemple, manipuler des objets avec des masses ou des frictions différentes), ces échecs sont systématiquement attribués à des facteurs d'ingénierie (par exemple, couverture de données insuffisante, échelle du modèle ou corrélations spécieuses) plutôt qu'à l'échec de l'hypothèse de suffisance sémantique.
Ambiguïté du Succès : Des taux de réussite élevés sont montrés comme étant compatibles avec plusieurs explications, incluant une véritable généralisation physique, une meilleure correspondance sémantique ou un chevauchement accru entre les distributions d'entraînement et de test.
Conséquences Systémiques : L'incapacité à distinguer ces facteurs mène à une mauvaise allocation des ressources de recherche (par exemple, augmenter l'échelle des modèles alors que le goulot d'étranglement est l'interaction physique), une fausse confiance dans la préparation au déploiement, et un diagnostic erroné persistant des limitations architecturales.

Signification et Revendications
L'article affirme que sa signification réside dans la clarification des conditions sous lesquelles les affirmations de généralisation physique peuvent être évaluées de manière significative. Il stipule explicitement que son but n'est pas de réfuter le rôle des VLM dans la robotique, mais de montrer que l'hypothèse de suffisance sémantique n'a pas été vérifiée de manière indépendante.

Changement Méthodologique : Les auteurs soutiennent que le progrès de la généralisation de l'exécution physique nécessite des designs d'évaluation introduisant une variation contrôlée pour mesurer séparément la généralisation sémantique et physique.
Implications Architecturales : Ils proposent un changement de philosophie de conception : au lieu de supposer que la capacité physique émerge des représentations sémantiques, les systèmes devraient être conçus avec des composants explicitement séparés pour l'ancrage sémantique et la modélisation de l'état physique.
Question Empirique : La contribution des représentations basées sur les VLM à la performance physique doit être traitée comme une question empirique à tester via l'attribution causale, plutôt que comme une prémisse supposée.

L'article conclut que sans protocoles d'évaluation capables de fournir des signaux identifiables pour les capacités clés, les hypothèses implicites risquent de s'enraciner comme des prémisses de facto, obscurcissant potentiellement la véritable voie vers une intelligence incarnée générale.