Résumé technique : Les VLA connaissent-ils seulement les bases ? Mesurer la rétention du bon sens et des connaissances mondiales dans les modèles Vision-Langage-Action

Énoncé du problème

Les modèles de Vision-Langage-Action (VLA) incarnés sont généralement construits en affinant des modèles de Vision-Langage (VLM) préentraînés et puissants sur des données robotiques. Bien que ces modèles soient souvent présentés comme généralisables au monde ouvert, il reste incertain quelle quantité de bon sens et de connaissances factuelles ils conservent après l'adaptation aux tâches de contrôle. Les paradigmes d'évaluation actuels sont principalement centrés sur la manipulation, se concentrant sur les taux de réussite des tâches de navigation ou de manipulation d'objets (ex. : LIBERO, CALVIN). Ces benchmarks confondent les déficits de connaissances avec des échecs de contrôle moteur de bas niveau, de perception ou de planification à long terme. Par conséquent, il n'existe aucune méthode fondée sur des principes pour déterminer si un VLA a subi une perte de connaissances catastrophique de la connaissance du monde présente dans son VLM source, ou si les échecs sur des tâches sensibles aux connaissances sont simplement dus à une mauvaise généralisation des politiques de contrôle.

Méthodologie : Act2Answer

Pour lever l'ambiguïté entre la perte de connaissances et l'échec de contrôle, les auteurs introduisent Act2Answer, un protocole d'évaluation léger qui adapte les benchmarks de connaissances des VLM pour les modèles VLA en exigeant que les agents répondent par l'action plutôt que par la génération de texte.

Protocole central

• Sélection ancrée dans l'action : Au lieu de générer du texte, chaque question est convertie en un court épisode simulé sur une table. L'agent reçoit une instruction en langage naturel et doit effectuer une action simple de placement d'objet (déplacer un cube) pour sélectionner la bonne réponse parmi des images candidates placées sur une table.
• Réduction des facteurs de confusion : En limitant la tâche à une action unique de court horizon, le protocole minimise l'influence du contrôle moteur complexe, de la planification à long terme et de la dynamique environnementale, isolant ainsi la capacité de l'agent à utiliser ses connaissances pour la prise de décision.
• Taux de réussite doux (Soft Success Rate - SR) : La performance est mesurée à l'aide d'un « Taux de réussite doux », qui tient compte d'une région de tolérance autour de la réponse cible. Cette métrique distingue entre :
  1. Échec d'instruction/perceptuel : L'agent place l'objet hors limites ou choisit systématiquement la mauvaise option (SR < 0,5 - $\Delta$).
  2. Absence de connaissances utilisables fiables : L'agent ancre l'action mais échoue à sélectionner la bonne option, se comportant de manière proche du hasard (0,5 - $\Delta$ $\le$ SR $\le$ 0,5 + $\Delta$).
  3. Preuve de connaissances utilisables : L'agent exploite avec succès ses connaissances internes pour orienter la sélection de l'action vers la cible correcte (SR > 0,5 + $\Delta$).

Curation des données

Les auteurs ont constitué une suite de tests de 1 720 questions binaires uniques réparties dans 12 catégories de connaissances, dérivées de benchmarks VLM existants (MLLM-CompBench, IconQA, MMBench, OK-VQA, VL-Think). Ces catégories sont regroupées en sept domaines larges :

• Physique : Attributs, états, couleur, forme, symétrie.
• Temporel : Temps, comptage.
• Quantitatif : Comptage, magnitude.
• Biologique : Distinctions du monde vivant.
• Social : Émotion, intention.
• Normatif : Règles de circulation, informations publiques.
• Culturel : Reconnaissance de célébrités.

Sondage d'intention par couche

Pour étudier où les connaissances sont conservées ou perdues au sein de l'architecture du modèle, les auteurs utilisent un sondage d'intention par couche (layerwise intent probing). Des classificateurs linéaires sont entraînés sur les états cachés de chaque couche du transformer (à la fois le backbone VLM et l'Expert d'Action) pour prédire la bonne réponse. Cela permet de quantifier comment l'information pertinente pour la réponse est distribuée et si elle s'atténue au fur et à mesure qu'elle passe de la représentation sémantique à la génération d'action.

Contributions clés

1. Suite de benchmarks Act2Answer : Un protocole contrôlé qui convertit les tâches de connaissances VLM en épisodes de sélection d'action incarnés, permettant de sonder directement le comportement sensible aux connaissances sans dépendre du décodage de texte.
2. Taxonomie systématique des connaissances : Un ensemble de données organisé couvrant 12 catégories à travers 7 domaines, facilitant une analyse granulaire des erreurs de bon sens et de connaissances mondiales chez les agents incarnés.
3. Étude empirique à grande échelle : Une évaluation de 7 modèles VLA modernes (incluant $\pi_0$, OpenVLA, Magma, SpatialVLA) contre 9 bases VLM robustes, classant systématiquement les performances à travers les domaines de connaissances.
4. Analyse architecturale : Introduction du sondage d'intention par couche pour localiser l'information pertinente pour la réponse, révélant la dynamique interne de la rétention des connaissances par rapport à la génération d'action.

Résultats

L'étude révèle une disparité significative entre les capacités des VLM et celles de leurs homologues VLA :

• Écart perceptuel vs sémantique : Les modèles VLA performent fortement sur les catégories perceptuelles simples (ex. : Couleur, Forme) mais présentent des chutes de performance substantielles sur les catégories sémantiques plus riches (ex. : Émotion, État, Comptage, Symétrie). De nombreux modèles VLA performent au niveau ou proche du hasard sur ces tâches complexes.
• L'écart VLM-VLA : Comparés à leurs VLM sources dans un contexte sans action, les modèles VLA montrent une baisse de performance d'environ 20 à 40 points de pourcentage dans la plupart des domaines de connaissances. Cela suggère que l'affinage pour le contrôle dégrade considérablement l'accessibilité de la connaissance du monde.
• Rôle du co-entraînement VQA : Les modèles entraînés avec une supervision conjointe vision-langage et robotique (ex. : Magma, Xiaomi-Robotics-R0) démontrent une meilleure rétention des connaissances et une meilleure performance sur les tâches sensibles aux connaissances par rapport aux modèles entraînés principalement sur des données robotiques (ex. : OpenVLA, $\pi_0$).
• Goulot d'étranglement de la représentation interne : Les résultats du sondage indiquent que l'information pertinente pour la réponse est souvent présente dans les couches intermédiaires du backbone VLM, mais s'atténue considérablement dans les couches supérieures et l'Expert d'Action. Cela suggère un goulot d'étranglement où le modèle retient l'information sémantique en interne mais échoue à la traduire en une sélection d'action correcte.
• Impact de l'affinage (Fine-tuning) : L'affinement supplémentaire en aval (SFT ou RL) sur des jeux de données de type "pick-and-place" n'a pas amélioré de manière constante la performance sensible aux connaissances et, dans certains cas (ex. : État, Couleur), a conduit à une dégradation supplémentaire, indiquant un biais vers l'optimisation spécifique à la tâche au détriment de la connaissance générale.

Signification et affirmations

L'article soutient que le paradigme actuel consistant à simplement affiner les VLM sur des données robotiques est insuffisant pour créer des agents incarnés véritablement polyvalents. Bien que ces modèles conservent la capacité d'agir sur des indices perceptuels superficiels, ils perdent souvent la capacité de distinguer des états sémantiques complexes (ex. : une tasse « sale » vs une tasse « propre », ou un humain « triste » vs « neutre »).

Les auteurs affirment qu'Act2Answer fournit un outil de diagnostic nécessaire pour mesurer cette « érosion des connaissances ». Les conclusions suggèrent que les futures architectures et objectifs d'entraînement doivent explicitement prioriser l'alignement de la compréhension sémantique du backbone avec les politiques motrices apprises. Sans un tel alignement, les agents incarnés resteront limités dans leur utilité pour les environnements quotidiens où l'action correcte dépend d'un bon sens riche et de connaissances mondiales, et non seulement d'un contrôle de bas niveau. L'article conclut que la prévention de l'érosion de la connaissance du monde reste un défi ouvert, nécessant des stratégies telles que l'apprentissage multi-tâches, la préservation de la représentation ou le découplage architectural des composants de connaissance et de contrôle.