Résumé Technique : RoboSemanticBench

Problématique

Les modèles de Vision-Langage-Action (VLA) reposent sur l'hypothèse que la compétence sémantique des dorsaux (backbones) de langage ou de vision-langage pré-entraînés doit directement guider la prédiction de l'action robotique. Les cadres théoriques décrivent souvent ces systèmes comme des architectures duales : un « Expert Sémantique de Système-2 » à basse fréquence qui traite les instructions et les observations, et un « Expert d'Action de Système-1 » à haute fréquence qui génère des signaux de contrôle continus.

Cependant, l'article soutient que les pipelines de post-entraînement des VLA actuels peuvent échouer à préserver cet ancrage sémantique. Les jeux de données de réglage fin (fine-tuning) pour la robotique sont nettement plus petits et plus spécifiques aux tâches que les corpus de pré-entraînement du langage. Par conséquent, les pertes d'apprentissage par imitation récompensent souvent l'ajustement de distributions d'actions conditionnelles, même lorsque le processus de décision sémantique est affaibli ou déconnecté de la voie de génération de l'action. Les politiques peuvent apprendre des « raccourcis instruction-action » ou des régularités visuelles plutôt que d'utiliser la sémantique du langage pour déterminer l'action physique correcte. Bien que les benchmarks existants mesurent le succès de la tâche, ils confondent souvent l'exécution motrice, la reconnaissance d'objets et l'ancrage linguistique, échouant à isoler si le modèle comprend réellement la sémantique de l'instruction pour sélectionner la cible correcte.

Méthodologie : RoboSemanticBench (RSB)

Pour diagnostiquer ce mode de défaillance spécifique, les auteurs introduisent RoboSemanticBench (RSB), un benchmark incarné conçu pour tester si les modèles VLA post-entraînés peuvent utiliser la sémantique complexe d'une instruction pour sélectionner et manipuler la cible physique correcte.

Conception des tâches

Dans chaque épisode de RSB, un robot est présenté avec :

1. Une question à choix multiples (mathématique ou de culture générale).
2. Un ensemble de blocs de réponses candidats physiquement visibles dans la scène.
3. Une instruction consistant à saisir le bloc correspondant à la bonne réponse.

L'action physique est fixée comme une primitive unique de « saisie et dépose » (pick-and-place). Le contenu sémantique varie selon les épisodes, exigeant que la politique doive :

• Résoudre la question (ex: calcul arithmétique ou raisonnement de bon sens).
• Identifier la valeur de l'option correcte.
• Lier cette option à un bloc spécifique visible (qui varie en position, couleur et assignation de lettres par épisode).
• Exécuter la saisie.

Crucialement, la cible correcte n'est pas liée à des caractéristiques visuelles fixes (comme une couleur ou une position spécifique) mais est déterminée dynamiquement par la question et la correspondance option-bloc. Cela isole si la sémantique de l'instruction participe à la prédiction de l'action.

Suites de Benchmarks

RSB couvre trois domaines sémantiques sous des configurations de 4 et 10 choix :

• RSB-Math : Génération procédurale d'arithmétique (addition, soustraction, multiplication) nécessitant un calcul plutôt qu'une reconnaissance de motifs.
• RSB-HardMath : Problèmes mathématiques de niveau primaire dérivés de GSM8K, nécessitant l'extraction de quantités à partir du langage naturel et un raisonnement compositionnel.
• RSB-General : Questions de type Q&R de bon sens et dérivées de MMLU couvrant les outils quotidiens, les lieux et les connaissances factuelles.

Métriques

Pour distinguer les échecs de contrôle de bas niveau des échecs d'ancrage sémantique, l'article définit trois métriques :

1. Taux de Succès de la Tâche (TSR - Task Success Rate) : La fraction d'épisodes où le robot saisit le bloc de réponse correct.
2. Taux de Succès de la Saisie (GSR - Grasp Success Rate) : La fraction d'épisodes où le robot saisit n'importe quel bloc candidat.
3. Ancrage Sémantique Normalisé (nSG - Normalized Semantic Grounding) : Un score qui neutralise la capacité de saisie de bas niveau. Il mesure la probabilité de sélectionner la cible correcte conditionnée par la saisie réussie d'un bloc candidat, normalisée par rapport à une base aléatoire ($1/N$).
   • $nSG = 0$ implique une sélection aléatoire parmi les blocs saisis.
   • $nSG < 0$ implique une sélection pire que l'aléatoire.
   • $nSG > 0$ implique un ancrage sémantique réussi.

Contributions Clés

1. RoboSemanticBench (RSB) : Un benchmark diagnostique contrôlé qui transforme les questions de mathématiques et de culture générale en tâches de sélection de réponses incarnées à travers six suites d'évaluation.
2. Métriques Diagnostiques : La définition de GSR, TSR et nSG pour séparer les capacités de saisie de bas niveau de la sélection de la cible sémantique, diagnostiquant explicitement si la sémantique de l'instruction participe à la prédiction de l'action.
3. Évaluation Empirique : Une évaluation complète de modèles VLA représentatifs (incluant OpenVLA, $\pi_0$, $\pi_0.5$, GR00T, etc.) révélant un écart persistant entre la compétence sémantique du backbone et la prédiction d'action.
4. Analyse d'Intervention : Des expériences testant si le raisonnement de type CoT (ReasoningVLA) ou le co-entraînement VQA peut combler l'écart d'ancrage sémantique.

Résultats

L'évaluation de neuf modèles VLA représentatifs produit les conclusions suivantes :

• Échec de l'Ancrage Sémantique : La plupart des modèles atteignent un GSR élevé (saisissant avec succès un bloc) mais présentent un TSR faible. Lorsqu'ils sont normalisés pour le succès de la saisie, les scores nSG de la plupart des modèles sont proches de zéro ou inférieurs. Cela indique qu'une fois qu'un modèle saisit avec succès un candidat, son choix de quel candidat saisir est effectivement aléatoire ou pire que l'aléatoire.
• Le « Gap » (l'écart) : Il existe une disparité significative entre la capacité des modèles à manipuler des objets et leur capacité à utiliser la sémantique de l'instruction pour sélectionner l'objet correct. Cet écart est particulièrement prononcé dans les suites à 10 choix.
• Exception ($\pi_0.5$) : Le modèle $\pi_0.5$ a obtenu le TSR moyen le plus élevé et le seul nSG moyen clairement positif. Les auteurs attribuent cela à son utilisation d'annotations de sous-tâches lors du pré-entraînement, qui peut fournir une supervision faible pour décomposer les instructions de haut niveau. Cependant, même le nSG de $\pi_0.5$ reste modeste.
• Échecs d'Intervention :
  • ReasoningVLA : Forcer le modèle à générer une Chaîne de Pensée (CoT) avant d'agir a légèrement amélioré le TSR mais n'a pas réussi à ancrer de manière fiable la décision sémantique dans la voie d'action. Dans de nombreux cas d'échec, la CoT identifiait la bonne réponse, mais le robot saisissait quand même le mauvais bloc.
  • Co-entraînement VLA : L'ajout d'une supervision VQA pendant le réglage fin robotique pour préserver la compétence sémantique a en fait réduit les performances, suggérant un conflit entre la supervision auxiliaire centrée sur le langage et l'objectif d'apprentissage de l'action.
• Indépendance de l'Objet : Des expériences remplaçant les blocs lettrés par des objets du quotidien (jouets, chaussures) ont confirmé que l'échec n'est pas dû à la simplicité de l'interface « bloc », mais est un problème fondamental d'ancrage sémantique dans la prédiction d'action.

Signification et Revendications

L'article affirme que RSB expose une limitation critique des architectures VLA actuelles : la déconnexion entre la compréhension sémantique et la génération d'action.

• Diagnostic plutôt qu'Évaluation : RSB n'est pas simplement un benchmark de performance, mais un outil de diagnostic. Il révèle que les taux élevés de succès de tâche dans d'autres benchmarks peuvent être ambigus, potentiellement pilotés par des raccourcis visuels ou des régularités de jeux de données plutôt que par une véritable compréhension de l'instruction.
• Limitations de l'Entraînement : Les résultats suggèrent que le simple fait de joindre un fort backbone VLM pré-entraîné à un expert d'action est insuffisant. Les pipelines de réglage fin actuels (apprentissage par imitation) échouent souvent à acheminer les décisions sémantiques du backbone vers la voie d'action.
• Direction Future : L'article postule que les futurs systèmes VLA nécessiteront des objectifs d'entraînement et des interfaces qui préservent explicitement la cible sémantique sélectionnée et l'exposent au module d'action sous une forme stable et ancrée dans la scène. L'objectif est d'obtenir des modèles où les actions sont véritablement ancrées dans la sémantique de l'instruction, plutôt que de dépendre de raccourcis d'imitation.

Les auteurs concluent que bien que les modèles VLA puissent apprendre les primitives motrices de la manipulation, ils peinent actuellement à utiliser la sémantique complexe d'une instruction pour déterminer quelle action est la bonne, soulignant un écart persistant entre l'« Expert Sémantique » et l'« Expert d'Action ».