See, Symbolize, Act: Grounding VLMs with Spatial Representations for Better Gameplay

Cette étude démontre que l'intégration de représentations symboliques améliore les performances des modèles vision-langage dans les jeux interactifs, mais uniquement lorsque l'extraction de ces symboles à partir des images est fiable, révélant ainsi que la qualité de la perception constitue le principal goulot d'étranglement pour ces agents.

L'essentiel

🎮 Le Dilemme du Robot : Voir ou Comprendre ?

Imaginez que vous essayez d'enseigner à un robot très intelligent (un modèle de langage vision) comment jouer à des jeux vidéo classiques comme Pong ou Space Invaders.

Ce robot a un super cerveau : il peut décrire ce qu'il voit avec des mots magnifiques. Mais il a un gros problème : il est souvent maladroit. Quand il doit bouger sa raquette ou tirer sur un alien, il se trompe de direction, panique ou répète les mêmes erreurs. C'est comme si vous aviez un expert en théorie du football qui ne sait pas courir ni attraper un ballon.

Les chercheurs de Lossfunk se sont demandé : « Et si on donnait au robot une carte au trésor en plus de ses yeux ? »

🗺️ L'Expérience : Les Quatre Équipes

Pour tester cela, ils ont créé quatre équipes de robots avec des méthodes différentes pour jouer :

1. L'Équipe "Yeux Seuls" (Frame-only) : Le robot regarde l'écran et essaie de deviner où sont les objets. C'est difficile, car il doit tout comprendre à partir des pixels.
2. L'Équipe "Carte Parfaite" (Frame + Ground-Truth) : Le robot a ses yeux, mais on lui donne aussi une liste magique et parfaite de tous les objets (ex: "La balle est à telle position exacte"). C'est comme si un arbitre lui chuchotait la réponse parfaite à chaque seconde.
3. L'Équipe "Carte Auto-écrite" (Frame + Self-Extracted) : Le robot regarde l'écran, essaie de décrire lui-même où sont les objets (ex: "Je vois une balle ici..."), puis utilise cette description pour jouer. C'est le test le plus important : peut-il bien se décrire lui-même ?
4. L'Équipe "Carte Seule" (Symbol-Only) : Le robot ne voit pas l'écran du tout ! On lui donne juste la liste des positions. C'est comme jouer les yeux bandés, en se fiant uniquement à une feuille de papier.

🏆 Les Résultats : La Magie (et le Danger) des Mots

Voici ce qu'ils ont découvert, avec quelques analogies :

1. La carte parfaite est un super-pouvoir

Quand on donne au robot la liste parfaite des positions (comme l'arbitre qui chuchote), il joue incroyablement bien. Il devient un champion.

Analogie : C'est comme si vous jouiez aux échecs avec un guide qui vous dit exactement où sont les pièces de votre adversaire. Vous ne pouvez pas vous tromper.

2. Les yeux sont indispensables

Quand on enlève l'image et qu'on ne donne que la liste (l'équipe "Carte Seule"), le robot s'effondre. Même avec les coordonnées parfaites, il ne sait pas quoi faire.

Analogie : C'est comme recevoir une recette de cuisine écrite ("Ajoutez 200g de farine") sans jamais avoir vu la farine ni le four. Le robot sait où sont les choses, mais il ne comprend pas le contexte de la scène. Il a besoin de voir pour donner du sens aux chiffres.

3. Le vrai défi : La qualité de la description

C'est ici que ça devient intéressant. Quand le robot doit écrire lui-même sa carte (l'équipe "Carte Auto-écrite") :

• Si le robot est très doué pour décrire (comme Claude-4-Sonnet) : Il écrit une carte précise, et son jeu s'améliore énormément. Il passe de "nul" à "expert".
• Si le robot est moins doué (comme GPT-4o ou Gemini sur des jeux complexes) : Il fait des erreurs dans sa description. Il dit "La balle est à gauche" alors qu'elle est à droite. Résultat ? C'est pire que s'il n'avait rien eu ! Ses mauvaises informations le trompent et le font jouer encore plus mal.

Analogie : Imaginez que vous jouez à un jeu de tir avec un ami qui vous guide par radio.

• Si votre ami a de bons yeux et vous dit "Cible à 10h", vous tirez et touchez.
• Si votre ami a de mauvais yeux et vous dit "Cible à 10h" alors qu'elle est à 2h, vous tirez dans le vide. Pire, vous vous trompez de cible !
• Conclusion : Une mauvaise carte est plus dangereuse que pas de carte du tout.

🔍 Ce qui change la donne : La résolution et le bruit

Les chercheurs ont aussi fait deux autres découvertes importantes :

• La taille de l'image compte : Si on montre au robot une image toute petite (comme un vieux jeu d'arcade), il ne voit rien et écrit mal. Si on lui montre une image HD, il voit mieux et écrit une meilleure carte.
• Le bruit tue la performance : Même une toute petite erreur dans la description (dire "la balle est à 10 pixels à gauche" au lieu de "à droite") suffit à faire chuter la performance du robot. Le cerveau du robot est très sensible aux erreurs de perception.

💡 La Leçon à retenir

Ce papier nous apprend une chose fondamentale pour l'avenir des robots intelligents :

Donner des "symboles" (des mots, des coordonnées) à un robot ne suffit pas.
Tout dépend de la qualité de sa vision.

• Si le robot voit bien et décrit bien, les symboles sont un super-pouvoir qui le rend plus fort.
• Si le robot voit mal ou décrit mal, les symboles deviennent un poison qui l'empêche de jouer.

En résumé : Pour qu'un robot joue bien, il ne suffit pas de lui donner une carte. Il faut d'abord s'assurer qu'il a des yeux assez perçants pour lire cette carte correctement. La "vision" reste le goulot d'étranglement, pas l'idée de la carte elle-même.

Résumé technique

1. Problématique

Les modèles Vision-Langage (VLM) actuels excellent dans la description de scènes visuelles mais éprouvent des difficultés à traduire cette perception en actions précises et ancrées dans des environnements interactifs. Bien qu'ils puissent comprendre une image, leur capacité à effectuer un raisonnement spatial fin (nécessaire pour le contrôle de jeux vidéo ou la robotique) reste limitée.

L'article pose la question centrale : L'ajout d'une représentation symbolique explicite (coordonnées d'objets, états du jeu) améliore-t-il la performance des VLMs, ou la qualité de l'extraction de ces symboles à partir de l'image est-elle le facteur limitant ?

2. Méthodologie

Les auteurs ont conçu une évaluation systématique sur plusieurs environnements et modèles pour isoler l'impact des symboles.

Environnements de test

• Jeux Atari : Pong, Breakout et Space Invaders. Ces jeux offrent des niveaux croissants de complexité visuelle (de 2-4 objets à 20-50 objets).
• Environnements 3D et Photoréalistes : VizDoom (jeu de tir à la première personne) et AI2-THOR (tâches d'IA incarnée dans une cuisine).

Modèles évalués

Trois VLMs de pointe utilisés en mode zero-shot (sans fine-tuning) :

• Claude-4-Sonnet
• GPT-4o
• Gemini-2.5-Pro

Pipelines expérimentales

Quatre configurations ont été comparées pour isoler les variables :

1. Frame-only (F) : Le modèle reçoit uniquement l'image brute.
2. Frame + Ground-Truth Symbols (F+S-GT) : Le modèle reçoit l'image + les coordonnées exactes des objets extraites de la RAM du jeu (via OCAtari). C'est la limite supérieure théorique.
3. Frame + Self-Extracted Symbols (F+S-self) : Le modèle doit d'abord extraire les symboles (objets, coordonnées) de l'image, puis utiliser ces symboles + l'image pour décider de l'action.
4. Symbol-Only (S-GT) : Le modèle reçoit uniquement les coordonnées parfaites, sans aucune image visuelle.

Métriques

• Performance de jeu : Récompense cumulative sur 600 frames (normalisée sur une échelle 0-100).
• Qualité de détection : Score F1 et Intersection over Union (IoU) pour évaluer la précision de l'extraction des objets par le modèle.

3. Contributions Clés et Résultats

A. L'ancrage symbolique n'est bénéfique que si l'extraction est fiable

C'est la découverte principale. L'amélioration des performances grâce aux symboles dépend entièrement de la capacité du modèle à extraire des symboles précis à partir de l'image.

• Claude-4-Sonnet : Détecte les objets avec une grande précision (F1 = 0,715). L'ajout de symboles auto-extraits améliore considérablement ses performances, le rapprochant de la limite supérieure (Ground-Truth).
• GPT-4o et Gemini-2.5-Pro : Présentent une faible précision d'extraction (F1 < 0,20). Pour ces modèles, l'ajout de symboles auto-extraits dégrade souvent les performances, car les erreurs de coordonnées introduisent du bruit qui trompe le raisonnement du modèle.

B. La vision reste indispensable (Échec du Symbol-Only)

Le pipeline « Symbol-Only » (coordonnées parfaites sans image) a entraîné un effondrement des performances, même avec des données parfaites.

• Conclusion : Les symboles seuls sont insuffisants. Les VLMs ont besoin du contexte visuel (l'image) pour interpréter correctement les données symboliques et prendre des décisions éclairées. L'image sert d'échafaudage perceptif essentiel.

C. Impact de la complexité et de la résolution

• Complexité : Dans des environnements denses (ex: Space Invaders avec 50 objets), la capacité d'extraction des modèles sature, rendant les symboles auto-extraits peu fiables et nuisibles.
• Résolution : Une étude d'ablation a montré que l'augmentation de la résolution d'entrée (de 160x210 à 1280x720) double la précision de détection (F1 passant de ~0,31 à ~0,68). Cela suggère que la qualité de la perception (résolution) est un goulot d'étranglement plus critique que l'idée de l'ancrage symbolique lui-même.

D. Robustesse au bruit

L'introduction de bruit gaussien dans les coordonnées (simulant des erreurs de détection) montre que les performances chutent drastiquement même avec un faible niveau de bruit (σ = 0,1). Les modèles sont très sensibles à la précision des coordonnées.

4. Signification et Implications

1. Le goulot d'étranglement est la perception, pas le raisonnement : Le problème n'est pas l'incapacité des VLMs à utiliser des symboles, mais leur incapacité actuelle à générer des symboles fiables à partir d'images complexes.
2. Condition de succès : L'ancrage symbolique (Symbolic Grounding) n'est bénéfique que si le module d'extraction de symboles atteint un seuil de précision élevé. Sinon, il introduit plus de bruit que d'information.
3. Nécessité de contextes hybrides : Les agents VLMs les plus performants nécessitent une combinaison de vision brute (pour le contexte global) et de symboles précis (pour la localisation exacte), mais l'extraction de ces symboles doit être d'une qualité quasi-parfaite.
4. Perspectives futures : Pour déployer des agents VLMs robustes, la recherche doit se concentrer sur l'amélioration des méthodes d'extraction d'objets (détecteurs hybrides, fine-tuning léger) plutôt que sur l'architecture de décision seule.

En résumé, l'article démontre que voir, symboliser et agir est une chaîne dont la performance est limitée par l'anneau le plus faible : la capacité du modèle à transformer une image en données symboliques fiables. Sans cette fiabilité, l'ajout de symboles nuit à la prise de décision.