Evaluating VLMs' Spatial Reasoning Over Robot Motion: A Step Towards Robot Planning with Motion Preferences

Cette étude évalue la capacité de quatre modèles vision-langage à raisonner spatialement pour respecter les préférences de mouvement des robots, démontrant que Qwen2.5-VL atteint des performances prometteuses en zéro-shot et après fine-tuning, bien que GPT-4o montre des résultats inférieurs.

L'essentiel

🤖 Le Robot et le Chef d'Orchestre

Imaginez que vous avez un robot domestique très intelligent, capable de se déplacer dans votre maison. Mais ce robot a un problème : il est très fort pour aller d'un point A à un point B (comme un GPS), mais il est un peu "bête" quand il s'agit de comprendre vos préférences.

Si vous lui dites : "Va chercher le verre sur la table", il ira le chercher.
Mais si vous dites : "Va chercher le verre, mais fais-le en passant par une route sinueuse et évite de trop t'approcher du vase fragile", le robot classique risque de paniquer ou de choisir la mauvaise route.

C'est là qu'intervient l'idée de ce papier : utiliser un "Super-Cerveau" (un modèle d'IA appelé VLM) pour agir comme un chef d'orchestre.

🎨 L'Expérience : Le Concours de Dessins

Les chercheurs ont créé une expérience amusante, un peu comme un concours de dessin :

1. Le Défi : Ils ont pris des scènes de maison virtuelles (une cuisine, un salon) et ont demandé à un robot de trouver 50 façons différentes d'aller d'un point à un autre.
2. Les Options : Imaginez que le robot a dessiné 50 lignes de couleurs différentes sur une photo de la maison.
   • Une ligne bleue fait un zigzag.
   • Une ligne verte passe très près du vase.
   • Une ligne rouge fait un grand détour.
3. La Question : Ils donnent une photo de toutes ces lignes à l'IA (le "Super-Cerveau") et lui disent : "Choisis la ligne qui correspond à : 'Va au four en restant loin de la fenêtre'".
4. Le But : Voir si l'IA est capable de comprendre la géométrie et l'espace, pas juste de lire le texte.

🔍 Les Résultats : Qui gagne le concours ?

Les chercheurs ont testé plusieurs "Super-Cerveaux" (comme GPT-4o, Qwen2.5-VL, etc.) avec différentes façons de montrer les images. Voici ce qu'ils ont découvert :

• La meilleure méthode (Le "Tableau Unique") : Au lieu de montrer une image par ligne (ce qui fatigue l'IA), il vaut mieux montrer toutes les lignes sur une seule image. C'est comme si on donnait à l'IA une carte complète avec tous les itinéraires possibles d'un coup d'œil.
• Le gagnant : Le modèle Qwen2.5-VL s'est révélé être le meilleur chef d'orchestre. Il a réussi à choisir la bonne ligne dans 71,4 % des cas sans même avoir été entraîné spécifiquement pour ça (c'est ce qu'on appelle le "zéro-shot").
• Le perdant : Même un modèle très célèbre comme GPT-4o a fait moins bien que Qwen dans ce test précis.

🧠 Deux types de préférences

L'IA a été testée sur deux types de demandes :

1. La proximité (Le "Je ne veux pas toucher") : "Passe loin du vase." → L'IA est très bonne là-dessus (74 % de réussite). C'est comme si elle avait de bons yeux pour mesurer les distances.
2. Le style de chemin (Le "Je veux faire joli") : "Fais un chemin en zigzag" ou "Fais un chemin courbe". → C'est plus dur pour l'IA (64 % de réussite). Comprendre la "forme" d'un trajet est plus abstrait que de voir un obstacle.

🚀 L'astuce magique : L'Entraînement Rapide

Le papier montre aussi quelque chose de très prometteur : l'apprentissage rapide.
Même un petit modèle d'IA (qui coûte moins cher et va plus vite) peut devenir excellent si on lui montre seulement quelques exemples (une petite poignée d'exemples) de ce qu'on attend de lui.

• C'est comme si vous preniez un élève moyen et que vous lui montriez 10 fois comment résoudre un type de problème spécifique. Soudain, il devient un expert !
• Après un petit entraînement, la précision a bondi de plus de 20 % à 60 % pour certains modèles.

⚖️ Le compromis : Précision vs Coût

Il y a un petit bémol : plus on demande à l'IA de regarder de détails (plus on lui envoie d'images ou de mots), plus elle est précise, mais plus cela coûte cher et prend du temps.
Les chercheurs ont trouvé un équilibre : montrer une seule image avec toutes les options est le meilleur rapport qualité/prix. C'est rapide, pas trop cher, et ça marche très bien.

🏁 Conclusion : Vers un futur plus fluide

En résumé, ce papier nous dit que les robots vont bientôt pouvoir comprendre nos humeurs et nos préférences de mouvement.

Au lieu de dire "Va là-bas", vous pourrez dire "Va là-bas, mais fais-le doucement, en évitant le chat, et en passant par la cuisine pour saluer le frigo". L'IA sera capable de regarder les options de mouvement du robot, de choisir celle qui correspond le mieux à votre description poétique, et de dire au robot : "C'est celle-là, vas-y !".

C'est une première étape cruciale pour rendre nos robots non seulement intelligents, mais aussi polies et attentifs à nos goûts.

Résumé technique

1. Problématique

L'intégration de modèles fondationnels (Foundation Models) dans la robotique vise à améliorer la généralisation des planificateurs de tâches. Cependant, une lacune majeure persiste : la capacité des Modèles Vision-Langage (VLM) à effectuer un raisonnement spatial précis nécessaire pour respecter les préférences des utilisateurs concernant le mouvement du robot.

Les utilisateurs souhaitent souvent spécifier non seulement où aller, mais comment y aller (par exemple : "rapprocher la canette tout en restant loin de la lampe", "suivre un chemin en zigzag", ou "prendre le chemin le plus court"). L'article cherche à évaluer dans quelle mesure les VLMs actuels peuvent interpréter ces instructions textuelles complexes et les appliquer à des trajectoires robotiques générées, afin de sélectionner le mouvement optimal.

2. Méthodologie

A. Génération de Données et Construction du Jeu de Données

Les auteurs ont créé un jeu de données de 558 problèmes de planification de mouvement avec contraintes linguistiques, divisés en deux catégories :

• Navigation (126 problèmes) : Déplacement d'une base mobile dans un environnement domestique.
• Manipulation (432 problèmes) : Déplacement du bras d'un robot sur une table avec des objets.

Pour chaque problème, une approche hybride a été utilisée pour générer des trajectoires candidates :

1. Planification : Utilisation combinée de BiRRT (Bidirectional Rapidly-exploring Random Trees) et de PRM (Probabilistic RoadMaps) avec différents seeds aléatoires et fonctions de coût (distance la plus courte, sinusoïdale, circulaire) pour obtenir une diversité géométrique et topologique.
2. Clustering : Un algorithme de K-means regroupe les trajectoires selon leurs points de passage. Un représentant (le plus proche du centroïde) est sélectionné par cluster pour la visualisation.
3. Annotation : Chaque trajectoire est annotée manuellement avec une description unique pour servir de vérité terrain (ground truth).

B. Méthodes d'Interrogation des VLMs

Quatre méthodes de requête ont été proposées pour évaluer la capacité des VLMs à sélectionner la bonne trajectoire à partir d'images :

1. Trajectoire sur image unique (Single-image) : Toutes les trajectoires candidates sont affichées sous forme de traces de points colorés sur une seule image.
2. Trajectoire multi-images (Multi-image) : Chaque trajectoire est présentée sur une image distincte, interrogée séparément.
3. Trajectoire avec contexte visuel : Le VLM génère d'abord une description structurée de l'image (contexte visuel) avant de noter les trajectoires.
4. Galerie de captures d'écran (Screenshot gallery) : Une séquence d'images simulant le mouvement du robot le long de chaque trajectoire est présentée.

C. Modèles Évalués

Trois VLMs d'état de l'art ont été testés :

• Qwen2.5-VL-72B : Modèle avec capacités de localisation visuelle (bounding boxes, points).
• GPT-4o : Modèle multimodal performant en perception visuelle.
• LLaVA-1.5 : Modèle spécialisé dans le VQA conversationnel.

Les évaluations ont été réalisées en mode zero-shot (sans entraînement préalable) et, pour certains, après fine-tuning (SFT) sur un petit jeu de données (98 exemples).

3. Résultats Clés

Performance Globale et Méthode de Requête

• La méthode "Single-image trajectory" (toutes les trajectoires sur une seule image) s'est avérée la plus performante, surpassant les méthodes multi-images ou les galeries de captures d'écran.
• Qwen2.5-VL-72B a atteint la meilleure précision globale de 71,4 % en zero-shot.
• GPT-4o a montré des performances inférieures à Qwen2.5-VL, ce qui est attribué à la capacité supérieure de ce dernier à la localisation d'objets.
• La méthode "Multi-query" (interrogation image par image) a donné de moins bons résultats, probablement parce que le modèle ne peut pas comparer les trajectoires entre elles de manière cohérente.

Analyse par Type de Préférence

• Proximité aux objets (Object Proximity) : Les modèles performent mieux sur ce type de tâche (ex: "restez loin de la fenêtre"). Qwen2.5-VL atteint 74,4 % en navigation et 66,3 % en manipulation.
• Style de trajectoire (Path Style) : La tâche est plus difficile (ex: "chemin en zigzag", "courbe"). La précision chute à 63,9 % en navigation et 69,5 % (GPT-4o) en manipulation.
• Contexte Visuel : L'ajout d'une étape de génération de contexte visuel n'a pas amélioré la précision, suggérant que les grands modèles gèrent déjà le contexte interne de manière efficace.

Impact du Fine-Tuning et Coût de Calcul

• Fine-Tuning : L'entraînement supervisé sur un petit jeu de données (98 exemples) a considérablement amélioré les performances des modèles plus petits (7B paramètres).
  • Qwen2.5-VL-7B : Gain de +20 %.
  • LLaVA-1.5-7B : Gain de +60 %.
• Coût de Calcul (Tokens) : La méthode "Single-image" est la plus économe en tokens (moyenne de ~687 tokens pour Qwen2.5-VL) tout en offrant la meilleure précision.
• Relation Précision-Tokens : Une corrélation linéaire positive a été observée entre le nombre de tokens autorisés (taille de l'image) et la précision de la sélection.

4. Contributions Principales

1. Évaluation Systématique : Première évaluation comparative de plusieurs VLMs d'état de l'art sur la tâche spécifique de sélection de trajectoires robotiques basées sur des préférences spatiales et stylistiques.
2. Jeu de Données Spécialisé : Création d'un dataset de 558 problèmes combinant navigation et manipulation avec des contraintes linguistiques variées.
3. Analyse des Méthodes de Visualisation : Démonstration que la présentation simultanée de toutes les options (Single-image) est cruciale pour permettre au modèle de comparer et de raisonner spatialement.
4. Preuve de Faisabilité du Fine-Tuning : Démonstration que des modèles plus petits et moins coûteux peuvent atteindre des performances élevées avec un fine-tuning minimal, rendant l'approche plus accessible.

5. Signification et Limites

Signification :
Ce travail valide le potentiel d'intégrer des VLMs dans les pipelines de planification de mouvement robotique pour interpréter des préférences humaines subtiles. Cela ouvre la voie à des robots plus intuitifs capables de comprendre non seulement les objectifs, mais aussi le style d'exécution souhaité.

Limites et Défis Identifiés :

• Échecs de Raisonement : Les VLMs échouent souvent à identifier le chemin le plus court ou le plus long, des tâches que les planificateurs classiques (RRT*, PRM*) résolvent parfaitement.
• Hallucinations : Les modèles sélectionnent parfois des trajectoires inexistantes (ex: choisir une couleur de trajectoire qui n'est pas présente sur l'image).
• Précision : Bien que prometteuse, la précision (autour de 70 %) n'est pas encore suffisante pour un déploiement autonome sans supervision humaine, nécessitant des améliorations futures pour une intégration robuste.

En conclusion, l'article établit une base solide pour l'utilisation des VLMs comme "juge" de préférences dans la planification robotique, tout en soulignant la nécessité d'améliorer la précision et de gérer les coûts de calcul pour une adoption industrielle.