LRR-Bench: Left, Right or Rotate? Vision-Language models Still Struggle With Spatial Understanding Tasks

L'article LRR-Bench présente un benchmark synthétique évaluant la compréhension spatiale des modèles vision-langage, révélant qu'ils peinent considérablement à interpréter les relations spatiales absolues et les mouvements 3D par rapport aux performances humaines.

L'essentiel

🧭 Le Grand Test de l'Orientement : Pourquoi les IA sont-elles perdues ?

Imaginez que vous donnez à un robot une carte au trésor. Si vous lui dites : « Le coffre est à gauche du palmier », il devrait pouvoir le trouver. Mais si vous lui dites : « Le coffre a bougé vers la droite pendant que tu tournais la tête », le robot risque de paniquer.

C'est exactement ce que les chercheurs ont découvert avec les modèles de vision et de langage (les IA qui voient et parlent, comme GPT-4 ou les versions de Qwen). Ils ont créé un nouveau test, appelé LRR-Bench, pour voir si ces IA savent vraiment se repérer dans l'espace, ou si elles ne font que deviner.

1. Le Problème : Des IA qui ont le vertige

Aujourd'hui, les IA sont très fortes pour reconnaître des chats, des voitures ou pour écrire des poèmes. Mais dès qu'il s'agit de l'espace (gauche, droite, devant, derrière, rotation, mouvement), elles deviennent très confuses.

Les chercheurs ont comparé les IA à des humains :

• Les humains : Comme des experts en orientation, ils réussissent presque parfaitement le test (environ 90-100 % de réussite).
• Les IA : Même les plus intelligentes (les "géants" de 72 milliards de paramètres) sont souvent perdues. Sur les tâches complexes, elles obtiennent des scores proches de zéro. C'est comme si elles regardaient une photo et ne comprenaient pas que les objets ont une position fixe dans le monde réel.

2. Le Test : Un jeu de piste en deux parties

Pour évaluer ces IA, les chercheurs ont créé un terrain de jeu virtuel (comme un jeu vidéo Minecraft ou des images générées par ordinateur) pour éviter que les IA ne trichent en ayant déjà vu les images dans leurs entraînements.

Le test se divise en deux grands défis :

• Le Défi "Statique" (Où est-ce ?) :

  • L'analogie : On pose une pomme sur une table. On demande à l'IA : « La pomme est-elle en haut à gauche ? »
  • Résultat : Les IA sont plutôt bonnes ici, un peu comme un enfant qui apprend à lire une carte.

• Le Défi "Dynamique" (Comment ça bouge ?) :

  • L'analogie : Imaginez que vous marchez dans une pièce (la caméra bouge) ou que quelqu'un tourne sur lui-même (l'objet bouge). On demande à l'IA : « Est-ce que la caméra tourne vers la droite ? » ou « Est-ce que la voiture avance vers la gauche ? »
  • Résultat : Catastrophe. Les IA ne comprennent pas la 3D. Elles ne peuvent pas reconstruire mentalement la scène. C'est comme essayer de deviner la trajectoire d'une balle en regardant une seule photo floue.

3. Les Surprises : Plus c'est gros, plus ça rate ?

Les chercheurs ont essayé plusieurs astuces pour aider les IA, mais certaines ont eu l'effet inverse :

• Le "Pense-bête" (Chain of Thought) : On a demandé aux IA de "réfléchir à voix haute" avant de répondre.
  • Résultat : Pour les tâches simples, ça ne change rien. Pour les tâches complexes, ça les fait rater encore plus ! C'est comme si, en essayant de raisonner, l'IA se créait des hallucinations (des mensonges) et s'embrouillait elle-même.
• L'Entraînement Spécial : On a pris des IA et on les a entraînées spécifiquement sur des données 3D.
  • Résultat : Ça n'a pas aidé, et parfois ça a même rendu les IA pires. Apprendre à marcher ne suffit pas si on ne comprend pas comment fonctionne le sol.
• La Taille compte-t-elle ?
  • Résultat : Les plus gros modèles ne sont pas toujours les meilleurs. Parfois, un modèle plus petit devine mieux qu'un géant qui se trompe de direction.

4. La Conclusion : Il reste du pain sur la planche

En résumé, ce papier nous dit une chose importante : Les IA actuelles sont de brillants bibliothécaires, mais de piètres architectes.

Elles peuvent décrire une image avec des mots magnifiques, mais elles ne "voient" pas vraiment l'espace comme nous le faisons. Elles ne comprennent pas la profondeur, la rotation ou le mouvement relatif.

Pour que les robots puissent conduire des voitures autonomes en toute sécurité ou manipuler des objets dans une maison, ils doivent d'abord apprendre à ne pas se perdre. Ce test (LRR-Bench) est une boussole pour les chercheurs : il montre exactement où les IA tombent en panne, afin de pouvoir les réparer.

En une phrase : Les IA sont très fortes pour parler, mais elles ont encore besoin d'apprendre à marcher sans tomber dans le vide ! 🚶‍♂️🤖

Résumé technique

1. Problématique

Les applications du monde réel, telles que la conduite autonome et la manipulation par des robots humanoïdes, exigent une perception spatiale précise. Cependant, la capacité des Modèles Vision-Langage (VLM) à comprendre les relations spatiales et à percevoir les mouvements dans l'espace 3D reste sous-évaluée.
Les benchmarks existants se concentrent principalement sur des relations spatiales statiques et basiques (ex: « l'objet A est à gauche de l'objet B ») dans des images naturelles. Ils négligent souvent des capacités plus complexes et réalistes telles que :

• La perception du mouvement et de la séquence temporelle.
• La compréhension des transformations 3D (rotation, translation).
• La distinction entre le mouvement de l'objet et celui de la caméra.
• La compréhension de la profondeur relative et de l'orientation.

L'article soulève la question de savoir si les VLMs actuels possèdent une véritable compréhension spatiale ou s'ils se contentent de corrélations statistiques superficielles.

2. Méthodologie : LRR-Bench

Les auteurs proposent LRR-Bench, un benchmark entièrement synthétique conçu pour évaluer rigoureusement la compréhension spatiale.

A. Génération de Données

Pour éviter la contamination des données (le risque que les modèles aient déjà vu les exemples d'entraînement) et réduire les coûts, le dataset est généré de deux manières :

• Modèles de Diffusion (Flux.1-S) : Utilisés pour les tâches statiques (Position, Profondeur). Les images générées sont filtrées par GroundingDINO pour garantir la présence et la localisation correcte des objets.
• Minecraft : Utilisé pour les tâches dynamiques et 3D (Mouvement, Rotation). Cela permet de générer des séquences d'images avec une cohérence géométrique parfaite et un contrôle total sur les mouvements de la caméra et des objets.

B. Taxonomie des Tâches

Le benchmark décompose la compréhension spatiale en deux catégories principales, couvrant 9 tâches distinctes :

1. Compréhension de la Position Absolue (2D) :

   • Position (Pos.) : Identifier si un objet est dans une zone spécifique (ex: coin inférieur gauche).
   • Combinaison de Positions (Pos. C.) : Analyser une image composite contenant plusieurs sous-images et identifier la position d'objets dans chacune.
   • Séquence de Positions (Pos. S.) : Analyser une séquence d'images indépendantes pour vérifier la cohérence des positions.

2. Compréhension de l'Espace 3D :

   • Profondeur (Dep.) : Déterminer quel objet est devant l'autre.
   • Rotation de Caméra (Ca. R.) : Détecter la direction de rotation de la caméra à partir d'une séquence.
   • Mouvement de Caméra (Ca. M.) : Identifier la direction de déplacement de la caméra.
   • Orientation de l'Objet (Obj. H. D.) : Déterminer la direction vers laquelle un objet regarde (ex: tête de mouton).
   • Direction de Mouvement de l'Objet (Obj. M. D.) : Vérifier si la direction de déplacement d'un objet correspond à son orientation.
   • Mouvement de l'Objet (Obj. M.) : Détecter si un objet a bougé par rapport à l'arrière-plan, même si la caméra bouge également.

C. Protocole d'Évaluation

• Modèles testés : Plus de 20 VLMs state-of-the-art (GPT-4o, Qwen-VL, InternVL, LLaVA, etc.), incluant des modèles open-source (jusqu'à 72B de paramètres) et commerciaux.
• Stratégies de Prompting : Comparaison entre une réponse directe et une approche avec raisonnement (Chain-of-Thought / CoT).
• Métrique : Un score pondéré où les performances inférieures à 50 % ne sont pas comptabilisées (pour pénaliser les devinettes aléatoires).

3. Résultats Clés

Les expériences révèlent un fossé significatif entre les performances humaines et celles des modèles :

• Écart Humain vs IA : Les humains atteignent près de 90-100 % de précision sur toutes les tâches. En revanche, les meilleurs VLMs n'atteignent des performances humaines que sur les deux tâches les plus simples (Position de base et Profondeur). Sur les tâches complexes (mouvement, rotation 3D), les scores des VLMs chutent drastiquement, souvent proches de zéro.
• Échec du Raisonnement (CoT) : Contrairement à d'autres domaines, l'ajout d'une étape de raisonnement (Chain-of-Thought) n'améliore pas systématiquement les résultats. Dans certains cas (ex: Rotation de Caméra), le raisonnement dégrade les performances en introduisant des hallucinations.
• Limites de l'Échelle et de l'Entraînement :
  • L'augmentation de la taille du modèle n'apporte pas de gains proportionnels sur les tâches spatiales complexes.
  • L'optimisation par préférence (MPO) et le fine-tuning sur des datasets 3D spécifiques (comme SpaceQwen ou LLaVA-3D) n'ont pas amélioré les performances et ont parfois même détérioré les résultats par rapport aux modèles de base.
• Types d'Échecs :
  1. Reconnaissance d'objets insuffisante : Les petits modèles échouent même sur des tâches binaires simples.
  2. Défaillance du raisonnement logique : Incapacité à gérer les séquences ou les combinaisons complexes.
  3. Représentations spatiales incomplètes : Absence d'une représentation interne robuste de la géométrie 3D et de l'orientation.

4. Contributions Principales

1. LRR-Bench : Introduction d'un benchmark synthétique complet et évolutif pour évaluer la compréhension spatiale (2D et 3D, statique et dynamique) sans risque de contamination des données.
2. Évaluation Systématique : Analyse approfondie de plus de 20 modèles SOTA, démontrant que les capacités spatiales actuelles sont loin d'être matures.
3. Insights sur le Raisonnement : Mise en évidence du fait que le raisonnement explicite (CoT) n'est pas une solution universelle pour les tâches spatiales et peut parfois être contre-productif.
4. Analyse des Limites : Identification que les stratégies actuelles (scaling, fine-tuning 3D, optimisation de préférence) ne résolvent pas le problème fondamental de la perception spatiale des VLMs.

5. Signification et Impact

Ce travail met en lumière une lacune critique dans le développement des modèles multimodaux. Bien que les VLMs excellent dans la description d'images et la compréhension sémantique, ils manquent d'une véritable intelligence spatiale nécessaire pour des applications critiques comme la robotique et la conduite autonome.

LRR-Bench fournit un outil standardisé pour mesurer ces progrès futurs. Les résultats suggèrent que pour atteindre une compréhension spatiale robuste, il ne suffit pas d'augmenter la taille des modèles ou d'ajouter des données 3D ; une nouvelle architecture ou de nouveaux mécanismes d'apprentissage sont probablement nécessaires pour intégrer une représentation géométrique cohérente et dynamique du monde.