Why MLLMs Struggle to Determine Object Orientations

1. Problématique

Les Modèles de Langage Multimodaux (MLLMs), tels que LLaVA et Qwen-VL, éprouvent des difficultés notables dans les tâches de raisonnement spatial, en particulier pour identifier l'orientation 2D précise des objets dans une image (par exemple, déterminer si un objet est tourné de 45° ou 90°). Des études antérieures ont montré que les meilleurs systèmes n'atteignent qu'une précision de 34 % à 60 % sur des benchmarks dédiés.

L'hypothèse dominante, avancée par des chercheurs comme Tong et al. et Nichols et al., suggère que cette défaillance provient du encodeur visuel (tel que CLIP, SigLIP ou ViT). L'idée est que ces encodeurs, pré-entraînés pour l'alignement sémantique image-texte plutôt que pour le raisonnement géométrique, ne préserveraient pas les informations d'orientation dans leurs représentations vectorielles (embeddings). Si l'information n'est pas encodée, le MLLM ne peut pas la récupérer.

2. Méthodologie

Pour tester rigoureusement cette hypothèse, les auteurs ont conçu un protocole empirique contrôlé visant à déterminer si l'information d'orientation est effectivement présente dans les embeddings visuels, indépendamment de la capacité du modèle de langage à l'exploiter.

• Modèles étudiés : LLaVA-OneVision (utilisant SigLIP), Qwen2.5-VL-7B-Instruct (utilisant ViT), LLaVA-1.5 et LLaVA-1.6 (utilisant CLIP).
• Protocole expérimental :
  • Images entières : Rotation d'images complètes ou d'objets in situ (sur fond statique) par incréments de 1°.
  • Images composites (Blended) : Pour les modèles à entrée unique (LLaVA 1.5/1.6), des objets de premier plan (foreground) sont superposés sur des arrière-plans naturels avec des masques de fusion alpha pour éviter les artefacts de bordure lors de la rotation.
  • Extraction de caractéristiques : Les vecteurs d'embedding générés par les encodeurs visuels sont extraits sans modification des modèles.
• Analyse par régression : Au lieu de demander au MLLM de répondre à une question, les auteurs entraînent des régresseurs linéaires (Ridge Regression) simples pour prédire l'angle de rotation directement à partir des embeddings visuels.
  • Deux régresseurs sont entraînés pour prédire le sinus et le cosinus de l'angle.
  • L'objectif est de vérifier si une relation linéaire simple peut extraire l'information d'orientation des vecteurs.
• Analyse de la distribution de l'erreur : Utilisation de tests statistiques (Kolmogorov-Smirnov, Q-Q plots) pour vérifier si les erreurs de prédiction suivent une distribution gaussienne (aléatoire).
• Expériences de substitution de caractéristiques (Feature Substitution) : Pour comprendre la nature de l'encodage, les auteurs remplacent progressivement des caractéristiques d'une image "cible" par celles d'une image "ancrage" (d'orientation connue) afin de voir combien de caractéristiques doivent être modifiées pour tromper le prédicteur linéaire.

3. Contributions Clés

1. Réfutation de l'hypothèse de l'encodeur : La contribution principale est la preuve empirique que les encodeurs visuels (CLIP, SigLIP, ViT) préservent l'information d'orientation avec une grande précision, contredisant l'hypothèse selon laquelle le problème vient de la perte d'information au niveau de l'encodeur.
2. Analyse de la diffusion de l'information : Les auteurs montrent que l'information d'orientation n'est pas localisée dans quelques caractéristiques clés, mais est diffusée de manière lâche sur des dizaines de milliers de dimensions du vecteur d'embedding.
3. Sensibilité au contexte : Ils découvrent que l'estimation de l'orientation d'un objet de premier plan dépend fortement de l'orientation canonique de l'arrière-plan. Si l'arrière-plan est lui-même tourné, la prédiction de l'objet devient aléatoire, même si l'encodeur contient théoriquement l'information.

4. Résultats

• Précision de prédiction linéaire : Les régresseurs linéaires ont pu prédire l'orientation des images et des objets avec une erreur absolue moyenne (MAE) inférieure à 3° (souvent < 2°) sur l'ensemble des modèles testés (LLaVA-OneVision, Qwen, LLaVA 1.5/1.6).
  • Cela démontre que l'information est bien présente et accessible via une transformation linéaire simple.
• Distribution des erreurs : Les erreurs de prédiction sont distribuées de manière aléatoire et suivent approximativement une loi gaussienne, indiquant un bruit stochastique inhérent au réseau de neurones plutôt qu'un biais structurel ou une absence d'information.
• Résultats de substitution de caractéristiques :
  • Pour tromper le prédicteur et le faire croire qu'une image est orientée à 9° alors qu'elle ne l'est pas, il faut remplacer plus de 540 000 caractéristiques (pour LLaVA-OneVision) ou plus de 128 000 (pour Qwen) dans le vecteur d'embedding.
  • Cela confirme que l'information d'orientation est hautement diffuse et non concentrée sur un petit sous-ensemble de neurones.
• Défaillance des MLLMs : Malgré la présence de l'information dans les embeddings, les modèles de langage (LLaVA, Qwen) échouent toujours à répondre correctement aux questions d'orientation. De plus, les modèles tendent à répondre par défaut à des angles canoniques (ex: 90°) ou à déclarer l'impossibilité de la tâche.
• Impact de l'arrière-plan : Lorsque l'arrière-plan est tourné, l'erreur de prédiction de l'orientation du premier plan explose (MAE > 80°), suggérant que le modèle utilise le contexte global comme référence absolue et ne parvient pas à isoler l'orientation relative de l'objet.

5. Signification et Conclusion

Ce travail modifie fondamentalement la compréhension des limites des MLLMs en matière de raisonnement spatial :

• Le problème n'est pas l'encodage, mais l'exploitation : La défaillance ne provient pas de l'encodeur visuel qui "oublie" l'orientation, mais de l'architecture du modèle de langage (ou de son mécanisme d'attention) qui échoue à extraire et à raisonner sur cette information diffusée.
• Difficulté d'apprentissage : Le fait que l'information soit répartie sur des dizaines de milliers de caractéristiques rend son apprentissage et son exploitation par le module de langage extrêmement difficiles, car le modèle doit apprendre à corréler un grand nombre de signaux faibles plutôt que de se fier à un signal fort et localisé.
• Implications futures : Pour améliorer les capacités spatiales des MLLMs, il ne suffit pas de changer l'encodeur visuel. Il faut probablement développer des mécanismes d'attention ou des modules de raisonnement capables d'agréger efficacement ces informations diffusées, ou entraîner les modèles sur des tâches spécifiques de rotation d'arrière-plan pour apprendre la notion d'orientation relative.

En résumé, les MLLMs "voient" l'orientation (elle est dans les vecteurs), mais ne savent pas "penser" avec cette information (elle est trop diffuse et mal exploitée par le langage).