🤖 AI

OrientSAM: Mitigating Camera-Centric Shortcut in Multimodal Spatial Reasoning via Orientation-Aware Spatial Alignment

Cet article introduit OrientSAM, un cadre d'alignement spatial sensible à l'orientation qui atténue les raccourcis centrés sur la caméra dans les grands modèles de langage multimodaux en injectant des informations d'orientation explicites et en employant l'apprentissage par curriculum pour permettre un raisonnement spatial allocentrique robuste.

Auteurs originaux : Wenxiao Fan, Hang Yin, Kan Li

Publié 2026-07-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenxiao Fan, Hang Yin, Kan Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vous tenez dans une pièce, regardant la photo de deux amis en pleine conversation. Si vous demandez à un humain : « Qui est à gauche ? », il regardera la photo et pourrait dire : « La personne sur le côté gauche de l'image ». Mais si vous demandez : « Qui est à votre gauche ? » en désignant l'un des amis, la réponse change complètement. Vous devez mentalement vous mettre à la place de cet ami, vous retourner pour faire face à la direction dans laquelle il regarde, puis regarder l'autre personne. Cette gymnastique mentale est appelée « prise de perspective » ; c'est un super-pouvoir que les humains possèdent et que les ordinateurs ont beaucoup de mal à maîtriser.

Dans le monde de l'Intelligence Artificielle, et plus précisément des « Modèles de Langage Multimodaux Grands » (MLLM), les ordinateurs deviennent très doués pour regarder des images et lire du texte. Ils peuvent vous dire qu'il y a un chat sur un tapis ou qu'une voiture est rouge. Mais lorsqu'il s'agit de raisonnement spatial — déterminer où se trouvent les choses dans l'espace 3D par rapport à d'autres choses, et non pas seulement par rapport à la caméra — ils se heurtent souvent à un mur. Ces modèles d'IA ont tendance à être « centrés sur la caméra », ce qui signifie qu'ils ne voient le monde qu'à travers la lentille. Ils ont du mal à comprendre que « gauche » et « droite » dépendent de la direction vers laquelle une personne ou un objet est orienté, et non pas seulement de l'endroit où ils se situent sur l'écran. Ce document, intitulé OrientSAM, explore pourquoi ces ordinateurs intelligents se laissent si facilement piéger par cette astuce simple et construit un nouveau système pour les aider à voir le monde à travers les yeux de quelqu'un d'autre.

Le piège de la caméra : Pourquoi l'IA se perd

Les chercheurs ont commencé par étudier un mode de défaillance spécifique. Ils ont remarqué que lorsqu'on demande à une IA : « Est-ce que le ballon est à gauche ou à droite du joueur ? », elle répond souvent en se basant sur la position du joueur dans la photo (la « vue caméra ») plutôt que sur sa direction réelle.

Pour prouver cela, ils ont mis en place un « piège ». Ils ont créé des questions de test où la vue caméra et la vue du joueur divergeaient. Par exemple, imaginez un joueur faisant face à la caméra. Pour la caméra, un ballon peut se trouver sur le côté droit du joueur dans l'image. Mais si le joueur fait face à la caméra, ce ballon est en réalité sur la main gauche du joueur. L'étude a révélé que les modèles d'IA actuels tombent presque toujours dans le piège. Ils utilisent un « raccourci » : ils regardent simplement les côtés gauche et droit de l'image et ignorent l'orientation du joueur. C'est comme un élève qui mémorise que « la gauche est toujours le côté gauche de la page » sans jamais comprendre que la « gauche » change si l'on retourne la page.

Les chercheurs ont découvert que ce raccourci s'aggrave lorsque l'objet de référence (la personne ou la chose dont on parle) fait face directement à la caméra. Plus l'objet est aligné avec la caméra, plus l'IA est confuse et revient par défaut au raccourci du plan de l'image. Cela suggère que le problème n'est pas que l'IA est incapable de voir les objets, mais qu'elle manque d'un « modèle mental » spécifique de la manière dont ces objets sont orientés dans l'espace.

La solution : OrientSAM

Pour corriger cela, l'équipe a construit OrientSAM (Orientation-aware Spatial Alignment Model - Modèle d'alignement spatial sensible à l'orientation). Considérez cela comme si l'on donnait à l'IA des « lunettes 3D » et une boussole.

Au lieu de simplement fournir l'image et la question à l'IA, OrientSAM injecte des informations explicites sur l'orientation directement dans le cerveau du modèle. Voici comment cela fonctionne, en utilisant quelques étapes créatives :

Le jeton « Boussole » : Le système ne se contente pas de dire « il y a une personne ». Il ajoute un jeton numérique spécial qui dit : « Cette personne fait face à 45 degrés vers la droite ». Pour s'assurer que l'ordinateur comprenne que faire face à 359 degrés est presque la même chose que faire face à 1 degré (puisque 0 et 360 sont le même point), ils utilisent une astuce mathématique ingénieuse appelée encodage de Fourier. Imaginez enrouler une ficelle autour d'un cercle ; peu importe le nombre de tours, la ficelle se connecte de manière fluide. Cela aide l'IA à comprendre que les directions sont une boucle continue, et non une ligne droite.
La « Salle de sport mentale » (Apprentissage par curriculum) : On ne demanderait pas à un enfant de résoudre un problème de géométrie complexe avant qu'il sache compter. De la même manière, les chercheurs n'ont pas jeté les questions de perspective les plus difficiles à l'IA. Ils ont utilisé une stratégie d'apprentissage par curriculum.
- Étape 1 : D'abord, ils ont appris à l'IA à simplement reconnaître la direction vers laquelle les objets font face. « Regarde cette voiture ; elle pointe vers le Nord. »
- Étape 2 : Une fois que l'IA était capable de repérer les directions, ils sont passés aux choses sérieuses : « Maintenant, si cette voiture fait face au Nord, où se trouve l'arbre par rapport à elle ? »
  Cette étape par étape a empêché l'IA de retomber dans ses raccourcis paresseux centrés sur la caméra.

Les résultats : Voir à travers de nouveaux yeux

L'équipe a testé OrientSAM sur trois benchmarks différents (Spatial-MM, ViewSpatial et 3DSRBench), qui sont comme des tests standardisés pour les compétences spatiales de l'IA.

Les résultats sont clairs : OrientSAM surpasse systématiquement les autres modèles d'IA performants, en particulier sur les questions complexes de type « non-caméra ».

Sur le test Spatial-MM, pour les questions dont la réponse dépendait du point de vue d'une personne (et non de la caméra), OrientSAM a obtenu un score de 87,31 %, alors que le deuxième meilleur modèle n'a obtenu que 39,55 %.
Sur le test ViewSpatial, spécifiquement pour la « direction relative du point de vue de la personne » (déterminer où se trouvent les choses du point de vue d'une personne), OrientSAM a atteint 85,04 %, écrasant le meilleur score précédent de 72,57 %.

L'étude suggère qu'en enseignant explicitement l'orientation à l'IA et en l'entraînant par étapes, nous pouvons l'empêcher de s'appuyer sur des raccourcis paresseux du plan de l'image. L'IA ne se contente plus de « voir » l'image ; elle commence à comprendre le monde en 3D et peut raisonner à son sujet à partir de la perspective des objets qui le composent.

Ce que cela signifie

Ce document ne prétend pas avoir résolu tous les problèmes de raisonnement spatial. Le système repose toujours sur d'autres outils pour estimer la profondeur et l'orientation, et si ces outils commettent des erreurs, OrientSAM peut aussi être confus. Cependant, les conclusions suggèrent fortement que la pièce manquante pour de nombreux modèles d'IA n'est pas davantage de données ou des cerveaux plus gros, mais une meilleure façon de représenter la direction. En donnant à l'IA un sens clair de « vers où est l'avant », nous pouvons l'aider à dépasser l'objectif de la caméra et à commencer à comprendre le monde comme nous le faisons : de l'intérieur vers l'extérieur.

Résumé Technique : OrientSAM

Problématique

Les modèles de langage de grande taille multimodaux (MLLM) présentent des limitations significatives dans les tâches de raisonnement spatial nécessitant une transformation de perspective. Bien que les modèles actuels soient performants sur des tâches interprétables directement depuis la vue de la caméra, ils peinent lorsque la réponse correcte dépend du point de vue local d'un objet de référence (raisonnement allocentrée) plutôt que du plan de l'image (raisonnement égocentrée).

Les auteurs identent un mode de défaillance spécifique nommé le « raccourci centré sur la caméra » (camera-centric shortcut). Dans les scénarios où la relation spatiale définie par le référentiel local de l'objet de référence entre en conflit avec l'arrangement horizontal dans le plan de l'image, les MLLM reviennent systématiquement au signal centré sur la caméra. L'article démontre que ce raccourci n'est pas seulement un déficit général de raisonnement spatial, mais qu'il est étroitement lié à l'orientation de l'objet de référence. Plus précisément, les modèles échouent à effectuer la transformation de référentiel nécessaire lorsque la direction de face de l'objet de référence diverge du point de vue de la caméra, indiquant une absence de modélisation explicite de l'orientation dans leurs représentations.

Méthodologie : OrientSAM

Pour remédier à cela, les auteurs proposent OrientSAM (Orientation-aware Spatial Alignment), un cadre conçu pour injecter des informations d'orientation explicites dans les représentations multimodales et les aligner avec le raisonnement spatial en aval. La méthodologie se compose de trois composantes clés :

1. Construction de données spatiales multi-experts

Puisque la supervision spatiale sensible à l'orientation à grande échelle est rare, les auteurs ont construit un pipeline pour générer automatiquement des données d'entraînement à partir d'images 2D à grande échelle. Ce pipeline intègre :

Ancrage de région (Region Grounding) : Utilisation de modèles tels que GroundingDINO et SAM pour extraire les boîtes englobantes et les masques de segmentation des objets.
Estimation de la géométrie monoculaire : Estimation des cartes de profondeur et des intrinsèques de la caméra pour dériver la profondeur au niveau de l'instance.
Prédiction de l'orientation : Utilisation d'un modèle d'estimation de l'orientation pour prédire les directions de face sémantiques (polaire, azimut et angles de rotation) pour chaque objet.
Organisation par curriculum : Les données sont filtrées par niveau de confiance et organisées en deux étapes : une étape de perception de l'orientation (apprentissage de primitives d'orientation stables) et une étape de raisonnement relationnel (apprentissage de la transformation de référentiel).

2. Représentation sensible à l'orientation

OrientSAM encode explicitement l'orientation de l'objet dans l'espace de représentation multimodal, allant au-delà du simple traitement de l'orientation comme une indication textuelle.

Encodage d'angle basé sur Fourier : Pour gérer la nature périodique des angles (où $0^\circ$ et $360^\circ$ sont identiques), les auteurs emploient un encodage de caractéristiques de Fourier ( $\gamma(\phi)$ ) plutôt qu'une régression scalaire directe.
Injection de jetons (Token Injection) : L'encodage de l'orientation est injecté dans les représentations visuelles et textuelles :
- Visuel : L'encodage de l'orientation est projeté et ajouté aux caractéristiques RGB au niveau de la région ( $\tilde{r}_i = r_i + W_o\gamma(\phi_i)$ ).
- Textuel : Le jeton de l'objet est augmenté du même encodage ( $\tilde{e}_i = \text{Embed}(t_i) + W_t\gamma(\phi_i)$ ).
Alignement structuré : Le modèle utilise des jetons désengagés pour l'apparence ( $\langle r_{gbi} \rangle$ ), la profondeur ( $\langle depth_i \rangle$ ) et l'orientation ( $\langle orient_i \rangle$ ). Cela permet au modèle de langage d'accéder dynamiquement aux indices géométriques spécifiques requis pour le raisonnement, plutôt que de les réduire en un seul vecteur.

3. Stratégie d'apprentissage par curriculum

Le processus d'entraînement suit un curriculum progressif pour stabiliser l'apprentissage :

Étape 1 (Perception de l'orientation) : Le modèle est entraîné à prédire l'angle d'azimut d'objets individuels, établissant une correspondance robuste entre l'apparence visuelle et la direction de face sémantique.
Étape 2 (Raisonnement sensible à l'orientation) : Le modèle est entraîné sur des tâches de prise de perspective complètes, prédisant les relations spatiales sous le système de coordonnées de l'objet de référence en utilisant les jetons structurés RGB-profondeur-orientation. Cela empêche le modèle de converger vers des raccourcis centrés sur la caméra en le forçant à s'appuyer sur les priors d'orientation appris.

Contributions Clés

Cadre de diagnostic : Les auteurs introduisent un cadre unifié pour distinguer les réponses centrées sur le référent (vérité terrain sous le point de vue de l'objet) des réponses centrées sur la caméra (relations dans le plan de l'image). L'analyse révèle que les MLLM actuels présentent un fort raccourci centré sur la caméra, particulièrement lorsque ces deux réponses entrent en conflit, et que la force de ce raccourci varie selon l'orientation de l'objet de référence.
Cadre OrientSAM : Un nouveau cadre d'alignement qui incorpore explicitement les priors d'orientation dans les représentations multimodales via un encodage basé sur Fourier et des jetons structurés, traitant le goulot d'étranglement de la transformation de référentiel.
Pipeline de construction de données : Un pipeline multi-expert évolutif qui génère une supervision spatiale sensible à l'orientation à partir d'images 2D à grande échelle, permettant l'entraînement de modèles sur des tâches de prise de perspective sans annotation 3D manuelle.
Validation empirique : Des expériences approfondies démontrent que la modélisation explicite de l'orientation est critique pour un raisonnement allocentré robuste.

Résultats Expérimentaux

OrientSAM a été évalué sur trois benchmarks : Spatial-MM, ViewSpatial et 3DSRBench.

Gains de performance : OrientSAM surpasse systématiquement les bases solides (incluant LLaVA-v1.5, Qwen2.5-VL, Qwen3-VL, SpatialRGPT et APC-Vis).
- Sur Spatial-MM, il atteint une précision de 87,31 % sur les tâches non centrées sur la caméra, dépassant nettement la meilleure base (APC-Vis à 86,57 %).
- Sur ViewSpatial, il atteint des résultats de pointe sur trois des quatre sous-tâches, avec une marge notable sur la direction relative de la vue de la personne (85,04 % contre 72,57 % pour APC-Vis).
- Sur 3DSRBench, il domine dans les tâches d'Orientation & Direction (81,83 %) et de Relation Multi-objets (77,80 %).
Études d'ablation :
- Injection d'orientation : Supprimer la branche d'orientation fait chuter la performance (par exemple, de 87,31 % à 76,29 % sur les tâches non centrées sur la caméra de Spatial-MM), confirmant que le seul réglage fin des données est insuffisant.
- Apprentissage par curriculum : La suppression de la stratégie de curriculum réduit la performance, indiquant que l'entraînement progressif de la perception vers le raisonnement est essentiel pour la stabilité.
- Stratégie d'encodage : L'encodage basé sur Fourier (spécifiquement $N=2$ ) est plus performant que l'encodage scalaire direct, validant la nécessité de modéliser la nature périodique des angles.
Analyse des raccourcis : L'étude confirme qu'OrientSAM atténue efficacement le raccourci centré sur la caméra. Sur les échantillons de conflit, l'accord du modèle avec la vérité terrain centrée sur le référent augmente tandis que sa dépendance aux indices centrés sur la caméra diminue, particulièrement dans les régimes de face et de dos où les modèles précédents échouaient.

Signification et Revendications

L'article affirme que le principal goulot d'étranglement pour le raisonnement spatial sensible à la perspective dans les MLLM n'est pas un manque de perception visuelle générale ou de indices géométriques génériques, mais l'absence de modélisation explicite de l'orientation.

Les auteurs soutiennent que :

Le biais centré sur la caméra est systématique : Les modèles actuels s'appuient sur des heuristiques du plan de l'image plutôt que sur une véritable prise de perspective, un comportement exacerbé lorsque l'orientation de l'objet de référence entre en conflit avec la vue de la caméra.
L'orientation est un biais inductif manquant : En injectant explicitement des priors d'orientation dans l'espace de représentation, les modèles peuvent apprendre à transformer les relations spatiales en référentiels locaux, permettant un raisonnement allocentré robuste.
Implications pratiques : Cette approche est cruciale pour les applications nécessitant une interaction incarnée, la collaboration humain-objet et la compréhension de scène, où le raisonnement doit se produire depuis le point de vue d'une entité dans la scène plutôt que depuis celui de la caméra.

Les auteurs restent modestes quant aux limites, reconnaissant que le cadre dépend actuellement de la qualité des modèles experts en amont (ancrage, profondeur, orientation) et se concentre principalement sur le raisonnement spatial gauche/droite. Ils suggèrent que les travaux futurs devraient traiter des relations spatiales plus riches et réduire la dépendance aux annotations externes.