💻 computer science

SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification

L'article introduit SEER, une interface d'inférence sans entraînement pour les modèles vision-langage gelés qui améliore la classification des relations spatiales en construisant des vues de preuves spécifiques à la requête avec des rôles sujet/objet explicites et un contexte géométrique complémentaire, réduisant ainsi considérablement les erreurs causées par des vues globales ambiguës ou une sélection incorrecte d'instances.

Auteurs originaux : Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Publié 2026-08-05

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de résoudre un puzzle où deux pièces doivent s'emboîter parfaitement. Dans le monde de l'intelligence artificielle, il existe des « Modèles Vision-Langage » (VLM) — des cerveaux informatiques super intelligents capables de regarder une image et de lire une question à son sujet. Ils sont excellents pour reconnaître les objets ; si vous leur montrez une photo d'un chat et d'un chien, ils savent lequel est lequel. Mais voici la partie délicate : quand vous leur demandez : « Le chat est-il à gauche du chien ? », ils se trompent parfois. Ils peuvent identifier correctement les animaux mais mélanger leurs positions, ou bien deviner en se basant sur ce qu'ils ont lu dans des livres plutôt que sur ce qu'ils voient réellement. C'est comme un élève qui connaît les définitions de « gauche » et de « droite », mais qui continue de pointer la mauvaise direction en regardant une carte. Les scientifiques cherchent à corriger cela car si ces cerveaux d'IA ne peuvent pas comprendre les relations spatiales, ils ne pourront pas nous aider pour des tâches comme la conduite de voitures, la navigation de robots ou la lecture de diagrammes complexes en toute sécurité.

Entrez en scène SEER, une nouvelle astuce ingénieuse pour ces cerveaux d'IA qui ne nécessite pas de leur apprendre quoi que ce soit de nouveau. Considérez SEER comme un système de « projecteur et d'étiquetage ». Au lieu de laisser l'IA fixer l'image entière et désordonnée pour deviner, SEER trouve d'abord discrètement les deux éléments spécifiques dont parle la question (comme le chat et le chien). Ensuite, il crée une vue spéciale, zoomée, uniquement pour ces deux éléments. Il dessine un cadre rouge autour du sujet et un cadre bleu autour de l'objet, en les étiquetant clairement comme « Sujet » et « Objet ». Il cache les réponses possibles (comme « gauche » ou « droite ») durant cette étape pour que l'IA ne s'appuie pas sur les choix de réponses pour décider où regarder. En forçant l'IA à se concentrer sur une vue propre et étiquetée de ces deux seuls éléments, SEER aide l'IA à prendre une bien meilleure décision. Les chercheurs ont découvert que cette méthode simple de « recentrage et d'étiquetage » a rendu l'IA nettement meilleure pour comprendre les relations spatiales, améliorant sa précision d'environ 4 % en moyenne sur différents tests.

Le Problème : Le « Flou Géant » de l'IA

Imaginez que vous soyez dans une pièce bondée et que quelqu'un vous demande : « Est-ce que la personne au chapeau rouge se tient à gauche de la personne au t-shirt bleu ? » Si vous jetez simplement un coup d'œil à toute la pièce, vous pourriez vous tromper. Peut-être voyez-vous un chapeau rouge tout à gauche et un t-shirt bleu tout à droite, mais les personnes spécifiques dont parle la question se trouvent en réalité juste à côté l'une de l'autre au milieu.

Les modèles d'IA actuels commettent souvent la même erreur. Ils peuvent voir les objets, mais ils se perdent dans la « vue globale » de l'image. Ils peuvent s'appuyer sur ce qu'ils pensent être habituel (comme « les chats sont généralement à gauche ») au lieu de vérifier réellement les emplacements spécifiques dans l'image. C'est ce qu'on appelle une « hallucination » ou un « échec d'ancrage » (failure to ground) dans les preuves visuelles réelles. L'article soutient que le problème n'est pas que l'IA est trop stupide pour comprendre « gauche » ou « droite », mais qu'elle regarde la mauvaise partie de l'image ou qu'elle est confuse par trop de bruit de fond.

La Solution : Le Projecteur « Auto-Ancré » de SEER

Les auteurs de cet article, travaillant à l'Institut d'Informatique de Chine, ont conçu une méthode appelée SEER (Self-grounded Evidence for Entity-Relation Reasoning). C'est comme donner à l'IA une lampe de poche et des surligneurs, mais avec une règle très stricte : Ne regardez pas encore la clé de correction.

Voici comment fonctionne SEER, étape par étape :

La recherche « aveugle » : Quand l'IA reçoit une question comme « Le mug est-il à gauche du livre ? », SEER demande d'abord à l'IA de trouver le mug et le livre dans l'image. Crucialement, il cache les réponses possibles (gauche, droite, haut, bas) durant cette recherche. Cela empêche l'IA de s'appuyer sur le mot « gauche » pour ensuite trouver un mug sur le côté gauche de l'image, peu importe où se trouve réellement le livre.
La vue « Zoomée » : Une fois que l'IA a trouvé le mug et le livre, SEER découpe une petite image contenant uniquement ces deux éléments. Il dessine un cadre rouge autour du mug (le sujet) et un cadre bleu autour du livre (l'objet). Il les étiquette clairement.
La vérification « explicite du rôle » : Maintenant, l'IA regarde cette image propre et zoomée. Elle voit : « D'accord, le cadre rouge est le mug, le cadre bleu est le livre. Maintenant, est-ce que le cadre rouge est à gauche du cadre bleu ? ». Comme l'arrière-plan a disparu et que les rôles sont étiquetés, l'IA est beaucoup moins susceptible de se tromper.
La « Double Vérification » (Optionnelle) : Parfois, l'IA peut encore être incertaine. SEER possède une astuce ingénieuse appelée « cohérence réciproque ». Il inverse les rôles : « D'accord, maintenant faisons comme si le livre était le sujet et le mug l'objet. Est-ce que le livre est à la droite du mug ? ». Si la réponse de l'IA est cohérente dans les deux sens (si A est à gauche de B, alors B doit être à droite de A), elle confirme la réponse. Si les réponses se contredisent, elle sait qu'il y a un problème et réessaie.

Ce que les expériences ont montré

Les chercheurs ont testé cette méthode sur plusieurs jeux de données différents, qui sont comme de vastes collections de paires image-question. Ils ont utilisé un ensemble de test « gelé », ce qui signifie qu'ils ont choisi les questions de test avant de commencer les expériences, afin de ne pas pouvoir ajuster accidentellement leur méthode pour simplement mémoriser les réponses.

Le Grand Succès : Sur un ensemble de test appelé GQA-Train900 (qui contient 900 images uniques), SEER a amélioré la précision de l'IA de +3,94 % par rapport à une simple observation de l'image complète. Cela peut paraître peu, mais dans le monde des benchmarks de l'IA, un bond de près de 4 % est énorme. Cela signifie que l'IA a réussi presque 40 questions de plus sur 1 000.
Différents Modèles, Même Succès : Ils ont testé cela sur différents types de cerveaux d'IA (comme Qwen3 et InternVL3.5). Chacun s'est amélioré. Par exemple, sur un autre test appelé EmbSpatial, un modèle a progressé de façon massive de +11,79 %.
Pourquoi cela fonctionne : Les chercheurs ont mené des tests spéciaux pour comprendre pour pourquoi cela fonctionnait. Ils ont découvert que la magie ne résidait pas seulement dans le fait de « zoomer » (recadrer l'image). C'était grâce aux étiquettes. Lorsqu'ils recadraient l'image sans étiqueter lequel était le sujet et lequel était l'objet, l'IA ne s'améliorait pas autant. Les étiquettes claires « Cadre Rouge = Sujet » et « Cadre Bleu = Objet » étaient la clé. Cela forçait l'IA à prêter attention aux rôles spécifiques des objets.
Ce que cela n'a pas corrigé : La méthode n'est pas parfaite. Elle a un peu eu du mal avec le mot « sur » (comme « la tasse est sur la table ») car le « sur » est difficile à distinguer de simplement être « au-dessus » sans notion de profondeur 3D. Elle n'a pas non plus aidé autant lorsque l'IA devait deviner « vrai » ou « faux » sur des questions binaires, suggérant que l'astuce fonctionne mieux lorsqu'il y a des choix spécifiques à faire.

À retenir

SEER prouve que vous n'avez pas toujours besoin de construire une IA plus grande, plus intelligente ou plus coûteuse pour résoudre un problème. Parfois, il suffit de changer la manière dont vous présentez le problème à l'IA. En cachant les choix de réponses pendant la recherche et en présentant ensuite une vue propre et étiquetée des seuls objets pertinents, l'IA peut arrêter de deviner pour commencer à voir.

Les auteurs précisent avec prudence que ce n'est pas une baguette magique qui résout tous les problèmes spatiaux. L'IA doit toujours être capable de trouver les objets au départ. Mais une fois les objets trouvés, SEER agit comme un guide utile, s'assurant que l'IA regarde la bonne chose de la bonne manière. C'est un rappel que dans la course à l'IA plus intelligente, la meilleure mise à jour est parfois une meilleure interface.

Résumé Technique : SEER – Une interface de preuves auto-fondée pour la classification contrôlée des relations spatiales

Énoncé du Problème

Les modèles de vision-langage (VLM) échouent fréquemment dans le raisonnement sur les relations spatiales, même lorsqu'ils peuvent reconnaître correctement les entités individuelles. Des benchmarks tels que VSR, What'sUp, GQA et ARO démontrent que les modèles reconnaissent souvent les objets mais échouent à comparer leurs positions, s'appuyant sur des priors linguistiques, en prêtant attention aux mauvaises instances ou en interprétant des vues globales ambiguës. Les checkpoints actuels orientés vers le raisonnement et les modèles multimodaux ne garantissent pas intrinsèquement la sélection de la preuve visuelle correcte. Le problème central est qu'une réponse spatiale n'est aussi fiable que la preuve d'entrée ; si le modèle prête attention à une instance incorrecte ou manque de conditionnement explicite de rôle, le postulat de la prédiction de la relation est corrompu avant que la décision ne soit prise.

Méthodologie : SEER

SEER (Self-grounded Evidence for Entity-Relation Reasoning) est une interface de preuve à l'inférence, sans entraînement, conçue pour les VLM gelés. Elle ne réentraîne pas de nouveaux modèles et ne repose pas sur des détecteurs externes. Au lieu de cela, elle construit des états de preuves visuelles spécifiques à la requête pour guider le processus de décision du VLM. La méthode opère en quatre étapes :

1. Auto-fondement masqué par la relation cible (Target-Relation-Hidden Self-Grounding)

SEER localise d'abord la paire sujet ( $S$ ) et objet ( $O$ ) interrogée à l'aide d'un ancreur de VLM gelé ( $G$ ). Crucialement, cette étape d'ancrage est masquée par la relation cible : le modèle reçoit l'image et les noms des entités, mais on lui cache explicitement les relations candidates et les options de réponse. Cela empêche l'ancreur de biaiser la sélection des boîtes vers une relation spécifique.

Validation : Les boîtes sont validées pour une aire positive et des coordonnées valides. Si l'ancrage échoue, le système revient à l'image complète.

2. Construction d'états de preuves complémentaires

SEER génère trois types de preuves distincts pour la même paire sujet/objet :

Preuve d'image complète (Full Image Evidence) : L'image originale et la question, préservant le contexte global. Cela sert de repli sécurisé.
Vue de marqueur auto-fondée (Self-Grounded Marker View) : Une vue recadrée contenant l'union des boîtes englobantes du sujet et de l'objet. Le sujet est marqué par une boîte rouge étiquetée « S », et l'objet par une boîte bleue étiquetée « O ». Cet état fournit un recadrage local et une attribution de rôle explicite, forçant le modèle à prêter attention au couple spécifique et à leurs rôles linguistiques sans les relations candidates.
Géométrie éligible au seuil (Threshold-Eligible Geometry) : Un candidat déterministe dérivé des centres et des étendues des boîtes. Il est éligible uniquement pour des relations spécifiques (ex: gauche/droite via le déplacement horizontal, dedans/contient via la couverture de la boîte) et s'abstient pour d'autres (ex: devant/derrière, sur/au-dessus) où la géométrie 2D est insuffisante.

3. Décision de preuve sans entraînement

L'étape de décision agrège les prédictions des états disponibles en utilisant une règle fixe et déterministe :

Décision de type "Forward" : Si la Géométrie est éligible et que son score de mise en page dépasse un seuil ( $\tau=0.5$ ), elle prend la priorité. Sinon, le système sélectionne l'état visuel (Complet ou Marqueur) présentant l'écart de score d'option le plus élevé (la différence entre le premier candidat et le second).
Raffinement par cohérence réciproque : Pour les protocoles possédant des relations inverses exactes (ex: gauche $\leftrightarrow$ droite), SEER effectue une vérification réciproque. Il inverse les rôles sujet/objet (et les marqueurs S/O) et réévalue la requête. Si exactement un état (Complet ou Marqueur) respecte la relation inverse tandis que l'autre ne le fait pas, le système bascule vers l'état cohérent. Cela agit comme un mécanisme de résolution de conflit uniquement lorsqu'une inversion exacte existe.

Contributions Clés

Interface de preuve spécifique à la requête : L'article formule la réponse spatiale comme un problème d'interface de preuve, introduisant l'auto-fondement masqué par la relation cible. Cela transforme la paire interrogée en une preuve visuelle explicite de rôle sans entraînement de VLM ni détecteurs externes.
Raffinement par cohérence réciproque : Un raffinement optionnel, spécifique au protocole, qui utilise l'échange sujet/objet exact pour obtenir un indice de cohérence observable pour les états de preuves conflictuels, ne nécessitant aucune calibration apprise ni étiquettes cibles.
Isolation des mécanismes : À travers des contre-factuels appariés (ex: recadrage sans marqueurs, inversion des identités S/O, utilisation de boîtes oracle), les auteurs isolent le recadrage local et le conditionnement explicite de rôle comme les principaux moteurs d'amélioration, plutôt que le simple recadrage ou des instructions textuelles supplémentaires.

Résultats Expérimentaux

SEER a été évalué sur des ensembles de test et des pools de développement disjoints de l'image, sur plusieurs modèles (Qwen3-Instruct/Thinking, Qwen2.5, R1-Onevision, InternVL3.5) et jeux de données (GQA, Visual Genome, EmbSpatial, VSR, SpatialSense).

GQA-Train900 (Test gelé) : Sur un ensemble de test de 900 images uniques gelées avant le scoring, SEER a obtenu un gain groupé de +3,94 par rapport à la ligne de base de l'image complète (IC 95 % [2,17, 5,72]). Le gain est resté positif sous un contrebalancement de hachage indépendant des étiquettes (+2,56).
Pools de développement (GQA/VG) : À travers 41 544 évaluations, SEER a amélioré les huit combinaisons modèle/jeu de données. Le gain groupé était de +3,99 par rapport à l'image Complète. Le raffinement de cohérence réciproque a apporté un +1,36 supplémentaire par rapport à la décision "Forward".
EmbSpatial : Sur 2 434 questions de paire-relation filtrées, SEER a amélioré Qwen3-Instruct, Qwen3-Thinking et InternVL3.5 de +4,35, +5,09 et +11,79 respectivement.
Analyse des mécanismes :
- Recadrage Local (Local Refocus) : Passer de l'image Complète à une vue recadrée (Crop) a produit un gain de +1,25.
- Conditionnement de Rôle : Ajouter des marqueurs S/O explicites au recadrage (Self-Marker) a produit un gain supplémentaire de +1,64.
- Écart Oracle (Oracle Gap) : L'utilisation de boîtes de vérité terrain (Oracle-Marker) a fourni un gain de +6,17 par rapport à Self-Marker, indiquant une marge de progression significative concernant la qualité de la localisation.
- Robustesse : Les gains ont persisté même en supprimant les relations ambiguës ("on") ou les noms d'entités répétés, bien que les performances varient selon le type de relation (ex: gains forts sur "inside", résultats mitigés sur "right-of").
Limitations : La méthode ne se transfère pas uniformément aux jugements de vérité binaire (ex: VSR, SpatialSense), où la cohérence réciproque est moins efficace. Les performances sont limitées par la qualité de l'auto-fondement ; bien que l'IoU soit imparfaite, les gains persistent même avec un faible chevauchement.

Signification et Revendications

L'article affirme que la construction explicite de la preuve est l'intervention principale pour améliorer le raisonnement spatial dans les VLM gelés. En rendant les localisations et les rôles spécifiques à la requête conjointement inspectables, SEER atténue les échements causés par l'attention portée à la mauvaise instance ou par le recours à des priors linguistiques.

La Preuve avant le Raisonnement : Les résultats suggèrent que même les checkpoints de raisonnement avancés bénéficient considérablement de meilleures interfaces de preuve visuelle, établissant qu'« une réponse spatiale n'est aussi bonne que sa preuve d'entrée ».
Efficacité sans entraînement : SEER réalise ces gains sans entraînement, en utilisant une règle fixe et un VLM gelé. Bien qu'il induise un coût computationnel (environ 7,12x un score "Full" unique), les auteurs notent qu'un filtrage adaptatif peut conserver ~81 % du gain pour un coût de ~2,57x.
Modestie : Les auteurs précisent explicitement que SEER est une interface de preuve, et non un certificat de fondement exact. Les améliorations ne impliquent pas une récupération parfaite des instances, et la méthode reste limitée par la visibilité des relations dans l'apparence locale et la disposition 2D. Le raffinement par cohérence réciproque est décrit comme un « petit raffinement spécifique au protocole » plutôt qu'une solution universelle.

En conclusion, SEER démontre que le contrôle de l'état de la preuve visuelle — spécifiquement par l'auto-fondement masqué par la relation cible et le conditionnement explicite de rôle — peut réparer de manière significative les échements de raisonnement spatial dans les VLM, offrant une alternative robuste et sans entraînement au réentraînement des modèles ou aux outils de détection externes.