💬 NLP

Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

Cet article identifie que le biais spatial dans les grands modèles vision-langage provient de déséquilibres d'attention entre l'encodeur de vision et le modèle de langage plutôt que de l'encodeur lui-même, et propose un mécanisme léger d'Injection de Contexte Global Adaptatif (AGCI) pour atténuer ce biais et renforcer la robustesse spatiale sans modifications architecturales.

Auteurs originaux : Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Yongshuai Hou, Weili Guan, Jun Yu, Min Zhang

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Yongshuai Hou, Weili Guan, Jun Yu, Min Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Un modèle avec une « vision tunnel »

Imaginez que vous avez un assistant très intelligent qui est excellent pour regarder des images et répondre à des questions à leur sujet. Vous lui montrez la photo d'un chat assis dans une boîte. Il dit : « Oui, c'est un chat. »

Maintenant, imaginez que vous preniez exactement la même photo, mais que vous déplaciez le chat du centre de la boîte vers le coin extrême gauche. Vous la montrez à nouveau à l'assistant. Étonnamment, l'assistant pourrait être confus. Il pourrait dire : « Je ne vois pas de chat », ou donner une réponse complètement différente, même si l'image est identique à l'exception de l'emplacement du chat.

Ce papier appelle ce problème le « Biais Spatial ». Cela signifie que la compréhension d'une image par l'IA change en fonction de l'endroit où se trouvent les objets, plutôt qu'en fonction de ce qui est présent.

L'enquête : Où se trouve le bug ?

Les chercheurs voulaient comprendre pourquoi cela arrive. Ils ont traité l'IA comme une machine en deux parties :

Les Yeux (Encodeur de Vision) : Cette partie regarde les pixels et les transforme en données.
Le Cerveau (Grand Modèle de Langage) : Cette partie prend ces données et utilise la logique pour répondre aux questions.

Ils ont mené une série de tests (comme un jeu de « cherche et trouve ») pour voir quelle partie échouait :

Est-ce que les Yeux ont échoué ? Ils ont vérifié si les « Yeux » pouvaient toujours voir clairement le chat lorsqu'il se déplaçait. Résultat : Non, les Yeux fonctionnaient parfaitement. Ils voyaient le chat, peu importe où il se trouvait.
Est-ce que le Cerveau a échoué ? Ils ont vérifié si le « Cerveau » comprenait les données envoyées par les Yeux. Résultat : Oui, le Cerveau était confus.

La cause profonde :
Le papier explique que les « Yeux » et le « Cerveau » parlent des langues différentes concernant la manière dont ils partagent l'information.

Les Yeux sont comme un groupe d'amis assis en cercle, se parlant tous en même temps. Ils partagent l'image entière de manière globale.
Le Cerveau est comme une file de personnes se passant un mot dans une chaîne. La personne A ne peut parler qu'à la personne B, qui ne peut parler qu'à la personne C. Elles ne peuvent pas regarder en arrière ni voir tout le groupe à la fois.

Lorsque les « Yeux » envoient l'image au « Cerveau », le « Cerveau » essaie de la traiter de manière linéaire. À cause de cette règle de « rue à sens unique », l'information est déformée selon l'endroit où l'objet se situe dans la file. Si le chat est à la fin de la file, le « Cerveau » peut perdre sa trace contextuelle.

La solution : AGCI (L'injection de « Contexte Global »)

Pour correr cela, les auteurs ont créé un outil léger appelé Adaptive Global Context Injection (AGage d'Injection de Contexte Global - AGCI).

Pensez au « Cerveau » traitant les jetons d'image (les pièces du puzzle) un par un.

Avant l'AGCI : Chaque pièce du puzzle ne connaît que les pièces qui la précèdent. C'est comme essayer de comprendre une histoire en ne lisant que la première phrase de chaque paragraphe.
Après l'AGCI : Les chercheurs ont ajouté une « note de synthèse » à chaque pièce du puzzle. Cette note dit : « Hé, rappelez-vous, toute l'image concerne un chat dans une boîte. »

Cette « note de synthèse » est le Contexte Global.

Si une pièce du puzzle est déjà claire, la note est légère.
Si une pièce du puzzle est confuse ou isolée, la note est plus forte, lui rappelant l'image globale.

Crucialement, cela ne nécessite pas de reconstruire le cerveau de l'IA. C'est comme ajouter un petit plugin ou une « fiche de révision » qui aide l'IA à se souvenir de l'image entière pendant qu'elle réfléchit.

Les résultats : Est-ce que ça fonctionne ?

Les chercheurs ont testé cela sur plusieurs modèles d'IA populaires. Voici ce qui s'est passé :

Consistance : Les modèles ont cessé d'être confus lorsque les objets bougeaient. Que le chat soit dans le coin ou au centre, l'IA donnait la même réponse correcte.
Meilleur raisonnement : Les modèles sont devenus meilleurs pour répondre à des questions complexes, pas seulement à des questions simples.
Moins d'hallucinations : Les modèles ont commencé à inventer moins de détails fictifs (comme voir un chien alors qu'il n'y avait qu'un chat).
Lecture de texte : Les modèles sont devenus bien meilleurs pour lire le texte à l'intérieur des images (comme des panneaux ou des livres), ce qui est très sensible à l'endroit où le texte est situé.

Résumé

Le papier a découvert que les grands modèles d'IA souffrent d'un « biais spatial » car leur « cerveau » traite les images de manière linéaire, perdant ainsi la vue d'ensemble. Ils ont résolu cela en donnant à chaque partie de l'image un rappel de la scène complète. Cela a rendu l'IA plus fiable, cohérente et précise sans nécessiter une refonte massive de son architecture.

Résumé Technique : Au-delà de l'encodeur de vision : Identifier et atténuer le biais spatial dans les grands modèles vision-langage

1. Énoncé du problème

Les grands modèles vision-langage (LVLM) ont atteint un succès significatif dans les tâches multimodales, mais présentent une robustesse insuffisante face aux variations spatiales. Plus précisément, les LVLM actuels produisent souvent des sorties incohérentes ou contradictoires lorsque des informations visuelles clés identiques sont placées à différents endroits d'une image. Ce phénomène, nommé biais spatial, suggère que la compréhension sémantique des modèles n'est pas invariante à la position, mais plutôt biaisée par des préférences spatiales spécifiques.

Alors que des recherches antérieures ont lié le biais spatial à l'hallucination d'objets ou aux effets de décomposition à long terme de l'encodage de position rotatif (RoPE), ce travail soutient que ces explications manquent de généralisabilité ou ne parviennent pas à traiter la cause profonde dans la compréhension sémantique fondamentale. L'article postule que le biais ne provient pas des capacités de perception ou d'encodage de l'encodeur de vision, mais d'un décalage dans les mécanismes d'attention entre l'encodeur de vision et l'ossature du grand modèle de langage (LLM).

2. Méthodologie et Analyse

A. Sondage systématique de la robustesse spatiale
Pour quantifier le biais spatial, les auteurs ont construit un ensemble de données de sondage contrôlé basé sur l'appariement image-texte.

Construction du jeu de données : 10 000 paires image-légende ont été échantillonnées à partir de LAION. Pour chaque image clé, 8 images de distraction ont été récupérées. L'image clé et les distracteurs ont été disposés dans une grille $3 \times 3$ pour former une image composite.
Configuration expérimentale : L'image clé a été systématiquement déplacée dans chacune des 9 positions de la grille ( $n=0$ à $8$) tout en maintenant la légende et les distracteurs constants. Le modèle a reçu une question binaire pour déterminer si la composite contenait l'image cible.
Résultats : Les expériences sur six LVLM représentatifs (incluant Qwen2.5-VL, LLaVA-v1.6 et InternVL3) ont révélé des fluctuations d'exactitude significatives selon les différentes positions de la grille. Notamment, la performance ne présentait pas de corrélation forte avec la distance des tokens, suggérant que le biais n'est pas principalement causé par la décomposition de RoPE.

B. Analyse de la cause profonde
Les auteurs ont décomposé le pipeline de traitement visuel en deux étapes pour isoler la source du biais :

Étape de Perception (Recherche par effacement) : En utilisant des expériences de masquage, l'étude a confirmé que les LVLM identifient systématiquement les régions critiques quel que soit leur emplacement spatial. La perception est spatialement robuste.
Étape de Compréhension Sémantique (Encodeur de vision) : En mesurant la similitude cosinus entre les caractéristiques visuelles et les plongements textuels à travers différentes positions, l'étude a constaté que l'encodeur de vision produit des représentations stables et sémantiquement alignées, indépendamment de la localisation.
Le goulot d'étranglement du LLM : Puisque la perception et l'encodage de vision sont robustes, le biais provient du raisonnement cross-modal de l'LLM. Les auteurs émettent l'hypothèse que le mécanisme d'auto-attention causale dans les LLM (qui restreint les tokens à n'être attentifs qu'aux tokens précédents) perturbe le flux d'information global bidirectionnel établi par l'encodeur Vision Transformer (ViT). Cette perturbation provoque une perte d'accès des tokens d'image au contexte global holistique lors de leur propagation à travers les couches de l'LLM, rendant leur contribution excessivement dépendante de leur position.

C. Solution proposée : Injection de Contexte Global Adaptative (AGCI)
Pour atténuer cela sans modification architecturale, les auteurs proposent l'AGCI, un mécanisme léger qui injecte dynamiquement un contexte visuel global partagé dans chaque token d'image.

Mécanisme :
1. Calculer le contexte d'image global $\tilde{g}$ comme la représentation moyenne de tous les tokens d'image.
2. Calculer la similitude sémantique $w_i$ entre chaque token d'image $\tilde{v}_i$ et le contexte global.
3. Injecter le contexte global dans chaque token avec une force adaptative proportionnelle à $(1 - w_i)$ :
  $\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$
4. Ici, $\lambda$ est un hyperparamètre agissant comme une soupape de sécurité pour préserver les détails fins. Les tokens ayant une pertinence sémantique globale plus faible reçoivent une supplémentation plus forte.

3. Résultats Clés

A. Robustesse Spatiale (Tâche de sondage)

L'AGCI a considérablement réduit la variance de l'exactitude ( $\Delta$ ) à travers les positions de la grille pour tous les modèles testés.
Pour les modèles présentant un biais initial élevé (ex: LLaVA-v1.6), l'AGCI a réduit la variance de 14,93 à 8,05 et amélioré l'exactitude moyenne de 70,82 à 80,75.
Pour les modèles plus larges (ex: Qwen2.5-VL-72B), l'AGCI a amélioré l'exactitude moyenne de 70,12 à 86,11 tout en maintenant une faible variance.

B. Performance sur les tâches en aval
L'AGCI a été évalué sur six benchmarks en aval avec un fine-tuning LoRA léger :

Raisonnement complexe (MMMU-Pro, ScienceQA) : L'AGCI a amélioré les performances, particulièrement dans les configurations à 10 options, indiquant une meilleure intégration des indices visuels et de la compréhension globale.
Benchmarks d'hallucination (CRPE, HallusionBench, POPE) : L'AGCI a généralement réduit les tendances à l'hallucination et amélioré la fiabilité des prédictions. Par exemple, sur POPE, l'exactitude moyenne de Qwen3-VL est passée de 84,51 à 86,96.
Tâches d'OCR (TextVQA) : L'AGCI a montré des gains importants (ex: +4,93 pour LLaVA-v1.6), suggérant que le contexte global aide à agréger les régions textuelles dispersées.

C. Visualisation du flux d'information
Les visualisations des cartes d'attention ont démontré que les modèles de base se concentraient souvent sur des régions spatiales non pertinentes (ex: le coin supérieur gauche) en raison du biais positionnel. Après application de l'AGCI, l'attention est devenue plus concentrée sur les régions pertinentes pour la tâche (ex: texte OCR spécifique), confirmant que l'AGCI restaure une représentation contextuelle équilibrée.

4. Signification et Revendications

L'article revendique trois contributions principales :

Investigation Systématique : Il fournit une preuve empirique que les prédictions des LVLM varient considérablement selon la localisation spatiale d'un contenu visuel identique, soulignant une faiblesse critique dans l'actuelle compréhension spatiale.
Identification de la Cause Profonde : Il identifie la source du biais spatial comme étant la perte de contexte d'image global causée par le mécanisme d'attention causale dans les LLM, excluant explicitement l'encodeur de vision et la décomposition de RoPE comme principaux coupables.
Atténuation Efficace : Il introduit l'AGCI, une méthode simple, indépendante de l'architecture, qui améliore la robustesse spatiale et les performances en aval sans sacrifier les capacités intrinsèques.

Les auteurs soulignent que l'AGCI fonctionne en restaurant un accès stable au contexte global lors du raisonnement cross-modal, atténuant ainsi l'incohérence causée par le décalage entre l'encodage de vision bidirectionnel et la modélisation de langage causale. Ce travail suggère que le renforcement explicite de la sémantique visuelle globale est crucial pour parvenir à une compréhension multimodale robuste et invariante à la position.