Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

1. Problématique et Contexte

Les Encodeurs Vision-Langage (VLE) pré-entraînés (comme CLIP, SigLIP) sont devenus la colonne vertébrale des tâches de Segmentation d'Images par Référence (RIS) en mode zero-shot (sans réentraînement spécifique). Ces modèles permettent de localiser des régions d'une image à partir d'une description textuelle.

Cependant, les auteurs identifient deux biais fondamentaux dans les représentations des VLEs qui limitent leur efficacité, en particulier pour la localisation spatiale précise et le multilinguisme :

1. Aveuglement à la position (Spatial Blindness) : Les embeddings de la couche finale du VLE sont optimisés pour l'alignement sémantique global. Au fur et à mesure que l'information traverse les couches profondes, les détails structurels fins et les indices de position (ex: "à gauche", "le plus proche") sont progressivement perdus ou atténués.
2. Biais linguistique (Language Bias) : Dans l'espace latent partagé, les embeddings textuels de phrases sémantiquement équivalentes mais dans différentes langues subissent des déplacements géométriques systématiques (geometric shifts) dans les couches finales. Cela entraîne une instabilité des scores de similarité image-texte pour les requêtes non anglaises, dégradant la performance en multilingue.

L'hypothèse centrale de l'article est que ces informations critiques (position et stabilité linguistique) sont toujours présentes, mais encodées dans les couches intermédiaires du modèle, avant d'être "écrasées" par l'interface d'alignement de la couche finale.

2. Méthodologie : Le Framework B2G (Biased to Grounded)

Les auteurs proposent B2G, un cadre de travail sans entraînement (training-free) qui agit comme un plug-in pour les pipelines RIS existants. Il suit un paradigme en trois étapes : Sonder (Probe) → Sélectionner (Select) → Ancrer (Ground).

A. Sondage et Sélection des Couches

Au lieu d'utiliser la couche finale, B2G explore les couches intermédiaires pour identifier celles qui préservent les structures nécessaires :

• Pour la vision (Sensibilité spatiale) : Une sonde d'équivariance par permutation de tuiles (tile-permutation probe) est utilisée. On mélange les tuiles d'une image et on mesure la similarité des patchs avant et après permutation. Les couches où la similarité chute fortement (faible équivariance) sont identifiées comme étant les plus sensibles à la position spatiale.
• Pour le texte (Stabilité linguistique) : Pour une même phrase traduite en $N$ langues, on calcule la cohérence géométrique entre les embeddings de chaque couche. La couche où la similarité cosinus entre les différentes langues est maximale est sélectionnée comme la couche "stable".

B. Construction de la Carte Spatiale (P-Map)

Une fois la couche visuelle intermédiaire optimale ($l^*_{vis}$) sélectionnée :

1. On extrait les embeddings des patchs de l'image.
2. On calcule la similarité cosinus avec l'embedding textuel hybride (fusions de contexte global et local).
3. Inversion de signe déterministe : Les auteurs observent que dans les couches intermédiaires, les patchs du premier plan (foreground) sont souvent anti-corrélés avec la requête (similarité négative). B2G applique une inversion de signe ($\cos(-u, v) = -\cos(u, v)$) pour transformer ces activations négatives en une carte de chaleur positive et interprétable, appelée P-Map.
4. Cette carte est utilisée pour générer un masque de guidage spatial qui aide à réordonnancer (rerank) les masques candidats proposés par un segmenteur externe (ex: Mask2Former).

C. Stabilisation Multilingue (Centroid Injection)

Pour résoudre le biais linguistique :

1. On génère des traductions parallèles de la requête.
2. À la couche textuelle sélectionnée ($l^*_{txt}$), on calcule le centroïde multilingue (moyenne des embeddings de toutes les traductions).
3. Ce centroïde est injecté dans l'état caché de la requête d'ancrage (en remplaçant le token de fin de phrase) avant que le texte ne traverse les couches restantes. Cela stabilise la géométrie de la représentation en neutralisant les déviations spécifiques à chaque langue, tout en préservant le sémantisme de la requête.

3. Contributions Clés

1. Analyse des biais de représentation : Démonstration empirique que les couches finales des VLEs sont "aveugles" à la position et "biaisées" par la langue, tandis que les couches intermédiaires conservent ces informations structurelles.
2. Framework B2G sans entraînement : Une méthode plug-and-play qui améliore la localisation spatiale et la robustesse multilingue sans modifier les poids du modèle ni nécessiter de rétropropagation du gradient.
3. Carte Spatiale (P-Map) : Une nouvelle technique de génération de cartes d'attention à partir de couches intermédiaires, corrigeant le phénomène de "visualisation opposée" observé dans les travaux précédents.
4. Stabilisation par centroïde : Une approche novatrice pour corriger les déviations géométriques multilingues en injectant un centroïde intermédiaire, évitant ainsi le besoin de modèles multilingues massifs ou de réentraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks (RefCOCO, RefCOCO+, RefCOCOg, PhraseCut) et avec différents backbones (CLIP, SigLIP, DFN, BLIP).

• Performance RIS Zero-Shot (Anglais) : B2G améliore significativement les performances par rapport aux meilleures méthodes de référence (Global-Local, HybridGL).
  • Gain moyen de +1 à +7 mIoU sur les benchmarks RefCOCO.
  • Sur RefCOCOg (CLIP ViT-B/16), amélioration de +4.46 mIoU avec la version fixe (B2Gfix).
  • Sur DFN ViT-H/14, gains allant jusqu'à +6.96 mIoU.
• Performance Multilingue :
  • Amélioration de l'IoU@50 moyen de 45.13 à 53.41 sur neuf benchmarks traduits.
  • Gain de +7.20 mIoU sur RefCOCOg multilingue.
  • Réduction drastique de la fragmentation des prédictions entre les langues (les différentes traductions convergent vers le même masque correct).
• Récupération Image-Texte (Retrieval) :
  • Amélioration du Recall@1 en retrieval multilingue (ex: +6.42% sur RefCOCOg), sauvant des langues qui s'effondraient totalement (ex: Allemand, Chinois) sans dégrader la performance en Anglais.
• Efficacité : La méthode ajoute un coût d'inférence modeste (environ 1.5x à 1.7x le temps de base pour la version dynamique) mais reste bien plus rapide que les méthodes basées sur la rétropropagation (Grad-CAM) ou les modèles de diffusion.

5. Signification et Impact

Cet article remet en question l'hypothèse dominante selon laquelle la couche finale d'un VLE est la seule interface fiable pour les tâches multimodales. Il démontre que :

• Les informations de localisation fine et de stabilité linguistique ne sont pas perdues, mais simplement masquées par l'optimisation de la couche finale pour l'alignement sémantique global.
• Il est possible d'exploiter ces représentations intermédiaires pour améliorer considérablement la compréhension spatiale et la robustesse multilingue sans aucun coût d'entraînement.
• La méthode offre une voie prometteuse pour le déploiement de systèmes d'IA embarqués (embodied AI) et interactifs, où la précision spatiale et la capacité à comprendre des instructions dans diverses langues sont critiques, le tout avec des modèles pré-entraînés figés.

En résumé, B2G transforme les "biais" des couches intermédiaires en atouts, offrant une solution élégante et efficace pour des tâches de grounding spatial complexes.