Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models

Résumé Technique : Supervision par Logit Lens pour des Explications au Niveau des Patches dans les Modèles Vision-Langage

Énoncé du Problème
Les modèles vision-langage (VLM) autoregressifs modernes, tels que LLaVA et Qwen-VL, combinent des encodeurs visuels avec des Grands Modèles de Langage (LLM) pour générer un texte fluide. Cependant, à mesure que les jetons visuels se propagent à travers les couches d'attention du LLM, ils subissent une transformation et un mélange significatifs avec les jetons de langage. Les auteurs soutiennent que ce « mélange de modalités non contrôlé » provoque une perte de correspondance directe entre les embeddings visuels et les régions d'image spécifiques (patches) dont ils sont issus. Par conséquent, le lien entre un jeton visuel et le contenu sémantique de son patch source devient dilué. Cela entraîne deux problèmes principaux :

1. Faible Expliquabilité au Niveau des Patches : Les visualisations standard du Logit Lens (qui projettent les embeddings vers les probabilités du vocabulaire) échouent souvent à produire des cartes de confiance nettes et localisées, particulièrement dans les nouveaux VLM comme Qwen2.5-VL.
2. Hallucination et Dégradation du Grounding : Les jetons visuels peuvent être effectivement ignorés ou leur information peut être entièrement transférée aux jetons de langage, permettant aux modèles d'halluciner des descriptions d'objets même lorsque l'évidence visuelle correspondante est supprimée ou absente.

Méthodologie : Logit Lens Loss (LLL)
Pour remédier au découplage des jetons visuels de leurs régions d'image sources, les auteurs proposent la Logit Lens Loss (LLL), un objectif auxiliaire léger appliqué lors du fine-tuning.

• Concept Central : La méthode exploite la technique du Logit Lens, qui projette les embeddings des couches intermédiaires ($h_l$) à travers la matrice de désincorporation ($U_\theta$) du LLM pour générer une distribution de probabilité sur le vocabulaire.
• Mécanisme : Contra-rent à la perte standard de Prédiction du Prochain Jeton (NTP - Next-Token Prediction), qui ne supervise que la génération de jetons textuels, la LLL supervise directement les jetons visuels.
  • Pour les jetons visuels ($s$) correspondant aux patches d'image à l'intérieur d'une boîte englobante (bounding box) d'un objet cible (ensemble $\mathcal{P}'$), la perte maximise la probabilité du jeton du vocabulaire décrivant cet objet (ex: <cat>).
  • Pour les jetons visuels en dehors de la région de l'objet (ensemble $\mathcal{P} \setminus \mathcal{P}'$), la perte minimise la probabilité de ce jeton spécifique du vocabulaire.
• Formulation : La perte totale est définie par $L_{total} = L_{NTP} + \lambda L_{LLL}$, où $\lambda$ est empiriquement fixé à 0,5. Le terme LLL est une perte d'entropie croisée appliquée à la distribution du vocabulaire dérivée des embeddings de jetons visuels à la dernière couche du LLM.
• Distinction Clé : L'approche ne nécessite aucune modification architecturale (pas de décodeur de masque, de têtes de localisation ou de modules de prédiction de boîte englobante). Elle repose uniquement sur les embeddings de jetons visuels existants et la tête de projection du vocabulaire. Le signal de supervision est dérivé directement des annotations de boîtes englobantes pour identifier quels patches correspondent au concept cible, mais le modèle n'est pas entraîné pour produire des coordonnées ; il est plutôt entraîné pour aligner l'représentation interne du patch avec le concept sémantique.

Principales Contributions

1. Nouvelle Perte de Grounding Visuel : Introduction de la LLL, qui contraint explicitement les embeddings des jetons visuels à rester sémantiquement alignés avec les concepts linguistiques décrivant leurs régions d'image lors de leur passage à travers les couches du LLM.
2. Localisation Intrinsèque : Contrairement aux travaux antérieurs qui prédisent des boîtes englobantes ou des masques comme sorties externes, la LLL intègre la conscience de la localisation directement dans les embeddings profonds des jetons visuels. Cela crée un lien intrinsèque entre les patches d'image et les concepts textuels sans modifier l'architecture du modèle.
3. Explicabilité Améliorée : La méthode améliore considérablement la qualité des cartes de confiance des objets du Logit Lens. Les modèles fine-tunés avec la LLL produisent des cartes plus nettes et plus localisées qui reflètent fidèlement quels patches d'image le modèle associe à des concepts textuels spécifiques.
4. Signal de Gradient Direct : Les auteurs démontrent que la LLL fournit un signal de gradient direct aux jetons visuels, alors que le signal de la NTP standard doit se propager à travers les couches d'attention, ce qui résulte souvent en un signal faible pour les jetons visuels.

Résultats Expérimentaux
Les auteurs ont évalué la LLL sur LLaVA-v1.5-7B et Qwen2.5-VL-7B selon plusieurs métriques :

• Segmentation d'Expression de Référence (RES) : En utilisant les cartes de Logit Lens pour générer des masques de segmentation (via un seuillage ou en sollicitant un SAM gelé), les modèles fine-tunés avec LLL ont montré des améliorations significatives des scores cIoU par rapport aux modèles de base et aux modèles NTP uniquement. Avec un post-traitement SAM, Qwen2.5-VL+LLL atteint des performances comparables aux modèles spécialisés en grounding de l'état de l'art (SOTA).
• Hallucination d'Objet (POPE) : Sur le benchmark POPE, la LLL réduit les hallucinations d'objets, augmentant la précision des réponses "Oui/Non". Notamment, les modèles own-tunés uniquement sur RefCOCO (données de localisation) et évalués sur POPE ont montré une précision améliorée avec la LLL, tandis que le fine-tuning NTP seul a dégradé les performances par rapport au modèle de base.
• Pointage Zero-Shot : Les modèles fine-tunés avec la LLL sur RefCOCO démontrent une forte capacité de transfert vers le dataset PixMo-Points (catégories d'objets non vues), atteignant des erreurs de localisation médianes plus faibles que plusieurs baselines propriétaires et modèles spécifiques entraînés avec une supervision de coordonnées explicite.
• Réponse Visuelle aux Questions (VQA) : La LLL préserve ou améliore légèrement les performances sur les benchmarks VQAv2 et GQA, indiquant que l'amélioration du grounding visuel ne compromet pas les capacités de génération de langage du modèle.
• Visualisation : Les résultats qualitatifs (Fig. 2) montrent que la LLL transforme les signaux de Logit Lens épars et confus en cartes de confiance nettes et alignées sur les objets.

Signification et Revendications
L'article affirme que la LLL offre un mécanisme simple et efficace pour préserver la « localité » de l'information visuelle au sein des VLM autoregressifs sans la complexité d'ajouter de nouveaux composants architecturaux. En ancrant directement les embeddings visuels dans l'espace du vocabulaire, la méthode rend les modèles de fondation plus interprétables (via des cartes de Logit Lens fidèles) et plus robustes contre les hallucinations. Les auteurs soulignent que la LLL ne vise pas à enseigner de nouveaux concepts, mais plutôt à empêcher la dégradation de la compréhension localisée existante de l'image durant le processus de modélisation du langage. Les résultats suggèrent qu'un meilleur grounding interne est réalisable grâce à une supervision auxiliaire qui aligne les jetons visuels avec leurs descriptions sémantiques, menant à des modèles qui sont à la fois plus efficaces et plus explicables.