Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning

1. Énoncé du problème

Les modèles vision-langage (VLM) ont démontré de solides capacités dans le suivi d'instructions et le raisonnement ouvert. Cependant, ils souffrent considérablement d'hallucinations, où les modèles génèrent du contenu fluide et plausible mais non étayé visuellement (par exemple, des objets inexistants, des attributs incorrects ou des relations fabriquées).

• Cause racine : Le papier identifie que l'encadrement par instruction standard amplifie les a priori linguistiques. Lorsque les signaux visuels sont ambigus ou faibles, le modèle privilégie les probabilités statistiques issues de ses données d'entraînement par rapport aux preuves réelles de l'image.
• Le compromis : Les tentatives existantes pour résoudre ce problème créent souvent une dichotomie :
  • Les prompts pilotés par l'instruction produisent un texte riche et descriptif mais avec des taux d'hallucination élevés.
  • Les prompts contraints par la preuve réduisent les hallucinations mais aboutissent à des sorties excessivement conservatrices, littérales et peu informatives.
• Lacune : Les méthodes de Décodage Contrastif (CD) actuelles reposent souvent sur un pondération statique ou des types spécifiques de perturbations (par exemple, la corruption d'image) qui peuvent ne pas équilibrer dynamiquement le besoin de richesse linguistique et de fidélité visuelle lors de la génération.

2. Méthodologie : IECD2

Les auteurs proposent le Décodage Contrastif Dual-Stream Instruction-Preuve (IECD2), un cadre de décodage sans réentraînement et agnostique au modèle. Il fonctionne en maintenant deux distributions de probabilité parallèles à chaque étape de décodage et en les fusionnant de manière adaptative.

A. Formulation Dual-Stream

À chaque étape de décodage $t$, étant donné un historique $y_{<t}$, le modèle génère deux distributions de probabilité de tokens sur le vocabulaire :

1. Flux Instruction ($p^{(I)}_t$) : Conditionné par un prompt d'instruction en langage naturel standard ($S$). Ce flux capture les a priori linguistiques, favorisant la fluidité, la cohérence et la richesse descriptive. Il est sujet aux hallucinations lorsque la preuve visuelle est faible.
2. Flux Preuve ($p^{(E)}_t$) : Conditionné par une variante de prompt ($x_{evidence}$) qui instruit explicitement le modèle de s'en tenir strictement au contenu observable de l'image. Ce flux supprime les inférences spéculatives, agissant comme une base conservatrice et ancrée visuellement.

Note : Les deux flux utilisent les mêmes paramètres sous-jacents du VLM ; la différence provient exclusivement des prompts de conditionnement.

B. Porte Contrastive Sensible à la Divergence

L'innovation centrale est un mécanisme de fusion adaptative qui équilibre ces deux flux en fonction de leur désaccord.

• Fusion Géométrique : La distribution de probabilité finale $p^{(IECD2)}_t$ est une moyenne géométrique des deux flux :
  $$p^{(IECD2)}_t(v) \propto (p^{(I)}_t(v))^{g_t} \cdot (p^{(E)}_t(v))^{1-g_t}$$
  où $g_t \in [0, 1]$ est un coefficient de porte.
• Divergence KL Symétrique : La porte $g_t$ est déterminée par la divergence Kullback-Leibler (KL) symétrique ($D_t$) entre les deux flux :
  $$D_t = KL(p^{(I)}_t || p^{(E)}_t) + KL(p^{(E)}_t || p^{(I)}_t)$$
• Logique Adaptative :
  • Faible Divergence ($D_t \approx 0$) : Les flux sont d'accord. La porte permet au Flux Instruction d'avoir une influence plus élevée, préservant la fluidité linguistique et le pouvoir descriptif.
  • Forte Divergence ($D_t \gg 0$) : Les flux sont en désaccord (indiquant que le flux d'instruction hallucine probablement). La porte ($g_t$) chute brusquement vers 0, supprimant le flux d'instruction et forçant le modèle à s'appuyer sur le Flux Preuve pour prévenir l'hallucination.

3. Contributions Clés

1. Cadre Dual-Stream : Introduction de l'IECD2, qui maintient explicitement des distributions de tokens parallèles pilotées par l'instruction et ancrées par la preuve tout au long de la génération sans réentraînement.
2. Porte Basée sur la Divergence : Un mécanisme novateur utilisant la divergence KL symétrique pour résoudre dynamiquement les conflits entre les a priori linguistiques et la preuve visuelle, supprimant sélectivement les tokens sujets aux hallucinations tout en conservant le contenu informatif.
3. Évaluation Complète : Des expériences extensives sur diverses tâches (VQA, Légendage, Détection d'objets) et ensembles de données (POPE, MME, VQAv2, AMBER, MS-COCO, LLaVA-Bench) démontrant des améliorations constantes.

4. Résultats Expérimentaux

Les auteurs ont évalué l'IECD2 sur LLaVA-1.5-7B et InstructBLIP à travers plusieurs benchmarks.

• Réduction des Hallucinations :
  • Légendage MSCOCO : L'IECD2 a réduit les CHAIRs (hallucinations au niveau de la phrase) de 85,2 % pour LLaVA-1.5 et de 98,8 % pour InstructBLIP par rapport au décodage standard. Il a surpassé des bases solides comme IFCD, CATCH et Octopus.
  • Tâche Générative AMBER : A réalisé des réductions massives du taux d'hallucination (Hal) et de l'hallucination cognitive (Cog), par exemple en réduisant Cog de 31,0 à 0,4 pour LLaVA-1.5.
• Précision des Tâches et Ancrage :
  • POPE (Existence d'objets) : Amélioration de la précision jusqu'à 5,1 % et du F1 de 4,8 % par rapport au décodage standard, montrant une robustesse contre les biais d'échantillonnage adverses et populaires.
  • VQAv2 : Amélioration de la précision de +7,76 % (LLaVA-1.5) et +14,24 % (InstructBLIP) tout en maintenant des performances compétitives.
  • MME : Démonstration d'une performance stable à travers les tâches de perception (existence, comptage, couleur) et de cognition (bon sens, code), prouvant que la méthode gère divers types d'hallucinations.
• Efficacité :
  • La méthode est sans réentraînement.
  • Les augmentations de temps d'inférence sont gérables (environ 2,3 s par requête pour les tâches génératives sans cache KV ; réduit à 1,1 s avec cache KV).

5. Signification et Impact

• Résolution du compromis Fluidité-Fidélité : L'IECD2 brise avec succès le compromis où la réduction des hallucinations dégrade généralement la qualité de la sortie. Il produit des légendes à la fois descriptives (riches en langage) et factuellement exactes (ancrées dans la vision).
• Généralisabilité : En tant que stratégie au moment du décodage, elle est applicable à n'importe quel VLM ajusté par instruction sans nécessiter de mises à jour de paramètres ou de réentraînement, la rendant hautement évolutive.
• Insight Mécanistique : Le papier fournit des preuves empiriques que l'hallucination n'est pas seulement un défaut du modèle mais le résultat de distributions de probabilité conflictuelles entre le suivi d'instructions et l'ancrage par la preuve. La porte KL symétrique agit efficacement comme un "détecteur de conflit" pour atténuer ce phénomène.
• Performance de l'État de l'Art : Les résultats établissent l'IECD2 comme une nouvelle approche de l'état de l'art pour le raisonnement vision-langage ancré, surpassant des méthodes spécialisées comme VCD, ICD et RBD à la fois sur les tâches discriminatives et génératives.