Résumé Technique : Les MLLM ont raison, puis se trompent : Tracer et corriger le biais textuel des couches tardives

1. Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) présentent un biais constant envers l'information textuelle lorsqu'elle contredit les preuves visuelles. Même lorsqu'une image fournit une preuve claire d'un fait (ex: une voiture rouge), les MLLM produisent souvent la réponse suggérée par le texte conflictuel (ex: "voiture bleue"). Ce "recouvrement textuel" pose des risques importants pour les applications critiques en matière de sécurité, comme le diagnostic médical ou la conduite autonome, où faire confiance à un texte erroné plutôt qu'à la perception visuelle peut conduire à des erreurs graves.

Des travaux antérieurs ont documenté ce phénomène mais n'ont pas clarifié le mécanisme sous-jacent. Il reste incertain de savoir si l'échec provient d'un mauvais encodage visuel initial, d'une perte d'information lors de la fusion intermodale, ou du traitement correct des données visuelles suivi de leur écrasement ultérieur par des priors textuels dans les couches plus profondes.

2. Méthodologie et Analyse

2.1 Traçage par couche et Ratio de Dominance Modale (MDR)

Pour étudier le mécanisme d'échec, les auteurs tracent les trajectoires de prédiction à travers les couches du modèle. Ils projettent les états cachés à chaque couche $l$ vers les probabilités de sortie en utilisant la tête du modèle de langage. Ils introduisent le Ratio de Dominance Modale (MDR) pour quantifier la préférence pour la réponse visuelle ($w_{vis}$) par rapport à la réponse textuelle ($w_{text}$) à chaque couche :
$$\text{MDR}^{(l)} = \log \frac{P^{(l)}_t(w_{vis})}{P^{(l)}_t(w_{text})}$$

• MDR positif : Préférence pour la réponse visuelle.
• MDR négatif : Préférence pour la réponse textuelle.

2.2 Le phénomène de "Recouvrement Textuel de Couche Tardive"

L'analyse des échantillons Conflit-Incorrect (où le modèle échoue) révèle un schéma surprenant :

1. Correction Initiale : Dans les couches intermédiaires, le modèle attribue une probabilité plus élevée à la réponse visuelle correcte (MDR positif).
2. Le Recouvrement : Dans les couches ultérieures, le MDR bascule au négatif, et le modèle déplace sa préférence vers la réponse textuelle incorrecte.
3. Conclusion : L'information visuelle est encodée avec succès mais ne parvient pas à survivre au passage direct complet en raison du traitement des couches tardives.

2.3 Signature Directionnelle de la Correction

Les auteurs observent que les changements de prédiction se produisent aussi bien dans les cas de réussite que d'échec. Cependant, la direction du changement les distingue :

• Échecs (Conflit-Incorrect) : 85 % des transitions basculent vers le texte ($\Delta \text{MDR} < 0$).
• Succès (Conflit-Correct & Non-Conflit) : 89–91 % des transitions basculent vers la vision ou restent stables ($\Delta \text{MDR} > 0$).

Cette asymétrie directionnelle suggère que les couches tardives servent parfois à affiner les prédictions (bénéfique) mais parfois à supprimer les preuves visuelles (nuisible).

2.4 Décodage de Référence Sensible au Conflit (CALRD)

Sur la base de ces découvertes, les auteurs proposent le CALRD, une méthode d'intervention au moment de l'inférence qui ne nécessite pas de réentraînement. Elle ne nécessite aucune connaissance externe.

Mécanisme de Détection :
Le CALRD identifie les "recouvrements nuisibles" en utilisant deux signaux dérivés de la couche de transition ($L_{trans}$), définie comme la couche présentant le changement de distribution le plus marqué (détecté via la divergence de Jensen-Shannon) :

1. Confiance de l'Ancre ($D_{conf}$) : La probabilité de la prédiction supérieure à la couche de transition. Une confiance élevée indique une préférence intermédiaire forte.
2. Rétention de la Prédiction ($\rho$) : Le ratio de la probabilité de la couche finale par rapport à la probabilité de la couche de transition pour le même jeton. Une faible rétention indique que la prédiction a été supprimée.

Logique d'Intervention :
Une force de correction $\lambda$ est calculée comme suit :
$$\lambda = D_{conf} \cdot (1 - \rho)$$

• Si une prédiction confiante existe ($D_{conf}$ élevé) mais qu'elle est supprimée ($\rho$ faible), $\lambda$ devient grand.
• Si la prédiction est stable ou incertaine, $\lambda$ reste proche de zéro.

Stratégie de Décodage :
Les logits de sortie finaux sont ajustés en mélangeant les logits de la couche de transition avec les logits de la couche finale :
$$\phi'_t = (1 - \lambda) \cdot \phi^{(N)}_t + \lambda \cdot \phi^{(L_{trans})}_t$$
Cela restaure la réponse ancrée sur la vision qui était présente dans les couches intermédiaires mais écrasée dans la sortie finale.

3. Contributions Clés

1. Découverte Mécaniste : L'article identifie le "recouvrement textuel de couche tardive" comme la cause principale des échecs de conflit visuel-textuel, démontant que les modèles "ont raison" initialement avant de changer d'avis.
2. Prédicteur Directionnel : Les auteurs montrent que la direction des changements de prédiction (vers le texte vs vers la vision) est un prédicteur fiable de la correction, distinguant les recouvrements nuisibles des raffinements bénéfiques.
3. Méthode CALRD : Une stratégie de décodage sans entraînement qui récupère sélectivement les prédictions recouvertes en utilisant les signaux internes du modèle, préservant les performances standards tout en corrigeant les conflits.
4. Benchmark Conflict-VQA : La construction d'un nouveau benchmark de diagnostic (5 969 échantillons) avec des annotations visuelles-textuelles explicites pour faciliter l'analyse mécaniste de la résolution de conflits.

4. Résultats Expérimentaux

Les auteurs ont évalué le CALRD sur cinq MLLM (InstructBLIP, LLaVA-1.5/1.6, Qwen2.5-VL, Qwen3-VL) à travers diverses architectures.

• Benchmarks de Conflit : Le CALRD a obtenu une amélioration absolue allant jusqu'à 9,4 % sur les tâches de conflit (ex: PhD-icc et Conflict-VQA).
  • Sur PhD-icc, LLaVA-1.5 est passé de 27,72 % à 36,35 % (+8,63 %).
  • Les améliorations étaient généralement plus importantes pour les modèles plus faibles, car les modèles plus forts résolvent déjà davantage de conflits correctement dans leurs couches tardives.
• Benchmarks Standards (Non-Conflit) : Le CALRD a largement préservé ou légèrement amélioré les performances sur les benchmarks d'hallucination standards (POPE et CHAIR), démontrant que la méthode ne dégrade pas indistinctement les performances sur les tâches non conflictuelles.
• Comparaison : Le CALRD a surpassé les méthodes existantes basées sur les couches comme DoLa et DeCo, qui appliquent souvent des corrections uniformes et peuvent dégrader les performances lorsque le traitement des couches tardives est réellement bénéfique.
• Efficacité : Le CALRD ajoute un surcoût minimal (~1,5 ms/jeton et 80 Mo de mémoire) par rapport au décodage classique, ce qui le rend pratique pour le déploiement.

5. Signification et Revendications

L'article revendique un changement de perspective pour améliorer la fiabilité des MLLM : plutôt que de se concentrer uniquement sur l'apprentissage des modèles pour "mieux voir" (meilleur encodage visuel), la fiabilité peut être améliorée en aidant les modèles à conserver ce qu'ils ont déjà vu.

Les auteurs soulignent que leur méthode est modeste dans son ampleur :

• Elle traite un mode d'échec spécifique (recouvrement de couche tardive) plutôt que toutes les hallucinations.
• Elle repose sur les propres représentations du modèle, ne nécessitant aucune base de connaissances externe ou données d'entraînement supplémentaires.
• L'intervention est adaptative ; elle ne s'active que lorsqu'une signature spécifique de recouvrement nuisible (haute confiance + faible rétention) est détectée, garantissant que le traitement bénéfique des couches tardives n'est pas perturbé.

Le travail suggère que la "confiance aveugle dans le texte" observée dans les MLLM n'est pas nécessairement un manque de compréhension visuelle, mais un échec de la préservation de l'information à travers la profondeur du réseau. Le CALRD fournit un mécanisme pour récupérer cette information perdue.