Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

Résumé technique : Diagnostiquer la perception des modèles de langage-vision en exploitant les méthodes humaines pour les déficiences de la vision des couleurs

Énoncé du problème
Les modèles de langage-vision (LVLM) à grande échelle sont de plus en plus déployés dans des contextes réels tels que la navigation, l'éducation et les technologies d'assistance. Une hypothèse critique, bien que sous-explorée, de ces déploiements est que les utilisateurs partagent une expérience visuelle uniforme. En réalité, la perception visuelle varie considérablement en raison de facteurs biologiques, particulièrement les déficiences de la vision des couleurs (CVD), qui affectent environ 8 % des hommes et 0,5 % des femmes. Les LVLM actuels sont entraînés sur des corpus à l'échelle du web qui supposent implicitement une vision des couleurs typique. Bien que ces modèles possèdent des connaissances linguistiques substantielles sur les CVD et les outils de diagnostic clinique, il reste incertain s'ils peuvent simuler des percepts visuels alternatifs. Ce fossé crée un risque d'exclusion : un LVLM fournissant des instructions basées sur la couleur (par exemple, « prenez la ligne verte ») peut échouer à fournir des informations exploitables pour un utilisateur atteint de daltonisme rouge-vert, soulignant un décalage entre la connaissance linguistique et l'ancrage perceptuel.

Méthodologie
Les auteurs utilisent le test d'Ishihara, un outil cliniquement validé pour diagnostiquer les CVD humains, comme une sonde de diagnostic pour les LVLM. Plutôt que d'utiliser le test uniquement pour le dépistage, ils le détournent pour évaluer si les modèles peuvent reproduire les résultats perceptuels expérimentés par des individus présentant des CVD spécifiques. L'étude évalue six LVLM (Phi-3.5, Qwen2.5-VL, mPLUG-Owl3, LLaVA-NeXT, Llama-3.2 et GPT-4o) à travers quatre conditions de vision simulées : Normale, Protanopie, Deutéranopie et Tritanopie.

L'évaluation est menée selon trois perspectives complémentaires :

1. Niveau de génération : Le modèle est invité à identifier le chiffre sur une plaque d'Ishihara en simulant un type de vision spécifique (par exemple, « Vous êtes protanope »). La précision est mesurée par rapport aux chiffres de vérité terrain associés à cette condition de vision.
2. Niveau de confiance : Les auteurs analysent la perplexité par jeton (per-token) pour les réponses décodées de force. Cela mesure si l'incertitude du modèle sient l'ambiguïté perceptuelle vécue par les humains souffrant de CVD.
3. Niveau de représentation interne : En utilisant une méthode de sondage par couches de type LogitLens, les auteurs examinent si les activations internes encodent des distinctions entre les types de vision, même si le résultat final ne les reflète pas.

Pour garantir la robustesse, l'étude utilise plusieurs stratégies de prompting (Base, Support Linguistique, Support Visuel) et inclut des expériences de contrôle utilisant un modèle spécialisé en médecine (MedVLM-R1) et un modèle affiné sur des motifs de points synthétiques (Qwen-DotPattern) afin d'exclure que la mémorisation de motifs ou la connaissance de domaine ne soient les seules explications de la performance.

Résultats clés

• Connaissance linguistique vs Simulation perceptuelle : Tous les modèles évalués ont démontré une forte connaissance linguistique, définissant correctement le test d'Ishihara et les diverses CVD. Cependant, ils ont échoué à traduire cette connaissance en simulation perceptuelle.
• Échec de génération : Sous des conditions de CVD simulées (Protanopie et Deutéranopie), la précision des modèles s'est effondrée. Aucun modèle n'a dépassé 24 % de précision dans ces conditions. Au lieu de générer le chiffre perçu par un daltonien, les modèles revenaient par défaut à la réponse « normative » (Vision Normale) ou produisaient des sorties hallucinées.
• Inefficacité des prompts : Fournir des descriptions linguistiques de l'infirmité ou des exemples visuels en quelques coups (Support Visuel) n'a pas amélioré significativement la performance. Les modèles revenaient systématiquement à une perception normative, quel que soit le cadrage du prompt.
  al. Désalignement de la confiance : L'analyse de la perplexité a révélé un biais prononcé vers la vision normale. Les modèles présentaient une faible perplexité (haute confiance) pour les conditions Normal et Tritanopie, mais une perplexité nettement plus élevée pour la Protanopie et la Deutéranopie, indiquant une confusion fondamentale lors de la tentative de simulation d'une vision colorée altérée.
• Représentations internes : Le sondage par couches a montré que les activations internes n'encodaient pas systématiquement les distinctions entre les types de vision. Les modèles traitent souvent les images comme « Normales » dans les couches intermédiaires, ne changeant qu'à la dernière couche, ce qui suggère une absence d'états perceptuels alternatifs profonds dans l'espace latent.
• Entraînement spécialisé : Les modèles entraînés sur des données médicales ou des motifs de points synthétiques ont montré une amélioration de la performance en vision Normale, mais ont échoué à reproduire les distorsions perceptuelles des CVD, confirmant que l'entraînement spécifique au domaine n'autorise pas intrinsèquement la simulation d'expériences perceptuelles alternatives.

Contributions clés

• Cadre de diagnostic : L'article établit une méthodologie pour évaluer la capacité des LVLM à simuler la diversité de la perception humaine en utilisant le test d'Ishihara, allant au-delà de la simple reconnaissance visuelle pour atteindre l'alignement perceptuel.
• Preuve empirique de limitation : L'étude fournit une preuve systématique que les LVLM actuels manquent de mécanismes pour représenter des expériences perceptuelles alternatives, malgré la possession de connaissances factuelles à leur sujet.
• Analyse multi-niveaux : En combinant les analyses de génération, de confiance et de représentation interne, les auteurs démontrent que l'incapacité à simuler les CVD n'est pas seulement une erreur de génération, mais un désalignement fondamental dans la manière dont les modèles traitent et ancrent l'information visuelle.

Signification et affirmations
Les auteurs affirment que leurs conclusions indiquent que les LVLM actuels reviennent par défaut à une expérience visuelle « standard », rendant ainsi silencieux les utilisateurs ayant des caractéristiques perceptuelles différentes dans les interactions multimodales. L'article soutient que la capacité d'expliquer les CVD en langage est distincte de la capacité de percevoir les couleurs comme le ferait un utilisateur de CVD. Par conséquent, le déploiement de ces systèmes dans des domaines critiques pour l'accessibilité (par exemple, la navigation pour les malvoyants) soulève des préoccupations concernant l'équité et l'inclusion. Les auteurs concluent que les futurs systèmes multimodaux nécessitent de nouveaux mécanismes pour représenter et accommoder la diversité perceptive, car les architectures actuelles sont insuffisantes pour un déploiement centré sur l'humain et inclusif. L'étude précise explicitement qu'elle est diagnostique plutôt que prescriptive, visant à souligner la nécessité de recherches supplémentaires sur les LVLM conscients des CVD plutôt que d'offrir des stratégies de mitigation immédiates.