Résumé technique : HueManity – Sonder la perception visuelle fine des MLLM

Énoncé du problème

Bien que les modèles de langage multimodaux (MLLM) aient démontré des capacités impressionnantes en matière de raisonnement visuel de haut niveau, tels que le questionnement visuel (VQA) et la légende d'images, les benchmarks existants négligent largement leur capacité à capturer des détails perceptuels fins. Les paradigmes d'évaluation actuels confondent souvent la perception avec le raisonnement sémantique, permettant aux modèles de s'appuyer sur des a priori linguistiques plutôt que sur une entrée visuelle pure. Alors que les MLLM sont de plus en plus déployés dans des domaines critiques pour la sécurité (ex. : conduite autonome, imagerie médicale), l'absence d'une acuité perceptuelle fondamentale — spécifiquement la capacité à extraire des signaux cohérents d'environnements visuellement encombrés — pose un risque important. L'article soutient que la capacité à discerner des motifs à partir d'indices subtils et de bas niveau (couleur, luminance, texture) est un prérequis pour une intelligence visuelle robuste, pourtant cette capacité reste inexplorée par les benchmarks standards.

Méthodologie : Le benchmark HueManity

Pour combler cette lacune, les auteurs introduisent HueManity, un benchmark automatisé et évolutif conçu pour isoler et évaluer la perception visuelle fine.

Construction du jeu de données

• Échelle et contenu : Le benchmark comprend 83 850 images, chacune présentant une chaîne alphanumérique de deux caractères intégrée dans un motif de points de type Ishihara.
• Pipeline de génération :
  1. Masquage de texte : Un masque binaire de 900x900 pixels est généré pour les chaînes de deux caractères à l'aide de la bibliothèque Pygame avec une police DejaVu Sans grasse et italique.
  2. Sélection des couleurs : 25 paires de couleurs premier plan-arrière-plan distinctes ont été sélectionnées via un processus à plusieurs étapes. Cela impliquait une analyse quantitative via la formule de différence de couleur CIEDE2000 ($\Delta E_{2000}$) pour garantir une difficulté perceptuelle équilibrée, suivie d'une vérification manuelle pour garantir la légibilité humaine.
  3. Rendu des motifs : Un générateur itératif peuple l'image de cercles non chevauchants (4 à 15 pixels). Les cercles à l'intérieur de la zone du caractère reçoivent une couleur de premier plan, tandis que les autres reçoivent une couleur d'arrière-plan. Ces couleurs subissent des transformations aléatoires (décalages de gradient, décalages RGB et mise à l'échelle de la luminosité) pour créer des motifs denses et complexes.
• Conception des tâches : Le benchmark inclut deux tâches de reconnaissance :
  • Tâche numérique : Nombres à deux chiffres (ex. : "17"), avec un espace de labels de 90 possibilités.
  • Tâche alphanumérique : Chaînes de deux caractères (ex. : "A7", "9b"), avec un espace de labels de 3 364 possibilités (excluant les caractères visuellement ambigus comme 'l', 'I', 'J', 'O').
• Conditions de contrôle : Pour distinguer le regroupement perceptuel de la reconnaissance de caractères, les modèles sont également évalués sur les Masques de Texte binaires (tâche de contrôle) aux côtés des Motifs d'Ishihara.

Configuration expérimentale

• Modèles évalués : Neuf MLLM de pointe ont été testés, incluant des modèles commerciaux basés sur API (GPT-4.1, GPT-4.1 mini, Claude 3.7 Sonnet, Qwen VL Max, Pixtral) et des modèles open-source (variantes de LLaVA-v1.6, Mistral-small3.1).
• Baselines :
  • Performance humaine : 16 volontaires ayant une vision normale des couleurs ont évalué 100 images par tâche.
  • Vision par ordinateur traditionnelle : Un modèle ResNet50 affiné (entraîné sur 2 000 échantillons) a servi de référence pour la vision par ordinateur.
• Protocole d'évaluation : Les modèles ont été incités à produire le texte exact selon un format strict. La performance a été mesurée via la précision de correspondance exacte. L'étude comprenait également des études d'ablation sur la résolution de l'image et des investigations sur l'apprentissage en contexte et le fine-tuning.

Résultats clés

Écart de performance

L'évaluation révèle un déficit de performance flagrant des MLLM par rapport aux humains et aux baselines de vision par ordinateur traditionnelle :

• Baseline humaine : A atteint une performance proche du plafond (99,37 % sur le numérique, 93,25 % sur l'alphanumérique).
• Baseline ResNet50 : A atteint une précision élevée (96,5 % sur le numérique, 94,5 % sur l'alphanumérique), prouvant que la tâche est soluble pour des architectures capables d'apprendre des caractéristiques fines.
• Performance des MLLM :
  • Tâche numérique : Le meilleur modèle (GPT-4.1) n'a atteint que 33,6 % de précision. Les autres modèles se situaient entre 19,0 % et presque 0 %.
  • Tâche alphanumérique : La performance s'est davantage effondrée. GPT-4.1 n'a obtenu que 3,0 %, tandis que la plupart des autres modèles affichaient 0 % ou proche de zéro.
  • OCR vs Perception : Alors que les modèles maintenaient une précision élevée (>80 %) sur les Masques de Texte binaires (démontrant un OCR fonctionnel), leur performance s'est effondrée sur les Motifs d'Ishihara. Cela indique que l'échec est ancré dans le regroupement perceptuel et l'extraction de caractéristiques à partir du désordre, et non dans la reconnaissance de caractères elle-même.

Modes d'échec

L'analyse qualitative a identifié trois modes d'échec distincts chez les MLLM :

1. Hallucination : Génération de textes non liés et excessivement complexes (ex. : des phrases comme "MUST SEE") lorsque le traitement visuel est submergé.
2. Évasion : Décrire l'image comme un "test de couleur" ou déclarer explicitement l'incapacité à effectuer la tâche, plutôt que de tenter une supposition.
3. Sorties erratiques : Production de chaînes aléatoires, de motifs répétitifs ou de nombres sans queue ni tête, indiquant un manque de stabilité dans l'extraction des caractéristiques visuelles.

Autres découvertes

• Apprentissage en contexte (In-Context Learning) : Fournir des exemples de quelques tirages (few-shot) n'a pas amélioré la performance ; dans de nombreux cas, cela a dégradé les résultats, suggérant que la complexité visuelle des exemples introduit du bruit.
• Fine-Tuning : Le fine-tuning d'un modèle (Gemma-3-4B) sur les images à motifs n'a pas amélioré la performance et a même détruit sa capacité à résoudre la tâche simple du masque, indiquant que les modèles apprenaient à produire des chaînes plausibles plutôt qu'à apprendre la compétence perceptuelle.
• Ablation de la résolution : Réduire la résolution de l'image (sous-échantillonnage) a paradoxalement amélioré la performance pour le meilleur modèle (GPT-4.1), suggérant que le sous-échantillonnage agit comme un filtre passe-bas qui lisse le bruit à haute fréquence, rendant les formes des caractères plus saillantes.
• Corrélation avec le monde réel : Une forte corrélation positive ($\rho = 0,82$) a été trouvée entre les performances de HueManity et les classements sur le benchmark Vision Arena, suggérant que les déficits de perception fine sont corrélés aux performances générales sur les tâches multimodales réelles.

Signification et revendications

L'article affirme que HueManity expose une faiblesse critique dans l'ancrage perceptuel des MLLM actuels. Les auteurs soutiennent que :

1. Limitations architecturales : L'échec est probablement dû à des goulots d'étranglement architecturaux (ex. : les Vision Transformers divisant les images en patchs, les couches de projection agissant comme des goulots d'étranglement d'information) et des objectifs de pré-entraînement optimisés pour la sémantique de haut niveau plutôt que pour le détail de bas niveau.
2. Utilité diagnostique : Le benchmark sert d'outil de diagnostic puissant. La forte corrélation avec les benchmarks du monde réel implique que l'amélioration de la perception fine est essentielle pour le déploiement des MLLM dans des applications critiques pour la sécurité.
3. Direction de la recherche : Les résultats suggèrent que les modèles actuels ne peuvent pas simplement "apprendre" ces compétences via le fine-tuning standard ou l'apprentissage en contexte. Les travaux futurs doivent se concentrer sur de nouvelles architectures qui préservent l'information visuelle de bas niveau et des objectifs d'entraînement qui favorisent explicitement une acuité visuelle robuste indépendamment du raisonnement sémantique.

Les auteurs publient le jeu de données et le code de génération pour faciliter la recherche reproductible et les extensions communautaires dans ce domaine.