More Accurate, Less Human: Gestalt Grouping in Vision Models

Résumé technique : Plus précis, moins humain : Le regroupement Gestalt dans les modèles de vision

Énoncé du problème
Les modèles de vision-langage (VLM) sont de plus en plus déployés dans les pipelines de visualisation pour interpréter des graphiques, évaluer des designs et agir comme des substituts aux spectateurs humains. Bien que ces systèmes démontrent une grande précision sur les benchmarks de réalisation de tâches, il reste non vérifié s'ils organisent l'information visuelle selon les mêmes régularités perceptuelles qui régissent la vision humaine. Les évaluations conventionnelles mesurent la capacité (par exemple, les scores de littératie en visualisation) mais ne parviennent pas à distinguer les réponses correctes dérivées d'un regroupement perceptuel de type humain de celles dérivées de mécanismes fondamentalement différents et non humains. L'article soutient qu'une précision élevée n'établit pas une « similitude humaine » dans l'organisation perceptuelle, nécessissant un passage des mesures de performance de tâche vers un alignement comportemental avec la psychologie cognitive établie.

Méthodologie
Les auteurs introduisent une batterie d'évaluation comportementale fondée sur la psychologie de la Gestalt, testant spécifiquement les principes de Clôture (complétion perceptuelle de structures incomplètes) et de Similitude (regroupement par attributs partagés). Au lieu de collecter de nouvelles données humaines, la méthodologie réutilise des stimuli et des données comportementales humaines publiées issues d'études de perception antérieures comme cibles d'évaluation.

La batterie se compose de quatre tâches réparties sur deux pistes (graphiques et contrôles d'images naturelles) :

1. Reconnaissance de silhouette (Clôture) : Une tâche de choix forcé à 16 voies sur des silhouettes pleines où les textures et les détails intérieurs sont supprimés. L'ancrage humain est la réponse modale de dix observateurs.
2. Intrus Marque-Couleur (Similitude) : Identification de l'élément aberrant parmi des marques basé sur la couleur, scoré par rapport à un noyau perceptuel issu du crowdsourcing.
3. Comptage de séries de couleurs (Similitude) : Comptage de séries de couleurs distinctes dans un graphique, scoré par rapport à la bande de capacité humaine publiée (6 à 12 catégories).
4. Intrus d'objets (Similitude) : Identification de l'intrus sémantique dans des images naturelles, scoré par rapport au plafond de test-retest de l'ensemble de données THINGS.

L'étude évalue 45 modèles à travers cinq familles d'entraînement : encodeurs supervisés, encodeurs auto-supervisés, encodeurs vision-langage contrastifs, VLM à poids ouverts (open-weight) et modèles de fondation fermés (closed foundation models).

Métriques
Trois métriques complémentaires quantifient l'alignement comportemental :

• Accord comportemental ($B$) : Le taux auquel la réponse d'un modèle correspond à la cible humaine (choix modal ou bande de capacité). Cela mesure la ressemblance humaine, pas seulement la compétence.
• Cohérence de l'erreur comportementale ($\kappa$) : Une mesure de savoir si le modèle commet des erreurs sur les mêmes éléments spécifiques que les humains, au-delà de ce qui serait attendu par le hasard compte tenu de leurs précisions respectives. Elle est comparée à un plafond de cohérence humain-humain.
• Réplication de l'effet comportemental ($a(k)$) : Si le profil de précision du modèle à travers diverses quantités de séries imite la forme de la courbe de capacité humaine.

Résultats clés

• Dissociation de la précision et de la similitude humaine : Une haute précision sur les benchmarks ne garantit pas l'alignement avec l'organisation perceptuelle humaine. Les modèles changent souvent de classement selon la tâche de regroupement spécifique (par exemple, un performeur de haut niveau en similitude de couleur peut être moyen en regroupement sémantique).
• Variance de la cohérence de l'erreur : Bien que 34 des 45 modèles aient dépassé la précision humaine, seuls quatre ont atteint une cohérence d'erreur ($\kappa$) égale ou supérieure au plafond de cohérence humain-humain. De nombreux modèles, y compris certains modèles de fondation fermés, présentent une précision élevée mais échouent à reproduire les schémas d'erreurs humains.
• Propriétés spécifiques à la famille :
  • VLM à poids ouverts : Ont généralement mal performé, la plupart échouant à dépasser le plancher de devinette de position sur les tâches sémantiques, suggérant que leurs réponses générées ne reflètent pas les capacités de regroupement de leurs tours de vision sous-jacentes.
  • Modèles de fondation fermés : Ont montré un décalage par bloc vers un regroupement de type humain, plusieurs modèles (par exemple, Claude-Opus-4.6) atteignant à la fois une précision supérieure à l'humain et une cohérence d'erreur de niveau humain. Cependant, cet alignement n'est pas uniforme au sein de cette catégorie.
  • Objectifs d'entraînement : Le type de regroupement qu'un modèle exhibe suit son objectif d'entraînement plutôt que son architecture. L'entraînement auto-supervisé a excellé dans la similitude de couleur, tandis que l'entraînement vision-langage contrastif a excellé dans le regroupement sémantique et la forme.
• Spécificité des tâches : Le regroupement de type humain n'est pas un trait global ; un modèle qui s'aligne sur les humains pour une tâche peut diverger radicalement sur une autre.

Signification et revendications
L'article prétend fournir un étalon réutilisable et fondé sur la théorie pour auditer les modèles de vision entrant dans les pipelines de visualisation. En exploitant les données de psychophysique existantes, la méthodologie permet aux chercheurs de déterminer si un modèle « voit » les graphiques de la même manière qu'un public humain sans mener de nouvelles études utilisateurs.

Les auteurs affirment que :

1. Le fondement comportemental est mesurable : Il est possible de quantifier si les modèles organisent le contenu visuel via des principes Gestalt humains.
2. La précision est insuffisante : Les métriques conventionnelles manquent des différences critiques dans l'organisation perceptuelle ; un modèle peut être « plus précis » tout en étant « moins humain » dans sa logique de regroupement.
3. Une évaluation indexée sur la tâche est requise : Aucun score unique ne certifie un modèle comme un substitut humain. Les audits doivent être spécifiques à la tâche (par exemple, le regroupement de marques versus la reconnaissance de formes) et à la famille d'entraînement.
4. Limitations actuelles : L'étude se concentre sur des marques et des objets isolés (les briques élémentaires des graphiques) plutôt que sur des contextes de graphiques complets (axes, légendes) et ne couvre que deux principes de la Gestalt (Clôture et Similitude).

Le travail conclut que, bien que certains modèles de fondation fermés aient atteint un niveau d'alignement comportemental leur permettant de servir de substituts humains pour des tâches spécifiques, cette capacité est acquise grâce à des recettes d'entraînement spécifiques plutôt que par la seule échelle, et elle reste dépendante de la tâche.