MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

Le papier présente MindSet: Vision, une boîte à outils comprenant des jeux de données d'images systématiquement manipulés et des scripts pour tester 30 découvertes psychologiques sur la vision humaine afin d'évaluer et d'améliorer l'alignement des réseaux de neurones profonds avec la perception humaine.

L'essentiel

🧠 MindSet : La Boîte à Outils pour Tester les "Yeux" des Robots

Imaginez que vous avez construit un robot très intelligent, capable de reconnaître des chats, des voitures et des pommes sur des millions de photos. Vous êtes fier de lui et vous dites : "Mon robot voit le monde exactement comme un humain !"

Mais comment en être sûr ? Jusqu'à présent, les scientifiques testaient ces robots en leur montrant des photos naturelles (comme sur Instagram) et en voyant s'ils pouvaient les nommer correctement. C'est un peu comme tester un élève en lui donnant un examen de mathématiques qu'il a déjà mémorisé par cœur. S'il réussit, on ne sait pas s'il a vraiment compris la logique ou s'il a juste appris les réponses.

Le problème : Les robots (les réseaux de neurones profonds ou DNN) peuvent réussir ces tests en utilisant des astuces que les humains n'utilisent pas. Par exemple, un robot pourrait identifier un "chien" parce qu'il y a de l'herbe en arrière-plan, et non parce qu'il reconnaît la forme du chien.

🛠️ La Solution : MindSet : Vision

Les auteurs de cet article ont créé une boîte à outils magique appelée MindSet : Vision. Au lieu de donner des photos naturelles aux robots, ils leur proposent 30 petits jeux de logique visuelle basés sur des découvertes psychologiques connues depuis des décennies.

C'est comme passer d'un examen de "mémoire" à un examen de "compréhension profonde".

Voici comment fonctionne cette boîte à outils, avec quelques analogies :

1. Les Illusions d'Optique : Le Test de la "Magie"

Les humains sont sujets à des illusions d'optique. Par exemple, dans l'illusion de Müller-Lyer, deux lignes de même longueur semblent différentes à cause de flèches à leurs extrémités.

• Le test : Si un robot voit vraiment comme un humain, il devrait aussi "se faire avoir" par l'illusion et dire que la ligne est plus longue ou plus courte qu'elle ne l'est vraiment.
• Le résultat du papier : La plupart des robots ne voient pas l'illusion ! Ils voient la longueur réelle. Cela prouve qu'ils ne "voient" pas le monde de la même manière que nous.

2. La Complétion Amodale : Le Jeu du "Caché"

Imaginez une pomme cachée derrière un livre. Votre cerveau complète mentalement la partie cachée de la pomme. Vous savez qu'il y a une pomme entière, même si vous ne la voyez pas.

• Le test : Les chercheurs montrent aux robots des formes coupées ou cachées.
• Le résultat : Les robots ont du mal à comprendre qu'il y a un objet entier derrière l'obstacle. Ils voient seulement ce qui est visible, comme un robot qui n'a pas d'imagination.

3. Les Relations vs Les Détails : Le Puzzle

Si vous déplacez un morceau d'un puzzle, l'image change-t-elle ? Pour un humain, si vous changez la relation entre les pièces (par exemple, mettre une oreille au-dessus de la tête au lieu de sur le côté), l'image devient bizarre. Si vous changez juste la position exacte (un peu plus à gauche), l'image reste la même.

• Le test : Les robots sont souvent incapables de faire cette différence. Ils se focalisent sur les détails locaux (la texture, la couleur) plutôt que sur la structure globale (la forme du visage).

🎮 Comment ça marche ? (Les 3 Méthodes)

Pour tester les robots, l'outil utilise trois méthodes amusantes :

1. Le Juge de Paix (Similarité) : On montre deux images au robot et on lui demande : "Est-ce que ces deux images se ressemblent ?" Si le robot répond comme un humain (ex: "Oui, ces deux visages sont très similaires même si l'un est inversé"), c'est bon signe.
2. Le Détective (Décodeur) : On attache un petit détective (un petit réseau de neurones simple) au cerveau du robot. Ce détective essaie de deviner une propriété précise (ex: "Quelle est la taille du cercle rouge ?"). Si le détective se trompe à cause d'une illusion, c'est que le robot a été "trompé" comme un humain.
3. Le Test de Sortie (Classification) : On donne au robot des images qu'il n'a jamais vues (comme des dessins au trait ou des silhouettes) et on voit s'il arrive à les reconnaître sans avoir besoin de les réapprendre. Les humains sont excellents là-dedans, les robots sont souvent perdus.

📉 Ce que les chercheurs ont découvert

Ils ont testé 15 robots très performants (les meilleurs du moment) sur ces 30 jeux.

• Le verdict : Même les robots les plus intelligents échouent lamentablement sur beaucoup de ces tests. Ils ne comprennent pas les illusions, ils ne voient pas les objets cachés, et ils ne comprennent pas la structure globale des formes.
• Le message : Ce n'est pas une mauvaise nouvelle ! C'est une excellente nouvelle. Cela nous dit exactement où nos robots sont imparfaits. C'est comme un médecin qui trouve la maladie pour pouvoir la soigner.

🚀 Pourquoi est-ce important ?

Aujourd'hui, beaucoup de gens pensent que les robots voient comme nous parce qu'ils réussissent bien aux tests classiques. MindSet : Vision nous dit : "Attendez, ils ne voient pas comme nous, ils trichent !"

En utilisant cette boîte à outils, les scientifiques pourront :

1. Comprendre pourquoi les robots échouent.
2. Améliorer les robots pour qu'ils aient une vision plus "humaine" et plus robuste.
3. Créer de l'intelligence artificielle qui ne se trompe pas quand on change légèrement le contexte (comme un humain qui reconnaît un ami même sous la pluie ou de dos).

En résumé

MindSet : Vision est une boîte à outils qui transforme la psychologie visuelle en un terrain de jeu pour les robots. Au lieu de les féliciter pour avoir mémorisé des photos, on les met au défi de comprendre la logique de la vision humaine. Jusqu'à présent, les robots ont beaucoup de mal, mais c'est grâce à ces échecs que nous pourrons construire de vraies intelligences artificielles capables de voir le monde comme nous.

Résumé technique

1. Le Problème : Limites des Benchmarks Actuels

L'article identifie une lacune majeure dans l'évaluation des réseaux de neurones profonds (DNN) en tant que modèles de la vision humaine.

• Nature Observationnelle : La plupart des benchmarks actuels (comme Brain-Score) sont purement observationnels. Ils évaluent la capacité des modèles à prédire des réponses comportementales ou cérébrales à des images naturelles non manipulées.
• Confusions (Confounds) : Ces approches permettent aux modèles d'obtenir de bons scores en utilisant des indices diagnostiques différents de ceux utilisés par les humains (par exemple, classer par texture plutôt que par forme). Les corrélations observées peuvent être dues à des confusions entre variables (ex: la texture et la forme étant corrélées dans les images naturelles) plutôt qu'à une véritable similarité de mécanisme.
• Absence de Tests Sévères : La littérature psychologique contient de nombreuses expériences conçues pour tester des hypothèses spécifiques sur le fonctionnement de la vision (manipulation de variables indépendantes), mais ces données sont rarement utilisées pour soumettre les DNN à des "tests sévères" capables de réfuter l'hypothèse qu'ils modélisent la vision biologique. Les chercheurs se contentent souvent de similarités superficielles.

2. Méthodologie : La Boîte à Outils "MindSet: Vision"

Pour combler ce fossé, les auteurs ont développé MindSet: Vision, une boîte à outils open-source conçue pour tester systématiquement les DNN sur 30 phénomènes psychologiques visuels bien établis.

A. Les Données (Stimuli)

• 30 Expériences : Les datasets couvrent la vision de bas niveau (lois de Weber, émergence de formes), de niveau intermédiaire (complétion amodale, illusions, regroupement Gestalt) et de haut niveau (reconnaissance d'objets, invariance).
• Manipulation Systématique : Contrairement aux images naturelles, les stimuli sont générés procéduralement avec des paramètres contrôlés (taille, couleur, position, occlusion, etc.). Chaque dataset comprend des conditions "illusoire" et des conditions "scrambled" (brouillées) pour servir de contrôle.
• Flexibilité : Les scripts permettent de régénérer les datasets avec différents paramètres (taille d'image, nombre d'échantillons, etc.), offrant une grande versatilité.

B. Méthodes d'Évaluation
L'outil propose trois méthodes principales pour tester les modèles :

1. Analyse de Jugement de Similarité (Similarity Judgment) : Comparaison des motifs d'activation (cosinus ou distance euclidienne) entre paires d'images dans différentes couches du réseau. Cela permet de vérifier si le réseau perçoit la similarité entre deux stimuli comme le ferait un humain (ex: une forme occluse vs une forme entaillée).
2. Méthode du Décodeur (Decoder Method) : Un décodeur linéaire simple est entraîné sur les activations d'un DNN gelé (frozen) pour prédire une propriété spécifique (ex: la taille d'un cercle dans l'illusion d'Ebbinghaus). Le décodeur est ensuite testé sur des configurations illusoire pour voir si le réseau encode l'illusion de manière similaire aux humains.
3. Classification Hors-Distribution (Out-of-Distribution) : Test de modèles pré-entraînés (ex: sur ImageNet) sur des images modifiées (dessins au trait, silhouettes, textures) que les humains reconnaissent facilement sans ré-entraînement, mais que les DNN peinent souvent à classifier.

3. Contributions Clés

• Ressource Open Source : Mise à disposition de 30 datasets d'images et des scripts de génération correspondants (licences MIT et CC 1.0) via GitHub et Kaggle.
• Cadre de Test Standardisé : Intégration de la littérature psychologique classique dans un format compatible avec l'apprentissage automatique, facilitant l'accès aux chercheurs en informatique qui ne sont pas familiers avec la psychologie expérimentale.
• Évaluation Multi-Méthodes : Fourniture de code pour appliquer les trois méthodes d'analyse (similarité, décodeur, classification) sur n'importe quel modèle DNN.
• Étude de Cas Empirique : Application de la boîte à outils à 15 modèles DNN modernes (ResNet, ConvNeXt, ViT, DeIT, FocalNet) sur 9 expériences clés.

4. Résultats Principaux

Les tests menés sur 15 modèles performants (y compris ceux qui obtiennent les meilleurs scores sur Brain-Score) révèlent des écarts significatifs par rapport à la vision humaine :

• Échec sur les Illusions Visuelles : La plupart des modèles ne montrent pas d'effets d'illusion robustes. Par exemple, ils échouent à reproduire l'illusion de Müller-Lyer et montrent des résultats mitigés pour l'illusion d'Ebbinghaus.
• Insensibilité aux Relations : Les réseaux ne sont pas sensibles aux changements relationnels entre les parties d'un objet (contrairement aux humains qui distinguent facilement un changement relationnel d'un changement métrique/coordinationnel).
• Problèmes de Structure Globale : Les modèles ont du mal avec les images fragmentées ou modifiées globalement (comme les dessins au trait ou les silhouettes), suggérant qu'ils s'appuient davantage sur des caractéristiques locales (texture) que sur la forme globale.
• Complétion Amodale : Bien que certains modèles montrent un faible signe de complétion amodale (traitement d'un objet occlus comme complet), l'effet est faible, inconstant à travers les couches et souvent négligeable par rapport à la performance humaine.
• Généralisation : Les décodeurs entraînés sur des conditions non-illusoire peinent souvent à généraliser aux conditions illusoire, indiquant que les représentations internes des DNN ne capturent pas les mécanismes perceptifs humains.

5. Signification et Impact

• Changement de Paradigme : L'article plaide pour un passage d'une évaluation basée sur la corrélation globale (benchmarks observationnels) à une évaluation basée sur des tests causaux et sévères inspirés de la psychologie expérimentale.
• Diagnostic des Modèles : Les échecs identifiés ne discréditent pas les DNN, mais fournissent des diagnostics précis sur leurs limites actuelles (ex: manque d'invariance, sensibilité insuffisante à la structure globale).
• Guide pour la Recherche Future : MindSet: Vision offre une base solide pour développer de nouvelles architectures capables de capturer les mécanismes de la vision biologique, en ciblant spécifiquement les phénomènes psychologiques que les modèles actuels ne parviennent pas à reproduire.
• Interdisciplinarité : L'outil vise à rapprocher les communautés de l'informatique (Deep Learning) et des sciences cognitives, en rendant les données psychologiques accessibles et exploitables pour l'ingénierie des modèles de vision.

En résumé, MindSet: Vision démontre que même les modèles d'IA les plus avancés échouent à reproduire des aspects fondamentaux de la perception visuelle humaine lorsqu'ils sont soumis à des tests psychologiques rigoureux, soulignant la nécessité d'intégrer ces tests dans le développement futur des modèles de vision artificielle.