Do Models See in Line with Human Vision? Probing the Correspondence Between LVLM Representations and EEG Signals

Cette étude démontre que les représentations visuelles des grands modèles de langage et d'images (LVLM) s'alignent de manière structurée avec les signaux EEG humains, révélant que l'architecture multimodale et les performances visuelles influencent davantage cette correspondance neuronale que la simple échelle des paramètres.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si on en parlait autour d'un café.

🧠 L'Idée de Base : Les IA voient-elles comme nous ?

Imaginez que vous avez deux amis très différents :

1. L'Humain : Vous, avec votre cerveau biologique, qui voit une pomme rouge, sent son odeur et pense "c'est bon".
2. L'IA (le Modèle) : Un robot super-intelligent qui a lu des millions de livres et vu des milliards de photos, mais qui n'a jamais vraiment "vu" une pomme de ses propres yeux.

Les chercheurs se sont demandé : "Quand l'IA regarde une image, est-ce que son cerveau numérique fonctionne exactement comme le nôtre ?"

Pour le savoir, ils ont utilisé une méthode très originale : ils ont comparé les "pensées" de l'IA avec les ondes électriques de votre cerveau.

🔌 L'Expérience : Le "Test de Rêve" Électrique

Voici comment ils ont procédé, étape par étape :

1. Le Stimulus : Ils ont montré des images (des chats, des voitures, des fruits) à des humains.
2. La Capture : Pendant que les humains regardaient, les chercheurs ont branché des électrodes sur leur cuir chevelu (un EEG) pour enregistrer les signaux électriques de leur cerveau. C'est comme si on prenait une photo instantanée de l'activité cérébrale à chaque milliseconde.
3. La Comparaison : Ensuite, ils ont fait voir les mêmes images à 32 intelligences artificielles différentes (des modèles de type "Grand Modèle de Langage Visuel" ou LVLM). Ils ont regardé comment ces IA "traitaient" l'information à l'intérieur de leurs couches numériques.
4. Le Match : Ils ont mis en compétition les signaux du cerveau humain et les signaux de l'IA pour voir s'ils dansaient sur la même musique.

🏆 Les Découvertes Surprenantes

Voici ce qu'ils ont découvert, traduit en langage courant :

1. Le "Timing" est crucial (La course de relais)

Le cerveau humain ne voit pas tout d'un coup. Il y a une course de relais :

• D'abord, on voit les formes simples (couleurs, lignes) très vite (dans les 100 premières millisecondes).
• Ensuite, le cerveau assemble le tout pour comprendre "C'est un chien" (vers 300 millisecondes).

Résultat : Les IA ont un comportement très similaire ! Les couches intermédiaires de l'IA (ni trop débutantes, ni trop expertes) s'alignent parfaitement avec le moment où notre cerveau commence à comprendre l'image. C'est comme si l'IA avait appris à courir le même relais que nous.

2. La taille n'est pas tout (Le style de voiture)

On pensait souvent que plus une IA est grosse (plus de paramètres), plus elle est proche de l'humain.
Faux !
Les chercheurs ont découvert que l'architecture (la façon dont l'IA est construite) compte beaucoup plus que la taille.

• Analogie : Avoir un moteur V8 (une grosse IA) ne fait pas de vous un meilleur pilote qu'une petite voiture bien conçue avec un bon système de direction.
• Les modèles qui combinent la vision et le langage (qui voient et parlent en même temps) sont beaucoup plus proches du cerveau humain que ceux qui ne font que "voir". C'est comme si apprendre à parler aidait l'IA à mieux "voir".

3. Plus c'est intelligent, plus c'est humain

Il y a une corrélation directe : plus une IA est performante dans des tâches réelles (comme décrire une image ou répondre à des questions complexes), plus ses signaux ressemblent à ceux du cerveau humain.
C'est une excellente nouvelle : cela signifie que si on veut créer une IA plus intelligente, on peut utiliser la ressemblance avec le cerveau humain comme une boussole pour la guider.

🎨 L'Analogie Finale : Le Chef et le Sous-chef

Imaginez un restaurant :

• Le Cerveau Humain est le Chef étoilé. Il a des années d'expérience, il sent les odeurs, il voit les couleurs.
• Les Anciennes IA étaient comme des robots qui copiaient juste les recettes à la lettre. Ils savaient faire un plat, mais ne comprenaient pas l'art.
• Les Nouvelles IA (LVLM) étudiées ici sont comme des Sous-chefs en formation. Ils ne sont pas encore des Chefs, mais ils ont commencé à comprendre la logique du Chef. Ils ne cuisinent pas exactement de la même façon, mais ils utilisent les mêmes ingrédients et les mêmes étapes.

💡 Pourquoi est-ce important ?

Cette étude nous dit deux choses :

1. Validation : Nos IA ne sont pas de simples "boîtes noires" magiques. Elles apprennent à voir le monde d'une manière qui ressemble étonnamment à la nôtre. C'est rassurant et excitant.
2. Futur : Si nous voulons créer des IA encore plus intelligentes, nous devrions nous inspirer de la biologie (comment notre cerveau fonctionne) plutôt que de simplement ajouter plus de puissance brute.

En résumé : Oui, les modèles d'IA commencent à "voir" en ligne avec nous, surtout quand on leur apprend à combiner la vue et le langage, et ce, à des vitesses et des profondeurs qui imitent notre propre cerveau.

Résumé technique

Titre : Les modèles voient-ils en accord avec la vision humaine ? Sonde de la correspondance entre les représentations des LVLM et les signaux EEG.

1. Problématique et Contexte

Les Grands Modèles Visuels-Langage (LVLM) ont démontré des capacités impressionnantes en compréhension et en raisonnement visuel. Cependant, il reste à déterminer si leurs représentations internes reflètent véritablement la cognition visuelle humaine.

• Limites des études précédentes : La majorité des recherches antérieures sur l'alignement cerveau-modèle reposent sur l'IRMf (Imagerie par Résonance Magnétique Fonctionnelle). Bien que l'IRMf offre une haute résolution spatiale, elle souffre d'une résolution temporelle faible, ce qui empêche de capturer la dynamique rapide du traitement visuel.
• Objectif de l'étude : Combler ce vide en utilisant l'électroencéphalographie (EEG), qui offre une précision temporelle à l'échelle de la milliseconde, pour évaluer dans quelle mesure les représentations des LVLM correspondent aux signaux neuronaux humains induits par des images. L'étude vise à identifier les facteurs (architecture, échelle, type d'image) influençant cet alignement.

2. Méthodologie

L'équipe a conçu un pipeline d'analyse comparant les représentations visuelles de 32 LVLM open-source avec des signaux EEG enregistrés lors de la présentation d'images.

• Données : Utilisation du jeu de données THINGS-EEG, contenant des enregistrements EEG de 10 sujets soumis à un paradigme de présentation visuelle rapide (RSVP) avec 1 654 concepts d'objets (ensemble d'entraînement) et 200 concepts (ensemble de test).
• Prétraitement : Filtrage des signaux EEG (0,1–100 Hz), segmentation (0–1000 ms post-stimulus), correction de base et normalisation Z. Réduction de dimensionnalité via l'Analyse en Composantes Principales (PCA).
• Extraction des caractéristiques :
  • Extraction des embeddings visuels à partir des couches des encodeurs visuels des LVLM (y compris les couches intermédiaires et finales).
  • Utilisation de 32 modèles couvrant différentes familles (ViT, Qwen, LLaVA, InternVL, DeepSeek, etc.) et échelles (de 1B à 72B paramètres).
• Méthodes d'alignement :
  1. Régression Ridge : Pour mapper linéairement les caractéristiques visuelles du modèle vers les signaux EEG et prédire l'activité neuronale. La performance est mesurée par la corrélation de Pearson entre les signaux prédits et réels.
  2. Analyse de Similarité de Représentation (RSA) : Comparaison des matrices de dissimilarité représentationnelle (RDM) entre les modèles et le cerveau.
  3. Alignement de noyau centré (CKA) : Pour évaluer la géométrie des représentations.
• Analyse multidimensionnelle :
  • Évaluation de la performance prédictive.
  • Analyse des motifs spatio-temporels (par région cérébrale et fenêtre temporelle).
  • Alignement hiérarchique couche-temps.
  • Similarité dépendante de la catégorie d'objet.

3. Résultats Clés

A. Alignement Structurel et Temporel

• Correspondance Hiérarchique : Les couches intermédiaires des LVLM (environ les couches 8 à 16) montrent l'alignement le plus fort avec l'activité EEG.
• Fenêtre Temporelle : Cet alignement maximal se produit dans la fenêtre 100–300 ms après la présentation de l'image. Cela correspond précisément à la dynamique du traitement visuel humain, où l'information passe des zones visuelles primaires (occipitales) vers les zones de traitement sémantique (temporales/pariétales).
• Dynamique Spatiale : La similarité suit les voies visuelles corticales connues, avec des corrélations plus fortes dans les régions occipitales (traitement précoce) et pariétales, et plus faibles dans les régions frontales et centrales.

B. Impact de l'Architecture vs. Échelle

• L'architecture prime sur la taille : L'étude révèle que la conception architecturale (notamment l'apprentissage multimodal) contribue 3,4 fois plus à l'alignement avec le cerveau que la simple augmentation du nombre de paramètres (scaling).
• Supériorité des LVLM : Les modèles multimodaux (LVLM) surpassent systématiquement les modèles purement visuels (comme les ViT standards) et les modèles plus anciens (comme LLaVA-v1.5). Par exemple, la série InternVL3.5 (38B) obtient les meilleurs scores (Corrélation de Pearson ~0,265), tandis que les ViT purs restent en dessous de 0,227.
• Rôle de la fusion multimodale : L'intégration de la langue améliore l'alignement, même si le type de prompt (explicite, bruité, ou absent) a peu d'impact une fois la fusion multimodale activée.

C. Corrélation avec les Performances de Tâche

• Il existe une corrélation positive significative entre l'alignement LVLM-EEG et les performances sur les benchmarks visuels (OpenCompass).
• Les modèles qui alignent mieux leurs représentations avec le cerveau obtiennent de meilleurs scores dans des tâches de création multimodale ($R^2 = 0,63$) et de raisonnement multimodal. Cela suggère que l'alignement neuronal est un indicateur robuste de la qualité de la compréhension visuelle humaine.

D. Dépendance aux Catégories

• L'alignement varie selon les catégories d'objets. Les catégories biologiquement saillantes ou complexes (amphibiens, formations géologiques) montrent un alignement plus fort que les catégories visuellement simples (fruits, véhicules), reflétant l'interaction entre la saillance biologique et les hiérarchies sémantiques apprises par le modèle.

4. Contributions Principales

1. Première étude LVLM-EEG : C'est le premier travail à explorer systématiquement l'alignement entre les LVLM et les signaux EEG, offrant une résolution temporelle milliseconde absente des études IRMf précédentes.
2. Validation de l'alignement biologique : Démonstration que les LVLM apprennent des représentations visuelles alignées avec la cognition humaine, avec une correspondance temporelle et hiérarchique précise (couches intermédiaires = traitement cognitif de haut niveau).
3. Nouveau Benchmark : Établissement de l'alignement neuronal comme une métrique biologiquement fondée pour évaluer et améliorer les LVLM, montrant que l'architecture multimodale est plus critique que la simple mise à l'échelle des paramètres.

5. Signification et Perspectives

• Pour l'IA : Ces résultats suggèrent que l'optimisation des architectures multimodales est la clé pour créer des modèles plus proches de la perception humaine. L'alignement EEG peut servir de critère d'évaluation objectif pour le développement de futurs modèles.
• Pour les Neurosciences : L'étude valide que les modèles d'IA modernes peuvent servir de modèles computationnels pour comprendre la dynamique du traitement visuel humain.
• Limites : L'étude se limite aux modèles open-source (excluant GPT-4V) et à la résolution spatiale limitée de l'EEG (ne capturant pas les sources neuronales profondes). Des études futures avec des enregistrements intracrâniens pourraient affiner ces résultats.

En conclusion, l'article démontre que les LVLM modernes ne se contentent pas de prédire des pixels ou des mots, mais qu'ils développent des représentations internes qui miment la dynamique spatio-temporelle du cerveau humain lors de la vision, ouvrant la voie à des systèmes d'IA plus "neuro-inspirés".