Parametric neural control differentiates top neural network models of primate visual cortex

Le cerveau humain est une machine vaste et complexe destinée à donner un sens au monde, et à l'avant de cette machine se trouve le cortex visuel, une région entièrement dédiée au traitement de ce que nous voyons. Pendant des décennies, les scientifiques ont tenté de construire des programmes informatiques qui imitent cette machinerie biologique. Ces programmes, connus sous le nom de réseaux de neurones profonds, sont entraînés sur des millions de photographies jusqu'à ce qu'ils apprennent à reconnaître des objets, des visages et des scènes avec une compétence qui rivalise avec la nôtre. Lorsque les chercheurs testent ces programmes, ils constatent souvent que les modèles les plus avancés prédisent avec une précision stupéfiante la manière dont les neurones du cerveau d'un singe vont s'activer lorsqu'on lui présente une image naturelle. Ce succès a conduit à une hypothèse réconfortante : si différents modèles informatiques peuvent tous prédire l'activité cérébrale aussi bien, c'est qu'ils utilisent tous la même logique interne pour comprendre le monde visuel. Il semblait que la voie pour comprendre le cerveau avait enfin été trouvée, et que tous ces modèles réussis avaient convergé vers une seule et même façon correcte de voir.

Cependant, une nouvelle étude remet en question cette conclusion réconfortante, suggérant qu'une grande précision de prédiction ne signifie pas nécessairement que les modèles ont véritablement saisi la logique du cerveau. Les chercheurs, travaillant avec cinq macaques, ont cherché à tester si ces modèles informatiques ne faisaient que deviner correctement ou s'ils comprenaient réellement les règles spécifiques qui régissent la réponse des neurones. Ils ont créé une nouvelle méthode pour sonder les modèles, allant au-delà de la simple reconnaissance d'images pour une forme d'interaction plus directe. Au lieu de simplement montrer des images aux modèles et de vérifier s'ils devinaient la bonne réponse cérébrale, les scientifiques ont utilisé les modèles pour générer des changements spécifiques et contrôlés sur une image. Ils ont pris les paramètres internes de chaque modèle et les ont transformés en un ensemble d'instructions sur la manière de modifier une image pour faire augmenter ou diminuer l'activation d'un neurone. Ce processus, que les chercheurs appellent l'accentuation de caractéristiques alignées sur les axes, leur a permis de créer des milliers d'images de test uniques conçues pour pousser la réponse neuronale dans une direction spécifique.

L'équipe a généré plus de 27 500 de ces stimuli personnalisés à partir de dix modèles de vision de pointe et les a présentés aux singes lors d'une expérience en boucle fermée. Cette configuration a permis aux chercheurs de cibler des zones spécifiques du cortex visuel, des premières étapes où les formes simples sont traitées jusqu'aux niveaux supérieurs où les objets complexes sont reconnus. Les résultats ont été surprenants. Même si les dix modèles performaient de manière égale lors de la prédiction des réponses à des photographies naturelles standards, ils échouaient lorsqu'on leur demandait de contrôler les neurones avec leurs stimuli personnalisés. La plupart des modèles n'ont pas réussi à produire les changements prédits dans l'activation neuronale. Leurs cartes internes du monde visuel, bien qu'assez bonnes pour deviner, étaient fondamentalement désalignées avec le réglage réel des cellules cérébrales. Les modèles ne capturaient pas les détails précis de la réponse des neurones au monde ; ils trouvaient simplement des raccourcis statistiques qui fonctionnaient pour les images naturelles, mais qui s'effondraient sous un examen plus approfondi.

Il y avait une exception notable à cet échec. Deux des modèles, qui avaient été entraînés à l'aide d'une technique spécifique appelée entraînement adversarial, ont montré un avantage constant. Ces modèles étaient plus aptes à contrôler l'activation neuronale, suggérant que leurs paramètres internes étaient plus proches de ceux du cerveau. Pourtant, l'étude a révélé que la robustesse face à ces ruses adversariales n'était pas toute l'histoire. La capacité à contrôler les neurones n'était pas fortement liée à la capacité d'un modèle à résister à des attaques artificielles. Au contraire, le facteur clé était quelque chose de plus fondamental : la structure de fréquence spatiale du gradient d'entrée. En termes simples, cela fait référence au motif spécifique de pixels qui influence la décision d'un modèle. Les modèles qui fonctionnaient le mieux étaient ceux où la distribution des pixels influençant l'axe d'encodage correspondait à la manière dont le cerveau traite réellement l'information visuelle.

Cette recherche établit une méthode de test plus rigoureuse pour évaluer l'alignement des modèles informatiques avec le cerveau. En passant de la prédiction passive au contrôle actif, les scientifiques ont démontré qu'une grande précision lors des tests standards peut masquer des défauts profonds dans la représentation du monde visuel par un modèle. Les conclusions suggèrent que, bien que les modèles actuels soient impressionnants, la plupart n'ont pas encore convergé vers la véritable paramétrisation biologique de l'espace des images naturelles. Ce n'est qu'en testant si un modèle peut piloter de manière causale l'activité neuronale avec des caractéristiques accentuées et précises que nous pourrons savoir s'il comprend réellement le monde visuel de la même manière qu'un cerveau de primate.