Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex

Imaginez que vous essayiez d'apprendre à un robot à voir le monde comme un humain. Les scientifiques dans un domaine appelé NeuroAI sont obsédés par cette question : « Quel est le meilleur ensemble de règles pour apprendre à un ordinateur à reconnaître un chat ou une voiture ? » Ils ont plusieurs livres de règles parmi lesquels choisir. L'un est la méthode standard, extrêmement efficace, utilisée dans presque toute l'IA moderne (appelée rétropropagation). Les autres sont des règles « biologiquement plausibles », qui tentent de imiter la façon dont les vrais cerveaux apprennent réellement, comme la façon dont les neurones s'activent en réponse au temps ou dont le cerveau prédit ce qu'il verra ensuite.

Pour voir quel livre de règles fonctionne le mieux, les chercheurs utilisent un tour de passe-passe ingénieux appelé Analyse de Similarité Représentationnelle (RSA). Considérez cela comme un jeu de « Devine la connexion ». Ils prennent les « pensées » internes du robot (ses représentations numériques) concernant une image et les comparent à l'activité électrique réelle dans un cerveau humain lorsqu'il regarde cette même image. Si les pensées du robot correspondent étroitement à l'activité cérébrale, nous disons que le robot possède une compréhension « semblable au cerveau ». Le grand espoir est qu'en trouvant la règle qui rend le robot le plus proche du cerveau, nous pourrons enfin percer le code de la vision humaine. Mais il y a un piège : le vrai cerveau est incroyablement complexe, et les robots que nous pouvons actuellement entraîner avec ces règles sophistiquées sont encore petits et simples.

Ce papier lève le voile sur un piège caché dans ces comparaisons. Le chercheur a découvert que la réponse à la question « quelle règle est la meilleure ? » change complètement en fonction d'une seule chose : la taille de l'image que vous montrez au robot. Il se trouve que lorsque les scientifiques comparent ces petits robots d'inspiration biologique à l'être humain, ils utilisent souvent des photos haute résolution et détaillées (comme 224 pixels de large) pour les tester, même si les robots ont été entraînés sur des images minuscules et floues de 32 pixels. L'étude montre que ce décalage crée une illusion magique. Lorsqu'ils sont testés sur de grandes images détaillées, le robot non entraîné, aléatoire, semble soudainement aussi bon, voire meilleur, que le robot intelligent et entraîné pour comprendre les premières parties du système visuel. L'auteur montre que ce n'est pas parce que le robot aléatoire est secrètement brillant ; c'est parce que la façon dont nous le mesurons est biaisée par la taille de l'image.

Le Piège de la Résolution

La découverte centrale ici est que le « vainqueur » du concours de correspondance cérébrale dépend entièrement de la résolution des images de test. Imaginez que vous jugiez un concours de cuisine. Vous avez un chef qui s'est exercé à préparer un plat dans une minuscule poêle de 7 centimètres, et vous avez une personne au hasard qui vient de jeter des ingrédients dans un bol sans cuisiner. Si vous leur demandez de servir le plat sur un immense plateau de 50 centimètres, la personne au hasard pourrait accidentellement paraître meilleure parce que le grand plateau cache le fait que la nourriture est crue. Mais si vous servez le plat sur la même petite poêle de 7 centimètres sur laquelle ils se sont exercés, le chef entraîné brille, et la personne au hasard semble médiocre.

Dans cette étude, la « petite poêle » est la résolution de 32 pixels sur laquelle les robots ont été entraînés, et le « grand plateau » est la résolution de 224 pixels souvent utilisée pour les tester par rapport aux données cérébrales. Lorsque le chercheur a testé les robots sur la même taille de 32 pixels qu'ils ont apprise, les robots entraînés (utilisant la rétropropagation) étaient légèrement meilleurs que les non entraînés, comme on pouvait s'y attendre. Mais lorsqu'ils sont passés aux images plus grandes de 224 pixels, les résultats se sont inversés. Le robot non entraîné, aléatoire, semblait soudainement beaucoup plus proche du cortex visuel précoce (V1) de l'humain que ne l'était le robot entraîné. L'écart entre eux augmentait régulièrement à mesure que l'image devenait grande, passant d'une infime différence de -0,001 à 32 pixels à une grande différence de +0,044 à 224 pixels.

Éliminer les Suspects

L'auteur ne s'est pas contenté de trouver le problème ; il a joué au détective pour comprendre pour que cela se produise. Il avait quatre suspects principaux, et il les a écartés un par un.

Premièrement, ils soupçonnaient qu'il s'agissait simplement d'un problème de « décalage » : peut-être que les robots entraînés performent moins bien lorsqu'on leur montre des images sur lesquelles ils n'ont pas été entraînés. Pour tester cela, ils ont essayé des robots qui ont réellement été entraînés sur les grandes images de 224 pixels (comme un ResNet-50 et un transformer Swin-Tiny). Si la théorie du décalage était vraie, ces robots entraînés sur de grands formats auraient dû être les meilleurs à 224 pixels. Or, ils ne l'ont pas été. Ils ont également été les meilleurs à basses résolutions et ont empiré à mesure que les images devenaient plus grandes. Ce n'était donc pas seulement une question d'entraînement sur la mauvaise taille.

Deuxièmement, ils ont examiné les paramètres du robot « non entraîné ». Les robots non entraînés ont souvent leurs paramètres de « normalisation » (qui aident à équilibrer les données) réglés sur des valeurs par défaut, tandis que les robots entraînés ont des paramètres appris. L'auteur pensait que ce paramètre par défaut était la recette secrète. Ils ont manuellement ajusté les paramètres du robot non entraîné pour correspondre parfaitement aux données d'entraînement. Même avec ces paramètres parfaits, le robot non entraîné battait toujours le robot entraîné à hautes résolutions. Ce n'était donc pas un bug de réglage.

Troisièmement, ils ont vérifié si les robots imitaient simplement des motifs visuels simples, comme la façon dont les zones claires et sombres (filtres de Gabor) ou les pixels bruts apparaissent. Ils ont découvert que les robots qui ressemblaient le plus à ces motifs simples n'étaient pas nécessairement ceux qui ressemblaient le plus au cerveau. En fait, l'un des robots entraînés ressemblait beaucoup à un motif de type « Gabor » mais ne correspondait toujours pas bien au cerveau. Donc, les motifs simples n'étaient pas toute l'histoire.

Quatrièmement, ils ont envisagé qu'à mesure que l'image devient plus grande, le robot fait la moyenne sur de plus en plus de pixels, ce qui pourrait faire de sa réponse finale une simple mesure de la luminosité globale de l'image. Ils ont découvert qu'un nombre unique représentant la luminosité moyenne d'une image correspondait en fait presque aussi bien aux données cérébrales qu'au robot non entraîné. C'était un indice énorme : le robot non entraîné faisait une grande partie de sa « correspondance » en devinant simplement la luminosité. Cependant, même en tenant compte de la luminosité, l'effet de résolution ne disparaissait pas complètement.

Le Vrai Coupable : Le Détail de l'Image

Pour trouver la véritable cause, l'auteur a mené une dernière expérience ingénieuse. Il a pris les grandes images, les a réduites à la taille minuscule de 32 pixels (limitant ainsi le détail), puis les a agrandies à nouveau à la taille initiale. Cela signifiait que le robot regardait toujours une grande image et faisait la moyenne sur de nombreux pixels, mais que le détail réel de l'image était bloqué à la basse résolution.

Le résultat fut spectaculaire. Lorsque le détail était limité à la résolution d'entraînement, les robots entraînés ne déclinaient plus à mesure que l'image devenait plus grande. Le grand écart entre les robots entraînés et non entraînés avait presque disparu. Cela a prouvé que l'effet n'était pas causé par le fait que le robot regardait plus de pixels (le pooling), mais par le fait que le robot voyait plus de détails qu'il n'avait pas appris à gérer. Le détail supplémentaire dans les images haute résolution nuisait aux robots entraînés et aidait les robots aléatoires, mais l'auteur admet qu'il ne comprend pas totalement pourquoi les filtres aléatoires bénéficient de ce détail supplémentaire alors que les filtres entraînés en souffrent.

Ce qui Compte Réellement

Le papier se termine par un retournement de situation rassurant. Alors que la partie précoce du système visuel (V1) était perturbée par la taille de l'image, les parties supérieures du cerveau (appelées LOC) racontaient une histoire différente. À ces niveaux supérieurs, les robots entraînés battaient systématiquement les non entraînés, quelle que soit la taille de l'image. Cela signifie que l'apprentissage modifie bien la nature « semblable au cerveau » du réseau, mais que le « bruit » de la résolution de l'image étouffait le signal dans les premières étapes.

La principale leçon est un avertissement pour les scientifiques : si vous voulez savoir quelle règle d'apprentissage est la meilleure, vous devez être très prudent quant à la taille des images que vous utilisez pour les tester. Le « vainqueur » n'est pas une propriété fixe de la règle ; c'est le résultat de la façon dont vous choisissez de la mesurer. Jusqu'à ce que les scientifiques s'accordent sur une méthode standard pour faire correspondre la taille de l'image à la zone cérébrale étudiée, les comparaisons au niveau du cortex visuel précoce pourraient être trompeuses. L'article suggère que nous devions tester à la résolution sur laquelle le modèle a été entraîné, et rapporter clairement cette résolution, afin de ne pas être victimes du piège de la résolution.