Reassessing Number-Detector Units in Convolutional Neural Networks

En utilisant le modèle CORnet et une méthode de pruning pour surmonter les limites de l'analyse de similarité représentationnelle classique, cette étude démontre que les unités détectrices de nombres ne sont pas essentielles pour expliquer la représentation populationnelle de la numérosité, remettant ainsi en question leur rôle supposé dans la discrimination des nombres.

L'essentiel

🕵️‍♂️ L'Enquête : Qui compte vraiment les objets ?

Imaginez que vous regardez un panier de pommes. Votre cerveau ne compte pas une par une ("une, deux, trois..."). Il a une sorte de "sixième sens" qui lui dit instantanément : "Il y en a beaucoup !" ou "Il y en a peu !". C'est ce qu'on appelle le sens du nombre.

Les scientifiques savent que dans le cerveau humain, il existe de petits groupes de neurones spécialisés, comme des détecteurs de nombres, qui s'activent spécifiquement quand ils voient une certaine quantité.

Récemment, les chercheurs ont créé des intelligences artificielles (des réseaux de neurones artificiels, ou CNN) qui imitent le cerveau humain pour voir des images. On s'est demandé : "Est-ce que ces robots ont aussi leurs propres 'détecteurs de nombres' cachés, exactement comme les nôtres ?"

🤖 L'Hypothèse de départ : Le mythe du "Super-Soldat"

Jusqu'à présent, beaucoup pensaient que si l'on regardait de très près l'intérieur de ces robots, on trouverait des neurones spéciaux qui agissent comme des super-soldats : ils ne regardent que le nombre d'objets et ignorent tout le reste (la taille, la couleur, la forme).

L'idée était que ces "super-soldats" étaient les héros responsables de la capacité du robot à comprendre les nombres.

🔍 La Nouvelle Méthode : Le Grand Tri (Le "Pruning")

Les auteurs de cette étude (Nhut, Shahryar et Alireza) ont dit : "Attendez une minute ! Regarder un seul soldat, c'est bien, mais comprendre une armée, c'est mieux."

Dans les études précédentes, on utilisait une méthode un peu rigide qui disait : "Tous les neurones sont également importants." C'est comme si, pour comprendre une chanson, on écoutait chaque instrument séparément en pensant qu'ils ont tous la même importance, même le bruit de fond.

Pour cette étude, ils ont utilisé une technique appelée élagage (ou pruning).
Imaginez que vous avez un énorme buffet avec 10 000 plats. Vous voulez savoir quels plats sont vraiment nécessaires pour faire un bon repas qui ressemble à celui que les humains aiment.
Au lieu de goûter tout le buffet en disant "tout est bon", vous commencez à retirer progressivement les plats un par un.

• Si vous retirez un plat et que le repas devient mauvais, c'est un plat essentiel.
• Si vous retirez un plat et que le goût ne change pas (ou s'améliore même !), c'est un plat inutile ou du bruit.

Ils ont fait cela avec les neurones de leurs robots : ils ont retiré les neurones "inutiles" pour ne garder que ceux qui aidaient vraiment le robot à comprendre les nombres comme un humain.

🎉 Les Résultats Surprenants : Les Héros ne sont pas là !

Voici ce qu'ils ont découvert, et c'est là que ça devient intéressant :

1. Les "Super-Soldats" (les détecteurs de nombres) sont rares. Ils existent bien dans le robot, mais ils sont très peu nombreux.
2. Ce ne sont pas eux les héros ! Quand les chercheurs ont gardé seulement ces détecteurs de nombres, le robot était très mauvais pour comprendre les nombres.
3. La vraie magie vient de la foule. C'est en gardant un grand groupe de neurones "ordinaires" (ceux que l'élagage a choisis comme les plus utiles) que le robot a réussi à imiter le comportement humain.

L'analogie finale :
Imaginez que vous essayez de comprendre pourquoi une foule applaudit.

• L'ancienne idée : "C'est parce qu'il y a un chef d'orchestre (le détecteur de nombres) qui bat des mains."
• La nouvelle découverte : "Non ! Le chef d'orchestre est là, mais il ne fait rien de spécial. Ce qui crée l'applaudissement, c'est l'effet de masse de milliers de gens ordinaires qui réagissent ensemble. Si vous enlevez le chef, la foule applaudit quand même. Si vous ne gardez que le chef, il n'y a pas d'applaudissement."

💡 En résumé

Cette étude nous apprend que pour comprendre comment les robots (et peut-être notre propre cerveau) voient le monde, il ne faut pas chercher un seul "neurone magique" qui fait tout le travail. La capacité à percevoir les nombres vient de la collaboration complexe de tout un groupe de neurones, et non d'un petit groupe d'experts isolés.

C'est une victoire pour l'idée que l'intelligence émerge de la foule, et non d'un seul génie solitaire.

Résumé technique

1. Problématique et Contexte

Les réseaux de neurones convolutifs (CNN) sont devenus des modèles de référence pour prédire l'activité neuronale et le comportement dans les tâches visuelles. Cependant, leur capacité à capturer des fonctions cognitives de haut niveau, telles que la discrimination de la numérosité (la capacité à percevoir et estimer le nombre d'objets sans compter), fait l'objet de débats.

• Hypothèse précédente : Des études antérieures suggéraient que des « unités détectrices de nombres » (analogues aux neurones sélectifs au nombre observés dans le cerveau des primates) émergent dans les couches finales des CNN et jouent un rôle crucial dans la représentation de la numérosité.
• Limitation des méthodes existantes : L'analyse de similarité représentative (RSA) classique, utilisée pour comparer les modèles aux données cérébrales, repose sur l'hypothèse que toutes les unités contribuent de manière égale à la dissimilarité globale. Cette hypothèse peut sous-estimer la correspondance réelle entre le modèle et le comportement, ou surévaluer l'importance d'unités non pertinentes en les traitant comme équivalentes aux unités porteuses d'information comportementale.

L'objectif de cette étude est de réévaluer le rôle critique de ces unités détectrices de nombres dans la représentation de la numérosité au niveau de la population neuronale dans les CNN, en utilisant une approche de sélection de caractéristiques plus fine.

2. Méthodologie

Les auteurs ont utilisé l'architecture CORnet (inspirée du système visuel des primates, avec les zones V1, V2, V4 et IT), spécifiquement les variantes CORnet-Z (simple) et CORnet-S (avec connectivité récurrente).

A. Entraînement des Modèles

Trois versions des réseaux ont été testées pour isoler les effets de l'architecture et de l'apprentissage :

1. Non entraîné : Poids initialisés aléatoirement.
2. Entraîné sur ImageNet : Reconnaissance d'objets (1,2 million d'images).
3. Entraîné sur la numérosité : Discrimination spécifique de dix valeurs de numérosité (6, 7, 9, 10, 12, 14, 17, 20, 24, 29) en utilisant des stimuli générés selon la méthode de DeWind et al. (2015) pour éviter les corrélations avec des caractéristiques visuelles de bas niveau (densité, taille).

B. Identification des Unités Détectrices (Méthode ANOVA)

Pour identifier les « unités détectrices de nombres », les auteurs ont appliqué une ANOVA à trois facteurs (numérosité, aire totale du champ, aire moyenne des objets).

• Critère : Une unité est considérée comme détectrice si elle montre une réponse significative à la variation de la numérosité ($p < 0,01$) tout en restant invariante face aux variations des autres facteurs et de leurs interactions.

C. Analyse de Similarité Représentative (RSA) et Élagage (Pruning)

Au lieu d'utiliser l'ensemble des unités, les auteurs ont appliqué un algorithme d'élagage (pruning) basé sur la méthode de Tarigopula et al. (2023) :

1. Évaluation de l'importance : Chaque unité est retirée individuellement de l'ensemble complet. La chute de la corrélation entre la matrice de dissimilarité représentative (RDM) du réseau et la RDM comportementale humaine (basée sur la distance logarithmique des numérosités) est mesurée.
2. Classement : Les unités sont classées de la plus importante à la moins importante.
3. Sélection itérative : Les unités sont réajoutées séquentiellement jusqu'à ce que le score RSA soit maximisé. L'ensemble résultant est appelé « unités conservées ».

3. Résultats Clés

A. Distinction entre Unités Conservées et Unités Détectrices

• Le nombre d'unités conservées après élagage est significativement plus élevé que le nombre d'unités détectrices identifiées par l'ANOVA.
• L'intersection entre les deux ensembles d'unités est très faible (généralement < 5 %), indiquant que les deux méthodes sélectionnent des ensembles d'unités distincts.
• L'élagage a éliminé la plus grande proportion d'unités dans la couche IT (cortex temporal inférieur), tandis que l'ANOVA n'a pas montré de différences significatives entre les couches.

B. Performance de Modélisation

• Les unités conservées après élagage offrent un ajustement (fit) bien supérieur à la RDM comportementale humaine par rapport à l'ensemble complet des unités, confirmant les limites de la RSA classique.
• Résultat crucial : Dans la majorité des cas (sauf quelques exceptions spécifiques), les unités détectrices de nombres (sélectionnées par ANOVA) performent moins bien que les unités conservées après élagage pour prédire la numérosité. Dans 8 cas sur 22, elles sont même pires que l'ensemble complet des unités.

4. Contributions et Signification

Contributions Techniques

1. Dépassement de la RSA classique : L'étude démontre que l'hypothèse d'égalité des poids dans la RSA classique masque l'importance relative des unités. L'approche par élagage permet d'identifier les sous-ensembles d'unités réellement pertinents pour le comportement.
2. Réévaluation des « détecteurs de nombres » : Les résultats contredisent l'idée reçue selon laquelle les unités détectrices de nombres sont les acteurs principaux de la représentation de la numérosité dans les CNN.

Signification Scientifique

• Nature de la représentation : La numérosité au niveau de la population neuronale dans les CNN (et par extension, potentiellement dans le cerveau) ne dépend pas d'un petit groupe de neurones spécialisés (« détecteurs »), mais émerge de la dynamique collective d'un large sous-ensemble d'unités hétérogènes.
• Implications pour les modèles cognitifs : Cela remet en question les modèles qui postulent l'existence de « neurones numérosité » comme mécanisme central unique. La capacité à discriminer les nombres semble être une propriété émergente de la population globale plutôt que le résultat de l'activité isolée de quelques unités sélectives.
• Validation des modèles : Pour que les CNN soient de bons modèles de la cognition humaine, il ne suffit pas de trouver des unités isolées qui ressemblent à des neurones biologiques ; il faut que la structure globale de la représentation (capturée par l'élagage) corresponde aux données comportementales.

En conclusion, cette étude suggère que, bien que des unités détectrices de nombres puissent émerger dans les CNN, elles ne jouent pas un rôle critique dans la représentation de la numérosité au niveau de la population, et que la RSA classique, sans sélection de caractéristiques, peut mener à des interprétations erronées sur la nature de ces représentations.