Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules
Cette étude démontre que l'entraînement supervisé dégrade rapidement l'alignement entre les réseaux de neurones artificiels et le cortex visuel précoce humain, les règles d'apprentissage basées sur l'erreur globale comme la rétropropagation causant une perturbation nettement plus importante que les règles locales biologiquement plausibles telles que le codage prédictif et la STDP, suggérant que les architectures non entraînées capturent intrinsèquement les statistiques visuelles de bas niveau grâce à des biais inductifs.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
La grande surprise : les « pages blanches » ressemblent plus aux cerveaux qu'aux cerveaux « entraînés »
Imaginez que vous avez un cerveau informatique (un réseau de neurones) tout neuf et non entraîné. C'est juste un tas de connexions aléatoires, comme une boîte d'écouteurs emmêlés. Étonnamment, quand vous lui montrez des images, ses « pensées » (ses motifs internes) ressemblent beaucoup à la façon dont un cerveau humain (plus précisément la partie qui voit les formes simples et les lignes, appelée V1) réagit à ces mêmes images.
Maintenant, imaginez que vous commencez à entraîner ce cerveau informatique pour qu'il reconnaisse des objets (comme des chats, des voitures ou des chaises). Vous vous attendez à ce qu'en devenant plus intelligent dans sa tâche, il commence à penser davantage comme un cerveau humain.
La découverte choquante de l'article est l'inverse : dès que vous commencez à entraîner l'ordinateur, il cesse de penser comme un cerveau humain. En fait, plus vous l'entraînez, moins il ressemble à la partie précoce du système visuel humain.
L'expérience : quatre différentes façons d'apprendre
Le chercheur, Nils Leutenegger, voulait comprendre pour pourquoi cela se produit. Il a testé quatre différents « règles d'apprentissage » (des méthodes pour la façon dont l'ordinateur met à jour son cerveau). Considérez cela comme quatre styles d'enseignement différents :
- La rétropropagation (Backpropagation - BP) : La méthode standard, ultra-efficace, utilisée dans la plupart des IA actuelles. C'est comme un professeur strict qui connaît la réponse exacte pour chaque élève et qui envoie un message de correction précis jusqu'au tout début de la classe.
- L'alignement de rétroaction (Feedback Alignment - FA) : Une méthode un peu plus « biologique » où les messages de correction sont un peu désordonnés et aléatoires, comme un professeur qui crie des corrections dans un couloir sans savoir exactement qui écoute.
- Le codage prédictif (Predictive Coding - PC) : Une méthode où le cerveau essaie de deviner ce qui va arriver ensuite et n'apprend que de ses erreurs. C'est comme un élève qui n'est attentif que lorsque sa prédiction est fausse.
- STDP : Une méthode basée sur le temps, où les connexions ne se renforcent que si deux neurones s'activent exactement au même moment. C'est comme une règle de voisinage local : « Si toi et ton voisin faites la même chose au même moment, nous devenons amis. »
Ce qui s'est passé : le « crash d'une seconde »
Le chercheur a observé ces ordinateurs apprendre sur 40 cycles (époques) d'entraînement. Voici ce qu'il a trouvé :
1. Le « Professeur Strict » (Rétropropagation) est le plus destructeur
Lorsque l'ordinateur utilisait la méthode standard de la rétropropagation, sa ressemblance avec la partie de la vision humaine (V1) a chuté de 90 % en une seule étape d'entraînement.
- L'analogie : Imaginez un sculpteur (l'IA) commençant avec un bloc de marbre qui ressemble déjà vaguement à un visage humain (les poids aléatoires). Le « Professeur Strict » lui dit : « Tu dois faire en sorte que cela ressemble à un chat spécifique, pas à un visage humain ». Le sculpteur cisèle immédiatement les traits humains pour se concentrer entièrement sur le chat. Le résultat est une superbe statue de chat, mais elle ne ressemble plus du tout à un visage humain.
2. Les « Apprenants Locaux » (Codage Prédictif et STDP) tiennent bon
Les ordinateurs utilisant les règles d'apprentissage plus biologiques et locales (PC et STDP) ont aussi perdu de la ressemblance avec le cerveau humain, mais ils en ont perdu beaucoup moins (seulement environ 25 à 30 %).
- L'analogie : Ces sculpteurs reçoivent l'ordre de faire un chat, mais ils ne sont autorisés à faire que de petits ajustements locaux basés sur ce qu'ils voent juste devant eux. Ils réussissent à faire un chat, mais ils conservent accidentellement certains des traits du « visage humain » d'origine du bloc de marbre.
3. Le compromis : Vision précoce vs Reconnaissance d'objets
Il y a eu un rebondissement dans les parties supérieures du cerveau (la zone qui reconnaît les objets complexes, appelée LOC).
- Le « Professeur Strict » (Rétropropagation) a détruit la similitude de la vision précoce, mais a en fait amélioré la similitude dans la zone de reconnaissance d'objets.
- Les « Apprenants Locaux » ont préservé la similitude de la vision précoce, mais n'ont pas réussi à construire des compétences de reconnaissance d'objets solides.
- La conclusion : Il semble qu'il y ait un compromis. Pour devenir vraiment bon dans la reconnaissance d'objets spécifiques (comme un chat), l'IA doit sacrifier la manière générale et humaine de voir les lignes et les formes simples. Le « Professeur Strict » force ce compromis de manière agressive ; les « Apprenants Locaux » sont trop doux pour effectuer la transition.
Pourquoi est-ce important ?
L'article suggère que la raison pour laquelle les ordinateurs aléatoires et non entraînés ressemblent aux cerveaux humains n'est pas parce qu'ils « apprennent » à le faire, mais parce que leur structure de base (la façon dont ils sont construits) capture naturellement les statistiques du monde visuel, tout comme notre V1 le fait.
Quand nous les entraînons pour une tâche spécifique, nous les forçons à changer cette structure naturelle. Plus la règle d'apprentissage est « globale » et précise (comme la rétropropagation), plus elle efface agressivement la structure semblable au cerveau pour faire de la place aux compétences spécifiques à la tâche.
Résumé en un clin d'œil
- Avant l'entraînement : Les cerveaux d'IA aléatoires ressemblent étonnamment aux cerveaux humains.
- Après l'entraînement : Ils cessent de ressembler aux cerveaux humains.
- Le coupable : La façon dont nous entraînons l'IA (la rétropropagation) est la plus rapide pour détruire cette qualité « semblable au cerveau ».
- La leçon : La nature n'utilise peut-être pas la méthode du « Professeur Strict » (rétropropagation) car elle détruit la structure naturelle du cerveau trop rapidement. Au lieu de cela, le cerveau utilise peut-être des « Apprenants Locaux » (comme le codage prédictif) qui préservent la forme naturelle du cerveau tout en essayant d'apprendre.
Note importante : L'article ne prétend pas que l'IA est inutile, ni qu'il faut arrêter d'entraîner l'IA. Il souligne simplement une différence fondamentale entre la façon dont nos cerveaux apprennent et la façon dont l'IA actuelle apprend, spécifiquement concernant la gestion des premières étapes de la vision.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.