Emergent Hierarchical Monosemantic Neurons from the Group-Contrastive Forward-Forward Algorithm

Le langage secret des cerveaux de l'IA

Imaginez que vous ayez construit un robot super intelligent, mais qu'il s'exprime dans un langage de mathématiques pures. Vous pouvez lui demander d'identifier un chat, et il le fait parfaitement, mais si vous lui demandez comment il sait que c'est un chat, il se contente de vous fixer avec un mur de chiffres. C'est le mystère central de l'intelligence artificielle moderne : nous possédons des modèles puissants, mais nous ne comprenons pas réellement les « pensées » qui se produisent à l'intérieur d'eux. Pendant longtemps, les scientifiques ont tenté de percer ce code en traitant le cerveau de l'IA comme un dictionnaire géant et désordonné. Ils supposaient que chaque idée connue par l'IA n'était qu'une simple ligne dans ce dictionnaire, et que s'ils pouvaient simplement trouver les bonnes lignes, ils pourraient lire l'esprit de l'IA.

Cependant, l'idée du dictionnaire pose un problème. Les vrais cerveaux — comme ceux de votre tête ou d'un chien — sont désordonnés, stratifiés et remplis de connexions qui ne rentrent pas dans des lignes droites et nettes. Un seul neurone dans un cerveau biologique peut s'activer pour « ma mère », mais il peut aussi s'activer pour « une étreinte chaleureuse » ou « l'odeur des biscuits ». Ces idées sont mélangées de manières complexes et non linéaires. Si nous forçons une IA à ne parler qu'en lignes droites, nous risquons de manquer les parties les plus intéressantes de sa pensée. Ainsi, une nouvelle question a émergé : pouvons-nous construire des méthodes d'apprentissage de l'IA qui fonctionnent davantage comme un vrai cerveau, où les neurones s'organisent naturellement en une hiérarchie d'idées, allant de formes simples à des concepts complexes, sans que nous ayons à les forcer à être simples ?

La grande idée du papier : Une nouvelle façon d'enseigner à l'IA

Ce papier présente une nouvelle méthode appelée Group-Contrastive Forward-Forward (GCFF). Considérez cela comme une nouvelle façon d'entraîner l'IA qui délaisse l'ancienne approche du « dictionnaire » pour tenter de mimer la façon dont les cerveaux biologiques apprennent. Les auteurs suggèrent qu'au lieu de forcer une IA à être parcimonieuse (c'est-à-dire faire en sorte que la plupart de ses neurones restent silencieux pour que seuls quelques-uns s'expriment), nous devrions laisser la structure de l'IA faire le gros du travail. Ils proposent un système où les neurones sont organisés en « groupes » spécifiques, chacun assigné à une catégorie large, comme « animaux » ou « véhicules ».

Voici comment cela fonctionne en pratique : Imaginez que vous avez une classe d'étudiants (les neurones). Dans l'ancienne méthode, vous diriez à chaque étudiant d'écouter tout ce qui se passe, puis d'essayer de sélectionner les éléments importants plus tard. Dans cette nouvelle méthode GCFF, vous assignez à chaque étudiant un club spécifique. Un club ne parle que de chiens, un autre ne parle que de voitures. Lorsqu'un professeur montre la photo d'un Golden Retriever, seul le « club des chiens » est autorisé à parler. Mais voici le rebondissement : les étudiants du club des chiens ne reçoivent pas seulement l'instruction « c'est un chien ». On leur montre deux chiens différents et on leur dit : « Trouvez ce que ces deux-là ont en commun ! ». Ensuite, on leur montre un chien et une voiture et on leur dit : « Assurez-vous de ne pas les confondre ». En forçant les neurones à se concentrer uniquement sur ce qui se trouve à l'intérieur de leur groupe spécifique et en comparant les éléments au sein de ce groupe, ils commencent naturellement à apprendre les subtiles différences.

La découverte la plus excitante est que cette méthode crée une hiérarchie naturelle. À mesure que l'on descend dans les couches de ce nouveau module d'IA, les neurones commencent à parler de choses de plus en plus abstraites. La première couche peut apprendre à repérer des objets spécifiques, comme une « tasse » ou une « chaussure ». La couche suivante peut les regrouper en idées fonctionnelles, comme « des choses que l'on tient » ou « des dispositifs de fixation ». La couche supérieure peut même apprendre l'environnement de fond, comme « des surfaces d'eau » ou « des scènes extérieures », quel que soit l'objet au premier plan. Les auteurs ont découvert que cela se produisait tout seul, sans que l'on dise à l'IA : « Hé, la couche 3 devrait porter sur les arrière-plans ». La hiérarchie a simplement émergé de la manière dont les neurones étaient organisés et entraînés.

Le papier a également testé si ce style d'apprentissage « biologique » était réellement efficace pour accomplir des tâches. Ils ont entraîné l'algorithme GCFF à partir de zéro sur des tests d'images standards comme la reconnaissance de chiffres manuscrits (MNIST) et divers types de voitures et d'animaux (CIFAR-10, STL-10). Les résultats ont montré que le GCFF ne comprenait pas seulement mieux le cerveau de l'IA, mais qu'il était également plus performant que d'autres méthodes « forward-forward » similaires, atteignant des scores élevés sur ces références.

Ce que cela signifie pour l'avenir

Les auteurs prennent soin de préciser qu'il ne s'agit pas d'une baguette magique qui résout tout, mais que cela suggère une nouvelle direction prometteuse. Ils soutiennent que l'ancienne méthode utilisant l'« apprentissage de dictionnaire parcimonieux » (l'approche du dictionnaire) présente des défauts intrinsèques. Elle suppose que chaque concept est simplement une ligne droite dans un espace de grande dimension, ce qui pourrait ne pas être vrai pour des idées complexes et courbes. En utilisant le GCFF, ils démontrent que nous pouvons obtenir des neurones « monosémantiques » — des neurones ayant une signification claire — sans les forcer à être parcimonieux. Au lieu de cela, le sens provient de l'architecture elle-même.

Dans leurs expériences, ils ont pris un modèle vision-langage pré-entraîné (une IA intelligente qui voit et lit) et y ont attaché leur module GCFF. Ils ont découvert qu'un seul module pouvait extraire une liste propre et ordonnée de concepts. Ils n'ont pas eu besoin de dire à l'IA combien de couches d'abstraction créer ; la profondeur du réseau l'a fait pour elle. Les neurones du bas étaient concrets, et les neurones du haut étaient abstraits, tout comme les couches d'un système visuel biologique.

Le papier conclut que cette approche offre une voie « biologiquement plausible ». Il suggère que si nous cessons de vouloir forcer l'IA à entrer dans des boîtes rigides et linéaires, et que nous la laissons plutôt apprendre par des comparaisons locales et groupées, nous pourrions obtenir une IA qui non seulement performe mieux dans ses tâches, mais organise aussi ses connaissances d'une manière qui ressemble beaucoup à la façon dont les êtres vivants pensent. C'est une étape vers la construction de machines qui ne font pas que calculer, mais qui, d'une certaine manière, commencent à comprendre le monde par couches.