Au sein des vastes esprits numériques de l'intelligence artificielle moderne, il existe une couche d'activité cachée que les chercheurs commencent à peine à cartographier. Ces systèmes, connus sous le nom de grands modèles de langage, ne pensent pas en phrases ou en paragraphes comme les humains. Au lieu de cela, ils traitent l'information à travers des milliards de minuscules commutateurs interconnectés appelés neurones. Lorsque vous demandez à un ordinateur d'écrire un poème, de résoudre un problème mathématique ou de déboguer une ligne de code, des groupes spécifiques de ces neurones s'illuminent pour accomplir le travail. Pendant des années, les scientifiques ont lutté pour comprendre quels neurones sont responsables de quelles tâches. La difficulté réside dans l'échelle monumentale de l'opération ; ces modèles sont si complexes que les observer travailler revient souvent à essayer de comprendre une ville en regardant un seul lampadaire. Les méthodes précédentes pour trouver les bons commutateurs étaient soit trop lentes pour être pratiques, soit si focalisées sur des moments individuels qu'elles manquaient la vision globale du comportement du système au fil du temps.

Une équipe de chercheurs a maintenant introduit une nouvelle façon d'écouter ces esprits numériques, une méthode qu'ils appellent RACE. Plutôt que d'essayer de rétro-concevoir l'ensemble du système ou de calculer l'influence de chaque connexion individuelle, cette approche traite l'activité interne du modèle comme un motif statistique. Les chercheurs ont réalisé que les neurones servant un objectif spécifique, comme écrire du code Python ou résoudre de l'algèbre, ne s'activent pas de manière aléatoire. Au lieu de cela, ils contribuent à l'état interne du modèle de manière cohérente et stable chaque fois que ce type de tâche spécifique est effectué. En suivant ces contributions constantes à travers des milliers d'exemples, l'équipe peut identifier quels neurones sont les véritables spécialistes pour une tâche donnée. Il ne s'agit pas de trouver un neurone qui s'active une fois puis oublie ; il s'agit de trouver ceux qui se présentent de manière fiable à chaque fois que le modèle est sollicité pour faire quelque chose de spécifique.

Le cœur de cette découverte est un changement dans la façon dont les scientifiques mesurent l'importance. Les anciennes techniques reposaient souvent sur des calculs complexes qui nécessitaient que l'ordinateur remonte à rebours à travers sa propre logique, un processus incroyablement lent et coûteux en ressources de calcul. La nouvelle méthode, RACE, fonctionne en une seule passe directe (forward pass), en observant comment le modèle traite l'information alors qu'elle s'écoule naturellement du début à la fin. Elle observe les infimes mises à jour que chaque neurone apporte au flux de mémoire interne du modèle. Si un neurone pousse systématiquement la pensée du modèle dans la bonne direction pour une tâche spécifique, il reçoit un score élevé. Si son comportement est erratique ou s'il n'aide que lors de quelques occasions rares, il est ignoré. Cela permet aux chercheurs de construire une carte fiable des capacités du modèle sans avoir besoin de s'arrêter et de calculer chaque résultat possible.

Pour tester l'exactitude de cette carte, les chercheurs ont réalisé une série d'expériences contrôlées sur plusieurs modèles de langage différents, allant de plus petits modèles de 4 milliards de paramètres à des modèles massifs de 32 milliards de paramètres. Ils se sont concentrés sur trois domaines distincts : l'écriture de code informatique, la résolution de problèmes mathématiques et le contrôle de comportements spécifiques, comme l'utilisation d'une structure de phrase particulière. Dans chaque cas, ils ont utilisé la méthode RACE pour identifier les principaux neurones responsables de cette tâche. Ensuite, ils ont procédé à une opération délicate : ils ont temporairement réduit au silence ces neurones spécifiques pendant que le modèle travaillait.

Les résultats ont été frappants. Lorsque les chercheurs ont coupé les neurones identifiés par RACE pour les tâches de codage, la capacité du modèle à écrire du code correct a chuté de manière significative, tandis que sa capacité à répondre à des questions générales ou à résoudre des problèmes mathématiques est restée largement intacte. Il en fut de même pour les mathématiques ; réduire au silence les neurones mathématiques a paralysé ses capacités de raisonnement sans affecter ses capacités linguistiques générales. Cela a confirmé que la méthode avait réussi à isoler les composants spécifiques responsables de ces compétences. En revanche, lorsqu'ils utilisaient les anciennes méthodes, moins précises, pour sélectionner les neurones à réduire au silence, les dommages étaient souvent étendus, affectant les performances globales plutôt que de cibler une seule compétence.

L'une des découvertes les plus importantes concernait la différence entre les deux principaux types de neurones à l'intérieur de ces modèles. Les chercheurs ont découvert que les neurones responsables du raisonnement mathématique et du codage étaient hautement spécialisés et partageaient rarement leurs fonctions entre les tâches. Cependant, les neurones impliqués dans l'attention — la partie du modèle qui décide des mots sur lesquels se concentrer — étaient beaucoup plus généraux. Ces neurones d'attention semblaient être des outils réutilisables qui aidaient le modèle pour presque tout, de l'écriture de poésie à la résolution d'équations. Cette distinction explique pourquoi certaines parties du modèle sont plus faciles à élaguer ou à modifier que d'autres ; les parties spécialisées sont comme des outils dédiés dans un atelier, tandis que les parties d'attention sont comme les mains qui tiennent ces outils.

Les chercheurs ont également découvert que leur méthode était incroyablement efficace. Alors que les techniques précédentes nécessitaient que l'ordinateur effectue des calculs équivalents à l'exécution du modèle cent quarante-quatre fois juste pour évaluer les neurones, la nouvelle méthode nécessitait moins d'un passage complet. Cette vitesse permet d'analyser et d'auditer des modèles bien plus vastes que jamais auparavant. Cela signifie aussi qu'à l'avenir, les développeurs pourraient potentiellement utiliser cette technique pour affiner les modèles, en supprimant les comportements indésirables ou en améliorant des compétences spécifiques sans avoir à réentraîner l'ensemble du système à partir de zéro.

L'étude a également examiné comment ces neurones spécialisés se comportent lorsque le modèle est confronté à quelque chose de légèrement différent de ce pour quoi il a été entraîné. Lorsque les chercheurs ont testé le modèle sur de nouveaux problèmes mathématiques inédits, les neurones identifiés par RACE provoquaient toujours une baisse significative de performance lorsqu'ils étaient réduits au silence. Cela suggère que la méthode trouve la machinerie fondamentale de la compétence, et non un simple motif mémorisé pour un ensemble spécifique de questions. La capacité du modèle à généraliser ses connaissances repose sur ces mêmes neurones stables.

Peut-être la découverte la plus subtile concernait la capacité du modèle à utiliser des choix stylistiques spécifiques, tels que l'écriture de code Python utilisant un type particulier de structure de liste. Les chercheurs ont entraîné le système à reconnaître ce style spécifique, puis ont réduit au silence les neurones correspondants. Le résultat fut un modèle capable de toujours écrire du code, mais qui a presque totalement cessé d'utiliser ce style spécifique, même s'il pouvait encore écrire du code correct de manières différentes. Ce niveau de précision suggère que la méthode peut isoler des comportements très étroits, offrant un moyen de diriger la production du modèle avec une précision chirurgicale.

Les chercheurs reconnaissent que leur méthode n'est pas une solution parfaite pour tous les problèmes. Ils ont constaté qu'elle fonctionne mieux pour les parties du modèle qui traitent l'information de manière directe et additive, mais qu'elle est moins efficace pour cartographier les interactions plus complexes et imbriquées qui se produisent dans les mécanismes d'attention. Ils notent également que la méthode repose sur des motifs linéaires, ce qui signifie qu'elle pourrait manquer certains des modes de fonctionnement plus complexes et non linéaires des neurones travaillant ensemble. Cependant, pour la grande majorité des tâches testées, l'approche a fourni un moyen clair, fiable et rapide de comprendre ce que fait le modèle.

Ce travail représente une étape importante dans le domaine de l'interprétabilité mécaniste, qui vise à ouvrir la « boîte noire » de l'intelligence artificielle. En fournissant un moyen d'identifier et d'isoler des composants fonctionnels spécifiques au sein de ces systèmes massifs, les chercheurs nous ont donné un nouvel ensemble d'outils pour comprendre, déboguer et améliorer cette technologie qui façonne de plus en plus notre monde. La capacité de localiser précisément quelles parties d'un modèle sont responsables d'une compétence spécifique signifie que nous pouvons dépasser les suppositions pour commencer à prendre des décisions éclairées sur la façon dont ces systèmes sont construits et dont ils doivent être utilisés. La voie à suivre ne consiste plus à essayer de comprendre toute la ville à la fois, mais à être capable de descendre une rue spécifique et de savoir exactement ce qui s'y passe.