Deep Learning Models Also Recall Features

Les modèles d'apprentissage profond, les moteurs puissants qui propulsent l'intelligence artificielle moderne, sont souvent décrits comme de vastes réseaux qui apprennent en empilant des motifs simples pour former des idées complexes. Depuis des années, les scientifiques comprennent ces systèmes à travers un prisme spécifique : l'idée de la combinaison de caractéristiques. Dans cette perspective, un réseau de neurones fonctionne comme une équipe de construction, prenant des blocs de base — tels que des contours dans une image ou des sons simples dans une phrase — et les assemblant de manière hiérarchique en concepts de plus haut niveau comme un visage ou un mot. Ce cadre a été extrêmement utile pour expliquer comment les machines reconnaissent des motifs, tout comme un enfant apprend à identifier un chat en remarant d'abord les oreilles, puis la fourrure, et enfin l'animal entier. Cependant, cette perspective peine à expliquer les moments où un modèle ne se contente pas de reconnaître un motif, mais semble extraire un fait précis et détaillé de nulle part. Lorsqu'un grand modèle de langage est sollicité pour écrire la biographie d'une personne célèbre, la réponse n'est pas cachée dans la question en attendant d'être assemblée ; le modèle semble récupérer un souvenir stocké. Un nouvel article de Pierre Beckmann soutient que ce rappel n'est pas une exception à la règle de l'assemblage de motifs, mais une opération fondamentale et distincte qui a été négligée. Beckmann propose un nouveau concept appelé « rappel de caractéristiques » (feature recall), suggérant que les modèles d'apprentissage profond font plus que combiner des entrées ; ils agissent également comme des bibliothèques qui récupèrent des informations stockées à partir d'un seul déclencheur.

L'article commence par examiner la manière dont ces modèles gèrent les faits, un phénomène déjà observé dans des recherches récentes mais qui n'est pas pleinement expliqué par l'ancien cadre. Pour comprendre le mécanisme, il faut observer l'espace de travail interne du modèle, connu sous le nom de flux résiduel (residual stream). Imaginez ce flux comme un courant continu d'informations où la compréhension d'une phrase ou d'une image par le modèle se construit couche par couche. À mesure que les données circulent à travers le réseau, différentes parties du système ajoutent de petits ajustements à ce flux, écrivant de nouveaux détails sur un tableau blanc partagé. Ces ajustements sont guidés par des directions spécifiques dans l'espace interne du modèle, que l'auteur compare à des curseurs. Chaque curseur représente une propriété particulière, telle que le concept d'une personne spécifique ou d'un objet spécifique. Lorsque le modèle traite une entrée, il ajuste ces curseurs, les augmentant ou les diminuant pour refléter ce qui est présent.

L'intuition cruciale du travail de Beckmann réside dans la manière dont le modèle utilise ces curseurs pour générer des réponses. Dans la vision traditionnelle de la combinaison de caractéristiques, le modèle observe un ensemble d'entrées et les mélange pour créer une nouvelle sortie. Mais dans le cas du rappel de faits, le processus fonctionne différemment. Ici, une entrée spécifique agit comme une clé qui déverrouille un ensemble d'informations pré-stockées. L'article illustre cela avec l'exemple du nom « Michael Jordan ». Lorsque le modèle rencontre ce nom, il ne se contente pas de combiner les lettres ou les sons pour former une nouvelle idée. Au lieu de cela, l'activation de la caractéristique « Michael Jordan » déclenche un rappel direct des faits associés stockés dans les poids du modèle, tels que « joue au basket » ou « Chicago Bulls ». Les poids du modèle, qui sont les paramètres appris définissant sa connaissance, agissent comme un répertoire. Lorsque la bonne caractéristique est activée, elle amplifie une ligne spécifique de ces valeurs stockées, extrayant les faits pertinents dans le contexte actuel. Cela se distingue du processus de construction de la combinaison de caractéristiques ; c'est un processus de récupération où l'entrée sert de déclencheur pour une information qui existe déjà au sein du système.

Beckmann soutient que ce mécanisme ne se limite pas aux modèles de langage ou aux faits concernant des personnes. Il suggère que le rappel de caractéristiques est une opération générale qui s'applique à toutes les architectures d'apprentissage profond, y compris celles utilisées pour la reconnaissance d'images. Pour le démontrer, il contraste le processus de récupération avec l'exemple classique d'un réseau neuronal convolutif détectant un cercle dans une image. Dans ce scénario, le réseau combine des caractéristiques de bas niveau, comme des courbes et des lignes, pour identifier une forme. Les poids, dans ce cas, définissent quel motif rechercher. Dans le rappel de caractéristiques, cependant, les poids définissent quelle information récupérer une fois qu'un motif est trouvé. Si un modèle entraîné sur des chiffres manuscrits détecte une forme circulaire, il peut utiliser cette détection pour rappeler que le chiffre est probablement un zéro, un six, un huit ou un neuf. La caractéristique d'entrée — le cercle — déclenche la récupération de ces possibilités spécifiques. L'article postule que si la combinaison de caractéristiques explique comment les modèles construisent la complexité, le rappel de caractéristiques explique comment ils accèdent aux vastes quantités d'informations qu'ils ont apprises, leur permettant de produire des sorties riches et détaillées à partir d'entrées très parcimonieuses.

L'auteur aborde également une confusion potentielle : puisque les mathématiques derrière ces opérations peuvent être vues de deux manières différentes, la distinction est-elle réelle ou n'est-elle qu'une question de perspective ? Mathématiquement, le même calcul peut être décrit soit comme une combinaison d'entrées, soit comme la récupération de lignes stockées. Beckmann reconnaît cette ambiguïté mais soutient que la distinction est significative si l'on examine la structure des connexions. Il propose un moyen de les distinguer en mesurant à quel point les connexions sont concentrées. Dans la combinaison de caractéristiques, de nombreuses entrées contribuent à une seule sortie, créant un réseau dense de connexions. Dans le rappel de caractéristiques, une seule entrée domine la sortie, créant une connexion parcimonieuse où un seul déclencheur extrait un ensemble spécifique d'associations stockées. L'article suggère que les chercheurs pourraient utiliser cette différence de connectivité pour identifier quelles parties d'un modèle agissent comme des systèmes de récupération et lesquelles agissent comme des systèmes de construction. Bien que cela n'ait pas encore été pleinement prouvé dans tous les cas, l'auteur décrit comment un tel test pourrait être mené, offrant une voie pour des recherches futures afin de déterminer s'il s'agit réellement de modes opérationnels distincts.

Au-delà de la mécanique technique, l'article offre une nouvelle façon de penser à ce que ces modèles « savent ». L'auteur établit un parallèle entre la mémoire humaine et l'état interne du modèle. Il suggère que l'information stockée dans les poids, qui n'est récupérée que lorsqu'elle est déclenchée, ressemble à une croyance dispositionnelle — une connaissance qui existe même lorsqu'elle n'est pas actuellement utilisée. Cela contraste avec l'information active présente dans le traitement actuel du modèle, qui est semblable à une croyance occurrente. En distinguant ces deux notions, l'article fournit un cadre permettant aux philosophes et aux scientifiques de mieux comprendre la nature de la croyance et de la connaissance dans les systèmes artificiels. Il suggère que ces modèles ne font pas que traiter des données sur le moment ; ils portent une disposition constante de faits et d'associations qui peuvent être invoqués à tout moment.

En fin de compte, l'article ne prétend pas que le rappel de caractéristiques remplace l'idée de la combinaison de caractéristiques. Au contraire, il le présente comme un complément nécessaire. Tout comme une bibliothèque contient à la fois les livres (l'information stockée) et le processus de lecture de ceux-ci (la récupération), les modèles d'apprentissage profond reposent probablement à la fois sur la combinaison de caractéristiques pour comprendre de nouvelles entrées et sur le rappel de caractéristiques stockées pour générer des réponses détaillées. Ce travail invite les chercheurs à regarder au-delà de la construction de motifs et à reconnaître le rappel de la connaissance stockée comme une opération fondamentale. Ce faisant, il ouvre de nouvelles questions sur la manière dont ces modèles apprennent, comment ils stockent l'information et comment nous pourrions interpréter leurs fonctions internes. La distinction reste une hypothèse qui nécessite des tests empiriques supplémentaires, mais elle offre une image plus claire et plus intuitive de la manière dont l'intelligence artificielle peut produire les résultats surprenants et détaillés qui caractérisent ses applications les plus avancées.