A Shared Subcircuit Lets LLMs Count Down Across Tasks
Cet article identifie un « sous-circuit de compte à rebours » partagé dans Llama-3.1-70B-Instruct qui permet aux modèles de langage de suivre les jetons restants à travers diverses tâches, révélant un mécanisme généralisable pour estimer le temps restant avant l'objectif qui se transfère d'un modèle et d'un contexte à l'autre.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous jouez à un jeu où vous devez écrire une phrase, mais il y a une règle stricte : elle doit faire exactement 10 mots de long, et le tout dernier mot doit être « telescope ». Si vous écrivez 9 mots, vous perdez. Si vous en écrivez 11, vous perdez.
Pendant longtemps, nous avons pensé que les Grands Modèles de Langage (LLM) — les cerveaux d'IA super-intelligents derrière les chatbots — se contentaient de deviner leur chemin à travers ces tâches. Mais une nouvelle étude suggère qu'un processus beaucoup plus organisé se déroule à l'intérieur de la machine. Les chercheurs ont découvert que l'IA possède un minuscule « sous-circuit de compte à rebours » spécialisé qui agit comme un chronomètre intégré, décomptant les mots restants jusqu'à ce qu'elle atteigne la ligne d'arrivée.
Le chronomètre caché
Les chercheurs ont commencé par donner une instruction à un modèle spécifique, Llama-3.1-70B-Instruct, pour qu'il écrive des phrases d'une longueur fixe. Ils voulaient savoir comment le modèle savait quand s'arrêter. En scrutant l'intérieur du « cerveau » du modèle (en regardant plus précisément comment il traite l'information, couche par couche), ils ont découvert un groupe spécifique de trois têtes d'attention (considérez-les comme de petits travailleurs spécialisés) dans la couche 18 qui sont responsables de ce compte à rebours.
Ces trois travailleurs — nommés L18H24, L18H28 et L18H30 — ne font pas que deviner. Ils mesurent réellement la distance entre l'endroit où se trouve la phrase actuellement et l'endroit où elle doit se terminer.
- L'un des travailleurs s'active tôt dans la phrase.
- Un autre intervient au milieu.
- Le troisième s'active juste à la fin.
Ensemble, ils créent un signal de « compte à rebours » fluide qui devient de plus en plus fort à mesure que le modèle se rapproche du nombre de mots cible. C'est comme avoir trois réveils différents réglés pour sonner à des moments différents, garantissant que le modèle sache exactement combien de temps (ou dans ce cas, combien de mots) il lui reste.
La magie du comptage « implicite »
C'est ici que cela devient vraiment génial. Vous pourriez penser que ce compte à rebours ne fonctionne que si vous dites explicitement à l'IA : « Écris une phrase de 10 mots ». Mais les chercheurs ont découvert que le modèle est plus intelligent que cela.
Ils ont testé le modèle avec des invites qui ne donnaient aucun nombre du tout. Au lieu de cela, ils lui ont donné un motif. Par exemple, ils lui ont montré une liste de séquences d'ADN ou de codes base64, tous ayant exactement la même longueur. Lorsqu'on lui a demandé de continuer la liste, le modèle n'a pas eu besoin de nombre ; il a simplement « compris » le motif. Il a déduit la longueur cible à partir des exemples précédents et a utilisé ce même sous-circuit de compte à rebours pour s'arrêter au bon endroit.
L'étude suggère que le modèle stocke cette information de longueur « invisible » juste à la fin des chaînes précédentes (comme une note cachée disant « La suivante devrait avoir cette longueur »). Lorsque le modèle voit la fin d'une chaîne, il lit cette note et commence son compte à rebours pour la suivante.
Un outil universel à travers les modèles et les tâches
Les chercheurs ne se sont pas arrêtés là. Ils ont utilisé une technique appelée « sondage non supervisé » pour voir où cet outil de compte à rebours se cachait ailleurs dans la nature. Ils ont parcouru de vastes quantités de texte, incluant des articles de presse, des journaux de chat et du code, cherchant les endroits où ces travailleurs spécifiques s'activaient.
Ils ont trouvé le sous-circuit de compte à rebours apparaissant dans toutes sortes d'endroits surprenants :
- Tweets intégrés : Le modèle a réalisé qu'il lisait un tweet et a compté à rebours jusqu'à la limite de 280 caractères, même si le texte ne mentionnait pas « tweet ».
- Tables ASCII : Lors du formatage d'un tableau, le modèle comptait les espaces pour s'assurer que chaque colonne ait la même largeur.
- Haikus : Il suivait le compte des syllabes pour la structure 5-7-5.
- Hashes SHA : Il savait exactement quand un code de 64 caractères était terminé.
Cela suggère que le modèle ne fait pas que mémoriser des règles pour des tâches spécifiques ; il possède un « moteur de compte à rebours » polyvalent qu'il réutilise pour presque tout ce qui nécessite de suivre une longueur.
Un schéma partagé ?
Le point le plus fascinant est peut-être que ce n'est pas seulement une particularité du modèle Llama. Les chercheurs ont comparé la « géométrie » interne (la forme des données) de ce sous-circuit de compte à rebours à un autre modèle, Claude 3.5 Haiku, qui a été étudié sur une tâche différente (l'ajustement du texte pour qu'il tienne sur une ligne).
Ils ont découvert que les deux modèles utilisent exactement la même forme mathématique pour stocker et traiter l'information de longueur. C'est comme si deux constructeurs automobiles différents, travaillant dans des usines différentes, avaient tous deux décidé d'utiliser exactement le même design de moteur pour leurs voitures. Cela suggère que ce « motif de compte à rebours » pourrait être un bloc de construction fondamental que de nombreux modèles d'IA découvrent d'eux-mêmes lorsqu'ils doivent suivre le temps ou l'espace.
Ce que cela signifie (et ce que cela ne signifie pas)
L'article précise qu'ils ont rétro-conçu ce comportement spécifique. Ils ont prouvé que si vous modifiez les signaux dans ces têtes spécifiques, le modèle arrête de compter correctement. Ils ont mesuré les signaux et observé les motifs.
Cependant, ils ne prétendent pas avoir résolu le mystère de la façon dont l'IA pense en général. Ils montrent simplement que pour la tâche spécifique de « savoir quand s'arrêter », l'IA utilise un outil très spécifique, réutilisable et étonnamment universel. C'est une petite mais puissante pièce du puzzle, montrant que même dans le monde complexe et chaotique de l'IA, il existe des sous-programmes nets et organisés qui aident la machine à donner un sens au monde.
Ainsi, la prochaine fois que vous verrez une IA écrire un haïku parfait ou formater un tableau sans qu'on lui dise exactement combien d'espaces utiliser, rappelez-vous : quelque part, profondément à l'intérieur, trois petits travailleurs dans la couche 18 sont discrètement en train de décompter le temps, s'assurant que tout se termine exactement comme il faut.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.