Mechanistic Interpretability of Chain-of-Thought Reasoning via Sequential Activation Patching
Cet article introduit un cadre de patch d'activation séquentiel pour identifier les sous-circuits de têtes d'attention distribués qui soutiennent causalement le raisonnement de type Chaîne de Pensée dans les Grands Modèles de Langage, en traçant les effets répartis temporellement à travers les positions de jetons et en validant leur importance fonctionnelle par une ablation ciblée.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les modèles de langage étendus sont les moteurs de nombreux outils d'intelligence artificielle modernes, capables de générer du texte semblable à celui de l'humain, de résoudre des problèmes et de répondre à des questions. Lorsque ces modèles sont confrontés à des tâches complexes, comme un problème mathématique difficile, ils obtiennent souvent de bien meilleurs résultats s'il leur est d'abord demandé d'exposer leur raisonnement étape par étape avant de donner une réponse finale. Cette technique, connue sous le nom de « chaîne de pensée » (chain-of-thought), les encourage à décomposer un problème en morceaux plus petits et plus gérables, tout comme un humain pourrait griffonner des calculs sur une feuille de papier. Cependant, un mystère persiste : ces étapes écrites aident-elles réellement le modèle à réfléchir, ou ne sont-elles qu'une performance polie ? Il n'était pas clair si le modèle utilise véritablement le texte intermédiaire pour guider sa logique interne, ou s'il se contente de générer des mots plausibles tout en s'appuyant secrètement sur un processus différent et caché pour parvenir à la réponse. Comprendre cette distinction est crucial car, si le modèle ne raisonne pas réellement, ses explications pourraient être trompeuses et sa fiabilité dans des situations critiques serait discutable.
Pour résoudre ce casse-tête, des chercheurs de l'Institut de technologie d'İzmir ont décidé de regarder à l'intérieur du « cerveau » du modèle pendant qu'il travaillait. Ils se sont concentrés sur un type spécifique d'intelligence artificielle appelé transformeur, qui traite l'information à travers un vaste réseau de voies interconnectées. Ils voulaient savoir exactement où et comment le processus de chaîne de pensée modifie l'activité interne du modèle. Au lieu de simplement observer le résultat final, ils ont utilisé une technique appelée le « patch de l'activation » (activation patching). Imaginez l'état interne du modèle comme un flux de données circulant à travers différentes pièces d'un bâtiment. Dans une exécution « standard », le modèle résout un problème sans écrire ses étapes. Dans une exécution « propre », il résout le même problème tout en écrivant ses étapes. Les chercheurs ont pris les données spécifiques circulant à travers certaines voies lors de l'exécution « propre » et les ont injectées dans l'exécution « standard ». Ce faisant, ils pouvaient voir si l'injection des données de « réflexion » dans l'exécution « non-réfléchissante » provoquerait le fait que le modèle commence soudainement à résoudre le problème correctement, comme s'il avait reçu les étapes manquantes.
L'équipe a découvert que la capacité de raisonnement du modèle n'est pas stockée dans un seul endroit isolé, mais qu'elle est répartie dans un réseau distribué de voies qui s'activent selon une séquence spécifique. Lorsqu'ils ont remplacé les signaux internes d'un modèle qui ne réfléchissait pas par les signaux d'un modèle qui le faisait, le modèle « non-réfléchissant » a commencé à se comporter comme le modèle « réfléchissant ». Il s'est rapproché de la bonne réponse et a commencé à suivre le même chemin logique. Cela suggère que les incitations à la chaîne de pensée font plus que simplement ajouter du texte à l'écran ; elles réorganisent activement le calcul interne du modèle, le dirigeant vers un mode de raisonnement. Les chercheurs ont constaté que cet effet était plus fort lorsqu'ils échangeaient des signaux provenant du même problème spécifique, mais que cela fonctionnait encore, bien que moins fortement, lorsqu'ils échangeaient des signaux provenant d'un problème complètement différent. Cela indique que le modèle a appris des schémas généraux sur la façon de réfléchir à un problème, et pas seulement comment résoudre une équation spécifique.
Pour confirmer que ces voies étaient réellement essentielles, les chercheurs ont réalisé une seconde expérience où ils ont simplement désactivé entièrement les voies identifiées. Lorsqu'ils ont fait cela, la performance du modèle s'est effondrée. Il n'a pas seulement donné le mauvais chiffre final ; il a perdu la capacité de suivre le fil de l'histoire, mélangeant souvent les détails de l'exemple avec la nouvelle question, ou échouant même à énoncer la réponse finale dans le format attendu. Le modèle répétait parfois la même phrase de manière incessante ou générait des nombres qui n'avaient aucun sens. Ces échecs ont montré que les voies identifiées par les chercheurs ne servent pas seulement à écrire l'explication ; elles sont les circuits mêmes qui maintiennent le raisonnement du modèle sur la bonne voie, l'aident à séparer l'exemple de la tâche réelle et garantissent qu'il génère les bons chiffres.
L'étude a également écarté l'idée que ces améliorations n'étaient que du bruit aléatoire ou un effet secondaire du changement de n'importe quelle partie du modèle. Lorsque les chercheurs ont injecté des données aléatoires et dénuées de sens au lieu des signaux de « réflexion » spécifiques, le modèle ne s'est pas amélioré. Cela a confirmé que les signaux spécifiques transportés par ces voies sont ce qui importe. Les chercheurs ont découvert que ces voies critiques sont concentrées dans les sections moyennes et tardives des couches du modèle, plutôt qu'au tout début ou à la toute fin. Elles agissent comme un système de soutien qui aide le modèle à maintenir son fil de pensée, à ancrer la réponse finale au bon nombre et à empêcher l'exemple de contaminer le nouveau problème.
En fin de compte, ce travail suggère que la chaîne de pensée fonctionne parce qu'elle recrute un ensemble spécifique et distribué de circuits internes conçus pour soutenir le raisonnement étape par étape. Ces circuits ne sont pas un module de raisonnement distinct situé à part du reste du modèle ; il s'agit plutôt de composants superposés que le modèle utilise de manière dynamique lorsqu'on lui demande de réfléchir à voix haute. Lorsque le modèle n'est pas incité à réfléchir, ces circuits ne sont pas pleinement engagés, et le modèle éprouve des difficultés face à des tâches complexes. Lorsqu'il est incité à le faire, ces circuits s'activent, guidant le modèle à travers les étapes nécessaires pour atteindre une solution. Ces conclusions offrent une image plus claire du fonctionnement réel de ces outils puissants, montrant que leur capacité à expliquer leur raisonnement n'est pas seulement un phénomène linguistique, mais le reflet d'un véritable changement interne dans leur manière de traiter l'information.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.