Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models
Cet article remet en question l'hypothèse prédominante de l'alignement sur les sauts (« hop-aligned ») du raisonnement multi-étapes dans les LLM en démontrant une « inversion de l'ordre des couches », où les réponses de sauts ultérieurs peuvent être décodées avant les entités de transition intermédiaires, et propose un cadre de « rappel et d'extraction probabilistes » pour expliquer ce phénomène par un rappel large et superficiel suivi d'une extraction profonde et sélective.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les grands modèles de langage sont les esprits numériques derrière les systèmes d'intelligence artificielle les plus avancés d'aujourd'hui. Ils sont entraînés sur de vastes quantités de texte, apprenant à prédire le mot suivant dans une phrase avec une précision remarquable. Cette capacité leur permet de répondre à des questions, d'écrire des histoires et de résoudre des problèmes qui nécessitent de relier différents morceaux d'informations. L'une des prouesses les plus impressionnantes que ces modèles accomplissent est le raisonnement multi-étapes (multi-hop reasoning). Il s'agit du processus consistant à répondre à une question qui ne peut être résolue par un seul fait, mais qui nécessite plutôt de lier plusieurs morceaux de connaissances. Par exemple, pour répondre à la question « De quel pays le sport que pratique Stephen Curry est-il originaire ? », un modèle doit d'abord identifier le sport, puis trouver l'origine de ce sport, et enfin combiner ces deux faits pour parvenir à la réponse. Pendant des années, les scientifiques ont cru que ces modèles résolvaient de tels puzzles en suivant un chemin interne strict et étape par étape, tout comme un humain résolvant un problème mathématique une équation à la fois. Ils pensaient que le modèle déterminerait d'abord le fait intermédiaire, le stockerait, puis l'utiliserait pour trouver la réponse finale. Comprendre exactement comment ces machines réalisent cette gymnastique mentale est crucial, non seulement pour améliorer leur intelligence, mais aussi pour savoir quand et pourquoi elles pourraient échouer.
Une équipe de chercheurs de l'Université de science et technologie de Chine et de l'Université de science et technologie de Hong Kong a maintenant remis en question cette croyance de longue date. En scrutant le fonctionnement interne des grands modèles de langage, ils ont découvert que ces systèmes ne suivent pas toujours le chemin ordonné et étape par étape que l'on supposait auparavant. Au lieu de cela, ils ont découvert un phénomène qu'ils appellent l'inversion de l'ordre des couches (layer-order inversion). Dans un processus standard, étape par étape, on s'attendrait à ce que le modèle détermine la pièce d'information centrale avant de pouvoir déterminer la réponse finale. Cependant, les chercheurs ont observé que, dans de nombreux cas, le modèle semble « connaître » la réponse finale avant d'avoir pleinement élucidé les étapes intermédiaires. Cela se produit à mesure que les questions deviennent plus complexes, impliquant plus de liens dans la chaîne de raisonnement. Plus la question est profonde, plus il est probable que le modèle ait la réponse finale prête dans sa mémoire interne avant d'avoir explicitement traité les faits de liaison qui relient les points.
Pour découvrir cela, les chercheurs ont utilisé une technique appelée Patchscopes, qui agit comme un microscope pour les pensées internes du modèle. Ils ont soumis aux modèles des questions complexes comportant jusqu'à quatre étapes de raisonnement et ont observé comment l'information émergeait à mesure que les données passaient à travers les couches du modèle. Ils ont examiné deux points spécifiques : le début de la question, où le sujet est introduit, et la toute fin de la question, où le modèle se prépare à générer une réponse. Ils ont constaté que, bien que le modèle traite souvent la première étape du raisonnement près du début, la réponse finale apparaît souvent dans l'état interne du modèle bien plus tôt que prévu, parfois même avant que les faits intermédiaires ne soient pleinement formés. Cela contredit l'idée que le modèle construit un circuit rigide où chaque étape doit être achevée avant que la suivante ne commence. Au lieu de cela, cela suggère un processus plus fluide où le modèle peut se rappeler la réponse finale directement, presque comme un pressentiment.
Les chercheurs proposent une nouvelle façon de comprendre ce comportement, qu'ils appellent un cadre de rappel et d'extraction probabiliste (probabilistic recall-and-extract framework). Plutôt qu'une machine rigide suivant un ensemble de règles fixes, ils suggèrent que le modèle fonctionne davantage comme une vaste bibliothèque où l'information est rappelée en fonction de probabilités. Dans cette perspective, le modèle ne se déplace pas seulement verticalement à travers ses couches, résolvant une étape à la fois. Il se déplace également horizontalement à travers les mots de la phrase. Les chercheurs ont découvert que dans les couches peu profondes du modèle, près de la fin de la phrase, il existe un rappel large et intuitif de la réponse finale. Ce rappel agit comme un signal ou une intuition qui pointe vers la solution correcte. Ce signal n'est pas le résultat d'une chaîne logique achevée, mais plutôt une association directe que le modèle saisit. Dans les modèles plus faibles ou pour des questions très difficiles, ce signal intuitif devient encore plus dominant, menant parfois le modèle vers la bonne réponse même s'il n'a pas pleinement raisonné les étapes, ou inversement, le menant sur une fausse piste si le signal est trompeur.
Cette nouvelle perspective aide à expliquer pourquoi les modèles réussissent ou échouent parfois de manières qui étaient auparavant déroutantes. Lorsqu'un modèle réussit une question multi-étapes, c'est peut-être parce que ce signal intuitif était assez fort pour guider la réponse finale, même si le raisonnement étape par étape était incomplet. Inversement, lorsqu'un modèle échoue, c'est souvent non pas parce qu'il manque de faits, mais parce qu'il n'a pas réussi à récupérer la réponse finale par ce signal intuitif ou qu'il a échoué à extraire l'information correcte de la connaissance accumulée. L'étude montre que la capacité du modèle à répondre à des questions complexes repose sur un équilibre entre ce rappel intuitif large et une extraction plus focalisée et profonde de la réponse spécifique. Cette découverte suggère que la logique interne de l'intelligence artificielle est moins semblable à une ligne d'assemblage rigide qu'à un processus dynamique de mémoire et d'association, où la destination peut parfois être perçue avant que le chemin ne soit entièrement parcouru.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.