← Derniers articles
💬 TALN

A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination

Cet article propose un cadre mécaniste unifié expliquant à la fois l'apprentissage en contexte et l'hallucination hors contexte comme des résultats de la manière dont l'information de rôle est représentée et agrégée en interne, démontrant que l'adhésion réussie aux règles par rapport à l'hallucination dépend de l'amplitude et de la cohérence des contributions de l'étendue du rôle aux points de décision clés.

Auteur original : Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

Publié 2026-11-19
📖 6 min de lecture🧠 Analyse approfondie

Auteur original : Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par l'auteur. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les grands modèles de langage sont les moteurs d'une nouvelle génération d'intelligence artificielle, capables de lire une consigne et de générer du texte à l'aspect humain sur demande. L'une de leurs capacités les plus célébrées est l'apprentissage en contexte, où un modèle peut déduire une règle spécifique à partir des exemples fournis dans une consigne et la suivre fidèlement. Si un utilisateur demande au modèle de résumer une liste d'enregistrements sous la forme d'un objet JSON, le modèle peut apprendre ce format et l'appliquer parfaitement. Pourtant, ces mêmes systèmes souffrent d'un défaut frustrant connu sous le nom d'hallucination. Parfois, lorsqu'on lui demande de répondre à une question basée sur des preuves fournies, le modèle ignore les faits qui sont juste devant lui et invente des détails qui ne sont pas soutenus par le texte. Cela crée une contradiction déconcertante : comment cette même machine peut-elle être si obéissante à une règle qu'elle vient d'apprendre, tout en étant si négligente avec les faits qui lui ont été donnés ? Pendant des années, les chercheurs ont étudié ces deux comportements séparément, les traitant comme des phénomènes distincts. Mais cette séparation a laissé un vide dans notre compréhension de la raison pour laquelle le modèle réussit dans un cas et échoue dans l'autre.

Une équipe de chercheurs de l'Université nationale de Singapour a désormais comblé ce fossé en examinant la mécanique interne de ces modèles. Ils proposent que le respect réussi des règles et l'incapacité à s'en tenir aux faits reposent sur le même processus sous-jacent. La clé de leur découverte réside dans la manière dont le modèle traite les différentes parties d'une consigne. Dans toute consigne donnée, une partie du texte agit comme une règle, indiquant au modèle comment structurer sa réponse, tandis qu'une autre partie agit comme une preuve, fournissant les faits spécifiques qui doivent être utilisés. Les chercheurs ont découvert que le modèle « comprend » effectivement la différence entre ces rôles en interne. Il crée un motif d'activité spécifique et organisé dans son réseau neuronal pour représenter s'il examine une règle ou une preuve. Cependant, le simple fait de posséder cette représentation interne ne suffit pas à garantir une réponse correcte. Le modèle peut reconnaître le rôle du texte sans pour autant laisser cette reconnaissance contrôler sa production finale.

Pour découvrir comment cela fonctionne, les chercheurs ont développé un moyen de mesurer l'influence de parties spécifiques de la consigne sur les décisions du modèle. Ils se sont concentrés sur le « segment de rôle » (role span), qui est la section spécifique de texte contenant soit la règle, soit la preuve. En comparant le comportement du modèle lorsque ce texte est présent par rapport à lorsqu'il est remplacé par un contenu différent, ils ont pu isoler exactement à quel point ce texte spécifique poussait le modèle vers une certaine réponse. Ils ont découvert que pour qu'un modèle suive une règle ou utilise des preuves correctement, l'influence de ce texte doit être suffisamment forte et doit pointer dans la bonne direction de manière cohérente. Il ne suffit pas que le modèle « voie » la règle ; le signal mathématique de cette règle doit être assez important pour surmonter les autres signaux concurrents dans le cerveau du modèle, et il doit s'aligner avec la direction de la bonne réponse à chaque étape du processus de génération.

L'étude révèle que la raison pour laquelle les modèles suivent bien les règles mais échouent souvent avec les faits tient au lieu et à la manière dont cette influence est appliquée. Lorsqu'un modèle suit une règle, comme formater une réponse sous forme de liste, l'influence du texte de la règle doit être maintenue à travers de nombreuses décisions différentes. Le modèle doit choisir de manière répétée la bonne structure, et le signal de la règle doit rester suffisamment fort à chacune de ces étapes pour maintenir le modèle sur la bonne voie. En revanche, lorsqu'un modèle est censé utiliser des preuves, le moment critique est beaucoup plus spécifique. L'influence du texte de la preuve doit être assez puissante au moment exact où le modèle décide d'un fait spécifique. Si le signal provenant de la preuve est trop faible à cet instant précis, ou s'il est annulé par d'autres signaux, le modèle dérivera et inventera un fait au lieu d'utiliser celui fourni.

Les chercheurs ont testé cette théorie en intervenant directement dans les calculs du modèle. Ils ont constaté que lorsqu'ils affaiblissaient artificiellement le signal provenant du texte de la règle, le modèle oubliait fréquemment le format qu'il était censé suivre. De même, lorsqu'ils réduisaient l'influence du texte de la preuve, le modèle cessait d'utiliser les faits fournis et commençait à halluciner. Plus révélateur encore, ils ont montré que cet échec n'est pas toujours permanent. Dans les cas où le modèle échouait initialement à utiliser la preuve, les chercheurs ont pu inverser l'erreur en boostant artificiellement le signal provenant de la preuve. Lorsque le soutien pour le fait correct fut rendu assez fort pour surmonter l'hésitation initiale du modèle, celui-ci réussit à passer à la bonne réponse. Cela suggère que le modèle possède souvent l'information correcte disponible en interne, mais qu'il échoue à agir dessus parce que le signal n'est pas assez fort pour gagner la compétition interne au moment de la décision.

Ce travail offre une explication unifiée pour deux comportements apparemment opposés. Il suggère que la différence entre un modèle qui suit les instructions parfaitement et un modèle qui ment sur les faits n'est pas une différence dans la manière dont il comprend la consigne, mais une différence dans la manière dont l'influence de cette consigne est maintenue pendant le processus de génération. Pour les règles, l'influence doit être une force constante et persistante guidant la structure de la réponse. Pour les faits, l'influence doit être une poussée nette et décisive au moment exact où une valeur spécifique est choisie. L'étude conclut que la fiabilité d'un modèle dépend de la capacité du signal interne de la consigne à être suffisamment fort et correctement organisé pour gagner ces moments critiques de choix. En comprenant ce mécanisme, nous obtenons une image plus claire de la raison pour laquelle ces outils puissants agissent parfois comme un assistant parfait et d'autres fois comme un menteur assuré, et comment la même machinerie interne est responsable de ces deux résultats.

Noyé(e) sous les articles dans votre domaine ?

Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.

Essayer Digest →