Dans le monde de l'intelligence artificielle, les grands modèles de langage sont souvent traités comme des outils universels : vous posez une question, et ils fournissent une réponse. Depuis des années, les chercheurs savent que la manière dont vous posez cette question, les mots spécifiques, le formatage ou le style du prompt, peut radicalement changer le résultat. Un prompt qui fait paraître un modèle brillant pourrait faire paraître un autre stupide, et même de petits changements insignifiants dans le texte peuvent modifier le classement des modèles considérés comme les « meilleurs ». Ce phénomène, connu sous le nom d'interaction prompt-modèle, a été bien documenté dans des tâches telles que la résolution de problèmes mathématiques ou l'écriture de code. Cependant, un mystère persistait : cette sensibilité appartient-elle à la machinerie complexe que le modèle utilise pour accomplir des tâches, ou est-ce une propriété fondamentale de la manière dont le modèle traite l'information elle-même ? Pour répondre à cela, les scientifiques devaient observer le modèle lorsqu'il ne faisait rien du tout. Ils devaient observer la machine dans un état d'existence pure, sans tâche, dépouillée d'instructions, d'objectifs ou de la pression d'être correct.

Une équipe de chercheurs indépendants s'est lancée dans cette investigation en supprimant la tâche elle-même. Au lieu de demander à un modèle de résoudre un problème, ils lui ont fourni une courte séquence de texte et ont observé ce qui se passait lorsqu'ils forçaient le modèle à prédire le mot suivant, puis le mot d'après, dans une boucle continue. Comme le modèle ne procédait pas par échantillonnage aléatoire mais suivait une règle strictement déterministe pour choisir le mot suivant le plus probable, le processus était comparable à une balle roulant le long d'une colline jusqu'à ce qu'elle s'installe dans une vallée. Dans certains cas, la balle roulait vers une vallée unique et stable et y restait indéfiniment ; dans d'autres, elle pouvait rester coincée dans une boucle ou errer sans but. Les chercheurs ont mesuré la fréquence à laquelle les prédictions du modèle se stabilisaient dans cet état stable, une métrique qu'ils ont appelée la fraction de point fixe. Ils ont ensuite testé comment ce comportement changeait en ajoutant un court préfixe de texte, seulement neuf mots ou tokens, avant le début de la séquence. L'objectif était simple : voir si un tout petit peu de texte supplémentaire pouvait fondamentalement altérer la trajectoire interne du modèle, même lorsque celui-ci n'essayait d'accomplir rien du tout.

Les résultats furent frappants et ont défié les propres attentes des chercheurs. Ils ont découvert que l'interaction entre le prompt et le modèle atteignait ce rendu sans tâche avec toute sa force. L'ajout de seulement neuf tokens de texte de conditionnement suffisait à déplacer la mesure effectuée sur presque toute sa plage possible. Pour certains modèles, cet ajout infime transformait un motif de prédiction chaotique et erratique en un motif parfaitement stable. Pour d'autres, il faisait exactement le contraire, détruisant un motif précédemment stable et plongeant les prédictions dans une boucle. L'effet était si puissant qu'il pouvait changer entièrement la classification structurelle du comportement d'un modèle. Pour mettre cela en perspective, les chercheurs ont comparé ce changement à l'impact de l'ajustement par instruction (instruction tuning), un processus d'entraînement massif qui augmente généralement les performances d'un modèle sur les tests standards de plus de soixante points. Alors que cet entraînement intensif déplaçait de manière significative la performance de la tâche du modèle, il laissait ce rendu structurel spécifique totalement inchangé. En revanche, un simple préfixe de neuf mots pouvait faire basculer la mesure effectuée d'un extrême à l'autre. Cela prouvait que l'interaction prompt-modèle n'est pas seulement une bizarrerie de la façon dont les modèles suivent les instructions ; c'est un fait structurel profond sur la manière dont le modèle lit un fragment de texte.

Les chercheurs ont ensuite tenté d'expliquer pourquoi cela se produisait, proposant plusieurs théories naturelles qui semblaient plausibles. Ils se demandaient si la longueur du texte ajouté était la cause, ou si le contenu, qu'il s'agisse de prose ordinaire ou de code formaté, en était le moteur. Ils ont également envisagé si l'effet était universel, signifiant qu'il poussait toujours les modèles dans la même direction, ou s'il s'agissait d'un trait spécifique de certains types de modèles, tels que ceux entraînés à suivre des instructions. Ils ont testé ces idées rigoureusement, commençant par de petits groupes de modèles pour ensuite élargir leur échantillon afin d'inclure des architectures et des types de textes plus diversifiés. Les cinq factorisations spécifiques (explications candidates) qu'ils ont proposées ont toutes échoué lors de l'élargissement de l'échantillon. L'effet n'était pas simplement lié à la longueur du texte ; en fait, la relation n'était ni fluide ni prévisible, certains modèles réagissant violemment à un seul mot supplémentaire tandis que d'autres l'ignoraient. Le contenu du texte a également échoué à expliquer le motif ; ce qui fonctionnait pour un modèle échouait souvent pour un autre, et la direction du changement s'inversait selon le couplage spécifique de texte et de modèle. Même l'idée que les modèles entraînés par instruction résisteraient à ces changements s'est avérée fausse lorsqu'ils ont testé une plus grande variété de textes.

Ce qu'il restait après la dissolution de toutes ces explications était une réalité simple et obstinée : l'effet appartenait au couple spécifique du prompt et du modèle, et non à l'un ou l'autre individuellement. Un seul préfixe fixe de neuf mots pouvait conduire quatre modèles différents vers un état de stabilité totale tout en poussant deux autres modèles vers un chaos total. Le même texte qui verrouillait les prédictions d'un modèle faisait s'effondrer un autre. Ce comportement survivait même lorsque les chercheurs utilisaient des textes courants dans le monde réel, prouvant qu'il ne s'agissait pas simplement d'un artefact dû à l'utilisation de mots étranges ou aléatoires. Les chercheurs ont également examiné la mécanique interne des modèles, plus précisément la quantité d'attention que le modèle portait au tout premier token de la séquence. Une théorie populaire suggérait que les premiers tokens agissent comme un « puits » (sink), absorbant l'attention du modèle et dictant le résultat. Cependant, lorsqu'ils ont mesuré cela, la théorie n'a pas réussi à prédire la direction du changement. Dans certains modèles, le puits d'attention augmentait et la stabilité augmentait ; dans d'autres, le puits d'attention augmentait mais la stabilité chutait. L'explication mécanique restait vraie pour le texte du monde réel mais s'effondrait complètement pour les entrées aléatoires utilisées dans leur sonde, suggérant que les chercheurs opéraient en dehors du régime où cette théorie mécanique s'applique.

L'étude conclut que l'unité d'explication de ce phénomène est le couple prompt-modèle lui-même. Il n'existe aucune règle unique concernant la longueur du texte, le contenu ou le type de modèle qui puisse prédire comment un modèle spécifique réagira à un prompt spécifique. Les chercheurs ont constaté que leurs propres tentatives de trouver une règle universelle étaient souvent entravées par une erreur subtile : appliquer un critère rigide à une quantité qui n'avait aucune marge de variation. Par exemple, ils pensaient initialement avoir trouvé une direction universelle où tous les modèles se déplaçaient de la même manière, pour réaliser plus tard que leur petit échantillon avait caché les exceptions. En élargissant leur échantillon et en refusant d'accepter des motifs qui ne pouvaient pas échouer, ils ont garanti l'honnêteté de leurs conclusions. L'image finale est celle d'une spécificité profonde. La façon dont un modèle lit un fragment de texte n'est pas une propriété générique du modèle, ni une propriété générique du texte. C'est une interaction unique qui n'émerge que lorsque ce texte spécifique rencontre ce modèle spécifique. Les chercheurs invitent la communauté scientifique à continuer de tester cela, mais tant qu'un nouveau facteur ne pourra survivre au même élargissement rigoureux de l'échantillon, la réponse reste que l'interaction est un événement spécifique au couple, résistant à toute catégorisation simple.