Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models
Cet article présente une évaluation contrôlée utilisant le corpus synthétique « Book of Veyra » sur cinq modèles, révélant que l'adhérence aux instructions s'effondre lorsque le nombre de règles dépasse 80 quel que soit le format, tandis que la performance en contexte long est caractérisée par une dégradation brutale du rappel et des taux de refus plutôt que par des hallucinations, sans avantage constant du markdown sur le texte brut.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot super intelligent comment faire un travail. Vous avez quelques leviers que vous pouvez actionner pour le faire mieux travailler. Un levier est le format : vous pouvez écrire vos instructions sous la forme d'une liste soignée, d'un paragraphe ennuyeux, d'un tableau élégant ou simplement de texte brut. Un autre levier est l'échelle : combien d'instructions vous donnez à la fois, et quelle quantité d'informations de fond (comme un livre géant) vous lui demandez de mémoriser pendant qu'il travaille. Pendant longtemps, les gens se sont disputés pour savoir quel style d'écriture était le meilleur, supposant que le robot les comprendrait parfaitement, peu importe le nombre de règles ajoutées ou l'épaisseur du livre. Mais dans le monde de l'Intelligence Artificielle, spécifiquement avec les Grands Modèles de Langage (le genre d'IA qui écrit des histoires et répond à des questions), une suspicion grandissante existe que ces leviers ne fonctionnent pas de manière isolée. Si vous donnez trop de règles au robot, ou si vous lui demandez de se souvenir de trop de choses, le style de votre écriture peut soudainement cesser d'avoir de l'importance, ou pire, commencer à se briser de manière étrange. Ce document pose une question simple mais délicate : la façon dont vous formatez vos instructions aide-t-elle réellement, ou cela se perd-il simplement dans le bruit lorsque la tâche devient immense ?
Les chercheurs derrière cette étude, Netanel Eliav du Machine Human Intelligence Lab, ont décidé d'arrêter de deviner pour commencer à tester. Ils ont construit un univers fictif géant appelé le « Livre de Veyra ». Considérez cela comme une encyclopédie imaginaire massive contenant 8 780 choses fictives uniques — comme des systèmes solaires, des guildes et des créatures étranges — chacune avec des faits spécifiques à son sujet. Parce que ce livre a été créé par un programme informatique et non en lisant Internet, l'IA ne pouvait pas l'avoir mémorisé au préalable ; elle devait réellement lire les pages fournies pour trouver les réponses. Ils ont pris ce même livre et l'ont écrit de quatre manières différentes : sous forme de liste Markdown (avec des en-têtes en gras et des puces), en texte brut (juste les mots), en prose fluide (comme une histoire) et en tableau. Ensuite, ils ont placé ce livre devant cinq modèles d'IA différents et ont mené deux expériences massives.
Premièrement, ils ont testé le Respect des Instructions. Ils ont donné à l'IA une liste de règles à suivre lors de la rédaction d'un court essai. Ils ont commencé avec 10 règles et en ont ajouté de plus en plus, jusqu'à 160 règles à la fois. Ils voulaient voir si l'IA pouvait toujours suivre toutes les règles parfaitement à mesure que la liste s'allongeait, et si le fait d'écrire ces règles dans un format de liste élégant aidait davantage que de les écrire dans un paragraphe. Le résultat fut un crash brutal. Peu importe la façon dont les règles étaient écrites, une fois que la liste atteignait environ 80 règles, la capacité de l'IA à suivre chaque règle parfaitement tombait à zéro. Peu importait que les règles soient dans un tableau ou une liste ; l'IA abandonnait simplement l'idée de tout faire correctement. Étonnamment, l'endroit où vous placiez les règles importait plus que leur apparence. Placer les règles dans le « prompt système » (les instructions cachées du cerveau du robot) plutôt que dans le « tour utilisateur » (le message de chat) changeait les résultats de manière significative, mais de manières différentes selon les robots. Pour certains modèles, placer les règles dans le chat aidait ; pour d'autres, cela nuisait. Il n'y avait pas de « meilleur » endroit universel pour les mettre.
Deuxièmement, ils ont testé la Mémoire et l'Honnêteté avec le Livre de Veyra. Ils ont nourri l'IA de morceaux du livre allant de 2 000 mots à un massif 512 000 mots. Ils ont demandé à l'IA de se rappeler des faits spécifiques, de vérifier si l'IA mentirait pour être d'accord avec une affirmation fausse (sycophancie), ou si elle inventerait des faits qui n'existent pas (hallucination). Les résultats étaient fascinants. Jusqu'à environ 64 000 ou 128 000 mots, l'IA se souvenait de tout parfaitement, quel que soit le format. Mais une fois ce seuil franchi, les choses devenaient désordonnées. La précision ne diminuait pas lentement ; elle s'effondrait, et la façon dont elle s'effondrait dépendait entièrement du format et du modèle d'IA spécifique. Pour un modèle, le texte brut était terrible à 128k mots, tandis que les listes et les tableaux fonctionnaient très bien. Pour un autre, c'était l'inverse. Il n'y avait pas de « meilleur » format unique.
Voici la plus grande surprise : l'IA n'a pas commencé à inventer des mensonges ou à être d'accord avec des affirmations fausses plus souvent à mesure que le livre s'allongeait. En fait, le taux d'invention de faits était nul, et l'accord avec les mensonges restait très bas. Au lieu de cela, l'IA a commencé à faire tout autre chose : refuser de répondre. À mesure que le livre se rapprochait de la limite de mémoire du modèle, l'IA disait simplement « Je ne sais pas » ou « Je ne peux pas répondre à cela », refusant parfois de répondre jusqu'à 90 % du temps. Elle ne devenait pas confuse et ne mentait pas ; elle était submergée et se mettait en mode arrêt.
L'article a également examiné le coût. Certains formats, comme les tableaux, consomment plus de « tokens » (la monnaie que l'IA utilise pour mesurer la longueur du texte) que le texte brut. Lorsque les chercheurs ont ajusté les scores pour voir quel format offrait le meilleur rapport entre précision et tokens dépensés, les gagnants ont encore changé. Parfois, un format qui semblait légèrement moins précis était en fait une meilleure affaire parce qu'il était moins coûteux à lire.
La principale conclusion est que vous ne pouvez pas simplement choisir un « meilleur » format comme le Markdown ou un Tableau et supposer qu'il fonctionnera toujours. L'article prouve que le format est inutile si vous ne considérez pas également l'échelle. Si vous avez trop d'instructions (environ 80 ou plus), le format n'a plus d'importance car l'IA frappe un mur. Si vous avez un contexte énorme (plus de 128k mots), le format compte beaucoup, mais le « meilleur » change selon le modèle d'IA que vous utilisez. Les auteurs concluent que le mode de défaillance dont nous devrions nous inquiéter n'est pas que l'IA mente, mais que l'IA abandonne et refuse de répondre lorsque la tâche devient trop grande. Ils ont publié tous leurs outils et le faux « Livre de Veyra » afin que quiconque puisse tester ces limites par lui-même, car les règles du jeu semblent changer pour chaque nouveau robot que vous rencontrez.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.