Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation
Cet article introduit un benchmark démontrant que la performance de suivi d'instructions dans les grands modèles de langage se dégrade de manière non linéaire à mesure que les contraintes s'accumulent en raison de conflits par paires, et montre qu'un compilateur de prompts sans entraînement atténue efficacement ce problème pour les modèles plus faibles tout en laissant les modèles plus forts largement inchangés.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de donner un ensemble d'instructions à un assistant robotique très intelligent, mais légèrement littéral. Vous savez que si vous lui demandez de faire une seule chose, comme « écrire une histoire », il fera probablement un excellent travail. Mais que se passe-t-il si vous accumulez vingt règles différentes d'un coup ? « Utilisez exactement 50 mots », « formatez-le sous forme de fichier JSON », « incluez trois citations », « n'utilisez pas la lettre 'e' », « commencez par un résumé » et « adoptez un ton de pirate » ? C'est le monde des Grands Modèles de Langage (LLM). Ce sont les cerveaux IA derrière de nombreux chatbots et outils que nous utilisons aujourd'hui. Ils sont entraînés pour suivre les commandes humaines, mais ils ne sont pas parfaits. Les scientifiques savent depuis longtemps que lorsque vous leur donnez trop de règles, ils commencent à faire des erreurs. Mais personne ne savait réellement à quel point ils échoueraient, quelles règles s'opposaient entre elles, ou s'il existait un moyen de corriger cela sans réentraîner le cerveau du robot de zéro. Ce document plonge dans ce tas de règles désordonnées pour voir exactement où le robot se perd et comment nous pourrions l'aider à s'y retrouver.
L'Effondrement de l'Empilement d'Instructions
Considérez le fait de donner une consigne à une IA comme le fait de remettre une fiche de recette à un chef. Si la fiche dit « Faites un sandwich », le chef est heureux. Mais imaginez si la fiche avait soudainement un post-it collé dessus disant « Utilisez uniquement des ingrédients rouges », un autre disant « Pas de pain autorisé », un troisième disant « Il doit être servi dans un bol bleu » et un quatrième criant « N'utilisez pas vos mains ! ». Si vous empilez vingt de ces notes contradictoires sur la recette, le chef ne se contente pas d'être confus ; il abandonne souvent la moitié des règles. Il peut faire un sandwich, mais il oublie les ingrédients rouges. Il peut utiliser le bol bleu, mais il ignore la règle du « pas de pain ». Et la partie effrayante ? Le chef ne vous dit pas qu'il a échoué. Il vous sert juste un sandwich bizarre et dit : « Voilà. »
Ce document, intitulé « Instruction Stacking Collapse » (L'effondrement de l'empilement d'instructions), est une analyse approfondie de la manière dont cela se produit exactement. Les chercheurs ont construit un immense terrain de jeu où ils ont testé la capacité de trois modèles d'IA de haut niveau (Claude Sonnet 4.6, GPT-5-mini et Gemini 2.5 Flash) à gérer un nombre croissant d'instructions. Ils ont commencé avec une seule règle et en ont ajouté progressivement, jusqu'à vingt règles à la fois.
Le Crash : Quand les Règles se Battent Entre Elles
Les résultats ont été spectaculaires. Lorsqu'une IA n'avait qu'une seule instruction à suivre, elle était une superstar, réussissant environ 96 % du temps. Mais à mesure que la pile de règles passait à vingt, la performance s'est effondrée.
- Le modèle le plus fort (Claude Sonnet) est tombé à environ 60 % de réussite.
- Le modèle intermédiaire (Gemini) est chuté à 43 %.
- Le plus faible (GPT-5-mini) a frappé un mur, ne parvenant à respecter que 20 % des instructions.
Ce n'était pas un déclin lent et monotone. C'était un « effondrement ». Les chercheurs ont découvert que les règles ne se perdaient pas simplement ; elles se battaient activement les unes contre les autres. Ils ont découvert une « carte de conflit ». Par exemple, si vous dites à l'IA d'« produire un JSON valide » (un format de code informatique spécifique) et que vous lui dites aussi d'« utiliser des en-têtes markdown » (comme ##Titre), l'IA se retrouve bloquée. Elle ne peut pas faire les deux. Si elle choisit le JSON, elle casse silencieusement la règle du markdown. Si elle choisit le markdown, elle brise la règle du JSON. Le document a révélé que l'instruction « produire un JSON » était la plus problématique, provoquant des conflits avec neuf autres règles courantes.
La Solution Magique : Le Compilateur d'Instructions
Alors, la solution consiste-t-elle simplement à donner moins de règles à l'IA ? Pas nécessairement. Les chercheurs se sont demandé : « Pouvons-nous corriger le prompt avant que l'IA ne le voie, sans rien apprendre de nouveau à l'IA ? »
Ils ont inventé un outil appelé Compilateur d'Instructions. Voyez ce compilateur comme un assistant super organisé qui examine votre pile désordonnée de vingt post-its avant de les donner au chef. Le compilateur fait trois choses :
- Il les groupe : Il rassemble toutes les règles de « format » ensemble et toutes les règles de « longueur » ensemble.
- Il les fusionne : Si deux règles disent la même chose, il les combine en une seule phrase claire.
- Il les hiérarchise : Si deux règles s'opposent (comme « utiliser JSON » contre « utiliser markdown »), le compilateur ajoute une note disant : « Hé, si ces deux-là entrent en conflit, faites le JSON en priorité. »
Ce compilateur s'exécute une seule fois, crée une liste de contrôle propre et organisée, puis cette même liste est utilisée pour chaque question à laquelle l'IA répond. C'est comme donner au chef une seule fiche de recette parfaitement écrite plutôt qu'une pile de notes désordonnées.
La Surprise : Qui est Aidez ?
Voici la partie la plus intéressante de l'histoire. Les chercheurs s'attendaient à ce que cette « fiche de recette propre » aide tout le monde de la même manière. Mais ce ne fut pas le cas. Le bénéfice dépendait entièrement de l'intelligence du chef (le modèle d'IA).
- Pour les modèles les plus faibles (comme GPT-5-mini) : Le compilateur a été un sauveur. Il a augmenté leur taux de réussite de +11 points de pourcentage. Il a transformé un modèle qui échouait 80 % du temps en un modèle qui n'échoue plus que 69 % du temps. C'est énorme car ces modèles plus faibles sont ceux qui sont le plus utilisés dans le monde réel parce qu'ils sont plus rapides et moins coûteux.
- Pour les modèles les plus forts (comme Claude Sonnet) : Le compilateur n'a presque rien fait. En fait, il a légèrement nuit à leurs performances (d'environ -1,2 point).
Pourquoi ? Le document suggère que les modèles les plus forts sont si intelligents qu'ils peuvent déjà analyser une pile désordonnée de vingt règles et comprendre la structure, les conflits et les priorités par eux-mêmes. Ils n'ont pas besoin que le compilateur organise les notes pour eux ; en fait, les notes supplémentaires ne font que encombrer leur réflexion. Les modèles plus faibles, en revanche, sont submergés par le désordre. Ils ont besoin du compilateur pour agir comme un traducteur, transformant le chaos en un plan clair et étape par étape.
Ce que cela signifie pour vous
Cette recherche nous apprend deux choses importantes. Premièrement, quand nous demandons à une IA d'accomplir des tâches complexes avec de nombreuses règles, nous ne pouvons pas simplement lui jeter un mur de texte et espérer que cela fonctionne. Les règles vont s'effondrer, et l'IA échouera silencieusement. Deuxièmement, nous n'avons pas besoin de construire des robots plus gros et plus intelligents pour régler cela. Parfois, la solution réside simplement dans une meilleure organisation.
Le document prouve qu'un outil simple et gratuit qui réorganise les instructions peut sauver les modèles d'IA plus faibles, les rendant beaucoup plus fiables pour les tâches que nous utilisons chaque jour. Cela rappelle que dans le monde de l'IA, parfois, la chose la plus intelligente à faire n'est pas de rendre le robot plus intelligent, mais de rendre les instructions plus claires. Et pour les robots super intelligents ? Ils préfèrent peut-être simplement comprendre par eux-mêmes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.