💻 computer science

Spurious Prompts: Can Irrelevant Prompts Steer Large Language Models?

Ce papier démontre que des invites « fallacieuses » sémantiquement non liées peuvent systématiquement orienter les grands modèles de langage soit vers l'amélioration des performances de tâche, soit vers l'induction de comportements non intentionnels, révélant ainsi une nouvelle forme de sensibilité aux invites qui peut être exploitée par une recherche en boîte noire.

Auteurs originaux : Pawel Batorski, Abtin Pourhadi, Jerzy Sarosiek, Przemyslaw Spurek, Paul Swoboda

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pawel Batorski, Abtin Pourhadi, Jerzy Sarosiek, Przemyslaw Spurek, Paul Swoboda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent, mais légèrement excentrique. Habituellement, pour lui faire résoudre un problème de mathématiques, vous lui dites : « Veuillez résoudre cette équation. » Pour lui demander d'écrire une histoire, vous dites : « Écrivez un conte sur un dragon. » C'est ainsi que nous parlons normalement à l'IA : nous lui donnons des instructions claires et pertinentes.

Ce papier découvre quelque chose d'étrange et de surprenant : Vous n'avez pas réellement besoin de donner au robot les bonnes instructions pour qu'il fonctionne. En fait, vous pouvez lui donner des instructions qui n'ont absolument rien à voir avec la tâche, et il pourrait tout de même résoudre le problème mieux que si vous lui donniez une instruction normale.

Les auteurs appellent cela des « Prompts Spuriaux ».

Le Tour de Magie : L'Analogie du « Code Secret »

Pensez au modèle d'IA comme à un grand piano. Habituellement, pour jouer une chanson spécifique (la tâche), vous appuyez sur les touches spécifiques (les instructions de la tâche).

Les chercheurs ont découvert que si vous jouez une mélodie complètement différente et aléatoire sur le piano (un prompt concernant l'accordage des cordes d'une harpe ou le tissage d'une tapisserie), le piano pourrait accidentellement commencer à jouer la chanson correcte que vous vouliez, et parfois même la jouer mieux que si vous essayiez de jouer la chanson directement.

Le prompt ne dit pas « Résolvez ce problème de mathématiques ». Au lieu de cela, il pourrait dire :

« Vous êtes un tisserand de six fils distincts sur un métier à tisser. Un concepteur spécifie un motif. Vous devez sélectionner le brin qui forme cette texture. Ne considérez pas la tombée du tissu. Votre rôle est purement l'alignement structurel. Une fois le motif défini, arrêtez de tisser et énoncez : [Lettre]. »

Même si cela concerne le tissage et ne contient aucun mot mathématique, lorsque vous soumettez une question de mathématiques à l'IA avec ce prompt, l'IA résout souvent le problème mathématique correctement.

Comment Ils Ont Trouvé Ces Prompts

Les chercheurs n'ont pas deviné ces prompts ; ils ont utilisé une « recherche en boîte noire » (comme une chasse au trésor où vous ne pouvez pas voir à l'intérieur du coffre, seulement les résultats).

Le Générateur : Ils ont demandé à une IA super-intelligente d'écrire des centaines d'histoires étranges et sans rapport (sur des phares, des cloches ou des archives secrètes).
Le Filtre : Ils ont jeté toute histoire qui mentionnait accidentellement la tâche (comme des mots tels que « mathématiques », « calculer » ou « diagnostic »).
Le Test : Ils ont essayé ces histoires étranges sur l'IA pour voir lesquelles la faisaient répondre correctement aux vraies questions.
L'Évolution : Ils ont pris les meilleures histoires étranges, les ont mélangées légèrement, et ont réessayé, les évoluant lentement en des prompts étranges « parfaits ».

Ce Qu'ils Ont Découvert

Ça Marche : Ces prompts sans rapport ont souvent fait performer l'IA aussi bien, voire mieux, que des instructions standard comme « Réfléchissez étape par étape » ou « Résolvez cela avec soin ».
Ce N'est Pas Une Question de Longueur : Vous pourriez penser que des prompts plus longs et plus détaillés fonctionnent mieux. Mais ces prompts « spuriaux » étaient en fait beaucoup plus courts que les prompts optimisés, et pourtant, ils ont gagné.
Ce N'est Pas Une Question de Sens : Lorsque les chercheurs ont vérifié le « sens » des prompts, ils ont découvert que ces prompts étranges étaient tout aussi sans rapport avec la tâche que du charabia aléatoire. L'IA ne comprenait pas l'histoire ; elle réagissait à la structure ou à l'ambiance du texte.
Ça Peut Tourner Mal (ou Bien) Intentionnellement : Les chercheurs ont également découvert qu'ils pouvaient utiliser ces prompts pour forcer l'IA à faire des choses absurdes, comme :
- Toujours choisir la première option de réponse (A), même si elle est fausse.
- Toujours donner un nombre pair comme réponse.
- Donner intentionnellement la mauvaise réponse à une question.

La Grande Conclusion

Le papier suggère que les Grands Modèles de Langage (LLM) sont sensibles à des choses que nous ne comprenons pas encore pleinement. Ils ne suivent pas simplement le « sens » de nos mots comme un humain qui lit un manuel. Au lieu de cela, ils semblent avoir des « leviers » cachés à l'intérieur d'eux. Un prompt concernant « l'accordage d'une harpe » pourrait actionner un levier qui fait que le modèle se concentre mieux, même si la harpe n'a rien à voir avec le problème de mathématiques.

En bref : Le papier prouve que vous pouvez orienter une IA puissante en utilisant des instructions complètement sans rapport avec le travail, et parfois, ces instructions sans rapport fonctionnent mieux que les évidentes. C'est comme découvrir que dire à un chef de « polir les couverts » rend sa soupe plus savoureuse que de lui dire de « cuire la soupe ».

Résumé Technique : Prompts Spuriaux : Les Prompts Non Pertinents Peuvent-ils Orienter les Grands Modèles de Langage ?

Énoncé du Problème

Les recherches actuelles sur les Grands Modèles de Langage (LLM) opèrent largement sous l'hypothèse que la sensibilité aux prompts est pilotée par des instructions, des démonstrations ou des indices de raisonnement pertinents pour la tâche. Le paradigme dominant suggère que pour améliorer les performances, les prompts doivent être affinés afin de décrire la tâche cible plus clairement ou plus méthodiquement. Ce papier remet en question cette hypothèse fondamentale en investiguant une forme contre-intuitive de sensibilité aux prompts : les prompts qui sont sémantiquement sans rapport avec la tâche cible peuvent-ils néanmoins orienter le comportement du modèle et modifier significativement ses performances ? Les auteurs postulent que les LLM peuvent être sensibles à des « prompts spuriaux » — des instructions en langage naturel qui évitent délibérément le vocabulaire spécifique à la tâche, les indices de domaine et les stratégies de résolution explicites, tout en dictant toujours les sorties ultérieures du modèle.

Méthodologie

Les auteurs proposent une procédure de recherche boîte noire simple et entièrement automatisée pour découvrir des prompts spuriaux. Cette méthode ne nécessite aucun accès aux gradients du modèle, aux états cachés ou aux poids, reposant uniquement sur les sorties du modèle. La boucle d'optimisation comprend les composants suivants :

Génération de Candidats : Un générateur de LLM (spécifiquement Qwen3.5-27B) est instruit de produire des prompts système candidats. Crucialement, ces prompts sont contraints d'être « spuriaux » par rapport à la tâche en aval. Par exemple, dans les tâches de raisonnement mathématique, le générateur est explicitement interdit d'utiliser des mots liés à l'arithmétique, aux équations ou au calcul. Il est plutôt encouragé à adopter des personnalités, des rituels ou des styles (par exemple, « accordeur », « tisserand », « gardien ») qui sont superficiellement sans rapport avec la tâche mais qui exigent toujours que le modèle réponde directement à la requête de l'utilisateur.
Validation des Prompts : Un validateur filtre les candidats à l'aide de filtres lexicaux spécifiques à la tâche. Tout prompt contenant des termes interdits associés au domaine (par exemple, « mathématiques », « diagnostic », « enquête ») ou des stratégies de raisonnement explicites est rejeté.
Recherche Itérative et Mutation : Les prompts validés sont évalués sur un sous-ensemble d'entraînement de la référence. Les $K$ meilleurs prompts sont sélectionnés et mutés par le générateur pour varier leur personnalité, leur récit ou leur cadrage tout en conservant leur caractère spurious. Un tampon de relecture (replay buffer) garantit que les prompts restent efficaces sur différents sous-ensembles de données.
Sélection Finale : Après plusieurs rounds de mutation, le prompt le plus performant est sélectionné en fonction de la précision sur l'ensemble de validation.

L'étude évalue ces prompts sur sept références (GSM8K, MATH500, MedQA, GPQA, OpenBookQA, MuSR, MMLU-Pro) en utilisant quatre modèles allant de 0,8 à 27 milliards de paramètres (Qwen3.5, Llama-3.2, Olmo-3).

Contributions Clés

Ce papier introduit trois contributions principales :

Prompts Spuriaux : L'introduction formelle de prompts délibérément sans rapport avec la tâche cible en surface, mais qui dictent fortement les performances du modèle.
Procédure de Recherche Contrainte : Une méthode boîte noire novatrice pour découvrir ces prompts, qui exclut explicitement les descriptions de tâches et le vocabulaire de domaine, opérant sans accès interne au modèle.
Analyse Empirique et Diagnostique : Des preuves démontrant que les prompts spuriaux peuvent augmenter la précision, égaler ou surpasser les baselines standards (y compris le Chain-of-Thought à zéro tirage et les optimiseurs conscients de la tâche comme PromptWizard), et orienter les modèles vers des comportements non intentionnels (par exemple, sélectionner la première option, produire des nombres pairs, ou générer des réponses incorrectes) sans instruction explicite.

Résultats

Les résultats expérimentaux produisent plusieurs découvertes significatives :

Maximisation des Performances : Les prompts spuriaux égalent ou surpassent fréquemment les baselines de prompting standard et le PromptWizard conscient de la tâche. Par exemple, sur le modèle Qwen3.5-27B, les prompts spuriaux ont atteint une précision moyenne de 73,24% sur les références, surpassant PromptWizard (67,99%) et le Chain-of-Thought à zéro tirage (59,79%).
Orientation Comportementale : Les auteurs ont réussi à utiliser des prompts spuriaux pour induire des comportements spécifiques, souvent adversariaux.
- Biais Positionnel : Des prompts axés sur des thèmes de « primauté » ont induit un taux de sélection plus élevé de l'Option A (jusqu'à 99,73% sur GPQA pour Qwen3.5-27B) par rapport aux commandes directes.
- Réponses Incorrectes : Des prompts conçus pour minimiser la précision ont réussi à forcer les modèles à sélectionner des réponses incorrectes plus efficacement que des instructions directes de « choisir la réponse la plus incorrecte ».
- Contraintes Numériques : Les prompts spuriaux ont réussi à orienter les sorties mathématiques vers des nombres pairs, des nombres premiers ou des nombres inférieurs à 10, surpassant souvent les instructions directes.
Indistinguabilité Sémantique : L'analyse de similarité cosinus entre le texte du prompt et les descriptions de tâche révèle que les prompts spuriaux ont des scores de similarité proches de ceux d'un texte aléatoire et sans rapport (environ 0,09), confirmant qu'ils ne sont pas des descriptions de tâches déguisées.
Efficacité : Les prompts spuriaux sont significativement plus courts (environ 117–314 tokens) que les prompts optimisés de PromptWizard (environ 293–412 tokens), suggérant que leur efficacité n'est pas un sous-produit de la verbosité.
Transférabilité : Bien que les prompts spuriaux se transfèrent mal entre différents modèles et références (indiquant des interactions idiosyncrasiques), ils montrent une certaine transférabilité entre des tâches mathématiquement similaires (GSM8K et MATH500).
Structure vs Sémantique : Les études d'ablation utilisant des prompts « charabia » (majoritairement des tokens sans signification) ont montré que seules les contraintes structurelles peuvent piloter la précision et l'orientation vers des réponses incorrectes, mais que des récits cohérents en langage naturel sont nécessaires pour induire des biais positionnels rigides.

Importance et Revendications

Ce papier prétend révéler une nouvelle forme de sensibilité aux prompts dans les LLM : le comportement du modèle et ses capacités de raisonnement peuvent être puissamment orientés par des caractéristiques latentes complètement détachées de la tâche prévue.

Les auteurs soulignent que cette découverte remet en question l'hypothèse selon laquelle l'efficacité des prompts doit découler de meilleures descriptions de tâches. Au contraire, des instructions superficiellement sans rapport peuvent induire des comportements qui modifient substantiellement les performances du modèle. Le papier conclut que cette sensibilité pose de nouvelles questions sur le fonctionnement du suivi d'instructions dans les LLM et suggère que les évaluations de la sensibilité aux prompts devraient s'étendre au-delà des variations pertinentes pour la tâche afin d'inclure des prompts spuriaux apparemment non pertinents.

Les auteurs adoptent une position modeste concernant les implications : bien que les résultats soient fascinants et diagnostiques, ils ne prétendent pas que les prompts spuriaux constituent un algorithme universel pour obtenir des résultats de pointe (SotA). Ils mettent plutôt en évidence une vulnérabilité et un mécanisme de contrôle qui méritent une investigation plus approfondie des mécanismes internes de l'orientation et de la robustesse des LLM actuels.