💬 NLP

Revisiting Prompt Sensitivity in Large Language Models for Text Classification: The Role of Prompt Underspecification

Cet article soutient qu'une partie significative de la sensibilité aux prompts observée dans les grands modèles de langage provient de la sous-spécification des prompts plutôt que d'une instabilité inhérente au modèle, démontrant que des instructions spécifiques réduisent la variance de performance et l'incertitude des logits avec des effets marginaux sur les représentations internes.

Auteurs originaux : Branislav Pecher, Michal Spiegel, Robert Belanec, Jan Cegin

Publié 2026-02-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Branislav Pecher, Michal Spiegel, Robert Belanec, Jan Cegin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de faire trier une pile de courrier en « Publicité » et « Important » à un robot très intelligent, mais légèrement littéral.

Si vous donnez au robot un mot qui dit simplement : « Voici une lettre : [Contenu de la lettre] », et que vous lui demandez de la trier, le robot pourrait être confus. Il pourrait commencer à écrire un poème sur la lettre, ou il pourrait simplement la fixer d'un air vide. Si vous modifiez légèrement le mot pour qu'il dise : « Voici une lettre : [Contenu de la lettre]. Veuillez la trier », le robot pourrait soudainement fonctionner parfaitement. Si vous le modifiez encore pour dire : « Trie ceci : [Contenu de la lettre] », il pourrait échouer à nouveau.

Cet article soutient que la confusion du robot ne vient pas du fait qu'il est « mauvais » pour trier le courrier. C'est parce que vous ne lui avez pas donné des instructions assez claires.

Voici une décomposition des conclusions de l'article en utilisant des analogies simples :

1. Le problème : « Notes vagues » vs « Instructions claires »

Les chercheurs ont découvert que de nombreuses études testant les modèles d'IA utilisent des invites (prompts) « sous-spécifiées ». Considérez cela comme des notes vagues telles que « Qu'est-ce que c'est ? » ou simplement le fait de coller du texte sans contexte.

Le résultat : Lorsque les instructions sont vagues, les performances de l'IA sont totalement imprévisibles. Un jour, c'est un génie ; le lendemain, elle devine au hasard. L'article appelle cela la « sensibilité au prompt ».
La cause : L'IA sait réellement comment accomplir la tâche au fond d'elle-même, mais parce que les instructions étaient trop vagues, elle ne savait pas comment vous montrer la réponse. C'est comme un élève qui connaît la réponse mathématique mais oublie de l'écrire parce que l'enseignant ne l'a pas demandé clairement.

2. La solution : « Les invites d'instruction »

Lorsque les chercheurs sont passés aux « invites d'instruction » (des directions claires et spécifiques comme « Lisez ce texte et dites-moi s'il est positif ou négatif »), l'IA est devenue beaucoup plus stable et précise.

L'analogie : C'est la différence entre donner un ingrédient brut à un chef et dire « Fais quelque chose » versus dire « Fais un sandwich au fromage grillé ». Le chef (l'IA) possède les compétences dans les deux cas, mais la seconde instruction garantit que le résultat est bien ce que vous vouliez.

3. Le « tour de magie » : L'apprentissage en contexte (In-Context Learning)

L'article a testé plusieurs façons de résoudre la confusion de l'IA. La méthode la plus efficace a été l'Apprentissage en Contexte (ICL).

L'analogie : Au lieu de simplement donner une règle au robot, vous lui montrez d'abord deux exemples : « Voici une critique de film joyeuse. Voici une critique triste. Maintenant, voici une nouvelle critique : est-elle joyeuse ou triste ? »
La conclusion : Ce simple tour de magie a presque aussi bien fonctionné que des corrections mathématiques complexes (appelées « calibration ») qui nécessitent de fouiller dans le cerveau du robot. Cela a résolu la confusion sans avoir besoin de modifier le code interne du robot.

4. Jeter un coup d'œil dans le cerveau du robot (Logits et Sondes)

Les chercheurs ont regardé sous le capot pour voir où se situait la confusion.

Logits (Le « score de confiance ») : Lorsque l'IA est confuse par des instructions vagues, ses « scores de confiance » internes pour la bonne réponse sont minuscules — presque nuls. C'est comme si le robot murmurait une réponse si bas qu'on ne peut pas l'entendre. Quand les instructions sont claires, le robot crie la réponse avec une grande confiance.
Sondes Linéaires (Le « scanner cérébral ») : Ils ont scanné les couches internes de l'IA (son « processus de pensée »).
- La surprise : Le cerveau de l'IA comprenait réellement la tâche même lorsque les instructions étaient vagues. La « connaissance » était présente dans les couches intermédiaires du cerveau.
- Le bug : Le problème ne se produisait qu'à la toute fin, lorsque l'IA tentait de traduire cette connaissance en une réponse finale. Les instructions vagues ont perturbé l'output (la sortie), pas la pensée.

5. Ce qui n'a pas fonctionné

L'article a testé d'autres idées, comme l'ajout de tokens « vides » (mots sans queue ni tête) à l'invite pour « calibrer » l'IA.

Le résultat : Cela a souvent aggravé les choses, rendant l'IA encore moins performante qu'un choix aléatoire. C'est comme essayer de corriger un chef confus en lui criant des mots aléatoires ; cela ne fait qu'ajouter du bruit.

L'essentiel

L'article conclut qu'une grande partie de l'« instabilité » que nous observons dans les modèles d'IA n'est pas due au fait que les modèles sont cassés ou imprévisibles. C'est parce que nous leur posons des questions de manière confuse.

Si nous voulons des résultats d'IA fiables, nous devons cesser d'utiliser des prompts minimaux et vagues et commencer à utiliser des instructions claires et spécifiques (et peut-être montrer quelques exemples à l'IA d'abord). L'IA est capable de faire le travail ; elle a juste besoin d'une meilleure fiche de poste.

Résumé Technique : Revoir la Sensibilité aux Prompts dans les Grands Modèles de Langage pour la Classification de Texte

Énoncé du Problème

Les Grands Modèles de Langage (LLM) sont de plus en plus utilisés pour la classification de texte en zéro-shot et few-shot, où le comportement de la tâche est entièrement dicté par des prompts en langage naturel. Un corpus important de littérature a établi que les LLM présentent une haute sensibilité aux variations de prompts, où de légers changements de formulation peuvent radicalement altérer les classements de performance et les affirmations de l'état de l'art. Cependant, cet article soutient qu'une part substantielle de la sensibilité observée n'est pas un défaut inhérent aux capacités de raisonnement des modèles, mais plutôt une conséquence de la sous-spécification des prompts.

De nombreuses études existantes investiguant la sensibilité des prompts reposent sur des prompts « minimaux » ou « sous-spécifiés » (inspirés des premières formulations de GPT-3) qui fournissent peu ou pas d'instructions de tâche ou de contraintes de labels. Les auteurs émettent l'hypothèse que ces prompts causent l'échec des LLM lors de l'étape de génération de sortie — produisant du texte non structuré ou ignorant les labels attendus — plutôt qu'un échec de compréhension interne de la tâche. Cela conduit à de faibles valeurs de logit pour les tokens pertinents et à des décisions de classification basées sur des probabilités distribuées de manière aléatoire, ce qui gonfle la sensibilité perçue des modèles.

Méthodologie

L'étude compare systématiquement des prompts sous-spécifiés (minimaux) à des prompts bien spécifiés (avec instructions) à travers trois tâches de classification de texte (SST-2, AG News, MMLU) et six variantes de LLM (LLaMA-2-13B, LLaMA-3.1-8B, LLaMA-3.2-3B, sous leurs formes de base et ajustées par instruction/instruction-tuned).

Le cadre d'évaluation emploie trois approches analytiques distinctes :

Analyse de Performance Empirique : Les auteurs évaluent la moyenne de précision et l'écart-type sur 10 variantes de prompts par configuration. Ils comparent un paramètre « Base » à plusieurs stratégies de mitigation :
- Stratégie UNK : Ajout de tokens 未知 au prompt.
- Calibration : Ajustement des probabilités de labels basées sur des prompts neutres pour assurer une distribution uniforme.
- Apprentissage en Contexte (ICL - In-Context Learning) : Fournir 2 exemples par classe au sein du prompt.
- Ajustement par Instruction (Instruction-Tuning) : Utiliser des variantes de modèles ajustées par instruction.
- Meta-Tags/Templates de Chat : Utiliser des délimiteurs spécifiques au tokenizer.
- L'évaluation est menée via deux méthodes : l'Évaluation par Logit (sélection du label ayant la plus haute probabilité parmi le dernier token) et l'Évaluation par Génération (extraction des labels à partir de la génération de texte libre).
Analyse de Logit : Les auteurs analysent l'amplitude et la distribution des valeurs de logit pour les labels de classe. Ils étudient la corrélation entre les valeurs de logit et la précision de la classification, en comparant spécifiquement les prompts qui produisent des logits élevés par rapport à ceux qui produisent des logits faibles.
Analyse par Sonde Linéaire (Linear Probe Analysis) : Pour étudier les représentations internes, les auteurs entraînent des classifieurs linéaires de type Ridge sur les activations de chaque couche du LLM. Cette technique d'interprétabilité mécaniste détermine si l'état interne du modèle contient suffisamment d'informations pour résoudre la tâche, même si la génération de la sortie finale échoue.

Résultats Clés

1. L'Impact de la Sous-Spécification des Prompts

Les prompts sous-spécifiés présentent systématiquement une variance de performance plus élevée et des valeurs de logit significativement plus basses pour les tokens pertinents par rapport aux prompts d'instruction. Dans de nombreux cas, les prompts minimaux résultent en des logits de labels dans la plage de $10^{-5}$ à $10^{-3}$ , plaçant les labels corrects dans la moitié inférieure de la distribution de probabilité du vocabulaire. Par conséquent, les décisions de classification sous prompts minimaux sont souvent dictées par le bruit plutôt que par la compréhension sémantique.

2. Stratégies de Mitigation

Prompts d'Instruction : Bien que les prompts d'instruction améliorent généralement la performance moyenne et réduisent la variance, ils n'éliminent pas entièrement la sensibilité par eux-mêmes.
Apprentissage en Contexte (ICL) : L'ICL fournit la mitigation la plus cohérente et la plus significative de la sensibilité aux prompts. Lorsqu'il est combiné avec des modèles ajustés par instruction, l'ICL produit la précision la plus élevée et l'écart-type le plus faible. Notamment, l'ICL traite les problèmes de sous-spécification aussi efficacement que la calibration, mais sans nécessiter l'accès aux composants internes du modèle ou à des prompts neutres.
Calibration : La calibration offre des améliorations similaires à l'ICL mais est légèrement moins constante. Combiner la calibration avec l'ICL ne produit que des bénéfices marginaux supplémentaires, suggérant que les deux méthodes ciblent le même problème sous-jacent.
Stratégie UNK : La stratégie consistant à ajouter des tokens 未知 dégrade souvent la performance de manière significative, entraînant parfois des performances pires que le hasard pur.
Variantes de Modèles : Passer à des variantes de modèles ajustées par instruction améliore considérablement la performance pour les prompts minimaux et d'instruction, bien que cela puisse être partiellement attribué à une fuite de données (data leakage) si les données d'entraînement chevauchent les ensembles d'évaluation.

3. Insights des Logits et de la Sonde Linéaire

Corrélation de Logit : Il existe une forte corrélation positive (jusqu'à $r=0,757$ ) entre l'amplitude des valeurs de logit des labels et la précision de la classification. Des valeurs de logit élevées servent d'indicateur fiable de la qualité du prompt et de l'absence de sous-spécification.
Représentations Internes : L'analyse par sonde linéaire révèle que les représentations internes (activations dans les couches intermédiaires) restent robustes et contiennent suffisamment d'informations pour classifier les tâches avec précision, même lorsque la sortie finale est incorrecte en raison de la sous-spécification. La dégradation de la performance se produit principalement dans les dernières couches du réseau. Cela suggère que le modèle « sait » la réponse en interne mais échoue à l'articuler correctement lorsque le prompt est sous-spécifié.

Contributions et Signification

L'article apporte les contributions primaires suivantes :

Recadrage de la Sensibilité aux Prompts : Il identifie la sous-spécification des prompts comme un moteur primaire de la sensibilité observée des LLM, arguant que les modèles échouent souvent au niveau du formatage de la sortie plutôt qu'au niveau de la compréhension de la tâche.
Rigueur Méthodologique : Il préconise l'utilisation de prompts d'instruction bien spécifiés et de l'apprentissage en contexte pour garantir des évaluations fiables des capacités des modèles, s'éloignant des prompts minimaux qui induisent une forte variance.
Outils de Diagnostic :
- Il établit l'analyse de logit comme un outil pratique pour diagnostiquer la qualité d'un prompt, montrant que de faibles valeurs de logit sont un prédicteur de faible performance et de haute sensibilité.
- Il utilise la sonde linéaire pour démontrer que les problèmes de sensibilité émergent souvent dans les dernières couches du modèle, tandis que les représentations internes restent stables.
Mitigation Pratique : Il démontre que des modifications simples, spécifiquement la combinaison de modèles ajustés par instruction et de l'apprentissage en contexte, peuvent atténuer efficacement la majorité des problèmes de sensibilité sans procédures de calibration complexes.

Conclusion

Les auteurs concluent qu'une part importante de l'instabilité des LLM dans la classification de texte provient de l'utilisation de prompts sous-spécifiés et de configurations expérimentales ambiguës plutôt que d'une incapacité fondamentale des modèles à résoudre les tâches. Ils préconisent une plus grande rigueur méthodologique dans les recherches futures, soulignant la nécessité de prompts bien spécifiés pour distinguer les véritables limitations des modèles des artefacts de mauvais prompting. Les résultats suggèrent qu'avec des stratégies de prompting appropriées (spécifiquement les formats d'instruction et l'ICL), la sensibilité observée peut être largement mitigée, menant à des évaluations plus fiables et reproductibles des LLM.