💬 NLP

Prompt Stability Scoring for Text Annotation with Large Language Models

Ce papier traite de la vulnérabilité de l'annotation de texte par les grands modèles de langage face aux variations de consignes en proposant un cadre général appelé le Score de Stabilité des Consignes (PSS), qui adapte les métriques de fiabilité traditionnelles pour diagnostiquer les problèmes de stabilité et inclut un package Python pour une mise en œuvre pratique.

Auteurs originaux : Christopher Barrie, Elli Palaiologou, Petter Törnberg

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Christopher Barrie, Elli Palaiologou, Petter Törnberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Votre IA est-elle « Versatile » ?

Imaginez que vous engagez un assistant très intelligent, mais légèrement nerveux, pour trier une pile de lettres dans des enveloppes « Oui » et « Non ». Vous lui donnez une instruction précise : « Si la lettre mentionne de l'argent, mettez-la dans le tas « Oui ». »

Vous lui demandez de faire cela 30 fois.

Scénario A : Il place les mêmes lettres dans les mêmes tas à chaque fois.
Scénario B : Au 1er essai, il place une lettre sur les « économies » dans le tas « Oui ». Au 2e essai, il place cette même lettre dans le tas « Non ». Au 3e essai, il la remet dans « Oui ».

Même si l'assistant est généralement juste, le Scénario B pose problème. Cela signifie que sa prise de décision est instable. Si vous ne pouvez pas lui faire confiance pour être cohérent avec exactement les mêmes instructions, vous ne pouvez certainement pas lui faire confiance si vous modifiez légèrement la formulation (par exemple : « Si la lettre parle de liquidités... »).

Cet article traite de la création d'un test pour vérifier si votre assistant IA est stable (Scénario A) ou versatile (Scénario B) avant de lui confier du travail réel.

Le Problème : L'IA est sensible au « Salade de Mots »

Les auteurs expliquent que les grands modèles de langage (IA) ne fonctionnent pas comme une calculatrice. Ils ne consultent pas une réponse fixe dans un livre. Au lieu de cela, ils prédisent le mot suivant un par un, comme une personne qui devine ce qui vient ensuite dans une phrase.

Pour cette raison, deux choses peuvent perturber leur cohérence :

Le Problème du « Même Prompt » : Même si vous tapez exactement les mêmes instructions deux fois, l'IA peut donner une réponse légèrement différente en raison de facteurs aléatoires minuscules et invisibles dans son cerveau informatique (comme un lancer de pièce qui se produit en arrière-plan).
Le Problème de la « Reformulation » : Si vous modifiez vos instructions ne serait-ce qu'un peu — par exemple en disant « Classez ceci » au lieu de « Triez ceci » — l'IA peut se confondre et donner une réponse totalement différente.

L'article soutient que la précision ne suffit pas. Une IA peut obtenir la bonne réponse 90 % du temps, mais si elle change de réponse à chaque fois que vous ajustez le prompt, vos résultats de recherche sont peu fiables.

La Solution : Le « Score de Stabilité du Prompt » (PSS)

Les auteurs ont créé un outil (un package Python appelé promptstability) qui agit comme un test de résistance pour vos instructions IA.

Pensez-y comme à tester un pont :

Stabilité Intra-Prompt (Le Test de « Répétition ») : Vous exécutez la même instruction exactement 30 fois sur les mêmes données. L'outil vérifie : L'IA a-t-elle donné la même réponse à chaque fois ? Si les réponses sautent partout, le pont est branlant.
Stabilité Inter-Prompt (Le Test de « Reformulation ») : Vous prenez votre instruction et demandez à une autre IA de la réécrire de 10 manières différentes (par exemple : « Triez ceci », « Catégorisez ceci », « Étiquetez ceci »). Ensuite, vous exécutez les 10 versions sur les mêmes données. L'outil vérifie : L'IA est-elle toujours d'accord avec elle-même, même si les mots ont changé ?

L'outil vous donne un score (appelé alpha de Krippendorff, qui est simplement une façon élégante de dire « score d'accord »).

Score Élevé (Proche de 1,0) : Excellent ! Vos instructions sont robustes. L'IA est cohérente.
Score Faible (En dessous de 0,8) : Attention ! Vos instructions sont trop fragiles. Un tout petit changement de formulation fait craquer le système.

Ce qu'ils ont découvert (Les Résultats du « Test de Résistance »)

Les chercheurs ont testé cela sur six ensembles de données réels différents (comme des tweets politiques américains, des manifestes de partis britanniques et des articles de presse). Voici ce qu'ils ont découvert :

Le Simple est Stable : Lorsque la tâche était facile et les données claires (comme identifier si un tweet provenait d'un Républicain ou d'un Démocrate), l'IA était très stable. Peu importait si vous reformuliez le prompt ; elle donnait la même réponse.
Le Complexe est Fragile : Lorsque la tâche était difficile ou les données désordonnées (comme décider si un tweet utilise un langage « populiste », ou trier des réponses à un sondage dans 12 catégories très similaires), l'IA devenait instable. De petits changements dans le prompt faisaient que l'IA changeait d'avis.
Le Piège du « Format » : Parfois, l'IA n'était pas vraiment confuse ; elle oubliait simplement de suivre les règles de mise en forme (comme écrire un paragraphe au lieu d'un nombre). Lorsque les chercheurs ont filtré ces réponses « négligentes », les scores de stabilité ont augmenté. Cela leur a appris que parfois, le problème ne réside pas dans le cerveau de l'IA, mais dans son incapacité à suivre des règles de formatage strictes.
Le Modèle Compte : Ils ont comparé une IA puissante (GPT-4) avec une plus petite, open-source. La puissante était beaucoup plus stable. Cela signifie que la « versatilité » n'est pas toujours de votre faute ; parfois, il vous faut simplement une IA plus intelligente.

Le « Guide Pratique » : Que devez-vous faire ?

L'article fournit un guide simple pour les chercheurs :

Étape 1 : Lancez le Test de Stabilité. Avant de dépenser de l'argent ou du temps pour valider vos résultats, exécutez l'outil promptstability.
Étape 2 : Vérifiez le Score.
- Si le score est élevé : Vous pouvez continuer. Votre chaîne de traitement est robuste.
- Si le score est faible : Arrêtez-vous ! Ne faites pas confiance à vos résultats pour l'instant.
Étape 3 : Résolvez le Problème.
- L'IA ignore-t-elle la mise en forme ? Rendez le prompt plus strict.
- La tâche est-elle trop vague ? Clarifiez vos instructions.
- Les données sont-elles trop désordonnées ? Peut-être que cette tâche spécifique est trop difficile pour qu'une IA la gère de manière cohérente.
- L'IA est-elle trop faible ? Essayez un modèle plus puissant.

L'Essentiel

Vous ne pouvez pas supposer que, simplement parce qu'une IA vous donne une réponse, cette réponse est fiable. Cet article fournit une liste de contrôle pour vous assurer que votre IA ne fait pas que deviner au hasard ou réagir de manière trop sensible à la façon dont vous formulez vos questions.

La stabilité est le fondement de la confiance. Si votre IA ne peut pas être d'accord avec elle-même lorsque vous posez la même question de manière légèrement différente, vous ne pouvez pas faire confiance aux résultats qu'elle vous fournit pour vos recherches.

Résumé technique : Évaluation de la stabilité des invites pour l'annotation de textes avec les grands modèles de langage

1. Énoncé du problème

Les chercheurs utilisent de plus en plus les grands modèles de langage (LM) pour l'annotation de textes, recourant souvent à des approches zero-shot ou few-shot où une « invite » (prompt) instruit le modèle à classer des données. Bien que ces méthodes offrent une évolutivité, elles introduisent une faille critique de fiabilité : les sorties des LM sont souvent sensibles à de légères variations sémantiquement équivalentes dans la formulation de l'invite ou aux paramètres de décodage stochastique.

La littérature actuelle manque d'une vérification de fiabilité routinière et automatisée pour ces pipelines. Une seule invite produisant une haute précision ne garantit pas qu'une invite légèrement reformulée produira les mêmes étiquettes. Si les sorties varient entre des invites sémantiquement similaires ou lors d'exécutions répétées, le pipeline de classification est « fragile », ce qui compromet la reproductibilité et rend les estimations en aval peu fiables. Les auteurs soutiennent que la stabilité est une condition préalable nécessaire à la précision et à la reproductibilité ; un pipeline instable sous de légères perturbations ne devrait pas procéder à des étapes de validation coûteuses comme le codage manuel.

2. Méthodologie

L'article introduit le Score de Stabilité des Invites (PSS), un cadre de diagnostic automatisé qui quantifie l'accord d'un pipeline d'annotation sous des perturbations contrôlées. Le cadre traite les exécutions répétées du modèle et les variantes d'invites sémantiquement équivalentes comme des analogues aux évaluateurs humains dans les études de fiabilité inter- et intra-codes.

Composantes principales

Stabilité intra-invite (Intra-PSS) : Mesure la cohérence d'un modèle lorsque la même invite est exécutée à plusieurs reprises sur les mêmes éléments. Cela capture la variabilité d'exécution à l'exécution causée par la stochasticité du décodage (par exemple, l'échantillonnage par température) et l'exécution matérielle non déterministe.
Stabilité inter-invite (Inter-PSS) : Mesure la cohérence d'un modèle lorsque des variantes d'invites sémantiquement équivalentes sont utilisées. Le cadre génère ces variantes à l'aide d'un modèle de reformulation externe (PEGASUS) à différentes températures de décodage. Les températures basses produisent des reformulations conservatrices, tandis que les températures plus élevées agissent comme des tests de résistance pour révéler les points de rupture du pipeline.

Opérationnalisation statistique

Métrique : Les auteurs utilisent le $\alpha$ de Krippendorff ( $K\alpha$ ) comme statistique d'accord principale. Ce choix permet de traiter des données nominales, ordinales et d'intervalle, et de corriger l'accord dû au hasard.
Estimation de l'incertitude : Le bootstrapping non paramétrique est employé pour générer des intervalles de confiance pour les estimations de stabilité.
Implémentation : Les auteurs fournissent un package Python open-source, promptstability, qui automatise la génération de variantes d'invites, l'exécution d'exécutions répétées et le calcul des scores de stabilité.

Conception expérimentale

Le cadre a été validé sur six jeux de données et douze résultats distincts, générant environ 3,1 millions d'annotations (environ 300 millions de tokens d'entrée). Les jeux de données couvrent divers contextes des sciences sociales (par exemple, tweets de sénateurs américains, manifestes de partis britanniques, articles du NYT, réponses à des enquêtes) et varient selon :

Complexité du résultat : Binaire vs multi-classe vs échelles continues ; catégories granulaires vs grossières.
Complexité des données : Entrées riches en information vs pauvres en information (par exemple, textes courts vs longs).
Capacité du modèle : Comparaisons entre différents LM (par exemple, GPT-3.5, GPT-4o, DeepSeek-R1).

3. Résultats clés

L'analyse empirique cartographie l'instabilité vers quatre sources principales : l'ambiguïté des critères, la complexité du résultat, la complexité des données et la capacité du modèle.

Modèles de stabilité générale : La plupart des tâches de référence présentent une Intra-PSS élevée (répétabilité sous une invite fixe), convergeant rapidement vers des niveaux d'accord élevés. Cependant, l'Inter-PSS est plus variable ; la stabilité diminue souvent à mesure que les paraphrases d'invites deviennent plus diversifiées.
Ambiguïté des critères : Plusieurs tâches (par exemple, détection de position, classification du « problème le plus important ») ont montré des chutes rapides de l'Inter-PSS même à de faibles températures de reformulation. Cela indique que les critères de codage sont fragiles face à de légères modifications de formulation, suggérant une conception d'invite ambiguë ou des constructions mal définies.
Complexité des données et du résultat :
- Complexité des données : Les tâches avec de faibles rapports signal sur bruit (par exemple, prédire le choix électoral à partir de données de profil limitées) ont montré une faible stabilité même avec des invites fixes.
- Complexité du résultat : L'élargissement des ensembles d'étiquettes vers des catégories plus granulaires et se chevauchant (par exemple, 12 contre 6 catégories de problèmes) a réduit la stabilité, même lorsque les données d'entrée restaient constantes.
Capacité du modèle : Les comparaisons entre GPT-4o et DeepSeek-R1:8b ont révélé que le choix du modèle impacte significativement la stabilité. Le modèle plus petit a présenté une Intra-PSS plus faible et une dégradation plus rapide de l'Inter-PSS, démontrant que l'instabilité peut provenir des limitations du modèle plutôt que uniquement de la conception de l'invite.
Utilité diagnostique : Les auteurs démontrent que le filtrage des formats de sortie corrects (par exemple, suppression des entiers malformés) peut distinguer les erreurs de formatage de l'instabilité de classification réelle. Pour certains jeux de données (par exemple, « Problème le plus important »), le filtrage a résolu l'instabilité ; pour d'autres (par exemple, « Synthétique court »), il ne l'a pas fait, indiquant une difficulté fondamentale de la tâche.
Faisabilité des coûts : Les auteurs estiment que l'exécution de ces diagnostics de stabilité sur un échantillon de taille typique coûte entre 3 et 150 $ (en utilisant GPT-3.5), suggérant que l'approche est un diagnostic de début de phase réalisable plutôt qu'une étape de validation prohibitive.

4. Contributions clés

Cadre conceptuel : L'article reformule la fiabilité de l'annotation par LM à travers le prisme de la fiabilité inter- et intra-codes, définissant la « stabilité des invites » comme une propriété distincte et mesurable nécessaire à la reproductibilité.
Outil de diagnostic automatisé : L'introduction du Score de Stabilité des Invites (PSS) et du package promptstability associé fournit aux chercheurs une méthode standardisée et automatisée pour tester la résistance des pipelines d'annotation avant d'investir dans une validation par vérité terrain.
Caractérisation empirique : En testant sur 12 résultats et 6 jeux de données, l'article fournit une caractérisation à grande échelle des moments où les pipelines basés sur des invites sont stables ou fragiles, identifiant des modes de défaillance spécifiques liés au signal des données, à la granularité des étiquettes et au choix du modèle.
Guide pratique : Les auteurs proposent un « Guide PSS » pour interpréter les résultats, conseillant les chercheurs sur le moment de peaufiner les invites, clarifier les constructions, changer de modèle ou ajuster les paramètres de décodage en fonction des scores de stabilité.

5. Importance et affirmations

L'article affirme qu'une haute précision issue d'une seule invite est insuffisante pour la reproductibilité. Si un pipeline d'annotation est fragile face à de légères perturbations (reformulations ou exécutions répétées), toute estimation en aval hérite de cette fragilité, indépendamment de la performance moyenne du modèle.

Les auteurs positionnent le PSS non pas comme une mesure de vérité ou de précision, mais comme une condition préalable à la validité. Ils soutiennent que les chercheurs devraient traiter les diagnostics de stabilité comme une étape essentielle précoce dans le flux de travail de recherche. Un PSS faible sert d'avertissement pour revoir la formulation de l'invite, les définitions des constructions, la qualité des données ou la sélection du modèle avant de s'engager dans des procédures de validation coûteuses. L'article conclut que si la stabilité ne garantit pas la correction, elle est le fondement nécessaire sur lequel doit être bâtie la recherche en sciences sociales reproductible basée sur les LM.