💬 NLP

PromptPrism: A Linguistically-Inspired Taxonomy for Prompts

L'article introduit PromptPrism, une taxonomie d'inspiration linguistique qui structure les prompts à travers des niveaux fonctionnels, sémantiques et syntaxiques afin de permettre une analyse systématique, un raffinement automatisé, le profilage de jeux de données et des tests de sensibilité contrôlés pour les grands modèles de langage.

Auteurs originaux : Sullam Jeoung, Yueyan Chen, Yi Zhang, Shuai Wang, Haibo Ding, Lin Lee Cheong

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sullam Jeoung, Yueyan Chen, Yi Zhang, Shuai Wang, Haibo Ding, Lin Lee Cheong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot brillant mais au sens littéral comment écrire une histoire. Vous tapez une série d'instructions, mais le robot se confond parfois, écrit trop ou passe à côté du sujet. Vous pourriez vous dire : « Peut-être que je dois juste essayer une autre façon de le dire. » Mais sans une carte claire, vous ne faites que deviner.

Ce document présente PROMPTPRISM, une nouvelle « carte » ou un « livre de grammaire » pour comprendre exactement comment ces instructions (appelées prompts) sont construites. Les auteurs, des chercheurs d'Amazon AWS, soutiennent que nous devons cesser de deviner et commencer à analyser les prompts de la même manière que les linguistes analysent le langage humain.

Voici comment ils décomposent cela, en utilisant des analogies simples :

1. Le gâteau à trois couches (La Taxonomie)

Les auteurs affirment qu'un prompt n'est pas seulement un bloc de texte ; c'est un objet structuré avec trois couches distinctes, comme un gâteau possédant différentes saveurs dans chaque étage.

Niveau 1 : Le niveau structurel (Les rôles)
Considérez cela comme la distribution des personnages d'une pièce de théâtre. Qui parle ?
- Système : Le metteur en scène qui donne les règles de la scène.
- Utilisateur : L'acteur qui demande une scène.
- Assistant : L'acteur qui répond.
- Outils : Les accessoires ou les effets spéciaux utilisés.
- Pourquoi c'est important : Tout comme une pièce de théâtre a besoin de savoir qui parle à qui, l'IA doit savoir qui donne l'ordre.
Niveau 2 : Le niveau sémantique (Le sens)
Il s'agit du contenu réel du discours. Que cherche réellement l'un des personnages à faire ?
- Instruction : La tâche principale (ex: « Écris une histoire »).
- Contexte : Les informations de fond (ex: « L'histoire parle d'un chat »).
- Contraintes : Les règles (ex: « N'utilise pas de gros mots », « Garde cela sous les 50 mots »).
- Exemples : Montrer au robot à quoi ressemble une bonne réponse.
- Pourquoi c'est important : Ce niveau sépare le « quoi » du « comment ». Cela nous aide à voir si le robot manque une règle cruciale ou une information de contexte.
Niveau 3 : Le niveau syntaxique (Le formatage)
C'est la ponctuation et la mise en page. C'est la colle invisible qui maintient le texte ensemble.
- Délimiteurs : Les lignes, les espaces ou les symboles (comme ### ou ---) qui séparent les différentes parties.
- Préfixes/Suffixes : Des mots comme « Étape 1 : » ou « Réponse : » qui agissent comme des panneaux indicateurs.
- Pourquoi c'est important : L'étude a révélé que changer une virgule par un point, ou déplacer une section du haut vers le bas, peut modifier complètement la façon dont le robot performe.

2. Qu'ont-ils fait avec cette carte ?

Les auteurs n'ont pas seulement dessiné la carte ; ils l'ont utilisée pour résoudre des problèmes réels de trois manières spécifiques :

Corriger les mauvaises instructions (Raffinement de prompt) :
Imaginez que vous avez une recette désordonnée qui produit un gâteau terrible. En utilisant PROMPTPRISM, ils n'ont pas simplement deviné de nouveaux ingrédients. Ils ont analysé la recette, ont vu que le « temps de cuisson » (Contrainte) était enfoui au bas de la page, et l'ont déplacé vers le haut.
- Résultat : Ils ont amélioré automatiquement les instructions, et l'IA a nettement mieux performé (jusqu'à 29 % de mieux sur certaines tâches) sans avoir besoin de réentraîner l'IA elle-même.
Effectuer un « contrôle de santé » des jeux de données (Profilage de dataset) :
Imaginez une bibliothèque où les livres sont jetés en un tas. Les auteurs ont utilisé leur carte pour trier les livres, comptant combien en possédaient des « instructions », combien avaient des « exemples », et comment ils étaient formatés.
- Résultat : Ils ont créé un profil détaillé de deux jeux de données d'IA différents, montrant exactement quels types d'instructions ils contenaient et où se trouvaient les lacunes (par exemple, un jeu de données avait beaucoup d'« outils » mais aucune « règle de sécurité »).
Tester la sensibilité de l'IA (Analyse de sensibilité) :
Ils ont traité le prompt comme un instrument de musique. Ils ont demandé : « Si je déplace cette note (l'instruction) du début vers la fin, est-ce que la chanson sonne différemment ? »
- Résultat : Ils ont découvert que l'IA est très sensible à l'ordre des instructions. Placer la tâche principale à la toute fin du prompt permettait souvent à l'IA de bien mieux performer. Cependant, l'IA était étonnamment peu sensible aux petits changements de formatage (comme l'utilisation d'un double saut de ligne plutôt qu'un simple saut de ligne).

La vue d'ensemble

L'article affirme qu'en traitant les prompts comme un langage structuré plutôt que comme du texte aléatoire, nous pouvons :

Comprendre pourquoi une IA réussit ou échoue.
Corriger les prompts automatiquement pour obtenir de meilleurs résultats.
Standardiser la façon dont nous parlons des prompts dans la recherche, afin que les scientifiques ne soient plus simplement en train de deviner.

En résumé, PROMPTPRISM est un outil qui transforme la « boîte noire » du prompting d'IA en un système clair et organisé, nous aidant à parler le langage du robot plus efficacement.

Résumé Technique : PROMPTPRISM

Énoncé du Problème

L'étude systématique de la conception et de l'optimisation des prompts est devenue critique dans l'évolution des Grands Modèles de Langage (LLM), pourtant le domaine manque d'un cadre complet pour analyser les prompts eux-mêmes. Bien que les prompts efficaces améliorent considérablement les performances des modèles, les LLM présentent une sensibilité notable à diverses caractéristiques, notamment le formatage stylistique, l'ordre séquentiel, les explications de tâches et les méta-règles. La littérature actuelle souffre d'une documentation incohérente des spécifications de prompts, ce qui entrave l'évaluation systématique des performances et l'analyse comparative. Les cadres existants se concentrent souvent sur l'analyse des réponses générées (par exemple, l'utilité, l'innocuité) ou manquent de la profondeur nécessaire pour capturer les variations nuancées de la composition des prompts et leurs effets sur le comportement du modèle.

Méthodologie : Le Cadre PROMPTPRISM

Les auteurs introduisent PROMPTPRISM, une taxonomie d'inspiration linguistique conçue pour traiter les prompts comme des unités de discours structurées avec des intentions fondées sur des plans. Le cadre décompose les prompts à travers trois niveaux hiérarchiques, établissant des parallèles avec la théorie linguistique traditionnelle (morphologie, syntaxe, sémantique et pragmatique) :

Niveau Structurel : Ce niveau conceptualise les prompts comme des unités de discours organisées définies par des rôles ( $r \in R$ ). Il distingue des rôles d'interaction spécifiques :
- Système (System) : Fournit les instructions de base et le cadre.
- Utilisateur (User) : Initie les requêtes ou demandes.
- Assistant (Assistant) : Génère des réponses.
- Outils (Tools) : Gère des fonctionnalités spécifiques.
  Le cadre traite ces éléments comme la décomposition structurelle primaire de la séquence du prompt.
Niveau Sémantique : Cette couche analyse le sens et la structure intentionnelle du contenu au sein de chaque rôle. Elle décompose le contenu du prompt en composants sémantiques fonctionnels, reflétant les unités fonctionnelles linguistiques. Les composants clés incluent :
- Instruction : Directives de haut niveau guidant le comportement (ex: définitions de tâches).
- Informations Contextuelles/de Référence : Connaissances de base, exemples de few-shot, et bases de connaissances.
- Contraintes de Sortie : Spécifications pour le format, la longueur, le style et la sécurité.
- Requête/Question de l'Utilisateur : La requête principale.
- Outils : Spécifications pour l'utilisation d'outils (nom, description, paramètres).
- Réponse : Composants de sortie du modèle (Réponse, Explication-Périphérique).
- Autres Composants Intentionnels : Éléments adverses, pointeurs de contexte historique, etc.
  Le cadre définit des « relations de dominance et de précédence de satisfaction » entre ces composants.
Niveau Syntactique : Ce niveau adapte la morphologie linguistique pour l'analyse des prompts, se concentrant sur les propriétés structurelles et séquentielles plutôt que sur le sens sémantique. Il comprend :
- Organisation des Composants : Attribue des identifiants uniques (Rôle, Index) et des limites exactes (start_pos, end_pos) pour permettre la manipulation et la reconstruction.
- Marqueurs Directifs : Définit des préfixes (ex: #, //), des suffixes (ex: ., !, ?) et des délimiteurs (ex: \n\n, ---) comme des frontières structurelles influençant la performance du modèle.

Le cadre est conçu selon quatre critères : Simplicité (complexité minimale), Cohérence (consistance logique), Exhaustivité (couverture des structures atomiques et composites) et Utilité (applicabilité pratique).

Principales Contributions

Le papier apporte deux contributions primaires :

Un Nouveau Cadre Taxonomique : Il synthétise la théorie linguistique avec des applications pratiques pour fournir une méthode systématique d'analyse et de catégorisation des caractéristiques des prompts à travers les dimensions structurelles, sémantiques et syntaxiques.
Démonstration de l'Utilité Pratique : Les auteurs valident le cadre à travers trois applications distinctes :
- Affinement de Prompt Guidé par la Taxonomie : Une approche qui améliore automatiquement la qualité des prompts en remplaçant l'élaboration arbitraire par des composants sémantiquement riches et structurés.
- Profilage de Jeu de Données Multidimensionnel : Une méthode pour extraire et agréger les caractéristiques structurelles, sémantiques et syntaxiques des jeux de données de prompts afin d'analyser les distributions et les modèles.
- Cadre Expérimental Contrôlé : Un système pour l'analyse de la sensibilité des prompts en quantifiant l'impact du réordonnancement sémantique et des modifications de délimiteurs sur la performance des LLM.

Résultats Expérimentaux

Les auteurs ont évalué PROMPTPRISM à travers trois applications :

Affinement de Prompt :
- Configuration : Les expériences ont été menées sur le jeu de données Super Natural Instruction en utilisant divers modèles (Llama3, Claude, Mistral, DeepSeek).
- Résultats : L'approche guidée par la taxonomie a surpassé les instructions de base par défaut et les lignes de base de type Chain-of-Thought (CoT).
- Métriques : En configuration zero-shot, l'approche a obtenu une augmentation de performance de 112 % dans les tâches de génération de texte par rapport au CoT et une amélioration d'environ 10 % dans les tâches de classification. En configuration few-shot (2-shot), elle a montré une amélioration de 29 % dans la génération de texte et une amélioration de 0,13 % dans la classification par rapport au CoT.
Profilage de Jeu de Données :
- Configuration : Le cadre a été appliqué à deux jeux de données : APIGEN-80K (appel de fonction) et SMOL-MAGPIE-ULTRA (interactions multi-tours).
- Résultats : L'analyse a révélé des profils structurels et sémantiques distincts. APIGEN-80K présentait une structure à un seul tour avec une grande diversité de composants sémantiques (Instruction, Outils, Contraintes de Sortie) et des structures d'arbres complexes. En revanche, SMOL-MAGPIE-ULTRA utilisait une structure multi-tours axée sur le contexte historique et les requêtes, présentant une composition plus rationalisée. L'analyse syntaxique a mis en évidence des différences dans l'utilisation des délimiteurs (ex: doubles sauts de ligne vs délimiteurs minimaux).
Analyse de Sensibilité des Prompts :
- Configuration : Des expériences contrôlées ont testé l'impact du réordonnancement des composants sémantiques (Instruction, Requête, Contexte) et de la modification des délimiteurs.
- Résultats :
  - Ordre Sémantique : Les modèles (Claude-Sonnet-3.5, Llama3.2-3b-inst, Mixtral) ont démontré une sensibilité statistiquement significative à l'ordre des composants. Notamment, placer le composant Instruction en position terminale a produit des améliorations de performance substantielles (ex: +12 % pour Claude-Sonnet-3.5). DeepSeek-r1 a montré une plus grande robustesse aux changements d'ordre.
  - Délimiteurs Syntactiques : Bien que des différences de performance aient été observées, les modifications des motifs de délimiteurs (ex: changer de \n\n à #####) n'ont pas produit de variations de performance statistiquement significatives, suggérant que les modèles sont plus sensibles à l'ordre sémantique qu'aux variations de délimiteurs syntaxiques.

Signification et Revendications

Le papier affirme que PROMPTPRISM fournit un cadre fondamental pour affiner, profiler et analyser les prompts, comblant ainsi le fossé entre la compréhension du langage traditionnel et la recherche moderne sur les LLM.

Standardisation : Il répond au défi critique de l'incohérence de la documentation des prompts dans la recherche sur les LLM, visant à standardiser l'analyse des prompts de la même manière que les "Model Cards" ont standardisé la documentation des modèles. Cela améliore la reproductibilité et permet des analyses comparatives plus significatives entre les études.
Transparence et Interprétabilité : En offrant une manière structurée de déconstruire les prompts, le cadre augmente la transparence et l'interprétabilité des comportements des modèles de langage.
Utilité Pratique : Le cadre est conçu pour aider les organisations à standardiser leurs bibliothèques de prompts, facilitant le transfert de connaissances entre les ingénieurs de prompts et la gestion de la cohérence des prompts à travers des applications LLM à grande échelle.
Limites : Les auteurs reconnaissent modestement des limites, notant que l'approche descendante (top-down) peut manquer des modèles émergents identifiables par une analyse ascendante (bottom-up) et que l'implémentation actuelle manque d'une annotation manuelle étendue de jeux de données à grande échelle pour une validation complète. Ils suggèrent que les travaux futurs devraient intégrer des méthodes ascendantes et développer des benchmarks complets annotés manuellement.

Le travail respecte le code d'éthique de l'ACL, soulignant que bien qu'un meilleur ingénierie de prompt puisse théoriquement être mal utilisée, les bénéfices d'une transparence et d'une interprétabilité accrues l'emportent sur les risques potentiels.