📊 statistics

Why is prompting hard? Understanding prompts on binary sequence predictors

Cet article examine les défis du prompting en le présentant comme la recherche de séquences de conditionnement optimales pour des prédicteurs de séquences, révélant grâce à des expériences contrôlées et à l'analyse de modèles de pointe que les meilleurs prompts sont souvent contre-intuitifs, difficiles à identifier même avec une recherche exhaustive, et fréquemment sous-optimaux lors de l'utilisation de méthodes standard basées sur des démonstrations.

Auteurs originaux : Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

Publié 2026-05-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un perroquet surdoué et hautement entraîné. Ce perroquet a lu des millions de livres, regardé d'innombrables films et écouté chaque émission de radio jamais produite. Il sait prédire le mot suivant dans une phrase mieux que quiconque. C'est votre modèle d'IA.

Maintenant, vous voulez que ce perroquet effectue un tour spécifique : raconter une blague, écrire un poème triste ou résoudre un problème de mathématiques. Vous le faites en lui donnant un prompt — quelques mots d'instruction ou un exemple pour le mettre en route.

Cet article pose une question simple mais profonde : Pourquoi est-il si difficile de trouver les mots parfaits à donner au perroquet ? Parfois, les instructions qui fonctionnent le mieux semblent totalement étranges, absurdes, voire « fausses » pour un humain. Pourquoi un prompt qui ressemble à du charabia fonctionne-t-il mieux qu'une instruction claire et logique ?

Les auteurs ont décidé d'arrêter de deviner et de commencer à tester. Ils ont construit un petit monde contrôlé pour comprendre ce qui se passe réellement dans le cerveau du perroquet.

L'expérience : Le perroquet pile ou face

Au lieu d'utiliser une véritable IA complexe, ils ont créé un simple « perroquet » qui ne comprend que Pile et Face (comme un lancer de pièce).

L'entraînement : Ils ont enseigné à ce perroquet en lui montrant des milliers de lancers de pièces. Mais voici le piège : ils ne lui ont pas seulement montré des pièces équilibrées. Ils lui ont montré des pièces biaisées de différentes manières. Certaines pièces tombaient sur Pile 20 % du temps, d'autres 90 %, et certaines étaient un mélange des deux. Le perroquet a appris à deviner le prochain lancer en se basant sur le motif observé lors de son entraînement.
La tâche : Maintenant, ils voulaient que le perroquet agisse comme une pièce spécifique qui tombe sur Pile 70 % du temps. Ils se sont demandé : « Quelle est la meilleure séquence de Pile et Face à montrer au perroquet pour qu'il commence à deviner 70 % de Pile ? »

La grande surprise : Les prompts « faux » fonctionnent le mieux

Vous pourriez penser que la meilleure façon d'enseigner au perroquet de deviner 70 % de Pile est de lui montrer une longue liste de 70 % de Pile et 30 % de Face. Cela semble logique, n'est-ce pas ?

L'article a révélé que c'est souvent faux.

Dans de nombreux cas, le prompt optimal (celui qui fonctionne réellement le mieux) était une séquence qui ne ressemblait en rien à la tâche.

L'analogie : Imaginez que vous vouliez enseigner à un étudiant habitué à étudier dans une bibliothèque silencieuse comment étudier dans une cafétéria bruyante. Vous pourriez penser que lui montrer un enregistrement d'une cafétéria bruyante est la meilleure façon de le préparer. Mais l'article a révélé que parfois, la meilleure façon de le préparer est de lui montrer une séquence de silence qui trompe subtilement son cerveau pour qu'il s'attende au bruit.
La réalité : Le « meilleur » prompt dépend entièrement de la façon dont le perroquet a été entraîné (sa distribution d'entraînement préalable). Si le perroquet a été entraîné sur un mélange spécifique de biais de pièces, les « mots magiques » pour le faire se comporter d'une certaine manière pourraient être une séquence de Pile uniquement, ou un mélange étrange de 10 Pile et 2 Face. Pour un humain regardant uniquement la tâche, cela ressemble à une erreur. Mais pour le perroquet, c'est la clé parfaite qui déverrouille le bon comportement.

Pourquoi est-il si difficile de comprendre cela ?

L'article met en évidence trois raisons principales pour lesquelles trouver ces « mots magiques » est un cauchemar :

1. Le problème de la « recette cachée »
Le comportement du perroquet est façonné par une « recette » secrète (la distribution d'entraînement préalable) que nous ne connaissons généralement pas.

Analogie : Imaginez que vous essayez de régler une radio sur une station spécifique. Vous ne savez pas à quoi ressemble la station, et vous ne savez pas comment la radio a été construite. Vous tournez simplement le cadran. Parfois, le tourner vers l'endroit « évident » vous donne des interférences. Vous devez le tourner vers un endroit étrange et aléatoire pour obtenir un son clair. Sans connaître le câblage interne de la radio, vous ne pouvez pas expliquer pourquoi cet endroit étrange fonctionne.

2. Le problème du « paysage plat »
Les auteurs ont visualisé la recherche du meilleur prompt comme une marche sur un paysage vallonné.

Analogie : Vous cherchez le sommet le plus élevé (le meilleur prompt). Dans un monde parfait, il y a un seul pic de montagne net, et il est facile à trouver. Mais dans les expériences de cet article, le « paysage » est souvent un plateau plat. Il existe des centaines de prompts différents qui sont presque également bons.
La conséquence : Si vous essayez de trouver le meilleur prompt en utilisant une petite quantité de données (comme un petit lot de test), vous pourriez accidentellement choisir un prompt « assez bon » qui est en réalité différent du véritable meilleur. Si vous relancez le test avec un lot légèrement différent, vous pourriez choisir un autre prompt « assez bon ». Cela rend les résultats peu fiables et difficiles à interpréter.

3. Le piège de la « démo d'expert »
Une méthode populaire pour enseigner à l'IA consiste à lui montrer des exemples d'un expert effectuant la tâche (par exemple, « Voici comment un grand maître d'échecs joue »).

La découverte : L'article a montré que montrer des exemples d'experts est souvent moins efficace que d'utiliser un prompt étrange et optimisé.
Analogie : Imaginez que vous voulez qu'un robot joue parfaitement aux échecs. Vous pourriez lui montrer 100 parties jouées par un Grand Maître. Ou, vous pourriez lui donner un code étrange et court qui force son cerveau en « mode Grand Maître ». L'article a révélé que ce code étrange fonctionne souvent mieux que les 100 parties. Les exemples d'experts sont trop « typiques » et ne tiennent pas compte des biais d'entraînement spécifiques du robot.

Et qu'en est-il de l'IA réelle (comme les chatbots) ?

Les auteurs ont testé ces idées sur de vrais grands modèles de langage (comme GPT-2 et Gemma) en utilisant des critiques de films.

Ils ont trouvé les mêmes modèles : les meilleurs prompts pour générer une critique « positive » n'étaient pas toujours des mots qui sonnaient positifs. Parfois, ils étaient des mots courts, étranges, voire négatifs qui, d'une manière ou d'une autre, déclenchaient la bonne réponse.
Ils ont également découvert que pour trouver de manière fiable le meilleur prompt, il faut une énorme quantité de données (des milliers d'exemples), et non pas les petits lots (environ 200) que les gens utilisent habituellement. Avec de petits lots, vous ne faites qu'deviner.

L'essentiel

L'article conclut que le prompting est difficile parce que nous essayons de diriger une machine sans connaître son histoire complète.

Le « meilleur » prompt est relatif : Il n'existe pas de « meilleur » prompt universel. Le meilleur prompt dépend des biais spécifiques et cachés des données d'entraînement de l'IA.
L'intuition échoue : Ce qui semble logique pour un humain (montrer à l'IA ce que vous voulez) échoue souvent car cela ne tient pas compte de la « mathématique » interne de l'IA.
La fiabilité est faible : À moins de rechercher de manière exhaustive et d'utiliser des ensembles de données massifs, les prompts que vous trouvez pourraient être des devinettes heureuses qui ne fonctionnent pas de manière cohérente.

En bref, l'article suggère que la « magie » du prompting ne réside pas seulement dans la rédaction de bonnes instructions ; il s'agit de pirater les biais statistiques cachés de l'IA d'une manière qui nous semble souvent totalement contre-intuitive.

Résumé technique : Comprendre les prompts sur les prédicteurs de séquences binaires

Énoncé du problème

Les modèles de pointe, tels que les grands modèles de langage (LLM), peuvent être conditionnés via des prompts pour exécuter diverses tâches. Cependant, trouver des prompts efficaces est difficile, et même lorsque des prompts performants sont identifiés, ils sont souvent contre-intuitifs ou « excentriques ». Le problème central abordé est l'absence de compréhension fondamentale quant à la raison pour laquelle les prompts optimaux se comportent de manière contre-intuitive, pourquoi il est difficile de les identifier de manière fiable, et pourquoi les heuristiques courantes (comme l'utilisation de démonstrations d'experts) échouent souvent.

L'article postule que le prompting est fondamentalement un problème de recherche de la meilleure séquence de conditionnement sur un prédicteur de séquence quasi-optimal. La difficulté provient du fait que le prompt optimal dépend fortement de la distribution de préentraînement (la méta-distribution des données sur lesquelles le modèle a été entraîné), qui est généralement inconnue de l'utilisateur. Par conséquent, les prompts optimaux pour une tâche spécifique peuvent apparaître atypiques ou sous-optimaux lorsqu'ils sont examinés uniquement à travers le prisme de la distribution de la tâche.

Méthodologie

Les auteurs proposent un cadre empirique rigoureux et contrôlé pour étudier le prompting sous une perspective d'apprentissage méta bayésien.

Générateurs de données synthétiques (DG) : Au lieu de s'appuyer sur des données de langage naturel complexes où la vérité terrain est insaisissable, les auteurs conçoivent des générateurs de données de séquences binaires synthétiques. Ceux-ci incluent :
- DG de Bernoulli indépendants conditionnellement (CIB-DG) : Modèles où les séquences sont générées à partir d'un biais latent $\tau$ tiré d'une distribution a priori $p_\tau$ .
- DG complexes : Incluant des processus de commutation, des modèles hiérarchiques et des modèles thématiques pour simuler des structures non i.i.d.
- Décideur de bandit : Une tâche de bandit de Bernoulli à deux bras où l'objectif est d'induire un « niveau de compétence » ( $\tau$ ) spécifique chez un agent afin de maximiser les retours.
Prédicteurs : Le cadre évalue deux types de prédicteurs :
- Prédicteurs Bayésiens : Prédicteurs théoriquement optimaux dérivés analytiquement pour les DG synthétiques.
- Prédicteurs neuronaux : Modèles autoregressifs (RNN, LSTM, Transformers) entraînés par apprentissage méta sur des échantillons provenant des DG de préentraînement pour approximer le prédicteur Bayésien.
Recherche de prompts :
- Prompts optimaux théoriques ( $s^*$ ) : Trouvés par recherche exhaustive sur l'espace des prompts afin de minimiser la perte logarithmique attendue sous la distribution de tâche $q$ . Cela fournit une vérité terrain numériquement garantie.
- Prompts optimaux empiriques ( $\hat{s}$ ) : Trouvés en optimisant des prompts sur des ensembles de données finis tirés de $q$ , simulant les contraintes réelles du génie des prompts.
Métriques : L'étude analyse la « proportion de justesse » (fiabilité de la découverte de $s^*$ ), le « paysage de perte » (platitude autour de l'optimum) et l'interprétabilité des prompts par rapport aux distributions de tâche et de préentraînement.

Contributions clés

Cadre rigoureux : Établissement d'un cadre formel pour l'analyse des séquences de conditionnement optimales, englobant les définitions de l'optimalité, les designs expérimentaux et les techniques de visualisation.
Résultats de recherche exhaustive : Collecte de plus de 250 000 prompts optimaux numériquement garantis. L'étude révèle que les prompts optimaux sont souvent atypiques pour la tâche ; ils peuvent ne pas ressembler à des échantillons de la distribution de la tâche, mais sont plutôt conçus pour exploiter les biais de la distribution de préentraînement inconnue.
Analyse de fiabilité : Démonstration que l'identification de prompts optimaux est peu fiable même avec des ensembles de données finis. L'augmentation de la taille de l'ensemble de données ( $N$ ) n'améliore pas toujours la fiabilité ; dans certains cas, elle conduit à des résultats incohérents en raison de paysages de perte plats où de nombreux prompts sous-optimaux ont des performances similaires.
Apprentissage in-context vs Prompts optimaux : Montre que le prompting via des démonstrations d'experts (une stratégie courante d'apprentissage in-context) est souvent sous-optimal par rapport aux prompts théoriquement optimaux. Dans une tâche de bandit, les démonstrations d'experts ont produit des retours inférieurs à ceux des prompts induisant des niveaux de compétence latents spécifiques via des motifs de récompense contre-intuitifs.
Validation par LLM : Adaptation du cadre à de vrais LLM (GPT-2, Gemma-3, Gemini 2.5 Pro) utilisant des critiques de films IMDB. Les constatations sur les séquences binaires (par exemple, la difficulté d'identifier des prompts optimaux avec de petites tailles de lot et la prévalence de prompts courts et non intuitifs) étaient cohérentes avec les résultats obtenus sur des modèles réels.

Résultats clés

Atypicité des prompts optimaux : Dans un scénario où un modèle est préentraîné sur un mélange de biais de pièces et chargé de générer 70 % de faces, le prompt optimal n'était pas une séquence de 70 % de faces. Au lieu de cela, il s'agissait souvent d'une séquence de tous des uns (ou d'autres comptes extrêmes) qui concentrait le plus rapidement la croyance a posteriori sur le biais cible, étant donné le mélange de préentraînement spécifique.
Longueur et espace de recherche : Contrairement à l'intuition selon laquelle des prompts plus longs sont toujours meilleurs, l'étude a révélé que la longueur du prompt optimal n'augmente pas de manière monotone avec la longueur de la séquence de tâche. Des prompts plus courts apparaissent souvent optimaux car l'espace de recherche pour des prompts plus longs est vaste, et la recherche exhaustive est rarement effectuée en pratique.
Rôle de la distribution de préentraînement : L'interprétabilité d'un prompt dépend de la connaissance de la distribution de préentraînement. Sans cette connaissance, les prompts optimaux apparaissent comme du « charabia » ou des séquences excentriques.
Les démonstrations d'experts sont sous-optimales : Dans l'expérience de bandit, les prompts dérivés de démonstrations d'experts (échantillonnage de Thompson) ont eu de moins bonnes performances que les prompts optimaux. Les prompts optimaux utilisaient des motifs de récompense spécifiques (par exemple, un seul échec suivi d'une série de succès) pour signaler des niveaux de compétence élevés plus efficacement que les trajectoires d'experts typiques.
Fiabilité et taille de lot : L'optimisation empirique est hautement sensible à la taille de l'ensemble de données. De petites tailles de lot (par exemple, $N=200$ , courantes dans la littérature) produisent des prompts peu fiables. Une taille $N$ beaucoup plus grande (par exemple, $N \approx 1700$ pour les LLM) est requise pour atteindre une chance de 50 % d'identifier le prompt optimal.

Signification et affirmations

L'article prétend faire un premier pas vers la compréhension des prompts optimaux d'un point de vue statistique et empirique. Il soutient que la nature contre-intuitive du prompting n'est pas simplement un défaut des architectures actuelles, mais une conséquence fondamentale de l'apprentissage méta bayésien sur des distributions de préentraînement inconnues.

Insight fondamental : La difficulté du prompting découle du fait que le prompt optimal doit « pirater » les a priori de préentraînement pour orienter le modèle, plutôt que de simplement imiter la distribution de la tâche.
Limites : Les auteurs sont modestes dans leurs affirmations, notant que les jetons binaires sont des simplifications drastiques du langage naturel. Bien que les résultats offrent des insights fondamentaux, ils ne prédisent pas de manière définitive les comportements exacts des modèles de pointe à grande échelle. L'étude se concentre sur la phase de préentraînement et ne prend pas pleinement en compte les effets post-entraînement (par exemple, RLHF) ou les nuances architecturales spécifiques.
Implication : Le travail suggère que les approches heuristiques actuelles du génie des prompts (reposant sur l'intuition ou des recherches à petite échelle) manquent probablement les véritables solutions optimales, qui sont souvent cachées dans l'interaction complexe entre la tâche et la distribution de préentraînement cachée.

En résumé, l'article fournit une base théorique et empirique expliquant pourquoi les « bons » prompts sont difficiles à trouver et pourquoi ils semblent souvent étranges, attribuant ces phénomènes à la nécessité statistique de s'aligner sur une méta-distribution de préentraînement inconnue.