🤖 AI

The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach

Cet article propose une métrique estimable efficacement pour quantifier la valeur économique des prompts donnés aux grands modèles de langage en le définissant comme une information mutuelle algorithmique basée sur une nouvelle complexité de Levin–Kolmogorov relative au LLM ( $pKt$ ), qui capture la mesure dans laquelle un prompt réduit l'effort de calcul ou augmente la probabilité de générer un artefact cible.

Auteurs originaux : Rafael Pass

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rafael Pass

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans l'économie moderne de l'intelligence artificielle, une nouvelle forme de monnaie émerge, qui ne se mesure ni en dollars ni en jetons, mais en la qualité des questions que nous posons. Les grands modèles de langage sont devenus des moteurs puissants capables de générer des preuves, d'écrire du code ou de concevoir de nouveaux matériaux, pourtant ils ne fonctionnent pas dans le vide. Ils nécessitent une étincelle humaine, un « prompt », pour commencer leur travail. Pendant des années, l'industrie s'est concentrée presque exclusivement sur le résultat : à quel point l'histoire est-elle bonne, à quel point le code est-il correct, à quel point le design est-il élégant. Mais à mesure que ces machines deviennent plus capables, la question économique centrale change. Il ne s'agit plus seulement de ce que la machine peut produire, mais de la valeur qui subsiste dans l'apport humain qui l'a guidée. Si une personne fournit un indice, une critique ou une solution partielle, à quel point cet apport spécifique a-t-il réellement aidé la machine à atteindre son objectif ?

C'est un problème difficile car un indice court et ingénieux peut valoir plus qu'une instruction longue et confuse, et un mauvais indice peut être pire que l'absence d'indice. Se contenter de compter les mots ou les caractères d'un prompt ne permet pas de capturer sa véritable valeur. Pour résoudre cela, les chercheurs se sont tournés vers un domaine des mathématiques appelé la théorie de l'information algorithmique, qui mesure traditionnellement la complexité d'un objet en demandant quelle quantité d'information est nécessaire pour le décrire. Les chercheurs de cette étude ont posé une nouvelle question : et si nous mesurions la complexité non pas par rapport à un ordinateur théorique parfait, mais par rapport au modèle d'intelligence artificielle spécifique qui effectue le travail ? Ils ont réalisé que pour véritablement valoriser la contribution d'un humain, nous devons tenir compte du propre processus de « pensée » de la machine. Les modèles modernes font souvent une pause pour générer une chaîne de raisonnement avant de donner une réponse, et un bon prompt peut épargner à la machine de réfléchir trop longtemps, ou peut orienter sa réflexion dans une direction plus productive.

Les chercheurs ont développé une nouvelle façon de mesurer cette valeur en traitant le prompt comme un outil qui réduit l'effort requis pour que la machine réussisse. Ils ont imaginé un scénario où une machine tente de recréer un résultat spécifique, comme une preuve mathématique, d'abord seule, puis avec l'indice d'un humain. Ils ont mesuré la différence non seulement par la probabilité accrue que la machine obtienne la bonne réponse, mais aussi par le « temps de réflexion » économisé. Dans leur cadre, les étapes de raisonnement interne de la machine sont traitées comme un chemin aléatoire qu'elle doit parcourir. Un prompt précieux est celui qui rend le chemin correct beaucoup plus court ou beaucoup plus évident, réduisant efficacement le nombre d'étapes que la machine doit franchir pour trouver la solution. Ils ont défini cette valeur en termes de « coût en jetons » (token cost), qui est une façon de compter l'effort de calcul dépensé par la machine. Si un prompt rend le travail de la machine deux fois plus facile, il possède une certaine valeur ; s'il rend le travail mille fois plus facile, la valeur est bien plus élevée.

Pour tester leurs idées, l'équipe a mené une série d'expériences utilisant un ensemble standard de problèmes mathématiques de niveau primaire. Ils ont demandé à un grand modèle de langage de résoudre ces problèmes, en lui donnant parfois la première étape de la solution comme indice, et parfois en le laissant partir de zéro. Ils ont découvert que regarder simplement la probabilité que le modèle obtienne la bonne réponse ne suffisait pas. Dans plusieurs cas, fournir la première étape correcte initialement faisait paraître la réponse finale moins probable au tout début, car le modèle n'avait pas encore engagé son processus de raisonnement. Cependant, une fois que le modèle a été autorisé à « réfléchir » et à générer ses propres étapes de raisonnement, l'indice s'est avéré incroyablement précieux. Il a guidé le processus de réflexion du modèle de manière si efficace qu'il a atteint la bonne réponse beaucoup plus rapidement et avec beaucoup moins d'effort qu'il ne l'aurait fait seul. Cela a montré que la véritable valeur d'un prompt réside souvent dans la manière dont il façonne le raisonnement interne de la machine, et non seulement dans les mots immédiats qu'il produit.

L'étude a également révélé que la valeur d'un prompt n'est pas un nombre unique et fixe. Elle dépend du chemin spécifique emprunté par la machine. Parfois, un indice aide la machine dans la plupart des situations, mais dans certains cas rares, il peut l'entraîner dans une impasse. Les chercheurs ont découvert qu'en observant le résultat « médian » — le résultat typique plutôt que le meilleur ou le pire cas — ils pouvaient obtenir une mesure fiable de la valeur. Ils ont découvert que pour certains problèmes, un indice correct provenant d'un humain était en fait nuisible ou inutile pour le modèle spécifique qu'ils testaient, suggérant que ce qui semble être une bonne idée pour une personne peut être redondant ou déroutant pour une intelligence artificielle. Cela souligne que la valeur de l'apport humain est profondément liée à la machine spécifique à laquelle il s'adresse et à la manière dont cette machine traite l'information.

En fin de compte, ce travail fournit un moyen rigoureux de quantifier la contribution d'un humain à une époque où les machines effectuent le plus gros du travail. Il dépasse l'idée que la machine est le seul créateur et reconnaît que le rôle de l'humain est de fournir le chemin le plus efficace à travers le vaste espace des possibilités. En mesurant ce qu'un prompt économise en termes de temps de réflexion et d'effort de la machine, nous pouvons commencer à comprendre la véritable valeur économique de la guidance humaine. Les chercheurs ont montré que cette valeur peut être calculée et estimée, offrant un nouveau prisme pour observer le partenariat entre l'humain et la machine. À mesure que l'intelligence artificielle s'intègre dans nos vies, comprendre la valeur des prompts que nous lui donnons sera essentiel pour savoir où le véritable travail est accompli et qui mérite le crédit des résultats.

Résumé Technique : La Valeur d'un Prompt : Une Approche par la Complexité de Kolmogorov Relative à l'LLM

1. Énoncé du Problème

Alors que les modèles de langage de grande taille (LLM) deviennent centraux dans la création d'artefacts de valeur (preuves, code, designs, hypothèses), une question économique cruciale se pose : Comment mesurer la valeur de l'apport humain (le prompt) fourni au modèle ?

Les métriques traditionnelles, telles que le nombre de tokens, échouent à capturer la valeur car un indice court peut être décisif tandis qu'un prompt long peut être non pertinent. Une mesure robuste doit satisfaire deux critères :

Difficulté Comparative : Elle doit comparer la difficulté de produire un artefact $z$ avec et sans le prompt $p$ .
Compromis Computationnel : Elle doit tenir compte du fait qu'un modèle sans prompt peut compenser en « réfléchissant » plus longtemps. Par conséquent, la mesure doit facturer ce calcul supplémentaire, en créditant le prompt non seulement pour l'augmentation de la probabilité de la sortie, mais aussi pour la réduction de l'effort de calcul requis pour la trouver.

La complexité de Kolmogorov (information algorithmique) existante est incalculable et ignore le temps de calcul. Les variantes limitées par les ressources sont souvent difficiles à calculer. De plus, l'information mutuelle classique ne gère pas naturellement le processus de « réflexion » (Chain of Thought) inhérent aux LLM modernes.

2. Méthodologie

Le papier propose une notion de complexité de Levin-Kolmogorov probabiliste relative à l'LLM, notée $\tilde{pKt}$ , pour définir la valeur d'un prompt. L'approche évolue des modèles sans réflexion vers des modèles avec des étapes de réflexion explicites.

2.1 LLM sans Réflexion (Échauffement)

Pour les modèles autorégressifs générant directement la sortie sans étape de réflexion distincte :

Complexité Relative à l'LLM : La machine de Turing universelle est remplacée par l'LLM spécifique $M$ . Un « programme » est défini comme une chaîne binaire représentant l'aléa de l'échantillonnage (un intervalle dyadique) qui force le modèle à produire une chaîne spécifique $z$ .
Complexité A-Priori : Pour rendre cela efficacement calculable, l'auteur utilise la log-probabilité de la sortie : $\tilde{K}_M(z|y) = -\log_2 P_M(z|y)$ .
Valeur du Prompt : Définie comme la différence de complexité a-priori : $\tilde{Val}_M(p; z) = \tilde{K}_M(z) - \tilde{K}_M(z|p)$ . Cela équivaut au rapport de vraisemblance (Information Mutuelle Ponctuelle), indiquant combien de fois plus probable est $z$ avec le prompt $p$ qu'en l'absence de celui-ci.

2.2 LLMs avec Réflexion

Les LLM modernes génèrent souvent une « route de pensée » $H$ (Chain of Thought) avant d'émettre l'artefact final $z$ . Cela introduit deux défis :

Aléas de la Pensée : La route de pensée $H$ est stochastique. Simplement moyenner sur toutes les pensées possibles peut être biaisé par des chemins rares mais très réussis.
Économies de Calcul : Un bon prompt pourrait non seulement augmenter la probabilité à un effort fixe ; il pourrait éliminer le besoin de longues séquences de réflexion.

La Solution Proposée :

Complexité de Levin de la Pensée Réalisée : Pour une route de pensée réalisée fixe $H$ , la complexité de $z$ est définie par la minimisation de la somme de la longueur de description (log-probabilité de $z$ étant donné $H$ ) et du logarithme du coût du préfixe de pensée.
$\tilde{Kt}^\kappa_M(z | y; H) := \min_{t} \left( -\log_2 P_M(z | y H_{\le t} \text{EOT}) + \log_2 \kappa(t) \right)$
Ici, $\kappa(t)$ est une fonction de coût équivalente aux tokens pour $t$ tokens de pensée. La minimisation sur $t$ permet au modèle de cesser de réfléchir tôt si la probabilité de succès est suffisamment élevée pour compenser le coût.
Complexité Probabiliste ( $\tilde{pKt}$ ) : Puisque $H$ est aléatoire, l'auteur définit la complexité comme la médiane (ou le quantile $\delta$ ) des complexités de pensée réalisées sur de nombreux tirages d'échantillonnage. Cela évite la sensibilité aux chemins de pensée « chanceux » ou rares.
$\tilde{pKt}^\kappa_{M,\delta}(z | y) := \text{med}_\delta \left[ \tilde{Kt}^\kappa_M(z | y; H_y) \right]$
Valeur du Prompt : La valeur finale est la différence de ces complexités probabilistes :
$\tilde{Val}^\kappa_{M,\delta}(p; z) = \tilde{pKt}^\kappa_{M,\delta}(z) - \tilde{pKt}^\kappa_{M,\delta}(z | p)$

3. Contributions Clés

Cadre de Complexité Relative à l'LLM : Le papier adapit les complexités de Kolmogorov et de Levin à l'architecture spécifique des LLM, traitant le modèle lui-même comme la machine de référence et son aléa d'échantillonnage comme le ruban du programme.
Gestion de la « Réflexion » : Il introduit une méthode novatrice pour valoriser les prompts pour les modèles avec Chain of Thought en traitant la pensée réalisée comme le ruban aléatoire et en minimisant un objectif de type Levin (longueur de description + log temps) sur le préfixe de pensée.
Estimabilité Efficace : Contrairement à la complexité de Kolmogorov classique limitée par les ressources, la mesure proposée est estimable efficacement. Le papier fournit un protocole pour estimer la médiane de la complexité en utilisant un nombre polynomial de tirages, avec des bornes de probabilité élevée sur l'erreur.
Interprétation Économique (Coût en Tokens) : L'auteur prouve un théorème fondamental : $2^{\tilde{pKt}}$ $2^{\tilde{p K t}}$ correspond exactement au coût médian en tokens pour reproduire l'artefact dans une expérience spécifique.
- Si un prompt a une valeur de $b$ bits, cela signifie que reproduire l'artefact sans le prompt coûte typiquement $2^b$ fois plus cher en unités équivalentes aux tokens que de le reproduire avec le prompt.
Distinction par rapport aux Travaux Antérieurs : Le papier précise que si la composante « sans réflexion » s'aligne sur l'Information Mutuelle Ponctuelle (PMI) et les scores récents de « contribution humaine » (ex: Xie et al.), la gestion explicite du calcul et de la réflexion est la contribution novatrice.

4. Résultats Expérimentaux

L'auteur a évalué la mesure sur 12 problèmes du jeu de données GSM8K (problèmes mathématiques de niveau primaire) en utilisant le modèle DeepSeek-R1-Distill-Qwen-1.5B.

La Réflexion Inverse le Verdict : Dans plusieurs cas, fournir une première étape correcte (le prompt) a initialement rendu la réponse finale moins probable à $t=0$ (sans réflexion). Cependant, une fois le processus de réflexion incorporé, la valeur du prompt est devenue positive. Cela démontre qu'une métrique de non-réflexion, basée uniquement sur la probabilité, peut donner un verdict qualitatif opposé par rapport à la métrique proposée tenant compte de la réflexion.
Accélération vs Pilotage : Les résultats ont distingué les prompts qui se contentent d'« accélérer » le calcul (permettant au modèle d'atteindre un bon état plus rapidement, ce qui est précieux sous les coûts de « pensée générée » mais moins sous les coûts de « pré-remplissage de préfixe ») et les prompts qui « pilotent » le modèle vers un état fondamentalement meilleur (précieux sous les deux conventions de coût).
Exactitude $\neq$ Valeur : Une solution partielle correcte issue d'une référence humaine n'était pas toujours de valeur. Dans certains cas, elle était redondante ou induisait des continuations défavorables, entraînant une valeur de prompt négative ou négligeable.
Dépendance à la Distribution : La valeur d'un prompt variait considérablement selon les différents quantiles ( $\delta$ ) de la distribution des tirages, indiquant qu'un prompt peut aider certaines « trajectoires de pensée » tout en entravant d'autres.

5. Signification et Revendications

Le papier affirme fournir une mesure de la valeur d'un prompt qui est fondée théoriquement, estimable efficacement et interprétable économiquement.

Fondement Théorique : Il jette un pont entre la théorie de l'information algorithmique et l'économie des LLM, offrant une définition formelle de la « valeur » qui tient compte à la fois de la vraisemblance et de l'effort de calcul.
Signification Opérationnelle : En liant la mesure de complexité au coût médian en tokens de la reproduction, le papier soutient que la valeur d'un prompt n'est pas une métrique abstraite mais une économie concrète.
Modestie : L'auteur précise explicitement que la mesure évalue la description de l'artefact déclaré. Si la définition de l'artefact est défectueuse (ex: inclut du bruit aléatoire), la mesure de valeur le reflétera. Ils notent également que le cadre évalue actuellement un prompt unique dans un contexte fixe et ne capture pas encore pleinement la valeur des stratégies conversationnelles adaptatives à plusieurs tours ou le coût de la formulation de l'apport humain lui-même.

En résumé, le papier postule que dans une ère de génération par IA abondante, la valeur de la contribution humaine réside dans la réduction de la charge de calcul du modèle pour atteindre un résultat spécifique, et que cette réduction peut être rigoureusement quantifiée en utilisant la complexité de Levin relative à l'LLM.