🤖 AI

The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach

Dit artikel stelt een efficiënt schatbare metriek voor om de economische waarde van prompts gegeven aan Large Language Models te kwantificeren door deze te definiëren als algoritmische wederzijdse informatie gebaseerd op een nieuwe LLM-relatieve probabilistische Levin–Kolmogorov complexiteit ( $pKt$ ), die vastlegt hoeveel een prompt de computationele inspanning vermindert of de waarschijnlijkheid van het genereren van een doelartefact verhoogt.

Oorspronkelijke auteurs: Rafael Pass

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rafael Pass

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne economie van kunstmatige intelligentie ontstaat een nieuw soort valuta, die niet wordt gemeten in dollars of tokens, maar in de kwaliteit van de vragen die we stellen. Grote taalmodellen zijn krachtige motoren geworden, in staat om bewijzen te genereren, code te schrijven of nieuwe materialen te ontwerpen, maar ze opereren niet in een vacuüm. Ze hebben een vonk van een mens nodig, een prompt, om hun werk te beginnen. Jarenlang heeft de industrie zich bijna uitsluitend gericht op de output: hoe goed is het verhaal, hoe correct is de code, hoe elegant is het ontwerp. Maar naarmate deze machines bekwaamder worden, verschuift de centrale economische vraag. Het gaat niet langer alleen over wat de machine kan produceren, maar over welke waarde er overblijft in de menselijke input die het proces heeft gestuurd. Als een persoon een hint, een kritiek of een gedeeltelijke oplossing geeft, hoeveel heeft die specifieke input de machine dan daadwerkelijk geholpen om zijn doel te bereiken?

Dit is een moeilijk probleem omdat een korte, slimme hint meer waard kan zijn dan een lange, warrige instructie, en een foute hint slechter kan zijn dan helemaal geen hint. Het simpelweg tellen van woorden of tekens in een prompt faalt om de werkelijke waarde ervan te vatten. Om dit op te lossen, hebben onderzoekers zich gericht op een vakgebied van de wiskunde genaamd algoritmische informatietheorie, die traditioneel de complexiteit van een object meet door te vragen hoeveel informatie nodig is om het te beschrijven. De onderzoekers in deze studie stelden een nieuwe vraag: wat als we de complexiteit niet meten tegenover een perfecte, theoretische computer, maar tegenover de specifieke kunstmatige intelligentie die het werk doet? Ze realiseerden zich dat we, om de bijdrage van een mens werkelijk te waarderen, rekening moeten houden met het eigen "denkproces" van de machine. Moderne modellen pauzeren vaak om een keten van redenering te genereren voordat ze een antwoord geven, en een goede prompt kan de machine ervoor zorgen dat hij minder lang hoeft na te denken, of het kan dat denken in een productievere richting sturen.

De onderzoekers ontwikkelden een nieuwe manier om deze waarde te meten door de prompt te behandelen als een hulpmiddel dat de inspanning vermindert die nodig is voor de machine om succesvol te zijn. Ze stelden zich een scenario voor waarin een machine probeert een specifiek resultaat te reproduceren, zoals een wiskundig bewijs, eerst op eigen kracht en daarna met een hint van een mens. Ze maten het verschil niet alleen door hoe waarschijnlijk het was dat de machine het juiste antwoord zou krijgen, maar door hoeveel "denktijd" het bespaarde. In hun kader worden de interne redeneerstappen van de machine behandeld als een willekeurig pad dat de machine moet bewandelen. Een waardevolle prompt is een prompt die het juiste pad veel korter of veel duidelijker maakt, waardoor het aantal stappen dat de machine moet nemen om de oplossing te vinden, effectief wordt verminderd. Ze definieerden deze waarde in termen van een "tokenkosten", een manier om de computationele inspanning te tellen die de machine levert. Als een prompt de taak van de machine twee keer zo makkelijk maakt, is het een bepaalde hoeveelheid waarde waard; als het de taak duizend keer gemakkelijker maakt, is de waarde veel hoger.

Om hun ideeën te testen, voerde het team een reeks experimenten uit met een standaardset basisschoolwiskundeproblemen. Ze vroegen een groot taalmodel om deze problemen op te lossen, waarbij ze soms de eerste stap van de oplossing als hint gaven en soms de machine vanaf nul lieten beginnen. Ze ontdekten dat het simpelweg kijken naar de waarschijnlijkheid dat het model het juiste antwoord geeft, niet voldoende was. In verschillende gevallen maakte het aanleveren van de juiste eerste stap aan het begin het uiteindelijke antwoord zelfs minder waarschijnlijk, omdat het model nog niet zijn redeneerproces had geactiveerd. Echter, zodra het model de ruimte kreeg om te "denken" en eigen redeneerstappen te genereren, bleek de hint ongelooflijk waardevol. Het stuurde het denkproces van het model zo effectief dat het het juiste antwoord veel sneller en met veel minder inspanning bereikte dan het op eigen kracht zou doen. Dit toonde aan dat de ware waarde van een prompt vaak ligt in hoe het de interne redenering van de machine vormgeeft, en niet alleen in de onmiddellijke woorden die het voortbrengt.

De studie onthulde ook dat de waarde van een prompt geen enkelvoudig, vaststaand getal is. Het hangt af van het specifieke pad dat de machine neemt. Soms helpt een hint de machine in de meeste situaties, maar in zeldzame gevallen kan het hem juist een doodlopende weg in leiden. De onderzoekers ontdekten dat ze door te kijken naar de "mediaan" van de uitkomst — het typische resultaat in plaats van het beste of slechtste geval — een betrouwbare maatstaf voor waarde konden verkrijgen. Ze ontdekten dat voor sommige problemen een correcte hint van een mens voor het specifieke model dat zij testten, feitelijk schadelijk of nutteloos was, wat suggereert dat wat voor een mens een goed idee lijkt, redundant of verwarrend kan zijn voor een kunstmatige intelligentie. Dit benadrukt dat de waarde van menselijke input diep verbonden is met de specifieke machine waarmee het communiceert en de manier waarop die machine informatie verwerkt.

Uiteindelijk biedt dit werk een rigoureuze manier om de bijdrage van een mens te kwantificeren in een tijdperk waarin machines het zware werk doen. Het gaat verder dan het idee dat de machine de enige schepper is en erkent dat de rol van de mens is om het efficiënte pad te bieden door de enorme ruimte van mogelijkheden. Door te meten hoeveel een prompt bespaart in termen van de denktijd en inspanning van de machine, kunnen we beginnen te begrijpen van de werkelijke economische waarde van menselijke begeleiding. De onderzoekers toonden aan dat deze waarde berekend en geschat kan worden, wat een nieuw perspectief biedt op de samenwerking tussen mens en machine. Naarmale kunstmatige intelligentie steeds meer geïntegreerd raakt in ons leven, zal het begrijpen van de waarde van de prompts die we eraan geven essentieel zijn om te weten waar het echte werk wordt verricht en wie de eer krijgt voor de resultaten.

Technische Samenvatting: De Waarde van een Prompt: Een LLM-relatieve Kolmogorov-complexiteit Benadering

1. Probleemstelling

Nu Large Language Models (LLM's) centraal staan in het creëren van waardevolle artefacten (bewijzen, code, ontwerpen, hypothesen), rijst een cruciale economische vraag: Hoe meten we de waarde van de menselijke input (de prompt) die aan het model wordt geleverd?

Traditionele metrieken, zoals token-aantallen, slagen er niet in waarde te vangen omdat een korte hint doorslaggevend kan zijn, terwijl een lange prompt irrelevant kan zijn. Een robuuste maatstaf moet aan twee criteria voldoen:

Vergelijkbare Moeilijkheidsgraad: Het moet de moeilijkheid van het produceren van een artefact $z$ vergelijken met en zonder de prompt $p$ .
Computationele Afruil: Het moet rekening houden met het feit dat een model zonder prompt kan compenseren door langer te "denken". Daarom moet de maatstaf rekenen voor deze extra berekening, waarbij de prompt niet alleen wordt erkend voor het verhogen van de waarschijnlijkheid van de output, maar ook voor het verminderen van de computationele inspanning die nodig is om deze te vinden.

Bestaande algoritmische informatietheorie (Kolmogorov-complexiteit) is onberekenbaar en negeert computationele tijd. Varianten met beperkte middelen (resource-bounded) zijn vaak moeilijk te berekenen. Bovendien behandelt klassieke wederzijdse informatie (mutual information) niet op natuurlijke wijze het "denkproces" (Chain of Thought) dat inherent is aan moderne LLM's.

2. Methodologie

Het paper stelt een LLM-relatieve notie van probabilistische Levin–Kolmogorov complexiteit voor, aangeduid als $\tilde{pKt}$ , om de waarde van een prompt te definiëren. De benadering evolueert van niet-denkende modellen naar modellen met expliciete denkfasen.

2.1 Niet-denkende LLM's (Opwarming)

Voor autoregressieve modellen die output direct genereren zonder een aparte denkfase:

LLM-relatieve Complexiteit: De universele Turingmachine wordt vervangen door de specifieke LLM $M$ . Een "programma" wordt gedefinieerd als een binaire string die de sampling-randomness (een dyadisch interval) vertegenwoordigt die het model dwingt tot een specifieke string $z$ .
A-priori Complexiteit: Om dit efficiënt berekenbaar te maken, gebruikt de auteur de log-waarschijnlijkheid van de output: $\tilde{K}_M(z|y) = -\log_2 P_M(z|y)$ .
Prompt Waarde: Gedefinieerd als het verschil in a-priori complexiteit: $\tilde{Val}_M(p; z) = \tilde{K}_M(z) - \tilde{K}_M(z|p)$ . Dit is equivalent aan de log-likelihood ratio (Pointwise Mutual Information), wat aangeeft hoeveel keer waarschijnlijker $z$ is met prompt $p$ dan zonder.

2.2 LLM's met Denken

Moderne LLM's genereren vaak een "denkroute" $H$ (Chain of Thought) voordat ze het uiteindelijke artefact $z$ emitteren. Dit introduceert twee uitdagingen:

Randomness van het Denken: De denkroute $H$ is stochastisch. Het simpelweg middelen over alle mogelijke gedachten kan vertekend worden door zeldzame, zeer succesvolle paden.
Computationele Besparingen: Een goede prompt kan niet alleen de waarschijnlijkheid verhogen bij een vaste inspanning; het kan ook de noodzaak voor lange denksequenties elimineren.

De Voorgestelde Oplossing:

Gerealiseerde-Gedachte Levin Complexiteit: Voor een vaste gerealiseerde denkroute $H$ , wordt de complexiteit van $z$ gedefinieerd door het minimaliseren van de som van de beschrijvingslengte (log-waarschijnlijkheid van $z$ gegeven $H$ ) en het logaritme van de kosten van de denkprefix.
$\tilde{Kt}^\kappa_M(z | y; H) := \min_{t} \left( -\log_2 P_M(z | y H_{\le t} \text{EOT}) + \log_2 \kappa(t) \right)$
Hier is $\kappa(t)$ een token-equivalent kostenfunctie voor $t$ denk-tokens. De minimalisatie over $t$ staat het model toe om vroegtijdig te stoppen met denken als de kans op succes hoog genoeg is om de kosten te compenseren.
Probabilistische Complexiteit ( $\tilde{pKt}$ ): Omdat $H$ random is, definieert de auteur de complexiteit als de mediaan (of $\delta$ -kwantiel) van de gerealiseerde-gedachte complexiteiten over vele sampling-rollouts. Dit voorkomt gevoeligheid voor zeldzame, "gelukkige" denkpaden.
$\tilde{pKt}^\kappa_{M,\delta}(z | y) := \text{med}_\delta \left[ \tilde{Kt}^\kappa_M(z | y; H_y) \right]$
Prompt Waarde: De uiteindelijke waarde is het verschil in deze probabilistische complexiteiten:
$\tilde{Val}^\kappa_{M,\delta}(p; z) = \tilde{pKt}^\kappa_{M,\delta}(z) - \tilde{pKt}^\kappa_{M,\delta}(z | p)$

3. Belangrijkste Bijdragen

LLM-relatief Complexiteitskader: Het paper past Kolmogorov- en Levin-complexiteit aan de specifieke architectuur van LLM's aan, waarbij het model zelf als de referentiemachine wordt behandeld en de sampling-randomness als de programmatape.
Omgaan met "Denken": Het introduceert een nieuwe methode om de waarde van prompts voor modellen met Chain of Thought te waarderen door de gerealiseerde gedachte als de random tape te behandelen en een Levin-achtige doelstelling (beschrijvingslengte + log tijd) te minimaliseren over de denkprefix.
Efficiënte Schatbaarheid: In tegenstelling tot klassieke resource-bounded Kolmogorov-complexiteit, is de voorgestelde maatstaf efficiënt schatbaar. Het paper biedt een protocol om de mediaan complexiteit te schatten met een polynomiaal aantal rollouts, met hoge waarschijnlijkheid grenzen op de fout.
Economische Interpretatie (Token Kosten): De auteur bewijst een fundamenteel theorem: $2^{\tilde{pKt}}$ $2^{\tilde{p K t}}$ komt exact overeen met de mediane token kosten van het reproduceren van het artefact in een specifiek experiment.
- Als een prompt een waarde heeft van $b$ bits, betekent dit dat het reproduceren van het artefact zonder de prompt normaal gesproken $2^b$ keer meer kost in token-equivalente eenheden dan het reproduceren ervan met de prompt.
Onderscheid van Voorgaand Werk: Het paper verduidelijkt dat hoewel het "niet-denkende" component overeenkomt met Pointwise Mutual Information (PMI) en recente "menselijke bijdrage" scores (bijv. Xie et al.), de expliciete behandeling van computation en denken de nieuwe bijdrage is.

4. Experimentele Resultaten

De auteur evalueerde de maatstaf op 12 problemen uit de GSM8K dataset (basisschool wiskundige woordproblemen) met behulp van het DeepSeek-R1-Distill-Qwen-1.5B model.

Denken Keert Verdicten Om: In verschillende gevallen leidde het leveren van een correcte eerste stap (de prompt) aanvankelijk ertoe dat het uiteindelijke antwoord minder waarschijnlijk werd bij $t=0$ (zonder denken). Echter, zodra het denkproces werd meegenomen, werd de promptwaarde positief. Dit demonstreert dat een niet-denkende, op waarschijnlijkheid gebaseerde metriek een tegengesteld kwalitatief oordeel kan geven vergeleken met de voorgestelde denk-bewuste metriek.
Acceleratie vs. Sturing: De resultaten maakten onderscheid tussen prompts die louter de computation "versnellen" (waardoor het model sneller een goede staat bereikt, wat waardevol is onder "generated-thought" kosten maar minder onder "prefix-prefill" kosten) en prompts die het model naar een fundamenteel betere staat "sturen" (waardevol onder beide kostenconventies).
Correctheid $\neq$ Waarde: Een correct gedeeltelijke oplossing van een menselijke referentie was niet altijd waardevol. In sommige gevallen was het redundant of induceerde het ongunstige voortzettingen, wat resulteerde in negatieve of verwaarloosbare promptwaarden.
Distributie Afhankelijkheid: De waarde van een prompt varieerde aanzienlijk over verschillende kwantielen ( $\delta$ ) van de rollout-distributie, wat aangeeft dat een prompt bepaalde "thought trajectories" kan helpen terwijl het andere belemmert.

5. Betekenis en Claims

Het paper claimt een theoretisch gefundeerde, efficiënt schatbare en economisch interpreteerbare maatstaf voor de waarde van een prompt te bieden.

Theoretische Fundering: Het overbrugt algoritmische informatietheorie en LLM-economie, en biedt een formele definitie van "waarde" die zowel waarschijnlijkheid als computationele inspanning meeweegt.
Operationele Betekenis: Door de complexiteitsmaatstaf te koppelen aan de mediane token kosten van reproductie, betoogt het paper dat promptwaarde geen abstracte metriek is, maar een concrete economische besparing.
Bescheidenheid: De auteur stelt expliciet dat de maatstaf de beschrijving van het verklaarde artefact prijst. Als de definitie van het artefact gebrekkig is (bijv. bevat willekeurige ruis), zal de waardemaatstaf dat reflecteren. Ze merken ook op dat het huidige framework de waarde van een enkele prompt in een vaste context waardeert en nog niet volledig in staat is de waarde van adaptieve, multi-turn conversatiestrategieën of de kosten van het formuleren van de menselijke input zelf te vatten.

Samenvattend stelt het paper dat in een tijdperk van overvloedige AI-generatie, de waarde van menselijke bijdrage ligt in de reductie van de computationele last van het model om een specifiek resultaat te bereiken, en dat deze reductie rigoureus gekwantificeerd kan worden met behulp van LLM-relatieve Levin-complexiteit.