🤖 AI

The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach

Dieses Paper schlägt eine effizient schätzbare Metrik zur Quantifizierung des wirtschaftlichen Wertes von Prompts vor, die an Large Language Models gegeben werden, indem es diese als algorithmische gegenseitige Information auf Basis einer neuartigen LLM-relativen probabilistischen Levin–Kolmogorov-Komplexität ( $pKt$ ) definiert, welche erfasst, wie sehr ein Prompt den Rechenaufwand reduziert oder die Wahrscheinlichkeit erhöht, ein Zielartefakt zu generieren.

Ursprüngliche Autoren: Rafael Pass

Veröffentlicht 2026-08-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rafael Pass

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der modernen Wirtschaft der künstlichen Intelligenz entsteht eine neue Art von Währung, die nicht in Dollar oder Token gemessen wird, sondern in der Qualität der Fragen, die wir stellen. Große Sprachmodelle sind zu leistungsstarken Motoren geworden, die in der Lage sind, Beweise zu generieren, Code zu schreiben oder neue Materialien zu entwerfen, doch sie operieren nicht in einem Vakuum. Sie benötigen einen Funken vom Menschen, einen Prompt, um ihre Arbeit aufzunehmen. Jahrelang hat sich die Branche fast ausschließlich auf den Output konzentriert: Wie gut ist die Geschichte, wie korrekt ist der Code, wie elegant ist das Design. Doch während diese Maschinen leistungsfähiger werden, verschiebt sich die zentrale wirtschaftliche Frage. Es geht nicht mehr nur darum, was die Maschine produzieren kann, sondern darum, welchen Wert im menschlichen Input verbleibt, der sie geleitet hat. Wenn eine Person einen Hinweis, eine Kritik oder eine Teillösung liefert, wie viel hat dieser spezifische Input der Maschine tatsächlich geholen, ihr Ziel zu erreichen?

Dies ist ein schwieriges Problem, da ein kurzer, kluger Hinweis mehr wert sein kann als eine lange, ausschweifende Anweisung, und ein falscher Hinweis schlimmer sein kann als gar kein Hinweis. Das bloße Zählen von Wörtern oder Zeichen in einem Prompt scheitert daran, dessen wahren Wert zu erfassen. Um dies zu lösen, haben sich Forscher einem mathematischen Feld namens algorithmische Informationstheorie zugewandt, die traditionell die Komplexität eines Objekts dadurch misst, wie viel Information benötigt wird, um es zu beschreiben. Die Forscher in dieser Studie stellten eine neue Frage: Was wäre, wenn wir die Komplexität nicht gegen einen perfekten, theoretischen Computer messen, sondern gegen das spezifische Modell der künstlichen Intelligenz, das die Arbeit verrichtet? Sie erkannten, dass wir, um den Beitrag eines Menschen wirklich zu bewerten, den eigenen „Denkprozess“ der Maschine berücksichtigen müssen. Moderne Modelle pausieren oft, um eine Kette von Argumentationen zu generieren, bevor sie eine Antwort geben, und ein guter Prompt könnte die Maschine davon abhalten, so lange nachzudenken, oder sie in eine produktivere Richtung lenken.

Die Forscher entwickelten eine neue Methode, um diesen Wert zu messen, indem sie den Prompt als ein Werkzeug behandelten, das den Aufwand reduziert, den die Maschine benötigt, um erfolgreich zu sein. Sie stellten sich ein Szenario vor, in dem eine Maschine versucht, ein spezifisches Ergebnis zu reproduzieren, wie etwa einen mathematischen Beweis, zuerst allein und dann mit einem Hinweis eines Menschen. Sie maßen den Unterschied nicht nur daran, wie viel wahrscheinlicher es für die Maschine war, die richtige Antwort zu finden, sondern daran, wie viel „Denkzeit“ sie einsparte. In ihrem Rahmenmodell werden die internen Argumentationsschritte der Maschine wie ein zufälliger Pfad behandelt, den sie beschreiten muss. Ein wertvoller Prompt ist einer, der den korrekten Pfad viel kürzer oder viel offensichtlicher macht und somit effektiv die Anzahl der Schritte reduziert, die die Maschine unternehmen muss, um die Lösung zu finden. Sie definierten diesen Wert in Bezug auf eine „Token-Kosten“-Einheit, eine Methode, um den Rechenaufwand zu zählen, den die Maschine aufwendet. Wenn ein Prompt die Aufgabe der Maschine doppelt so einfach macht, hat er einen gewissen Wert; wenn er die Aufgabe tausendmal leichter macht, ist der Wert wesentlich höher.

Um ihre Ideen zu testen, führte das Team eine Reihe von Experimenten mit einem Standardset von Grundschul-Mathematikaufgaben durch. Sie baten ein großes Sprachmodell, diese Probleme zu lösen, wobei sie manchmal den ersten Schritt der Lösung als Hinweis gaben und manchmal es von vorn beginnen ließen. Sie fanden heraus, dass es nicht ausreichte, lediglich die Wahrscheinlichkeit zu betrachten, mit der das Modell die richtige Antwort findet. In mehreren Fällen führte die Bereitstellung des korrekten ersten Schrittes zu Beginn dazu, dass die endgültige Antwort zu Beginn sogar weniger wahrscheinlich erschien, weil das Modell seinen Argumentationsprozess noch nicht gestartet hatte. Soblich das Modell jedoch erlaubt war, zu „denken“ und seine eigenen Argumentationsschritte zu generieren, erwies sich der Hinweis als unglaublich wertvoll. Er leitete den Denkprozess des Modells so effektiv, dass es die korrekte Antwort viel schneller und mit weit weniger Aufwand erreichte, als es dies auf eigene Faust getan hätte. Dies zeigte, dass der wahre Wert eines Prompts oft darin liegt, wie er den internen Denkprozess der Maschine formt, und nicht nur in den unmittelbar produzierten Worten.

Die Studie zeigte auch, dass der Wert eines Prompts keine einzelne, feste Zahl ist. Er hängt von dem spezifischen Pfad ab, den die Maschine nimmt. Manchmal hilft ein Hinweis der Maschine in den meisten Situationen, aber in seltenen Fällen kann er sie in eine Sackgasse führen. Die Forscher fanden heraus, dass sie durch die Betrachtung des „Median“-Ergebnisses – des typischen Resultats statt des besten oder schlechtesten Falls – ein zuverlässiges Maß für den Wert erhalten konnten. Sie entdeckten, dass ein korrekter Hinweis eines Menschen für das spezifische Modell, das sie testeten, bei einigen Problemen tatsächlich schädlich oder nutzlos war, was darauf hindeutet, dass das, was einem Menschen als gute Idee erscheint, für eine künstliche Intelligenz redundant oder verwirrend sein kann. Dies unterstreicht, dass der Wert menschlichen Inputs tief mit der spezifischen Maschine verwoben ist, mit der er kommuniziert, und mit der Art und Weise, wie diese Maschine Informationen verarbeitet.

Letztendlich bietet diese Arbeit eine rigorose Methode, um den Beitrag eines Menschen in einem Zeitalter zu quantifizieren, in dem Maschinen die schwere Arbeit leisten. Sie geht über die Vorstellung hinaus, dass die Maschine der alleinige Schöpfer ist, und erkennt an, dass die Rolle des Menschen darin besteht, den effizienten Pfad durch den riesigen Raum der Möglichkeiten bereitzustellen. Indem wir messen, wie viel ein Prompt an Denkzeit und Aufwand der Maschine einspart, können wir beginnen, den wahren wirtschaftlichen Wert menschlicher Führung zu verstehen. Die Forscher zeigten, dass dieser Wert berechnet und geschätzt werden kann, was eine neue Perspektive auf die Partnerschaft zwischen Mensch und Maschine eröffnet. Wenn künstliche Intelligenz immer stärker in unser Leben integriert wird, wird das Verständnis des Wertes der Prompts, die wir ihr geben, entscheidend dafür sein, zu wissen, wo die eigentliche Arbeit geleistet wird und wer die Anerkennung für die Ergebnisse verdient.

Technisches Resümee: Der Wert eines Prompts: Ein LLM-relativer Kolmogorov-Komplexitäts-Ansatz

1. Problemstellung

Da Large Language Models (LLMs) zunehmend zentral für die Erstellung wertvoller Artefakte (Beweise, Code, Designs, Hypothesen) werden, stellt sich eine kritische ökonomische Frage: Wie messen wir den Wert des menschlichen Inputs (des Prompts), der dem Modell bereitgestellt wird?

Traditionelle Metriken, wie etwa die Token-Anzahl, erfassen den Wert nicht, da ein kurzer Hinweis entscheidend sein kann, während ein langer Prompt irrelevant sein mag. Ein robustes Maß muss zwei Kriterien erfüllen:

Vergleichende Schwierigkeit: Es muss die Schwierigkeit der Erzeugung eines Artefakts $z$ mit und ohne den Prompt $p$ vergleichen.
Rechenaufwand-Trade-off: Es muss berücksichtigen, dass ein Modell ohne Prompt dies durch längeres „Nachdenken“ kompensieren kann. Daher muss das Maß für diesen zusätzlichen Rechenaufwand eine Gebühr erheben und den Prompt nicht nur dafür kreditieren, dass er die Wahrscheinlichkeit des Outputs erhöht, sondern auch dafür, dass er den erforderlichen Rechenaufwand zur Auffindung des Ergebnisses reduziert.

Die bestehende algorithmische Informationstheorie (Kolmogorov-Komplexität) ist unberechenbar und ignoriert die Rechenzeit. Ressourcenbeschränkte Varianten sind oft schwer zu berechnen. Zudem kann die klassische gegenseitige Information (Mutual Information) den „Denkprozess“ (Chain of Thought), der in modernen LLMs inhärent ist, nicht natürlich handhaben.

2. Methodik

Das Paper schlägt einen LLM-relativen Begriff der probabilistischen Levin–Kolmogorov-Komplexität, bezeichnet als $\tilde{pKt}$ , vor, um den Wert eines Prompts zu definieren. Der Ansatz entwickelt sich von Modellen ohne Denkphase hin zu Modellen mit expliziten Denkphasen.

2.1 Nicht-denkende LLMs (Warm-up)

Für autoregressive Modelle, die den Output direkt generieren, ohne eine separate Denkphase zu nutzen:

LLM-relative Komplexität: Die universelle Turing-Maschine wird durch das spezifische LLM $M$ ersetzt. Ein „Programm“ wird als binäre Zeichenfolge definiert, die die Sampling-Randomness (ein dyadisches Intervall) darstellt, die das Modell dazu zwingt, eine bestimmte Zeichenfolge $z$ auszugeben.
A-priori-Komplexität: Um dies effizient berechenbar zu machen, verwendet der Autor die Log-Wahrscheinlichkeit des Outputs: $\tilde{K}_M(z|y) = -\log_2 P_M(z|y)$ .
Prompt-Wert: Definiert als die Differenz der A-priori-Komplexität: $\tilde{Val}_M(p; z) = \tilde{K}_M(z) - \tilde{K}_M(z|p)$ . Dies entspricht der Log-Likelihood-Ratio (Punktweise Mutual Information) und gibt an, wie viel wahrscheinlicher $z$ mit Prompt $p$ im Vergleich zu ohne Prompt ist.

2.2 Denkende LLMs

Moderne LLMs generieren oft eine „Denkroute“ $H$ (Chain of Thought), bevor sie das endgültige Artefakt $z$ ausgeben. Dies führt zwei Herausforderungen mit sich:

Randomness des Denkens: Die Denkroute $H$ ist stochastisch. Ein einfaches Mitteln über alle möglichen Gedanken kann durch seltene, hochgradig erfolgreiche Pfade verzerrt werden.
Rechenersparnis: Ein guter Prompt könnte nicht nur die Wahrscheinlichkeit bei festem Aufwand erhöhen; er könnte auch die Notwendigkeit langer Denksequenzen eliminieren.

Die vorgeschlagene Lösung:

Realisierte-Gedanken-Levin-Komplexität: Für eine feste realisierte Denkroute $H$ wird die Komplexität von $z$ durch Minimierung der Summe aus der Beschreibungslänge (Log-Wahrscheinlichkeit von $z$ gegeben $H$ ) und dem Logarithmus der Kosten des Denk-Präfixes definiert:
$\tilde{Kt}^\kappa_M(z | y; H) := \min_{t} \left( -\log_2 P_M(z | y H_{\le t} \text{EOT}) + \log_2 \kappa(t) \right)$
Hierbei ist $\kappa(t)$ eine Token-äquivalente Kostenfunktion für $t$ Denk-Token. Die Minimierung über $t$ ermöglicht es dem Modell, das Denken frühzeitig abzubrechen, wenn die Erfolgswahrscheinlichkeit hoch genug ist, um die Kosten zu kompensieren.
Probabilistische Komplexität ( $\tilde{pKt}$ ): Da $H$ zufällig ist, definiert der Autor die Komplexität als den Median (oder $\delta$ -Quantil) der realisierten Denkkomplexitäten über viele Sampling-Rollouts hinweg. Dies vermeidet die Sensitivität gegenüber seltenen, „glücklichen“ Denkpfaden.
$\tilde{pKt}^\kappa_{M,\delta}(z | y) := \text{med}_\delta \left[ \tilde{Kt}^\kappa_M(z | y; H_y) \right]$
Prompt-Wert: Der endgültige Wert ist die Differenz dieser probabilistischen Komplexitäten:
$\tilde{Val}^\kappa_{M,\delta}(p; z) = \tilde{pKt}^\kappa_{M,\delta}(z) - \tilde{pKt}^\kappa_{M,\delta}(z | p)$

3. Zentrale Beiträge

LLM-relativer Komplexitätsrahmen: Das Paper passt die Kolmogorov- und Levin-Komplexität an die spezifische Architektur von LLMs an, indem es das Modell selbst als Referenzmaschine und seine Sampling-Randomness als Programmband behandelt.
Umgang mit „Denken“: Es führt eine neuartige Methode ein, um den Wert von Prompts für Modelle mit Chain of Thought zu bewerten, indem die realisierte Denkphase als zufälliges Band behandelt und eine Levin-ähnliche Zielgröße (Beschreibungslänge + Log-Zeit) über das Denk-Präfix minimiert wird.
Effiziente Schätzbarkeit: Im Gegensatz zur klassischen ressourcenbeschränkten Kolmogorov-Komplexität ist das vorgeschlagene Maß effizient schätzbar. Das Paper liefert ein Protokoll zur Schätzung der Median-Komplexität mittels einer polynomiellen Anzahl von Rollouts mit Hochwahrscheinlichkeits-Fehlergrenzen.
Ökonomische Interpretation (Token-Kosten): Der Autor beweist einen fundamentalen Satz: $2^{\tilde{pKt}}$ $2^{\tilde{p K t}}$ entspricht exakt den medialen Token-Kosten der Reproduktion des Artefakts in einem spezifischen Experiment.
- Wenn ein Prompt einen Wert von $b$ Bits hat, bedeutet dies, dass die Reproduktion des Artefakts ohne den Prompt typischerweise $2^b$ -mal mehr in Token-äquivalenten Einheiten kostet als die Reproduktion mit dem Prompt.
Abgrenzung zu vorangegangener Arbeit: Das Paper stellt klar, dass während die „Nicht-Denken“-Komponente mit der Punktweisen Mutual Information (PMI) und jüngsten „Human Contribution“-Scores (z. B. Xie et al.) übereinstimmt, die explizite Handhabung von Berechnung und Denken der neuartige Beitrag ist.

4. Experimentelle Ergebnisse

Der Autor evaluierte das Maß an 12 Problemen aus dem GSM8K-Datensatz (mathematische Textaufgaben für Grundschüler) unter Verwendung des Modells DeepSeek-R1-Distill-Qwen-1.5B.

Denken kehrt Urteile um: In mehreren Fällen führte die Bereitstellung eines korrekten ersten Schritts (der Prompt) dazu, dass das endgültige Ergebnis bei $t=0$ (ohne Denken) zunächst weniger wahrscheinlich war. Sob_dem die Denkphase einbezogen wurde, wurde der Prompt-Wert jedoch positiv. Dies zeigt, dass eine nicht-denkende, rein auf Wahrscheinlichkeit basierende Metrik im Vergleich zum vorgeschlagenen, denkungsbewussten Maß ein entgegengesetztes qualitatives Urteil liefern kann.
Beschleunigung vs. Steuerung: Die Ergebnisse unterschieden zwischen Prompts, die die Berechnung lediglich „beschleunigen“ (was unter „Generated-Thought“-Kosten wertvoll ist, aber weniger unter „Prefix-Prefill“-Kosten), und Prompts, die das Modell zu einem fundamental besseren Zustand „steuern“ (wertvoll unter beiden Kostenkonventionen).
Korrektheit $\neq$ Wert: Eine korrekte Teillösung aus einer menschlichen Referenz war nicht immer wertvoll. In einigen Fällen war sie redundant oder induzierte ungünstige Fortsetzungen, was zu negativen oder vernachlässigbaren Prompt-Werten führte.
Distributionsabhängigkeit: Der Wert eines Prompts variierte signifikant über verschiedene Quantile ( $\delta$ ) der Rollout-Distribution, was darauf hindeutet, dass ein Prompt einige „Denk-Trajektorien“ unterstützen, aber andere behindern kann.

5. Bedeutung und Ansprüche

Das Paper beansprucht, ein theoretisch fundiertes, effizient schätzbares und ökonomisch interpretierbares Maß für den Wert eines Prompts zu liefern.

Theoretische Fundierung: Es schlägt eine Brücke zwischen der algorithmischen Informationstheorie und der LLM-Ökonomie und bietet eine formale Definition von „Wert“, die sowohl Wahrscheinlichkeit als auch Rechenaufwand berücksichtigt.
Operative Bedeutung: Durch die Verknüpfung des Komplexitätsmaßes mit den medianen Token-Kosten der Reproduktion argumentiert das Paper, dass der Prompt-Wert kein abstrakter Metrikwert ist, sondern eine konkrete ökonomische Ersparnis darstellt.
Bescheidenheit: Der Autor stellt explizit fest, dass das Maß die Beschreibung des deklarierten Artefakts bepreist. Wenn die Definition des Artefakts fehlerhaft ist (z. B. zufälliges Rauschen enthält), wird das Wertmaß dies widerspiegeln. Zudem wird angemerkt, dass das Framework derzeit einen einzelnen Prompt in einem festen Kontext bewertet und noch nicht die volle Tiefe adaptiver, mehrstufiger Konversationsstrategien oder der Kosten der Formulierung des menschlichen Inputs erfasst.

Zusammenfassend lässt sich sagen, dass das Paper postuliert, dass der Wert des menschlichen Beitrags in einer Ära der abundanten KI-Generierung in der Reduktion der Rechenlast des Modells zur Erreichung eines spezifischen Ergebnisses liegt, und dass diese Reduktion mittels LLM-relativer Levin-Komplexität rigoros quantifiziert werden kann.