💬 NLP

Cost-of-Pass: An Economic Framework for Evaluating Language Models

Die Arbeit stellt mit „Cost-of-Pass" ein ökonomisches Rahmenwerk vor, das die Produktivität von Sprachmodellen durch die Kombination von Genauigkeit und Inferenzkosten bewertet und zeigt, dass komplementäre Innovationen in leichten, großen und reasoning-Modellen sowie budgetbewusste Techniken wie TALE-EP entscheidend für die Steigerung der Kosteneffizienz sind.

Ursprüngliche Autoren: Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

Veröffentlicht 2026-02-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie wollen ein Haus bauen. Früher haben Sie nur einen Maßstab: „Wie gut sieht das Haus aus?" Aber heute, im Zeitalter der Künstlichen Intelligenz (KI), reicht das nicht mehr. Es geht nicht nur darum, ob das Haus schön ist, sondern auch darum, wie viel es kostet, es zu bauen.

Die Autoren dieses Papers (eine Forschungsarbeit für die Konferenz ICLR 2026) haben eine neue Art entwickelt, um KI-Modelle zu bewerten. Sie nennen es „Cost-of-Pass" (auf Deutsch etwa: „Kosten für einen Erfolg").

Hier ist die Erklärung in einfachen Worten, mit ein paar anschaulichen Vergleichen:

1. Das Grundproblem: Der teure Superheld

Stellen Sie sich KI-Modelle wie verschiedene Handwerker vor:

Leichte Modelle: Das sind schnelle, günstige Hilfskräfte. Sie können einfache Aufgaben (wie 2+2 rechnen) super schnell und billig erledigen.
Große Modelle: Das sind erfahrene Meisterhandwerker. Sie können komplexe Dinge, aber sie kosten mehr pro Stunde.
Denkende Modelle (Reasoning): Das sind Genies, die lange nachdenken, bevor sie antworten. Sie sind sehr teuer, aber bei extrem schwierigen Rätseln unschlagbar.

Das Problem bisher: Wir haben nur geschaut, wer die beste Antwort gibt. Aber wenn der Genie-Handwerker 100 Dollar kostet und der einfache Helfer nur 1 Dollar, aber beide die Aufgabe zu 90 % richtig lösen, wer ist dann eigentlich besser? Die alten Messlatten sagten nur: „Der Genie ist besser!", ignorierten aber die Kosten.

2. Die neue Idee: „Cost-of-Pass"

Die Autoren fragen stattdessen: „Wie viel Geld muss ich im Durchschnitt ausgeben, um einmal eine korrekte Antwort zu bekommen?"

Stellen Sie sich einen Automaten vor, der Kugeln wirft:

Maschine A kostet 1 Cent pro Wurf, trifft aber nur 1 von 100 Malen. Um einen Treffer zu landen, müssen Sie 100 Mal werfen. Das kostet Sie 1 Euro.
Maschine B kostet 10 Cent pro Wurf, trifft aber 1 von 2 Malen. Um einen Treffer zu landen, müssen Sie im Durchschnitt 2 Mal werfen. Das kostet Sie 20 Cent.

Obwohl Maschine A billig ist, ist Maschine B wirtschaftlich besser, weil der erwartete Kostenpreis für einen Treffer niedriger ist. Genau das berechnet „Cost-of-Pass".

3. Der Maßstab: Der menschliche Experte

Um zu wissen, ob eine KI wirklich einen guten Deal ist, vergleichen sie sie mit einem menschlichen Experten.

Wenn ein KI-Modell eine Aufgabe kostet, die ein menschlicher Mathematiklehrer in 10 Minuten für 50 Dollar lösen würde, aber die KI das in Sekunden für 5 Cent schafft, ist das ein riesiger Gewinn.
Die Forscher haben eine „Grenze" (Frontier) gezogen: Was ist der günstigste Weg, eine Aufgabe zu lösen? Ist es die KI? Ist es der Mensch? Oder eine Kombination?

4. Was haben sie herausgefunden? (Die Entdeckungen)

Jeder hat seinen Platz:
- Für einfache Rechenaufgaben (z. B. „Wie viel ist 23 + 45?") sind die kleinen, günstigen Modelle am besten. Warum einen teuren Supercomputer für 2+2 benutzen?
- Für Wissen (z. B. „Was ist die Hauptstadt von Burkina Faso?") sind große Modelle am effizientesten.
- Für knifflige Mathe-Rätsel (wie in Olympiaden) sind die teuren „Denker"-Modelle am Ende trotzdem am günstigsten, weil sie so selten Fehler machen, dass man nicht so oft neu versuchen muss.
Die Kosten sinken rasend schnell:
- Bei den schwierigen Matheaufgaben hat sich die Kosten für eine richtige Lösung in den letzten Monaten halbiert. Es ist, als würde sich die Wirtschaftlichkeit der KI in einem atemberaubenden Tempo verbessern.
Die „Tricks" helfen oft nicht:
- Viele versuchen, KI durch Tricks besser zu machen (z. B. „Lass die KI dreimal raten und nimm die häufigste Antwort" oder „Lass die KI ihre Antwort nochmal überdenken").
- Die Studie zeigt: Diese Tricks kosten oft mehr Geld, als sie sparen. Es ist wie ein Handwerker, der extra lange nachdenkt, nur um am Ende den gleichen Fehler zu machen. Die echten Fortschritte kommen nicht von Tricks, sondern von besseren Modellen selbst.

5. Warum ist das wichtig?

Bisher haben wir KI-Modelle wie Sportwagen bewertet: „Wer ist am schnellsten?"
Diese Studie sagt: „Nein, wir müssen sie wie Taxis bewerten: Wer bringt uns am günstigsten ans Ziel?"

Das hilft Unternehmen und Nutzern zu verstehen:

Welches Modell sie für welche Aufgabe buchen sollten, um Geld zu sparen.
Dass die KI-Entwicklung nicht nur „klüger", sondern auch wirtschaftlicher wird.
Dass wir nicht blind auf teure, komplexe Modelle setzen sollten, wenn einfache, billige Modelle die Aufgabe genauso gut (oder sogar besser im Verhältnis zum Preis) erledigen können.

Zusammenfassend: Die Autoren haben eine Waage erfunden, auf der auf der einen Seite die Intelligenz und auf der anderen Seite der Preis liegt. Und sie zeigen uns, wo die perfekte Balance für jede Art von Aufgabe liegt.

1. Problemstellung

Die breite Einführung von KI-Systemen in der Wirtschaft hängt davon ab, ob der durch sie erzeugte wirtschaftliche Wert die Kosten für die Inferenz (Berechnung) übersteigt. Bisherige Evaluierungsmetriken für Large Language Models (LLMs) konzentrieren sich fast ausschließlich auf die Genauigkeit (Accuracy) oder andere Leistungskennzahlen, ignorieren jedoch die monetären Kosten. Dies führt zu einem unvollständigen Bild des Fortschritts, da leistungsstärkere Modelle oft mit exponentiell steigenden Kosten einhergehen. Es fehlt ein einheitlicher Rahmen, der Leistung und Kosten integriert, um zu bestimmen, ob ein Modell ökonomisch effizienter ist als andere Modelle oder sogar menschliche Experten.

2. Methodik: Das „Cost-of-Pass"-Framework

Die Autoren leiten ihr Framework aus der ökonomischen Theorie der Produktionsfrontier (Farrell, 1957) und stochastischen Produktionsfunktionen (Aigner et al., 1977) ab. Sie betrachten LLMs als stochastische Produzenten, die bei einem gegebenen Input mit einer gewissen Wahrscheinlichkeit einen korrekten Output liefern.

Die Kernkonzepte sind:

Cost-of-Pass ( $v(m, p)$ ): Dies ist die erwartete monetäre Kosten, um eine korrekte Lösung für ein Problem $p$ zu erhalten.
- Formel: $v(m, p) = \frac{C_m(p)}{R_m(p)}$
- $C_m(p)$ : Erwartete Kosten für einen einzelnen Inferenzversuch (basierend auf Token-Nutzung und Token-Preisen).
- $R_m(p)$ : Erfolgswahrscheinlichkeit (Accuracy), dass das Modell $m$ eine korrekte Antwort liefert.
- Da LLMs stochastisch sind, beträgt die erwartete Anzahl der Versuche für einen Erfolg $1/R_m(p)$ . Das Framework integriert somit Performance und Kosten in eine einzige Metrik.
Frontier Cost-of-Pass ( $V_p$ ): Dies repräsentiert die minimal erreichbaren Kosten für ein Problem unter Berücksichtigung aller verfügbaren Optionen (verschiedene LLMs und menschliche Experten).
- $V_p(M \cup M_0) = \min(V_p(M), v(\text{Expert}, p))$
- $M_0$ ist die Baseline eines qualifizierten menschlichen Experten, dessen Kosten basierend auf Stundenlohn und benötigter Zeit geschätzt werden.
Fortschrittsmessung: Der Fortschritt wird als Abnahme der Frontier Cost-of-Pass über die Zeit gemessen, wenn neue Modelle veröffentlicht werden. Die Autoren berechnen auch den „Gain" (Gewinn), also die Kosteneinsparung, die ein neues Modell gegenüber dem vorherigen Optimum (inkl. Mensch) erzielt.
Experimentelles Setup:
- Modellkategorien: Leichtgewichtige Modelle (< $1/Mio. Token), Große Modelle und Reasoning-Modelle (spezialisiert auf logisches Schließen).
- Datensätze: Unterteilt in drei Kategorien:
  1. Basic Quantitative: Zwei-stellige Addition, GSM8K.
  2. Knowledge Based: BBQ (Bias), GPQA-Diamond (Wissenschaft).
  3. Complex Quantitative: MATH-500, AIME 2024.
- Inferenz-Techniken: Analyse von Self-Refinement, Majority Voting und budgetbewussten Techniken (TALE-EP).

3. Wichtige Beiträge

Einführung des Cost-of-Pass: Eine neue, ökonomisch fundierte Metrik, die die erwarteten Kosten für eine erfolgreiche Ausgabe quantifiziert und so die Trade-offs zwischen Genauigkeit und Kosten direkt abbildet.
Definition der Frontier Cost-of-Pass: Ein Maß für das aktuelle ökonomische Optimum im Vergleich zu menschlicher Arbeit, das als Benchmark für den Fortschritt dient.
Ökonomische Nischenanalyse: Die Studie zeigt, dass verschiedene Modellfamilien unterschiedliche ökonomische Nischen besetzen, die durch reine Genauigkeitsvergleiche verborgen bleiben.
Gegenfaktische Analyse (Counterfactuals): Durch das Entfernen bestimmter Modellfamilien aus dem Set wird deren essenzieller Beitrag zum aktuellen Kosteneffizienz-Frontier quantifiziert.
Bewertung von Inferenz-Techniken: Eine systematische Analyse, ob gängige Techniken zur Leistungssteigerung (wie Self-Refinement) ökonomisch sinnvoll sind.

4. Ergebnisse

Die empirische Analyse (Mai 2024 – Februar 2025) liefert folgende Erkenntnisse:

Ökonomische Nischen:
- Leichtgewichtige Modelle sind für einfache quantitative Aufgaben (z. B. Addition) am kosteneffizientesten, da alle Modelle hier hohe Genauigkeit erreichen und die geringsten Token-Kosten dominieren.
- Große Modelle sind für wissensintensive Aufgaben (z. B. GPQA-Diamond) am besten, da sie hier die nötige Genauigkeit bieten, ohne die extrem hohen Kosten von Reasoning-Modellen zu verursachen.
- Reasoning-Modelle (z. B. o1, DeepSeek-R1) sind für komplexe quantitative Probleme (z. B. AIME, MATH) unverzichtbar. Trotz hoher Per-Token-Kosten senken sie die Cost-of-Pass drastisch, da sie die Erfolgswahrscheinlichkeit massiv erhöhen.
Fortschritts-Trends:
- Die Frontier Cost-of-Pass für komplexe quantitative Aufgaben hat sich im letzten Jahr etwa alle 2,6 Monate halbiert.
- Dies zeigt einen exponentiellen Rückgang der Kosten für das Lösen schwieriger Probleme.
Essenzialität der Modellfamilien:
- Ohne Leichtgewichtige Modelle würde die Frontier für einfache Aufgaben signifikant steigen.
- Ohne Reasoning-Modelle würde die Frontier für komplexe mathematische Aufgaben kollabieren (da keine anderen Modelle die Aufgabe lösen könnten).
- Große Modelle sind primär für Wissensaufgaben essenziell.
Inferenz-Techniken:
- Gängige Techniken wie Self-Refinement und Majority Voting (Self-Consistency) bieten oft keine ökonomischen Vorteile. Die zusätzlichen Kosten für die Inferenz überwiegen meist die marginalen Genauigkeitsgewinne.
- Die budgetbewusste Technik TALE-EP zeigt hingegen in einigen Fällen vielversprechende Kosteneinsparungen.
Benchmark-Hacking: Das Framework ist anfällig für „Random Guessers" bei Multiple-Choice-Aufgaben, wenn diese extrem billig sind. Die Autoren schlagen Gegenmaßnahmen vor (z. B. Konsistenzprüfungen über verschiedene Reihenfolgen der Antwortoptionen).

5. Bedeutung und Fazit

Das Paper stellt einen Paradigmenwechsel in der Evaluierung von LLMs dar. Anstatt nur zu fragen „Wie genau ist das Modell?", fragt es „Wie viel kostet es, eine korrekte Antwort zu erhalten?".

Praxisrelevanz: Das Framework bietet Entwicklern und Unternehmen ein Werkzeug, um fundierte Entscheidungen über den Einsatz von Modellen zu treffen (z. B. wann ein teures Reasoning-Modell notwendig ist und wann ein billiges Modell ausreicht).
Innovationstreiber: Die Studie zeigt, dass der größte ökonomische Fortschritt nicht durch bloße Skalierung oder Inferenz-Techniken, sondern durch modellinterne Innovationen (bessere Architekturen, Reasoning-Fähigkeiten) getrieben wird.
Ressourcenallokation: Es hilft, die Entwicklung von KI-Systemen auf reale wirtschaftliche Werte auszurichten und zeigt, dass die Kosten für komplexe Aufgaben schneller sinken als erwartet.

Zusammenfassend liefert „Cost-of-Pass" eine prinzipielle Grundlage, um den Fortschritt von Sprachmodellen in ökonomischen Begriffen zu messen und die Entwicklung von KI mit realen wirtschaftlichen Anforderungen in Einklang zu bringen.