🤖 AI

OckBench: Measuring the Efficiency of LLM Reasoning

Dieses Paper stellt OckBench vor, den ersten Benchmark, der die Genauigkeit und Token-Effizienz von großen Sprachmodellen bei Denk- und Codierungsaufgaben gemeinsam evaluiert, dabei erhebliche Ineffizienzen aktueller Modelle aufdeckt und für einen Paradigmenwechsel hin zur Optimierung der Token-Nutzung plädiert.

Ursprüngliche Autoren: Zheng Du, Hao Kang, Song Han, Tushar Krishna, Ligeng Zhu

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zheng Du, Hao Kang, Song Han, Tushar Krishna, Ligeng Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen zwei Personen ein, um ein komplexes Rätsel zu lösen.

Person A betrachtet das Rätsel, denkt einen Moment nach und sagt: „Die Antwort ist 42.“
Person B verbringt drei Stunden damit, einen 50-seitigen Essay über die Geschichte der Zahlen, die Philosophie der Logik und ihre Kindheitserinnerungen zu schreiben, bevor sie schließlich flüstert: „Die Antwort ist 42.“

Beide Personen haben die richtige Antwort gefunden. Aber wenn Sie beide pro gesprochenem Wort bezahlen müssten, würde Person B Sie ein Vermögen kosten, Unmengen an Zeit beanspruchen und viel Energie verschwenden.

Dieses Paper, OckBench, ist im Wesentlichen ein Zeugnis, das aufhört, KI-Modelle nur daran zu messen, ob sie die richtige Antwort finden. Stattdessen bewertet es, wie effizient sie dorthin gelangen. Es wendet „Occams Rasiermesser“ auf die KI an: Entitäten dürfen nicht über das Notwendige hinaus vervielfältigt werden. Mit anderen Worten: Benutzen Sie nicht 1.000 Wörter, wenn 10 ausreichen.

Hier ist die Aufschlüsselung dessen, was die Forscher herausgefunden haben, einfach erklärt:

1. Das Problem: Die „geschwätzige“ KI-Steuer

Aktuelle KI-Benchmarks sind wie ein Multiple-Choice-Test, dem es nur wichtig ist, ob man den richtigen Buchstaben ankreuzt. Es ist ihnen egal, ob man am Rand ein Roman geschrieben hat, um dorthin zu gelangen.

Die Forscher stellten fest, dass moderne KI-Modelle (wie GPT-5.5 oder Claude) sehr gut im Schlussfolgern geworden sind, aber auch unglaublich wortreich geworden sind. Sie generieren massive Mengen an Text („Reasoning Traces“), um Probleme zu lösen. Das ist teuer. Jedes zusätzliche Wort kostet Geld, erhöht die Wartezeiten und verbraucht mehr Elektrizität.

2. Die Lösung: OckBench und OckScore

Um diese blinde Stelle zu beheben, hat das Team OckBench entwickelt. Es ist ein spezifischer Satz von 200 schwierigen Fragen in Mathematik, Programmierung und Wissenschaft.

Aber hier ist der Trick: Sie haben nicht einfach zufällige Fragen ausgewählt. Sie verwendeten einen „Differenzierungsfilter“. Sie haben gezielt Fragen gewählt, bei denen einige KIs kurze, kluge Antworten geben und andere lange, abschweifende Antworten. Dies legt die „Effizienzlücke“ offen.

Sie haben auch einen neuen Score namens OkScore erfunden.

Alter Weg: Score = Genauigkeit.
OckScore: Score = Genauigkeit minus ein Abzug für zu viel Wortreichweite.

Denken Sie an Golf: Man möchte die niedrigste Zahl (höchste Genauigkeit), aber wenn man 20 Schläge braucht, um den Ball ins Loch zu versenken (zu viele Token), verschlechtert sich das Ergebnis. Die besten Spieler versenken ihn in ein oder zwei Schlägen.

3. Die drei großen Entdeckungen

Entdeckung 1: Die „Überdenk-Steuer“ (Overthinking Tax)

Man könnte annehmen, dass kleinere, günstigere KI-Modelle immer besser für den Geldbeutel sind. OckBench zeigt, dass dies oft falsch ist.

Kleinere Modelle leiden oft unter einer „Überdenk-Steuer“. Da sie nicht so intelligent sind, versuchen sie dies durch massives Reden zu kompensieren. Sie schwafeln, wiederholen sich selbst und generieren riesige Textwände, um die Antwort zu finden.

Beispiel: Ein kleines Modell kostet vielleicht Bruchteile eines Cents pro Wort, aber weil es 100.000 Wörter schreibt, um ein Problem zu lösen, kostet es am Ende mehr als ein intelligentes Modell, das es in 5.000 Wörtern löst.

Entdeckung 2: Die Open- vs. Closed-Lücke

Es gibt einen großen Unterschied zwischen „Closed-Weight“-Modellen (wie jenen von OpenAI oder Anthropic) und „Open-Weight“-Modellen (wie DeepSeek oder Qwen, die der Öffentlichkeit zur Verfügung stehen).

Closed Models: Diese sind wie effiziente Chirurgen. Sie schneiden direkt zum Kern des Problems vor.
Open Models: Diese sind wie enthusiastische Praktikanten. Sie werden zwar besser darin, die richtige Antwort zu finden, sind aber immer noch sehr geschwätzig.

Das Paper zeigt, dass ein Open-Model die gleiche Genauigkeit wie ein Closed-Model haben kann, aber dafür 26-mal mehr Wörter verwendet, um dorthin zu gelangen. Das ist eine massive Ressourcenverschwendung.

Entdeckung 3: „Per-Token-Intelligenz“

Die Forscher haben den Begriff „Per-Token-Intelligenz“ geprägt. Dieser misst, wie viel „Intelligenz“ in jedem Wort steckt, das die KI generiert.

Hohe Per-Token-Intelligenz: Die KI sagt nur das Notwendige. Dicht, präzise, effizient.
Niedrige Per-Token-Intelligenz: Die KI füllt den Platz mit Floskeln. Dünn, repetitiv, ineffizient.

Überraschenderweise tendieren die klügeren Modelle zu einer höheren Per-Token-Intelligenz. Je intelligenter die Modelle werden, desto kürzer werden ihre Antworten, weil sie nicht herumschwafeln müssen, um die Antwort zu finden.

4. Können wir das beheben?

Ja. Das Paper zeigt, dass wir Modelle lehren können, weniger geschwätzig zu sein, ohne sie dümmer zu machen.

Mischen von Modellen: Durch das Mischen eines „Thinking“-Modells mit einem Standardmodell konnten sie die Wortanzahl halbieren, während die Genauigkeit stabil blieb.
Training: Indem man Modelle darauf trainiert, sich selbst für zu lange Texte zu bestrafen (wie ein Lehrer, der sagt: „Sei prägnant!“), kann man die „Überdenk-Steuer“ reduzieren.

Das Fazit

Das Paper argumentiert, dass die KI-Community ihr Mindset ändern muss. Wir sollten nicht nur fragen: „Hat die KI die richtige Antwort gefunden?“ Wir müssen auch fragen: „Ist sie dorthin gelangt, ohne unsere Zeit, unser Geld und unseren Strom zu verschwenden?“

In Zukunft wird die beste KI nicht nur die klügste sein, sondern die prägnanteste. Wie der Titel suggeriert, müssen wir Occams Rasiermesser anwenden: Vervielfältigen Sie Token nicht über das Notwendige hinaus.

Technisches Resümee: OckBench: Messung der Effizienz von LLM-Reasoning

1. Problemstellung

Während Large Language Models (LLMs) signifikante Fortschritte in der automatisierten Argumentation und Codegenerierung gemacht haben, konzentrieren sich aktuelle Evaluierungs-Benchmarks (z. B. HELM, Chatbot Arena) fast ausschließlich auf die Genauigkeit und Qualität des Outputs. Dieser Ansatz vernachlässigt eine entscheidende Dimension: die Token-Effizienz.

Da Modelle zunehmend lange Reasoning-Spuren (z. B. Chain-of-Thought, Best-of-N) nutzen, um komplexe Aufgaben zu lösen, ist die Anzahl der generierten Tokens erheblich gestiegen. Dies schafft einen „Token-Effizienz-Engpass“ mit drei wesentlichen Konsequenzen:

Latenz und Kosten: Jedes generierte Token erhöht die Inferenzzeit und die API-Kosten.
Energieverbrauch: Die Inferenzenergie von LLMs korreliert stark mit der Ausgabelänge; lange Generationen akkumulieren bei großem Maßstab erhebliche CO2-Kosten.
Das „Overthinking“-Phänomen: Modelle, insbesondere kleinere oder Open-Weight-Modelle, generieren oft verbose (wortreiche) Reasoning-Pfade, die die Genauigkeit nicht verbessern, und zahlen effektiv eine „Overthinking Tax“, die sie trotz niedrigerer Preise pro Token teurer in der Bereitstellung macht.

Das Paper argumentiert, dass Korrektheit allein nicht ausreicht; ein Modell, das die richtige Antwort über einen „umständlichen Weg“ (übermäßige Tokens) erreicht, ist weniger intelligent als eines, das einen prägnanten Pfad findet.

2. Methodik: OckBench und OckScore

Um das Fehlen einer effizienzorientierten Evaluierung zu adressieren, führen die Autoren OckBench ein, einen Benchmark, der darauf ausgelegt ist, Genauigkeit und Token-Verbrauch gemeinsam zu bewerten.

2.1 Zusammensetzung des Benchmarks

OckBench deckt drei Kernbereiche ab:

Mathematik: Die Datensätze enthalten GSM8K, AIME 2024/2025, OlympiadBench, MATH500 und Teilmengen von Humanity's Last Exam.
Software Engineering: Varianten von MBPP und LiveCodeBench.
Wissenschaftliches Reasoning: ScienceQA, STEM MMLU und GPQA-Diamond.

2.2 Der Differenzierungsfilter

Standardmäßiges Random Sampling ist oft wenig informativ für die Effizienz. OckBench verwendet einen Differentiation Filter, um Probleme auszuwählen, die Effizienzlücken aufzeigen:

Difficulty Banding: Probleme werden gefiltert, um sicherzustellen, dass die durchschnittliche Genauigkeit über einen diversen Modellsatz zwischen 0,1 und 0,9 liegt (die „Reasoning Frontier“).
Maximierung der Token-Varianz: Aus dem verbleibenden Pool werden die Top- $k$ -Instanzen basierend auf der Varianz des Token-Verbrauchs ( $Var(L_x)$ ) ausgewählt. Dies stellt sicher, dass der Benchmark Probleme enthält, bei denen einige Modelle prägnant argumentieren, während andere „plappern“, was effizientes von ineffizientem Reasoning effektiv trennt.
Der finale v1.0-Satz besteht aus 200 Problemen (100 Mathematik, 60 Coding, 40 Wissenschaft).

2.3 Evaluierungsprotokoll

Decoding: Greedy Decoding (Temperatur = 0) wird verwendet, um Sampling-Rauschen zu eliminieren.
Metrik: Output Tokens werden als die vollständige generierte Antwort (Reasoning + finale Antwort) vor dem End-of-Sequence (EOS) Token gemessen.
Einheitliche Metrik (OckScore): Die Autoren schlagen den OckScore ( $S_{ock}$ ) vor, um Genauigkeit und Kürze auszubalancieren:
$S_{ock} = \text{Genauigkeit} - \lambda \cdot \log\left(\frac{T}{C} + 1\right)$
Wobei:
- $\text{Genauigkeit}$ die Pass-Rate (0–100) ist.
- $T$ die durchschnittliche Anzahl der Output-Tokens ist.
- $\lambda$ der Straffkoeffizient ist (festgelegt auf 10).
- $C$ eine Normalisierungskonstante (10.000) ist.
Diese Formulierung priorisiert die Korrektheit (Genauigkeit ist die Basis), wendet aber eine logarithmische Strafe auf die Verbosiät an. Die logarithmische Skala berücksichtigt die Größenordnungen-Varianz im Token-Verbrauch, ohne notwendige Komplexität übermäßig zu bestrafen.

3. Kernergebnisse

Die Autoren evaluierten 37 Modell/Setting-Einträge, einschließlich proprietärer Modelle (GPT-5.4/5.5, Claude Opus 4.5–4.7, Gemini 3/3.1) und Open-Weight-Modelle (DeepSeek, Kimi, Qwen, GLM, etc.).

3.1 Die Effizienzlücke

Proprietär vs. Open-Weight: Bei gleicher Genauigkeit verbrauchen Open-Weight-Modelle oft signifikant mehr Tokens. Beispielsweise erreichte DeepSeek-V4-Flash (max) eine Genauigkeit von 82,5 %, nutzte aber 83,6k Tokens, während GPT-5.4 (medium) eine Genauigkeit von 82,0 % mit nur 3,2k Tokens erreichte (ein Unterschied von 26,3×).
Intra-Familien-Varianz: Selbst innerhalb derselben Modellfamilie variiert die Effizienz stark. Claude Opus 4.7 reduzierte die durchschnittliche Ausgabelänge von 28,6k (Opus 4.6) auf 7,5k Tokens, während die Genauigkeit nahezu identisch blieb (83,0 % vs. 84,5 %).

3.2 Die „Overthinking Tax“

Kleinere Modelle zahlen oft eine „Overthinking Tax“. In der Qwen3.5-Familie verbesserte die Skalierung von 9B auf 397B-A17B die Genauigkeit von 21,5 % auf 67,5 %, während die durchschnittliche Ausgabelänge um das 4,4-Fache reduziert wurde (von 116,2k auf 26,2k Tokens). Umgekehrt generierte das kleinere 9B-Modell ein verboses, wenig ertragreiches Reasoning, das es trotz niedrigerer Parameterzahlen teurer in der Bereitstellung machte.

3.3 Token-Verteilungen

Die Analyse der Token-Verteilungen zeigt, dass Frontier-Modelle (z. B. GPT-5.5, Gemini 3.1 Pro) im Bereich von wenigen tausend Tokens konzentriert sind. Im Gegensatz dazu weisen Modelle wie Kimi-K2.6 und DeepSeek-V4 Pro „schwere High-Token-Tails“ auf, die oft die Kontextfenster-Limits erreichen oder exzessives Reasoning selbst für Probleme generieren, die sie nicht lösen können.

3.4 Optimierungspfade

Das Paper zeigt, dass Effizienz verbessert werden kann, ohne ein Modell von Grund auf neu zu trainieren:

Modell-Interpolation: Das Mergen der Gewichte von Qwen3-Thinking und Qwen3-Instruct (6:4 Verhältnis) reduzierte die durchschnittliche Ausgabelänge von ~27k auf ~12k Tokens bei gleichbleibender Genauigkeit, was den OckScore verbesserte.
Reinforcement Learning (RL): Die Anwendung von DIET, einem schwierigkeitsbewussten RL-Framework, auf DeepSeek-R1-Distill-Qwen-7B reduzierte die Tokens von 41k auf 23k und verbesserte den OckScore von 7,39 auf 10,23.

4. Bedeutung und Behauptungen

Das Paper behauptet, dass Per-Token-Intelligenz – die Fähigkeit, komplexe Probleme korrekt und prägnant zu lösen – eine kritische, bisher übersehene Dimension der Modellkapazität ist.

Paradigmenwechsel in der Evaluierung: Die Autoren plädieren für einen Paradigmenwechsel von genauigkeitszentrierten Benchmarks hin zu Metriken, die unnötige Verbosiät bestrafen. Sie behaupten, dass „Tokens nicht über die Notwendigkeit hinaus multipliziert werden sollten“, und beziehen sich dabei auf Ockams Rasiermesser.
Systemische Auswirkungen: Indem sie hervorheben, dass günstigere Kosten pro Token keine günstigeren Aufgabenkosten garantieren (aufgrund von Verbosiät), liefert das Paper eine Roadmap für Entwickler, um die Reasoning-Dichte zu optimieren.
Hardware-Agnostik: OckBench ist darauf ausgelegt, hardware-agnostisch zu sein, indem es sich auf die intrinsische Effizienz des Reasoning-Prozesses des Modells konzentriert, statt auf Serving-Latenz oder Durchsatz.

Letztlich postuliert das Paper, dass die zukünftige Modellentwicklung auf die Reasoning-Dichte optimieren muss, nicht nur auf die finale Genauigkeit, um die Skalierbarkeit und Nachhaltigkeit in realen Anwendungen zu gewährleisten.