Technische Samenvatting: OckBench: Het Meten van de Efficiëntie van LLM-redeneren

1. Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijk zijn geavanceerd in automatische redenering en codegeneratie, richten huidige evaluatiebenchmarks (bijv. HELM, Chatbot Arena) zich bijna uitsluitend op de nauwkeurigheid en kwaliteit van de output. Deze aanpak verwaarloost een cruciale dimensie: token-efficiëntie.

Naarmate modellen steeds meer gebruikmaken van lange redeneersporen (bijv. Chain-of-Thought, Best-of-N) om complexe taken op te lossen, is het aantal gegenereerde tokens aanzienlijk gegroeid. Dit creëert een "token-efficiëntie-bottleneck" met drie belangrijke gevolgen:

1. Latentie en Kosten: Elke gegenereerde token verhoogt de inferentietijd en de API-kosten.
2. Energieverbruik: De energie voor LLM-inferentie correleert sterk met de lengte van de output; lange generaties accumuleren op grote schaal aanzienlijke koolstofkosten.
3. Het "Overthinking"-fenomeen: Modellen, met name kleinere of open-weight modellen, genereren vaak excessief uitgebreide redeneerpaden die de nauwkeurigheid niet verbeteren, waardoor ze effectief een "Overthinking Tax" betalen die hen duurder maakt in gebruik, ondanks lagere prijzen per token.

Het artikel betoogt dat correctheid alleen onvoldoende is; een model dat het juiste antwoord bereikt via een "scenic route" (excessieve tokens) is minder intelligent dan een model dat een beknopt pad vindt.

2. Methodologie: OckBench en OckScore

Om het gebrek aan efficiëntie-georiënteerde evaluatie aan te pakken, introduceren de auteurs OckBench, een benchmark die ontworpen is om zowel nauwkeurigheid als tokenconsumptie gezamenlijk te evalueren.

2.1 Samenstelling van de Benchmark

OckBench bestrijkt drie kerndomeinen:

• Wiskunde: Datasets bevatten GSM8K, AIME 2024/2025, OlympiadBench, MATH500 en subsets van Humanity's Last Exam.
• Software Engineering: Varianten van MBPP en LiveCodeBench.
• Wetenschappelijk Redeneren: ScienceQA, STEM MMLU en GPQA-Diamond.

2.2 De Differentiatiefilter

Standaard willekeurige steekproeven zijn vaak niet informatief voor efficiëntie. OckBench gebruikt een Differentiatiefilter om problemen te selecteren die efficiëntiekloven blootleggen:

1. Difficulty Banding: Problemen worden gefilterd om ervoor te zorgen dat de gemiddelde nauwkeurigheid over een diverse set modellen tussen 0,1 en 0,9 valt (de "redeneerfrontier").
2. Maximaliseren van Tokenvariantie: Uit de resterende pool worden de top-$k$ instanties geselecteerd op basis van de variantie van het tokenverbruik ($Var(L_x)$). Dit zorgt ervoor dat de benchmark problemen bevat waarbij sommige modellen beknopt redeneren terwijl anderen "babbelen", wat efficiënt van inefficiënt redeneren onderscheidt.
   De uiteindelijke v1.0-set bestaat uit 200 problemen (100 wiskunde, 60 codering, 40 wetenschap).

2.3 Evaluatieprotocol

• Decoding: Greedy decoding (temperatuur = 0) wordt gebruikt om ruis door sampling te elimineren.

• Metric: Output Tokens worden gemeten als de volledige gegenereerde respons (redenering + definitief antwoord) vóór de End-of-Sequence (EOS) token.

• Verenigde Metric (OckScore): De auteurs stellen OckScore ($S_{ock}$) voor om nauwkeurigheid en beknoptheid in balans te brengen:
  $$S_{ock} = \text{Accuracy} - \lambda \cdot \log\left(\frac{T}{C} + 1\right)$$
  Waar:

  • $\text{Accuracy}$ de pass rate is (0–100).
  • $T$ het gemiddelde aantal output tokens is.
  • $\lambda$ een strafcoëfficiënt is (gesteld op 10).
  • $C$ een normalisatieconstante is (gesteld op 10.000).

  Deze formulering geeft prioriteit aan correctheid (nauwkeurigheid is de basis) terwijl een logaritmische straf wordt toegepast op verbositeit. De logaritmische schaal vangt de variaties van grootteordes in tokengebruik op zonder noodzakelijke complexiteit te zwaar te bestraffen.

3. Belangrijkste Resultaten

De auteurs evalueerden 37 model/instelling-items, inclus\u00adbij propriëtaire modellen (GPT-5.4/5.5, Claude Opus 4.5–4.7, Gemini 3/3.1) en open-weight modellen (DeepSeek, Kimi, Qwen, GLM, etc.).

3.1 De Efficiëntiekloof

• Propriëtair versus Open-Weight: Bij een gelijkwaardig nauwkeurigheidsniveau verbruiken open-weight modellen vaak aanzienlijk meer tokens. Bijvoorbeeld: DeepSeek-V4-Flash (max) behaalde 82,5% nauwkeurigheid maar gebruikte 83,6k tokens, terwijl GPT-5.4 (medium) 82,0% nauwkeurigheid behaalde met slechts 3,2k tokens (een verschil van 26,3×).
• Intra-familie Variantie: Zelfs binnen dezelfde modellijn varieert efficiëntie enorm. Claude Opus 4.7 verminderde de gemiddelde outputlengte van 28,6k (Opus 4.6) naar 7,5k tokens terwijl de nauwkeurigheid bijna identiek bleef (83,0% vs. 84,5%).

3.2 De "Overthinking Tax"

Kleinere modellen betalen vaak een "Overthinking Tax". In de Qwen3.5-familie verbeterde het opschalen van 9B naar 397B-A17B de nauwkeurigheid van 21,5% naar 67,5%, terwijl de gemiddelde outputlengte met 4,4× werd verlaagd (van 116,2k naar 26,2k tokens). Omgekeerd genereerde het kleinere 9B-model uitgebreide, laag-renderende redeneringen die het duurder maakten om te implementeren ondanks de lagere parametercounts.

3.3 Tokenverdelingen

Analyse van de tokenverdelingen laat zien dat frontier-modellen (bijv. GPT-5.5, Gemini 3.1 Pro) geconcentreerd zijn in het bereik van enkele duizenden tokens. In contrast hiermee vertonen modellen zoals Kimi-K2.6 en DeepSeek-V4 Pro "zware high-token tails", waarbij ze vaak de limieten van het contextvenster bereiken of excessieve redeneringen genereren, zelfs voor problemen die ze niet oplossen.

3.4 Optimalisatiepaden

Het artikel demonstreert dat efficiëntie kan worden verbeterd zonder vanaf nul te trainen:

• Model Interpolatie: Het samenvoegen van Qwen3-Thinking en Qwen3-Instruct gewichten (6:4 ratio) verminderde de gemiddelde outputlengte van ~27k naar ~12k tokens terwijl de nauwkeurigheid behouden bleef, wat de OckScore verbeterde.
• Reinforcement Learning (RL): Het toepassen van DIET, een moeilijkheidsbewust RL-framework, op DeepSeek-R1-Distill-Qwen-7B verminderde de tokens van 41k naar 23k en verbeterde de OckScore van 7,39 naar 10,23.

4. Betekenis en Claims

Het artikel claimt dat Per-Token Intelligentie—het vermogen om complexe problemen correct en beknopt op te lossen—een cruciale, voorheen over het hoofd geziene dimensie van modelcapaciteit is.

• Verschuiving in Evaluatie: De auteurs pleiten voor een paradigmaverschuiving van nauwkeurigheid-gecentreerde benchmarks naar metrieken die onnodige verbositeit bestraffen. Zij stellen dat "tokens niet boven noodzaak vermenigvuldigd moeten worden", waarbij zij verwijzen naar Ockhams Scheermes.
• Systemische Impact: Door te benadrukken dat lagere kosten per token geen lagere taalkosten garanderen (door verbositeit), biedt het artikel een roadmap voor ontwikkelaars om de redeneerdichtheid te optimaliseren.
• Hardware-agnostisch: OckBench is ontworpen om hardware-agnostisch te zijn, waarbij de focus ligt op de intrinsieke efficiëntie van het redeneerproces van het model in plaats van op serving-latentie of doorvoer.

Uiteindelijk stelt het artikel dat toekomstige modelontwikkeling moet optimaliseren voor redeneerdichtheid, niet alleen voor uiteindelijke nauwkeurigheid, om schaalbaarheid en duurzaamheid in real-world implementaties te waarborgen.