Do LLMs Overthink Basic Math Reasoning? Benchmarking the Accuracy-Efficiency Tradeoff in Language Models

Titel: Do LLMs Overthink Basic Math Reasoning?

Auteurs: Gaurav Srivastava, Aafiya Hussain, Sriram Srinivasan, Xuan Wang (Virginia Tech)
Datum: April 2026 (gepubliceerd op arXiv)

1. Het Probleem: De "Overthinking" Paradox

Grote Taalmodellen (LLMs) presteren indrukwekkend op complexe wiskundige benchmarks (zoals GSM8K), maar falen vaak op basisrekenvaardigheden. Het paper identificeert een fundamenteel probleem: Overthinking.

• Observatie: Modellen genereren vaak onnodig lange "Chain-of-Thought" (CoT) redeneringen voor simpele taken (bijv. $234 + 567$), waarbij ze honderden tokens besteden aan het uitleggen van plaatswaarden of het herhalen van verificatiestappen.
• Gevolg: Deze verbaaliteit leidt niet tot hogere nauwkeurigheid; integendeel, het kan de nauwkeurigheid verlagen door fouten in lange ketens en zorgt voor inefficiënt gebruik van rekenkracht.
• Kernvraag: Leidt meer "denken" (meer tokens) echt tot betere resultaten, of is het een leerpatroon dat de prestaties op basiswiskunde ondermijnt?

2. Methodologie: LLMTHINKBENCH

Om dit fenomeen systematisch te bestuderen, stellen de auteurs LLMTHINKBENCH voor, een open-source framework dat bestaat uit vier componenten:

A. Dynamische Taakruimte (14 Taken)

In plaats van statische datasets (die verouderd kunnen zijn door data-contaminatie), gebruiken ze een dynamische generator voor 14 deterministische basiswiskundetaken:

• Categorieën: Basisrekenen (som, verschil, product, quotiënt), Vergelijkingen, Sorteren, Extrema (min/max), Statistiek (gemiddelde, mediaan, modus) en Tellen (even/oneven).
• Generatie: Elke run genereert unieke testinstances met willekeurige waarden (bijv. lijsten van 8-64 getallen tussen -1000 en 1000), wat memorisatie voorkomt.

B. De "Overthinking Score" (O-Score)

De auteurs introduceren een nieuwe metriek die de afweging tussen nauwkeurigheid en efficiëntie (token-gebruik) kwantificeert.

• Definitie: De O-Score is het harmonisch gemiddelde van de nauwkeurigheid ($A$) en de token-efficiëntie ($E_t$).
  $$O = \frac{2 \cdot A \cdot E_t}{A + E_t}$$
• Redenering: Het harmonisch gemiddelde straft onbalans zwaar af. Een model met 90% nauwkeurigheid maar zeer inefficiënt (lage $E_t$) krijgt een lage score. Dit dwingt modellen om zowel correct als beknopt te zijn.

C. Evaluatieprotocol

• Scope: Evaluatie van 53 modellen (inclusief base, instructie-tuned, reasoning-varianten en gequantiseerde versies) van families zoals GPT, Gemini, Llama, Qwen en Phi.
• Condities: Tests worden uitgevoerd onder verschillende token-begrotingen (onbeperkt vs. beperkt tot 1024 tokens) en quantization-niveaus (FP16, 8-bit, 4-bit).
• Parsing: Een hiërarchisch extractiesysteem haalt antwoorden betrouwbaar uit diverse outputformaten (98,7% succesrate).

3. Belangrijkste Resultaten en Bevindingen

1. De Basiswiskunde-Paradox

Modellen die hoog scoren op complexe benchmarks (zoals GSM8K) presteren vaak slecht op basisrekenen.

• Voorbeeld: Qwen2.5-modellen halen >95% op GSM8K maar <75% op basiswiskunde. Dit suggereert dat modellen patronen uit de trainingsdata memoriseren in plaats van compositional rekenen te beheersen.

2. Redeneringsmodellen genereren "Overthinking"

Modellen die specifiek zijn getraind voor "dieper denken" (CoT-supervisie) genereren gemiddeld 18x meer tokens dan standaardmodellen, maar presteren vaak slechter in nauwkeurigheid.

• Case Study: Phi-4-reasoning gebruikt ~6000 tokens voor taken waar Phi-4 (standaard) ~380 tokens voor nodig heeft, met een nauwkeurigheid die 6,7% lager ligt.
• Catastrophal Collapse: Wanneer het token-budget wordt beperkt (bijv. tot 1024 tokens), stort de nauwkeurigheid van reasoning-modellen in (tot wel 36% daling), terwijl standaardmodellen stabiel blijven.

3. Niet-monotone Schaling en Afnemende Opbrengsten

• Grootte is geen garantie: Grotere modellen (meer parameters) garanderen geen betere prestaties op basiswiskunde. Soms presteren mid-sized modellen (14B-20B) beter dan grotere varianten (32B/70B) vanwege een betere balans tussen capaciteit en overthinking-gedrag.
• Diminishing Returns: Het verhogen van het reasoning-budget (meer tokens toestaan) levert nauwelijks extra nauwkeurigheid op. Modellen blijven vaak op een plateau hangen of introduceren zelfs fouten door tegenstrijdige redeneringen in lange ketens.

4. Patroontaxonomie van Verspilling

De auteurs hebben ~5.000 antwoorden geanalyseerd en vier hoofdpatronen van "overthinking" geïdentificeerd:

1. Redundante verificatie: Het herhaaldelijk controleren van een al correct antwoord.
2. Zelf-tegenstrijdige lussen: Het twijfelen aan een correct antwoord en het opnieuw berekenen.
3. Irrelevante exploratie: Het uitvoeren van methoden die niet nodig zijn voor de complexiteit van de taak.
4. Pathologische stop-falen: Modellen die niet stoppen na het antwoord en willekeurige tekens genereren.

5. Robuustheid van Quantization

Interessant genoeg heeft agressieve quantization (4-bit) weinig invloed op de prestaties van grote modellen (>32B), wat suggereert dat "overthinking" een gedragsmatig probleem is (geleerd tijdens training) en geen gevolg van hardware-beperkingen of precisieverlies.

4. Bijdragen en Significatie

• Nieuwe Metriek: De Overthinking Score biedt een gestandaardiseerde manier om de efficiëntie van redenering te evalueren, wat ontbreekt in bestaande benchmarks die alleen naar nauwkeurigheid kijken.
• Open Source Framework: LLMTHINKBENCH is beschikbaar als Python-pakket (pip install llmthinkbench) met een publieke leaderboard, wat reproduceerbaarheid en vergelijking van nieuwe modellen mogelijk maakt.
• Praktische Implicaties:
  • Voor implementatie zijn vaak mid-sized, instructie-tuned modellen (zoals GPT-4.1-mini of Qwen3-14B) praktischer dan enorme reasoning-modellen, omdat ze sneller, goedkoper en vaak accurater zijn op basiswiskunde.
  • Het paper daagt de aanname uit dat "meer denken" altijd beter is. Het suggereert dat toekomstige trainingen zich moeten richten op adaptief stoppen en het vermijden van redundante verificatie, in plaats van het maximaliseren van token-lengte.

Conclusie

Het paper concludeert dat de huidige trend naar "reasoning-achtige" modellen (langere CoT) voor basiswiskundige taken contraproductief is. Het creëert een inefficiëntie die de nauwkeurigheid ondermijnt en de modellen kwetsbaar maakt voor token-beperkingen. De oplossing ligt niet in meer rekenkracht, maar in het trainen van modellen om precies en beknopt te redeneren, waarbij de Overthinking Score dient als de nieuwe gouden standaard voor evaluatie.