💻 informatica

Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models

Dit artikel toont empirisch aan dat voor kleine (3,8–8B) open-weight instructie-afgestemde modellen die wiskundige problemen voor het basisonderwijs oplossen, few-shot Chain-of-Thought prompting significant beter presteert dan zero-shot baselines, terwijl complexere deliberatiestrategieën zoals self-consistency en tree-of-thought er niet in slagen statistisch betrouwbare verbeteringen in nauwkeurigheid te bieden ten opzichte van eenvoudigere methoden.

Oorspronkelijke auteurs: Arun Kumar

Gepubliceerd 2026-10-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arun Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie zoeken onderzoekers al lang naar een manier om computerprogramma's meer te laten denken als mensen, met name bij het oplossen van problemen die een reeks logische stappen vereisen. Jarenlang bestond de standaardaanpak uit het voeren van een directe vraag aan deze systemen en het afwachten van een antwoord, maar dit leidde vaak tot fouten in rekenwerk en logica. Een doorbraak vond plaats toen wetenschappers beseften dat als ze de modellen vroegen om hun denkproces eerst uit te schrijven — door hun werk te tonen voordat ze tot een conclusie komen — hun nauwkeurigheid drastisch verbeterde. Deze techniek, bekend als chain-of-thought prompting, is een hoeksteen geworden voor het laten redeneren van machines. Echter, nu deze hulpmiddelen zijn verschoven van enorme, dure supercomputers naar kleinere, betaalbaardere versies die individuen en bedrijven op hun eigen apparaten kunnen draaien, is er een kritische vraag ontstaan: werken de meest complexe en middelenintensieve redeneertrucs nog steeds, of voegen ze simpelweg onnodige kosten toe zonder het resultaat te verbeteren?

Een recente studie zette zich in om deze vraag te beantwoorden door vier verschillende redeneerstrategieën te testen op drie populaire, kleinschaligere taalmodellen. De onderzoekers concentreerden zich op een benchmark van honderd rekenproblemen voor basisschoolkinderen, een set puzzels die eenvoudig zijn voor mensen maar lastig voor computers die stappen overslaan. Ze wilden zien of de modellen beter presteerden wanneer ze simpelweg werden verteld om stap voor stap na te denken, wanneer ze enkele voorbeelden te zien kregen van hoe soortgelijke problemen opgelost kunnen worden, wanneer ze werden gevraagd om meerdere mogelijke antwoorden te genereren en te stemmen op het beste antwoord, of wanneer ze werden gedwongen om een vertakkende boom van verschillende ideeën te verkennen voordat ze tot een oplossing kwamen. Het doel was om te bepalen welke methode de beste balans bood tussen nauwkeurigheid en efficiëntie voor de typen modellen die steeds gebruikelijker worden in alledaagijke toepassingen.

Het onderzoek onthulde een duidelijke en enigszins verrassende hiërarchie van effectiviteit. Het krachtigste instrument bleek de eenvoudigste vorm van het tonen van voorbeelden te zijn. Wanneer de modellen een paar uitgewerkte problemen te zien kregen om te bestuderen voordat ze de testvragen probeerden, sprong hun nauwkeurigheid aanzienlijk omhoog vergeleken met wanneer ze alleen een instructie kregen om zorgvuldig na te denken. Deze verbetering was consistent over alle drie de geteste modellen, waarbij de succespercentages in sommige gevallen met wel veertig procentpunten stegen. De gegevens toonden aan dat het zien van een concreet voorbeeld van hoe een probleem te ontleden, veel waardevoller was dan welke hoeveelheid abstracte instructie of interne overweging dan ook.

In contrast hiermee leverden de meer uitgewerkte strategieën die het genereren van meerdere paden van redenering inhouden, niet de verwachte voordelen op. Eén aanpak, waarbij het model wordt gevraagd om drie verschillende oplossingen te genereren en het meest voorkomende antwoord te kiezen, slaagde er niet in om de methode met één enkel voorbeeld te verslaan. Hoewel deze techniek bekend staat om het helpen van grotere, krachtigere modellen, toonde de studie aan dat voor deze kleinere systemen de extra inspanning van het genereren van meerdere antwoorden niet vertaalde in een statistisch betrouwbare verbetering van de juistheid. De onderzoekers merkten op dat de modellen niet genoeg diverse fouten maakten om een stemming te kunnen corrigeren, wat betekende dat de extra rekenkracht die met deze methode werd verspild, grotendeels zinloos was.

Nog opmerkelijker was de prestatie van de tree-of-thought strategie, een complexe methode waarbij het model wordt aangemoedigd om verschillende takken van gedachten te verkennen, deze te evalueren en terug te keren naar een eerder punt als een pad tot een doodlopende weg leidt. Deze techniek had eerder veelbelovend gebleken voor moeilijke puzzels die vereisen dat men vooruitkijkt of meerdere mogelijkheden probeert. Echter, op deze eenvoudige rekenproblemen presteerde het niet beter dan de basismethode van simpelweg vragen aan het model om stap voor stap na te denken zonder enige voorbeelden. In twee van de drie geteste modellen presteerde deze complexe zoekmethode zelfs slechter dan de eenvoudige methode op basis van voorbeelden. De studie suggereert dat voor korte, lineaire rekenproblemen de overhead van het verkennen van meerdere takken een last is die de modellen niet kunnen rechtvaardigen, aangezien de problemen niet de diepe exploratie vereisen die deze strategie biedt.

De bevindingen bieden een praktische gids voor degenen die deze technologieën gebruiken. Het onderzoek geeft aan dat voor kleine, open-source modellen die standaard rekenkunde aanpakken, de meest effectieve weg niet is om meer complexe redeneermachinerie toe te voegen of het model in meerdere richtingen te dwingen te denken. In plaats daarvan is de meest betrouwbare manier om de prestaties te verbeteren het investeren van tijd in het creëren van een paar hoogwaardige voorbeelden die de juiste manier demonstreren om een probleem op te lossen. Hoewel de meer geavanceerde methoden misschien een manier lijken om slimmere resultaten te krijgen, suggereren de gegevens dat ze aanzienlijke kosten en tijd toevoegen zonder een overeenkomstige winst in nauwkeurigheid te leveren voor dit specifieke type taak. Voor beoefenaars die deze modellen efficiënt willen inzetten, concludeert de studie dat een goed geconstrueerd voorbeeld veel meer waard is dan een complex zoekalgoritme.

Technische Samenvatting: Helpt meer deliberatie?

Probleemstelling

Hoewel Chain-of-Thought (CoT) prompting en de verfijningen daarvan (zero-shot CoT, few-shot CoT, self-consistency en tree-of-thought) significante verbeteringen in redeneren hebben aangetoond op geavanceerde, gesloten frontier LLM's, is er een gebrek aan gecontroleerd empirisch bewijs met betrekking tot hun effectiviteit op kleinere (3,8–8B parameters), open-weight instructie-getunede modellen. Praktijkgebruikers implementeren deze kleinere modellen steeds vaker vanwege kosten, latentie en privacy, maar het blijft onduidelijk of de complexe, op zoektochten gebaseerde deliberatiestrategieën (zoals self-consistency en tree-of-thought) hun voordelen behouden ten opzichte van eenvoudigere promptingmethoden bij deze specifieke klasse modellen. Dit paper adresseert dit gat door te bepalen of het "meer deliberatie" paradigma vertaalt naar statistisch significante nauwkeurigheidswinsten voor kleine open-weight modellen bij rekenkundige redeneringen op basisschoolniveau.

Methodologie

De studie voerde een gecontroleerde, head-to-head vergelijking uit van vier promptingstrategieën over drie veelgebruikte open-weight instructie-getunede modellen: Mistral-7B-Instruct-v0.2, Phi-3-mini-4k-instruct en Meta-Llama-3-8B-Instruct.

Dataset: Een vaste, willekeurig getrokken subset van 100 vragen uit de GSM8K-benchmark (rekenkundige woordproblemen voor basisschoolniveau). Dezelfde 100 items werden gebruikt voor alle model-strategiecombinaties om gepaarde uitkomsten te waarborgen.
Promptingstrategieën:
1. Zero-shot CoT: Een enkele greedy completion getriggerd door "Let's think step by step" zonder voorbeelden.
2. Few-shot CoT: Een enkele greedy completion voorafgegaan door een vaste set handmatig geschreven exemplaren met stapsgewijze oplossingen.
3. Self-Consistency: Meerdere ( $k=3$ ) onafhankelijke redeneerketens gesampled met een niet-nul temperatuur met behulp van de few-shot prompt, waarbij de uiteindelijke antwoorden worden bepaald door een meerderheidsstemming.
4. Tree-of-Thought (ToT): Het probleem wordt gedecomposed in tussenliggende stappen, waarbij $k=3$ kandidaat-redeneertakken worden gegenereerd die worden geaggregeerd via een meerderheidsstemming, wat een zoekstructuur weerspiegelt.
Evaluatieprotocol:
- Scoring: Exacte numerieke overeenkomst met het gouden GSM8K-antwoord.
- Statistische Analyse: Nauwkeurigheid werd gerapporteerd met 95% betrouwbaarheidsintervallen (Wald-benadering). Paarsgewijze verschillen werden getest met de McNemar's exacte test op de 2x2 tabellen van discordante uitkomsten voor elk model, wat gepast is voor het vergelijken van strategieën op de identieke set vragen.
- Significantiedrempel: $\alpha = 0,05$ (niet gecorrigeerd voor meervoudige vergelijkingen, hoewel conservatieve Bonferroni-correcties werden vermeld in de beperkingen).

Belangrijkste Bijdragen

Systematische Vergelijking: Biedt de eerste gecontroleerde, statistisch geteste vergelijking van zero-shot CoT, few-shot CoT, self-consistency en ToT specifiek op kleine (3,8–8B) open-weight instructie-getunede modellen.
Statistische Rigor: Gaat verder dan punt-schatting nauwkeurigheid door 95% betrouwbaarheidsintervallen te berekenen en McNemar's exacte test toe te passen om paarsgewijze verschillen te valideren, waarmee de beperkingen van eerdere studies wordt geadresseerd die vaak vertrouwden op ongepaarde testen of evaluaties met één enkel model.
Analyse van de Kosten-Nauwkeurigheid-Trade-off: Evalueert expliciet of de verhoogde inferentiekosten van stochastische strategieën (self-consistency en ToT) statistisch betrouwbare nauwkeurigheidsvoordelen opleveren ten opzichte van eenvoudigere baselines in de context van korte, single-path rekenkundige problemen.

Resultaten

De studie evalueerde in totaal 1.200 modeloutputs (3 modellen $\times$ 4 strategieën $\times$ 100 vragen).

Few-Shot vs. Zero-Shot: Few-shot CoT presteerde significant beter dan zero-shot CoT bij alle drie de modellen, met nauwkeurigheidswinsten variërend van 12 tot 39 procentpunten (allemaal $p < 0,05$ ). Zo verbeterde Phi-3-mini van 46,0% (zero-shot) naar 85,0% (few-shot).
Self-Consistency vs. Few-Shot: Self-consistency met $k=3$ gesamplede paden bood geen statistisch significante verbetering boven single-sample few-shot CoT in enig model (allemaal $p \geq 0,83$ ). De nauwkeurigheidswinsten waren verwaarloosbaar (bijv. 85,0% vs. 86,0% voor Phi-3-mini).
Prestaties van Tree-of-Thought: ToT presteerde significant slechter dan few-shot CoT in twee van de drie modellen (Phi-3-mini en Llama-3-8B, $p < 0,0001$ ) en was statistisch niet te onderscheiden van de veel goedkopere zero-shot baseline in alle drie de modellen. ToT-nauwkeurigheden (47,0%–54,0%) lagen consistent dichter bij zero-shot CoT dan bij few-shot CoT.
Modelvariabiliteit: Phi-3-mini-4k-instruct behaalde de hoogste absolute nauwkeurigheid (85,0–86,0% met few-shot/self-consistency), waarmee het grotere modellen zoals Llama-3-8B en Mistral-7B overtrof, wat suggereert dat de kwaliteit van instructie-tuning en datacuratie belangrijker kan zijn dan het aantal parameters in dit bereik.

Betekenis en Claims

Het paper concludeert dat voor korte, single-path rekenkundige redeneringstaken op kleine open-weight modellen:

Exemplaren zijn Dominant: De aanwezigheid van uitgewerkte exemplaren (few-shot CoT) is de primaire drijfveer voor nauwkeurigheidswinsten. Het voordeel van alleen "stapsgewijs denken" (zero-shot) is aanzienlijk lager dan het verstrekken van voorbeelden.
Deliberatiekosten wegen zwaarder dan Voordelen: Zoekgebaseerde deliberatiestrategieën (ToT) en low-sample self-consistency ( $k=3$ ) voegen aanzienlijke inferentiekosten toe (meerdere generaties per antwoord) zonder dat daar een overeenkomend, statistisch betrouwbaar nauwkeurigheidsvoordeel tegenover staat.
Taak-Strategie Mismatch: Het falen van ToT suggereert dat de gestructureerde zoek- en backtrackingmechanismen minder geschikt zijn voor lineaire rekenkundige problemen die niet inherent vereisen dat alternatieve oplossingspaden worden verkend.

De auteur stelt dat voor praktijkgebruikers die 4–8B parameter modellen inzetten voor eenvoudige redeneringstaken, het investeren in het construeren van hoogwaardige few-shot exemplaren een superieure nauwkeurigheid-per-eenheid-kosten verhouding biedt vergeleken met het implementeren van complexe decoding-time machinerie zoals self-consistency of tree-of-thought.

Beperkingen

De auteur erkent enkele beperkingen:

Steekproefomvang: Het gebruik van 100 items resulteert in brede betrouwbaarheidsintervallen en potentieel een lage statistische kracht voor het detecteren van kleinere effectgroottes, met name in het Mistral-7B model.
Aantal Samples: De self-consistency en ToT experimenten gebruikten $k=3$ , wat lager is dan de 10–40 paden die doorgaans in de literatuur worden gebruikt om gerapporteerde winsten te bereiken; derhalve is de nulresultaat voor self-consistency specifisch voor dit bescheiden samplingbudget.
Domeinspecifiteit: De bevindingen zijn beperkt tot GSM8K arithmetic. ToT kan nog steeds voordelig zijn in domeinen die echte zoekopdrachten of backtracking vereisen (bijv. planning, combinatorische puzzels).
Kostenrekening: De studie rapporteert nauwkeurigheid, maar kwantificeert geen token-niveau kosten of latentie, hoewel wordt opgemerkt dat stochastische strategieën inherent duurder zijn.