🤖 AI

When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs

Dit artikel toont aan dat voor kleine, instructie-afgestemde LLM's bij complexe wetenschappelijke problemen, zelfconsistentie via meerderheidsstemmen vaak de nauwkeurigheid vermindert in vergelijking met inferentie met een enkele steekproef, omdat een hoge mate van overeenstemming tussen gegenereerde antwoorden niet betrouwbaar correleert met juistheid.

Oorspronkelijke auteurs: Utkarsh Bahuguna

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Utkarsh Bahuguna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een echt lastig raadsel probeert op te lossen. Je vraagt een vriend om het antwoord, maar die lijkt er niet zeker van te zijn. Dus vraag je je vriend tien keer hetzelfde raadsel. Als hij acht keer hetzelfde antwoord geeft, denk je waarschijnlijk: "Oké, hij zal wel gelijk hebben!" Dit is een beetje hoe moderne computerbreinen, Large Language Models (LLM's) genoemd, slimmer proberen te worden. In plaats van slechts één keer te gokken, krijgen ze vaak de opdracht om "na te denken" over een probleem door vele malen verschillende ketens van gedachten te genereren, en vervolgens het antwoord te kiezen dat het vaakst voorkomt. Deze techniek wordt Self-Consistency genoemd. Het is alsof je een menigte om een stem vraagt; het idee is dat de "meerderheidsstem" bijna altijd het juiste antwoord is.

Waarom is dit belangrijk? Omdat deze computerbreinen steeds vaker worden ingezet om moeilijke wetenschappelijke problemen op te lossen, van biologie tot natuurkunde. Als de "crowd voting"-truc werkt, kunnen we de computer simpelweg langer en harder laten nadenken om betere resultaten te krijgen. Maar wat als de menigte eigenlijk ongelijk heeft? Wat als de computer zo zelfverzekerd is over een foutief antwoord dat het vragen om meer beurten de computer er alleen maar dieper in laat graven? Dat is de angstaanjagende vraag die dit artikel stelt. De onderzoekers wilden weten: op de moeilijkste wetenschappelijke vragen, helpt het de computer eigenlijk om over zijn eigen antwoorden te stemmen, of maakt het de situatie onbedoeld juist slechter?

De Grote Stemmings-backfire

In dit onderzoek testten de onderzoekers twee populaire, kleinere computerbreinen (de een genaamd Qwen2.5-7B en de ander Llama-3-8B) op een zeer moeilijke test genaamd GPQA Diamond. Deze test bevat 198 wetenschappelijke vragen op graduate-niveau over biologie, chemie en natuurkunde. Het is het soort materiaal waar een student aan het eind van een bachelorstudie al flink van zou zweten.

Het team gebruikte een slimme, vooraf geplande methode om te zien wat er gebeurt als ze deze modellen laten "stemmen" op hun eigen antwoorden. Ze vroegen de modellen om maximaal 64 verschillende pogingen te genereren om elk probleem op te lossen en namen vervolgens het meest voorkomende antwoord (de meerderheidsstem).

Hier komt de twist: De meerderheidsstem werkte averechts.

In plaats van slimmer te worden, werden de computerbreinen op de meeste problemen zelfs slechter.

Voor het Qwen-model verslechterde de stemmethode de nauwkeurigheid bij 56,6% van de problemen.
Voor het Llama-model verslechterde het bij 65,7% van de problemen.

Denk er zo over na: Stel je een student voor die een moeilijke wiskundetoets maakt. Hij is onzeker over een vraag, dus vraagt hij zichzelf tien keer: "Wat is het antwoord?" Als hij in zijn hoofd per ongeluk acht keer dezelfde fout maakt, vertelt de "meerderheidsstem" hem om dat foute antwoord met hoge zekerheid te kiezen. Hoe vaker hij zichzelf vraagt, hoe meer hij ervan overtuigd raakt van het foute antwoord. Het papier noemt dit een "backfire". Het blijkt dat bij deze moeilijke wetenschappelijke vragen het zelfvertrouwen van de computer een leugenaar is.

De "Oracle"-droom versus de realiteit

De onderzoekers stelden vervolgens een praktische vraag: "Kunnen we een goedkope, slimme filter bouwen om te bepalen wanneer we moeten stemmen en wanneer we gewoon één keer moeten gokken?"

Ze stelden zich een perfecte "Oracle" voor (een magische gids die het juiste antwoord weet). Als deze Oracle naar elk probleem kon kijken en kon zeggen: "Voor deze stem je 64 keer," of "Voor die daar gok je gewoon één keer," dan hadden de modellen hun scores met 14 tot 17 procentpunten kunnen verbeteren. Dat is een enorme sprong!

Maar de onderzoekers testten twee echte, "verifier-free" signalen om te zien of ze als een goedkoop alternatief voor deze magische Oracle konden dienen:

De Agreement Gate: "Als de antwoorden genoeg met elkaar overeenstemmen, vertrouw dan de stemming."
De Entropy Gate: "Als de computer 'onzeker' lijkt (hoge entropie), stem dan niet; als de computer 'zeker' lijkt (lage entropie), stem dan wel."

Het resultaat? Beide gates faalden.
Geen van beide methoden kwam in de buurt van het potentieel van de magische Oracle. Sterker nog, het gebruik van deze gates verbeterde de score helemaal niet vergeleken met het blindelings 64 keer stemmen. De "Agreement Gate" was zo nutteloos dat het nauwelijks effect had (minder dan 0,002 verschil). De "Entropy Gate" was ook een doodlopende weg.

Waarom gebeurde dit?

Het artikel legt uit dat het probleem simpel maar frustrerend is: Zelfvertrouwen staat niet gelijk aan juistheid.

Bij deze moeilijke wetenschappelijke problemen blijven de computermodellen vaak hangen bij een fout antwoord. Wanneer ze 64 antwoorden genereren, genereren ze datzelfde foute antwoord misschien wel 50 keer. De "meerderheidsstem" ziet 50 stemmen voor het foute antwoord en zegt: "Dit moet wel juist zijn!" De computer is zelfverzekerd foutief.

De onderzoekers bekeken de data en ontdekten iets grappigs over het Llama-model: de problemen waarbij de antwoorden het meest overeenkwamen, waren juist de minst nauwkeurige. Hoe meer de computer met zichzelf overeenkwam, hoe groter de kans dat hij het fout had. Het is alsoals een groep vrienden die allemaal eens zijn over een vreselijk filmplot; hoe meer ze het met elkaar eens zijn, hoe meer je weet dat het plot onzin is.

Wat dit betekent

Het artikel concludeert dat je bij deze specifieke, moeilijke wetenschappelijke vragen niet zomaar kunt aannemen dat "meer nadenken" of "stemmen" zal helpen.

Het slechte nieuws: Als je vertrouwt op de eigen overeenstemming van de computer om te bepalen of hij het goed heeft, kun je bedrogen worden. De "meerderheid" is vaak ongelijk.
Het goede nieuws: We weten precies waarom het faalt (zelfvertrouwen volgt de juistheid niet) en we weten dat simpele trucjes zoals het controleren van overeenstemming of onzekerheid het niet zullen oplossen.
De open vraag: De onderzoekers hebben de nieuwste, "reasoning-native" modellen (de super-slimme modellen die specifiek voor logica zijn ontworpen) niet getest. Ze laten dat als een mysterie voor de toekomst. Misschien zullen die nieuwe modellen niet met een backfire komen? We weten het nog niet.

Kortom, bij de moeilijkste wetenschappelijke vragen leidt het vragen aan een computer om over zijn eigen antwoorden te stemmen vaak alleen maar tot het vastleggen van zijn fouten. Om de echte voordelen te behalen, hebben we misschien een slimmere manier nodig om het werk te controleren, in plaats van alleen maar een luidere stem.

Technische Samenvatting: Wanneer Self-Consistency Tegenslaat

Probleemstelling

Self-consistency (SC), een techniek waarbij meerdere chains of thought worden gesampled en het meerderheidsantwoord wordt gekozen via een stemprocedure (majority vote), wordt breed beschouwd als een risicoarme methode om het redeneervermogen van Large Language Models (LLM's) te verbeteren. De heersende heuristiek suggereert dat het verhogen van het aantal samples ( $N$ ) en het stemmen ten minste even goede resultaten zal opleveren als een enkele sample ( $N=1$ ).

Dit artikel daagt die aanname uit bij complexe wetenschappelijke redeneertaken. Het onderzoekt of meerderheidsstemmen kan "tegenslaan" (backfire)—gedefinieerd als een scenario waarin het verhogen van $N$ de nauwkeurigheid per probleem vermindert ( $mv\_gain = MV\_acc(64) - MV\_acc(1) < 0$ ). De auteur veronderstelt dat op moeilijke problemen, indien de samplingsverdeling van een model concentreert op een onjuist antwoord, extra samples de fout slechts bestendigen in plaats van deze te corrigeren. Bovendien onderzoekt het artikel of goedkope, verifier-vrije signalen (zoals overeenstemmingsniveaus of token-entropie) effectief kunnen identificeren welke problemen onderworpen moeten worden aan stemming en welke overgeslagen moeten worden om dit tegensturen te voorkomen.

Methodologie

De studie maakt gebruik van een vooraf geregistreerd, bevestigend experimenteel ontwerp met de GPQA Diamond benchmark, bestaande uit 198 graduate-level meerkeuzevragen over biologie, chemie en natuurkunde.

Modellen: Twee kleine, instructie-getunede, niet-redenerende modellen werden geëvalueerd: Qwen2.5-7B-Instruct en Meta-Llama-3-8B-Instruct.
Sampling Protocol: Voor elk probleem werden $N=64$ chains of thought gegenereerd bij een temperatuur van 0.7.
Experimentele Splitsing: De dataset werd gesplitst in 47 exploratieve problemen (gebruikt voor het genereren van hypothesen) en 151 bevestigende problemen. Alle hypothesen en drempelwaarden werden vastgelegd en via een git-tag gemarkeerd voorafgaand aan de bevestigende analyse.
Metrieken:
- $MV\_acc(N)$ : Verwachte meerderheidsstem-nauwkeurigheid over $N$ samples, geschat via Monte Carlo subsampling.
- Backfire (Tegenslaan): Gedefinieerd als $MV\_acc(64) < MV\_acc(1)$ .
- Routing Gates: Twee verifier-vrije signalen werden getest om problemen naar een optimale $N$ $N$ te routeren:
  1. Plurality Agreement Gate: Geeft het probe-antwoord terug als de overeenstemmingsfractie over $k$ samples een drempelwaarde $\tau$ overschrijdt; anders wordt standaard $N=64$ gebruikt.
  2. Token Entropy Gate: Geeft het probe-antwoord terug als de gemiddelde per-token entropie over $k$ samples onder een drempelwaarde ligt; anders wordt standaard $N=64$ gebruikt.
Oracle Bounds: Een "grid oracle" werd geconstrueerd om een theoretische bovengrens vast te stellen. Deze oracle routeert elk probleem naar de specifieke $N \in \{1, 2, 4, 8, 16, 32, 64\}$ die de nauwkeurigheid maximaliseert met behulp van de grondwaarheid (ground truth).

Belangrijkste Resultaten

1. Voorkomen van Backfire

Meerderheidsstemmen vermindert de nauwkeurigheid op de meerderheid van de individuele problemen voor beide modellen, ondanks dat de geaggregeerde metrieken vlak of licht positief lijken.

Qwen2.5-7B: Backfire komt voor bij 56,6% van de 198 problemen.
Llama-3-8B: Backfire komt voor bij 65,7% van de problemen.
Domeinverdeling: Chemie vertoonde de hoogste backfire-percentages (66,7% voor Qwen, 68,8% voor Llama), gevolgd door Natuurkunde en Biologie.
Geaggregeerd vs. Individueel: Hoewel de geaggregeerde nauwkeurigheid een bescheiden stijging zag (bijv. Qwen van 0,342 naar 0,369), maskeert dit een wijdverbreide degradatie per probleem. De slechtste individuele problemen verloren ~47 nauwkeurigheidspunten, terwijl een paar aanzienlijk wonnen, wat een misleidend gemiddelde creëert.

2. Falen van Verifier-vrije Gates

De studie testte of goedkope signalen de "headroom" konden herstellen tussen een vaste budget-stemming ( $N=64$ ) en de oracle upper bound.

Oracle Potentieel: Een grid oracle kon de nauwkeurigheid verbeteren met 14 punten (Qwen) en 17 punten (Llama) ten opzichte van $N=1$ .
Gate Prestaties: Noch de agreement gate, noch de entropy gate verbeterde de nauwkeurigheid significant ten opzichte van de vaste $N=64$ $N = 64$ baseline.
- De agreement gate ving slechts 0,8% van de beschikbare headroom voor Qwen en -1,6% voor Llama (relatief aan $N=64$ ) op.
- De entropy gate faalde evene kind in het herstellen van significante headroom.
Conclusie: Deze gates bieden geen mechanisme om onderscheid te maken tussen problemen waar stemmen helpt en problemen waar het schaadt.

3. Mechanisme: Vertrouwen Volgt Geen Correctheid

Het artikel identificeert de kernoorzaak van het falen: miscalibratie.

Overeenstemming $\neq$ Correctheid: Zelfs in de bin met de hoogste overeenstemming (waar het model het meest zelfverzekerd is), is het meerderheidsantwoord slechts ~52,5% van de tijd correct voor Qwen en 28,6% voor Llama.
Niet-monotoniciteit: Voor Llama was de nauwkeurigheid in de bin met de hoogste overeenstemming zelfs lager dan in de bin met de laagste overeenstemming. Hoge zelfconsistentie correleert niet met hoge nauwkeurigheid op deze moeilijke problemen.
Signaal Falen: Omdat vertrouwen (overeenstemming of lage entropie) niet correleert met correctheid, kunnen gates die op deze signalen vertrouwen de berekening (compute) niet effectief routeren.

Betekenis en Claims

Het artikel maakt de volgende specifieke claims met betrekking tot zijn bijdrage:

Kwantificering van Backfire: Het biedt de eerste vooraf geregistreerde, gerepliceerde kwantificering die aantoont dat self-consistency tegenstreeft op de meerderheid van de problemen in een harde, graduate-level wetenschappelijke benchmark over twee modelfamilies.
Falen van Goedkope Heuristieken: Het demonstreert dat twee natuurlijke, verifier-vrije signalen (plurality agreement en token entropy) onvoldoende zijn om de backfire te voorkomen of de theoretische winsten in nauwkeurigheid te herstellen die beschikbaar zijn via per-probleem routing.
Identificatie van het Mechanisme: Het bevestigt dat het falen wordt gedreven door het feit dat vertrouwen niet correleert met correctheid op moeilijke inputs; hoge overeenstemming signaleert vaak een zelfverzekerd foutief antwoord.
Open Vraag: Het artikel stelt expliciet dat het geen "reasoning-native" modellen test (modellen met een verborgen chain-of-thought). Of deze architecturen het backfire-fenomeen omzeilen, blijft de centrale openstaande vraag, aangezien voorlopige pogingen om deze te evalueren werden gehinderd door beperkingen in het token-budget.

De auteur concludeert dat men bij moeilijke redeneertaken niet mag aannemen dat self-consistency veilig is, noch dat interne modelsignalen zoals overeenstemming of entropie aangeven wanneer het gunstig is. Het herstellen van de verloren nauwkeurigheid vereist waarschijnlijk externe signalen, zoals getrainde verifiers of process reward models, in plaats van te vertrouwen op de eigen samplingsverdeling van het model.