💬 NLP

Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?

Deze studie toont aan dat de opzet van vragen, inclusief het aantal opties en de specifieke formulering, de prestaties van grote taalmodellen bij redeneertaken aanzienlijk beïnvloedt, wat vaak leidt tot een discrepantie tussen de nauwkeurigheid van de redeneerstappen en de juistheid van het uiteindelijke antwoord.

Oorspronkelijke auteurs: Seok Hwan Song, Mohna Chakraborty, Qi Li, Wallapak Tavanapong

Gepubliceerd 2026-04-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Seok Hwan Song, Mohna Chakraborty, Qi Li, Wallapak Tavanapong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die probeert te testen hoe slim een nieuwe leerling (een AI) is in het oplossen van logische puzzels. Je wilt zien of de leerling de wiskunde of logica echt begrijpt, of dat ze gewoon het juiste antwoord raden.

Dit artikel is als een rapportkaart van een studie waarbij de onderzoekers dezelfde logische problemen aan vijf verschillende AI-leerlingen stelden, maar ze de vragen op drie heel verschillende manieren stelden:

De "Opstel"-Stijl (Korte Antwoorden): "Hier is een probleem. Los het op en vertel me het antwoord."
De "Meerkeuze"-Stijl: "Hier is een probleem. Kies het juiste antwoord uit deze 5 of 11 opties."
De "Waar of Onwaar"-Stijl: "Hier is een probleem en een specifiek antwoord. Is dit antwoord Waar of Onwaar?"

De onderzoekers wilden weten: Verandert de manier waarop je de vraag stelt de prestaties van de AI?

Hier zijn de belangrijkste bevindingen, eenvoudig uitgelegd:

1. Het "Gokspel"-Effect

De grootste verrassing was dat het krijgen van het juiste eindantwoord niet altijd betekent dat de AI het juiste werk heeft gedaan.

De Analogie: Stel je een leerling voor die een meerkeuzetoets maakt. Ze weten misschien niet hoe ze de som moeten maken, maar ze raden "C" en krijgen het goed. Als je alleen naar het invulblad kijkt, scoort ze 100%. Maar als je naar hun kladpapier kijkt, hebben ze onzin geschreven.
De Bevinding: De AI "gokte" vaak het juiste lettertje bij een meerkeuzevraag, zelfs als haar redeneerstappen verkeerd waren. Omgekeerd deed de AI soms de perfecte wiskunde, maar koos ze op het allerlaatste moment het verkeerde lettertje omdat ze in de war raakte door de opties.
De Les: Als je alleen het eindantwoord controleert, denk je misschien dat de AI slimmer is dan ze eigenlijk is.

2. Het "Menu"-Probleem (Meerkeuze)

Toen de onderzoekers de AI een lijst met opties gaven om uit te kiezen, maakten het aantal opties en de gebruikte woorden veel uit.

Te Veel Keuzes: Toen de lijst groeide van 5 opties naar 11 opties, daalde de prestatie van de AI vaak. Het is alsof je 5 smaken ijs wordt aangeboden versus 50; de AI raakte overweldigd en begon meer te gokken.
De "Iets Anders"-Optie: De onderzoekers voegden een vreemde optie toe genaamd "Iets anders" (of "Geen van bovenstaande").
- Als "Iets anders" het juiste antwoord was, had de AI vaak moeite om het te kiezen, zelfs als ze de som goed had uitgerekend. Ze leek de voorkeur te geven aan het kiezen van een specifiek getal, zelfs als dat getal verkeerd was.
- De AI leek ook een "favoriete stoel"-bias te hebben. Ze koos vaker de eerste of de laatste optie, ongeacht of deze juist was.

3. De "Ja/Nee"-Valstrik (Waar of Onwaar)

Bij het stellen van "Waar of Onwaar"-vragen veranderden de specifieke gebruikte woorden de resultaten.

Waar vs. Onwaar: De AI was over het algemeen beter in het zeggen van "Waar" als het antwoord correct was, dan in het zeggen van "Onwaar" als het antwoord verkeerd was. Ze leek een bias te hebben om akkoord te gaan.
De Formulering: Het veranderen van de prompt van "Waar of Onwaar" naar "Ja of Nee" maakte de AI aanzienlijk slechter in sommige taken. Het is als hoe een persoon "Ja" zou kunnen antwoorden op "Wil je gaan?", maar zou aarzelen bij "Is het waar dat je wilt gaan?". De AI is gevoelig voor deze kleine linguïstische verschuivingen.

4. De "Instructie"-Verwarring

De onderzoekers probeerden de AI te helpen door instructies toe te voegen zoals: "Los het probleem eerst op, dan beslis of het Waar of Onwaar is."

Het Resultaat: Soms hielp dit, maar vaak verwarde het de AI of maakte het dat ze slechter presteerde. De AI raakte soms zo gefocust op de instructie dat ze de daadwerkelijke logica van het probleem vergat.

Samenvatting: Wat moeten we leren?

Het artikel concludeert dat we niet zomaar naar de eindscore kunnen kijken om de intelligentie van een AI te beoordelen.

Als je een AI een meerkeuzevraag stelt, kan ze "valsspelen" door het juiste lettertje te raden zonder de logica te begrijpen.
Als je haar een Waar/Onwaar-vraag stelt, kunnen de specifieke woorden die je gebruikt haar misleiden tot een minder nauwkeurig antwoord.
Om echt te weten of een AI slim is, moet je haar "kladpapier" controleren (haar redeneerstappen), en niet alleen het laatste vakje dat ze heeft ingevuld.

De onderzoekers hebben een nieuwe set tests (een benchmark) ontwikkeld om toekomstige ontwikkelaars te helpen deze eigenaardigheden te begrijpen, zodat we bij het testen van AI niet alleen testen hoe goed ze is in gokken, maar hoe goed ze is in denken.

1. Probleemstelling

Hoewel Large Language Models (LLMs) uitgebreid worden geëvalueerd op redeneertaken met diverse benchmarks, ontbreekt er inzicht in hoe het formaat van de vraag (Kort Antwoord, Meerkeuze, Waar/Niet Waar) de prestaties van het model beïnvloedt. Bestaande benchmarks behandelen deze formaten vaak als uitwisselbaar, terwijl factoren zoals het aantal opties, de positie van het juiste antwoord en specifieke woordkeuzes bias kunnen introduceren of het redeneerproces kunnen veranderen.

De auteurs hebben tot doel vijf specifieke Onderzoeksvragen (RQ's) te beantwoorden:

Hebben vraagtypen invloed op de Final Selection (FS) nauwkeurigheid?
Hebben vraagtypen invloed op de Redeneernauwkeurigheid (de correctheid van de tussenstappen)?
Wat zijn de patronen van onjuiste output over verschillende vraagtypen heen?
Welke specifieke factoren in Meerkeuzevragen (MCQ's) beïnvloeden de prestaties?
Welke specifieke factoren in Waar/Niet Waar-vragen (TFQ's) beïnvloeden de prestaties?

2. Methodologie

Datasets en Taken

De studie evalueert LLM's op twee distincte redeneertaken:

Kwantitatief Redeneren: Met behulp van de GSM8K dataset (wiskundige woordproblemen voor de lagere school).
Deductief Redeneren: Met behulp van een aangepast subset van de bAbI dataset (factoid QA met ondersteunende feiten).
Datavolume: 300 problemen werden willekeurig geselecteerd uit elke dataset. Voor bAbI werden twee irrelevante feiten aan elk probleem toegevoegd om de complexiteit te verhogen.

Transformatie van Vraagtypen

Elk probleem werd omgezet in drie formaten:

Korte Antwoordvragen (SAQ): Het model genereert de redeneerstappen en het uiteindelijke antwoord.
Meerkeuzevragen (MCQ): Het model kiest uit een lijst met opties.
- Aantal Opties: Getest met 5 opties en 11 opties.
- Speciale Optie: Inclusief een "Iets anders" (SEO) optie om te testen of modellen een antwoord kunnen selecteren buiten de gegeven numerieke waarden.
- Positie van het Juiste Antwoord: Drie verdelingen getest: Uniform (U), Uniform met uitzondering van SEO (U-SEO), en Alleen SEO (oSEO).
- Aantrekkingskracht: Foute antwoorden werden gegenereerd met specifieke foutmarges (5% of 20% afwijking) of willekeurige vergelijkingen.
Waar/Niet Waar-vragen (TFQ): Het model beoordeelt een stelling.
- Formaten: "Vraagformaat" ("Is het antwoord X?") versus "Stellingformaat" ("Het antwoord is X.").
- Correctheid: Getest met zowel "Waar" als "Niet Waar" als grondwaarheid.
- Instructies: Getest met en zonder een instructie om eerst op te lossen ("solve first") voordat er wordt geantwoord.
- Woordkeuze: Getest "Waar/Niet Waar" versus "Ja/Nee".

Geëvalueerde Modellen

Vijf LLM's werden getest:

Closed-source: GPT-4o, GPT-3.5-turbo.
Open-source: Llama-3 8B, Llama-3.2 1B, Gemma 7B.
Configuratie: Greedy decoding (temperature = 0), zero-shot setting.

Evaluatiemetrics

Final Selection (FS) Nauwkeurigheid: Geautomatiseerde string matching van de uiteindelijke output tegen de grondwaarheid.
Redeneernauwkeurigheid: Handmatige evaluatie van de tussenliggende redeneerstappen. Er werd een strenge criterium toegepast: alle redeneerstappen moeten correct zijn voor het redeneren om als correct te worden gemarkeerd.

Statistische Analyse

De tweezijdige gepaarde Wilcoxon signed-rank test werd gebruikt om statistische significantie ( $p < 0.05$ ) tussen vraagtypen te bepalen.

3. Belangrijkste Bijdragen

Uitgebreid Benchmarkontwerp: Een nieuw experimenteel ontwerp dat systematisch het aantal MCQ-opties (5 vs. 11), posities van juiste antwoorden en TFQ-formuleringen varieert, waardoor gaten in de eerdere literatuur worden aangevuld.
Ontkoppeling van Metrics: De studie scheidt expliciet Redeneernauwkeurigheid van Final Selection Nauwkeurigheid, en onthult dat deze niet altijd correleren.
Empirische Bevindingen: Identificatie van specifieke bias in LLM's, zoals gevoeligheid voor het woord "Iets anders", de positie van juiste antwoorden en de formulering van TFQ's.
Open Source: De auteurs hebben hun code en benchmark publiek vrijgegeven.

4. Belangrijkste Resultaten

RQ1 & RQ2: Impact van Vraagtype op Nauwkeurigheid

FS vs. Redeneren Correlatie: Er is geen consistente correlatie tussen redeneernauwkeurigheid en final selection nauwkeurigheid.
- Observatie: Modellen gokken vaak het juiste uiteindelijke antwoord, ondanks gebrekkig redeneren (vooral in MCQ's en TFQ's). Omgekeerd leiden modellen soms tot correct redeneren maar falen ze in het selecteren van de bijbehorende optie (bijvoorbeeld door opmaakfouten of misverstand van "Iets anders").
Prestatievariatie: Er bestaan significante verschillen in FS-nauwkeurigheid over vraagtypen heen.
- SAQ vs. MCQ: SAQ presteert over het algemeen beter dan MCQ, vooral wanneer "Iets anders" het juiste antwoord is.
- SAQ vs. TFQ: TFQ's met "Niet Waar" als correct antwoord leveren vaak een hogere FS-nauwkeurigheid op dan SAQ's voor sommige modellen, wat suggereert dat modellen "Niet Waar" makkelijker kunnen gokken dan het exacte getal af te leiden.

RQ3: Patronen van Onjuiste Output

De studie identificeerde distincte faalpatronen:

Goed Gokken: Modellen geven onjuiste redeneerstappen maar gokken het juiste uiteindelijke antwoord (vaak voorkomend in TFQ's).
Nabijheid: Modellen berekenen een waarde die dicht bij het juiste antwoord ligt en selecteren de dichtstbijzijnde optie, zelfs als de berekening licht afweek.
SEO Misverstand: Modellen worstelen met het selecteren van "Iets anders", zelfs wanneer hun redenering aangeeft dat het antwoord niet in de lijst staat; ze dwingen vaak een selectie van de dichtstbijzijnde numerieke optie af.
Ontbrekende Selectie: Modellen voltooien het redeneren correct maar falen in het uitvoeren van de uiteindelijke selectietoken.

RQ4: Factoren die MCQ-prestaties Beïnvloeden

Aantal Opties: Het verhogen van opties van 5 naar 11 verlaagt over het algemeen de FS-nauwkeurigheid, vooral voor kleinere modellen (bijv. Gemma, Llama-1B). Dit suggereert dat modellen gokken in plaats van te berekenen.
Positie van het Juiste Antwoord: Modellen presteren het beste wanneer het juiste antwoord niet "Iets anders" is (U-SEO). De prestatie daalt significant wanneer "Iets anders" de enige juiste optie is (oSEO).
Woordkeuze: Het vervangen van "Iets anders" door "Geen van bovenstaande" verbeterde de FS-nauwkeurigheid aanzienlijk voor GPT-3.5, wat wijst op gevoeligheid voor de woordkeuze van opties.

RQ5: Factoren die TFQ-prestaties Beïnvloeden

Vraag vs. Stelling: Het Stellingformaat ("Het antwoord is X") levert over het algemeen een hogere FS-nauwkeurigheid op dan het Vraagformaat ("Is het antwoord X?").
Waar vs. Niet Waar: Modellen presteren over het algemeen beter wanneer "Waar" het juiste antwoord is, hoewel sommige modellen (GPT-3.5, Llama-8B) een betere FS-nauwkeurigheid vertoonden met "Niet Waar" in kwantitatieve taken.
Woordkeuze (Ja/Nee vs. Waar/Niet Waar): Het vervangen van "Waar/Niet Waar" door "Ja/Nee" veroorzaakte een statistisch significante daling in prestaties (tot ~26%) voor GPT-3.5, tenzij een "los eerst op" instructie werd verstrekt.

5. Betekenis en Implicaties

Validiteit van Benchmarking: De studie daagt de betrouwbaarheid van huidige benchmarks uit. Een hoge score van een model op MCQ's kan gokken of patroonherkenning weerspiegelen in plaats van echte redeneercapaciteiten.
Evaluatiestrategie: Onderzoekers zouden niet uitsluitend moeten vertrouwen op Final Selection nauwkeurigheid. Het evalueren van Redeneernauwkeurigheid is cruciaal om te begrijpen of een model het probleem daadwerkelijk oplost of slechts de juiste optie selecteert.
Prompt Engineering: De specifieke woordkeuze van opties ("Geen van bovenstaande" versus "Iets anders") en het formaat van TFQ's hebben een aanzienlijke impact op de prestaties. Gestandaardiseerde, zorgvuldig ontworpen prompts zijn noodzakelijk voor een eerlijke evaluatie.
Toekomstige Richtingen: Toekomstige benchmarks moeten rekening houden met optiebias, het aantal keuzes en de specifieke formulering van instructies om ervoor te zorgen dat ze redeneren meten in plaats van selectiebias.

Concluderend toont het paper aan dat hoe een vraag wordt gesteld de LLM-prestaties fundamenteel verandert, vaak de mogelijkheid om te redeneren ontkoppelend van de mogelijkheid om het juiste antwoord te selecteren. Dit vereist een genuanceerdere aanpak voor LLM-evaluatie en benchmarkontwerp.