💬 NLP

Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options

Dit paper introduceert een evaluatieprotocol met honderd opties om de betrouwbaarheid van grote taalmodellen te testen, waarbij wordt aangetoond dat hoge scores bij weinig opties competentie kunnen overdrijven door toeval en positiebias, terwijl het nieuwe protocol echte tekortkomingen blootlegt.

Oorspronkelijke auteurs: Nahyun Lee, Guijin Son

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nahyun Lee, Guijin Son

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een grote groep mensen test om te zien wie er echt goed kan lezen en begrijpen. Normaal gesproken geef je ze een meerkeuzetest met maar 4 opties. Als iemand er 95% goed heeft, denken we: "Wauw, dit is een genie!"

Maar deze paper, geschreven door onderzoekers uit Zuid-Korea, zegt: "Wacht even. Misschien is dat genie wel gewoon slim in gokken."

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: De "4-opties valkuil"

Stel je voor dat je een zoektocht doet in een kamer met slechts 4 dozen. Als je het juiste antwoord in één van die dozen vindt, is het makkelijk. Zelfs als je niet echt weet wat erin zit, kun je een slimme gok doen. Je kunt bijvoorbeeld zeggen: "Die eerste doos ziet er raar uit, die laatste is te lang, dus ik kies de tweede."

Dit is wat de huidige AI-modellen doen. Ze zijn getraind op tests met 4 of 5 opties. Ze leren niet per se het antwoord, maar ze leren knooppunten (shortcuts) gebruiken. Ze kijken naar de volgorde of de lengte van de zinnen in plaats van de inhoud. Het is alsof ze de test "hacken" in plaats van hem te doorstaan.

2. De oplossing: De "Haystack van 100"

De onderzoekers zeggen: "Laten we de test veel moeilijker maken." Ze hebben een nieuwe manier bedacht waarbij je 100 opties krijgt.

De analogie: In plaats van 4 dozen, krijg je nu een enorme berg hooi met 100 naalden. Alleen één van die naalden is de juiste. De andere 99 lijken er bijna hetzelfde uit, maar hebben een klein foutje.
Als je echt weet wat je doet, vind je die ene naald. Als je alleen maar gokt of naar de eerste paar dozen kijkt, heb je 99% kans om te falen. De kans dat je het toevallig goed hebt, zakt van 25% (bij 4 opties) naar 1% (bij 100 opties).

3. Wat ontdekten ze?

Toen ze dit testten met verschillende AI-modellen (zoals Gemini, HyperCLOVAX en EXAONE), zagen ze iets verrassends:

De "Superhelden": Sommige modellen (zoals de nieuwste Gemini-versies) bleven goed presteren, zelfs met 100 opties. Ze zochten echt naar de juiste naald.
De "Gokkers": Andere modellen, die op de oude tests (4 opties) bijna perfect waren, vielen volledig in elkaar. Hun score zakte van 90% naar 20%.

Waarom?
Toen de test te moeilijk werd, gaven deze modellen op. Ze dachten: "Ik weet het niet meer, ik kies gewoon het eerste antwoord dat ik zie."
Dit noemen de onderzoekers "Positie Bias". Het is alsof een student die de stof niet kent, op het examen altijd "A" kiest omdat het eerste antwoord is. In een test met 100 opties is dat een rampzalige strategie.

4. Is het gewoon omdat de tekst te lang is?

Een veelgemaakte gedachte is: "Misschien kunnen deze AI's gewoon niet zo'n lange lijst lezen?"
De onderzoekers hebben dit getest door de lijst langer te maken met onzin-tekst (zoals een recept voor pannenkoeken of een lijst met nummers), zonder de 100 opties te veranderen.
Het resultaat: Nee, het was niet de lengte. Het probleem was echt het onderscheiden van de 100 bijna-identieke opties. De AI's raakten in de war door de hoeveelheid informatie, niet door de lengte van de tekst.

5. De conclusie: Waarom is dit belangrijk?

Deze studie is als een stress-test voor AI.

Tot nu toe dachten we dat AI's slim waren omdat ze hoge scores haalden op de "makkelijke" tests met 4 opties.
Nu weten we dat die scores vaak een blazen (een "bubble") waren. Ze leken groot en indrukwekkend, maar als je er een beetje druk op zet (door de opties te verhogen), barstten ze.

De boodschap voor de toekomst:
We moeten stoppen met vertrouwen op simpele meerkeuzetests. Als we willen weten of een AI echt slim is, moeten we ze testen in een omgeving waar er veel verwarring is en waar ze echt moeten nadenken, niet alleen maar gokken. Net als in het echte leven, waar je niet altijd maar 4 opties hebt om uit te kiezen, maar vaak een heleboel verwante dingen moet doorzoeken om het juiste antwoord te vinden.

Kort samengevat:
De paper zegt: "Stop met het testen van AI's met een simpele 4-voudige meerkeuzetest. Dat is als ze leren om een munt op te gooien. Geef ze een test met 100 opties, dan zien we pas wie er echt slim is en wie er alleen maar naar het eerste antwoord wijst."

Probleemstelling

Meerkeuzevragen (MCQA) met een klein aantal opties (meestal $N \in \{4, 5\}$ ) zijn de standaard voor het evalueren van Large Language Models (LLM's). Het paper identificeert echter een fundamentele beperking in deze benadering:

Valse Veiligheid: Bij een klein aantal opties kunnen modellen hoge nauwkeurigheid bereiken door gebruik te maken van "shortcut-strategieën" (zoals het elimineren van onwaarschijnlijke opties, distributief gissen of het benutten van formatteerfouten) in plaats van echte kennis of redenering.
Verborgen Competentie: Deze strategieën maskeren de ware competentie van het model. Zodra de zoekruimte klein is, is het moeilijk om te onderscheiden of een model het antwoord echt kent of slechts een beperkt veld van afleiders navigeert.
Kansgebaseerde Prestaties: De kans op een correct antwoord door toeval is bij $N=4$ al 25%, wat de interpretatie van "near-ceiling" resultaten (bijna 100% nauwkeurigheid) minder informatief maakt.

Methodologie

De auteurs introduceren een nieuw evaluatieprotocol dat de zoekruimte drastisch vergroot naar $N = 100$ opties.

Taakformulering:
- De specifieke taak is Koreaanse orthografische foutdetectie. Het model moet één incorrecte zin selecteren uit een set van 99 correcte zinnen.
- De dataset bevat 30 doelzinnen (targets) met gecontroleerde orthografische fouten (spelling, spaties, morfologie) en een grote pool van correcte "afleiders" (distractors).
- De dataset is zorgvuldig geconstrueerd met behulp van een ensemble van drie spellingcheckers om zekerheid te hebben over de correctheid van de afleiders en de fouten in de targets.
Evaluatie-protocol:
- Massive-Option Setting: De opties worden geschaald naar $N \in \{4, 10, 20, 50, 100\}$ .
- Monte Carlo Resampling: Voor elk doelitem worden $K=1000$ onafhankelijke trials uitgevoerd. In elke trial worden $N-1$ afleiders dynamisch gesampled uit de pool en wordt de positie van het juiste antwoord willekeurig geschud.
- Controles: Er worden "padding"-experimenten uitgevoerd om te onderscheiden of prestatiedalingen veroorzaakt worden door de lengte van de context (token count) of door de complexiteit van het ranken van kandidaten.
Analyse-metrics:
- Chance-Normalized Accuracy (NA): Een metric die de prestaties corrigeert voor de kans op een toevallig goed antwoord ( $1/N$ ).
- Bubble Index (BI): Meet de mate waarin lage-N prestaties de werkelijke competentie "opblazen" ten opzichte van hoge-N prestaties. Een hoge BI duidt op een "competentiebel" die knapt onder druk.
- Positieve Diagnostiek: Analyse van de Primacy-Fallback Index (PFI) om te zien of modellen onder onzekerheid terugvallen op het kiezen van de eerste opties (positiebias), en de Gold-Position Slope om te meten hoe de nauwkeurigheid afneemt naarmate het juiste antwoord verder in de lijst staat.

Belangrijkste Resultaten

De studie evalueerde diverse state-of-the-art modellen (o.a. Gemini-familie, HyperCLOVAX-THINK, EXAONE-4.0, A.X-4.0) in twee omgevingen: "Easy" (minder moeilijke afleiders) en "Full" (volledige moeilijkheidsgraad).

Daling van Prestaties bij Hoge N:
- Modellen die bij $N=4$ bijna perfecte scores halen (bijv. HyperCLOVAX-THINK en EXAONE-4.0), vertonen een catastrofale daling bij $N=100$ . In de "Full" omgeving daalde de nauwkeurigheid van deze modellen met ongeveer 70 procentpunten.
- De Gemini-modellen behielden daarentegen een hoge betrouwbaarheid, wat aantoont dat ze beter bestand zijn tegen dichte interferentie.
Competentiebel (Bubble Index):
- Er is een sterke correlatie tussen een hoge Bubble Index en een groot prestatieverlies bij $N=100$ . Dit bevestigt dat hoge scores bij lage $N$ vaak een illusie zijn van shortcut-strategieën.
Positieve Bias en Fallback:
- Modellen met een sterke prestatiedaling vertoonden een duidelijke positiebias: ze vonden het juiste antwoord minder vaak en grepen terug op heuristieken door systematisch de eerste opties (bijv. de eerste 10) te selecteren.
- De Excess Primacy was significant hoger voor de zwakkere modellen, wat aangeeft dat ze onder druk stoppen met content-analyse en overgaan op positieselectie.
Contextlengte vs. Ranking Complexiteit:
- De padding-experimenten toonden aan dat de prestatiedaling niet primair veroorzaakt wordt door de lengte van de prompt (context length).
- De daling is het gevolg van de complexiteit van het ranken van honderd sterk vergelijkbare kandidaten. Modellen die gevoelig waren voor "padding" (zoals HyperCLOVAX bij Engelse tekst) vertoonden een specifieke kwetsbaarheid voor distributieveranderingen, maar de algemene daling bij $N=100$ bleef een probleem van discriminatie, niet van geheugen.

Bijdragen aan het Veld

Nieuw Evaluatiekader: Het paper introduceert een robuust protocol voor "Massive-Option MCQA" dat modellen test onder extreme afleiderdichtheid, wat een realistischer beeld geeft van hun betrouwbaarheid dan traditionele benchmarks.
Diagnostische Tools: De introductie van de Bubble Index en Positieve Diagnostiek (PFI, Gold-Position Slope) biedt kwantitatieve methoden om "competentie-inflatie" en "positiebias" te meten.
Inzicht in Falingsmodi: Het onderzoek onthult twee specifieke falingsmodi:
- Semantische verwarring: Het niet kunnen onderscheiden van zeer vergelijkbare opties.
- Positiebias: Het terugvallen op het kiezen van vroege opties wanneer de inhoudelijke analyse faalt.

Significantie

De bevindingen suggereren dat de huidige afhankelijkheid van benchmarks met weinig opties (4 of 5) de werkelijke competentie van LLM's kan overschatten. Voor betrouwbare evaluatie, vooral in scenario's waar veel verwarring mogelijk is (zoals juridische tekst, medische diagnose of code-debugging), zijn stress-tests met een groot aantal opties noodzakelijk. Dit paper pleit voor een verschuiving in de evaluatiemethodologie om modellen te testen op hun vermogen om deterministisch het juiste antwoord te vinden in een omgeving met hoge interferentie, in plaats van alleen te kijken naar hun vermogen om een klein aantal opties te elimineren.