💬 NLP

Models Know Models Best: Evaluation via Model-Preferred Formats

Dit artikel stelt een dynamische formaat-uitlijningstrategie voor die gebruikmaakt van een lichtgewicht classifier getraind op door het model geprefereerde signalen om automatisch te kiezen tussen symboolgebaseerde en cloze-stijl evaluatieformaten, waardoor prestatieverschillen worden opgelost en de zero-shot nauwkeurigheid over diverse LLM-benchmarks aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Gepubliceerd 2026-02-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een test aflegt om te bewijzen hoe slim je bent. Stel je nu voor dat de test in twee verschillende stijlen komt:

De "Multiple Choice"-stijl: Je leest een vraag en vervolgens moet je een letter kiezen (A, B, C of D) die overeenkomt met het antwoord.
De "Invul"-stijl: Je leest een zin die abrupt stopt, en je moet de zin aanvullen met de juiste woorden.

Lange tijd dachten onderzoekers dat deze twee stijlen gewoon verschillende manieren waren om dezelfde vraag te stellen. Maar dit artikel, getiteld "Models Know Models Best," ontdekte iets verrassends: Large Language Models (LLM's) houden niet evenveel van beide stijlen. Sterker nog, de stijl die je kiest kan een model laten lijken op een genie of op een complete mislukking, zelfs als de vraag exact hetzelfde is.

Hier is de uitsplitsing van wat de auteurs hebben ontdekt, met behulp van enkele eenvoudige analogieën.

1. Het probleem van de "Verkeerde tool voor de klus"

De onderzoekers testten 22 verschillende AI-modellen op 8 verschillende soorten vragen. Ze vonden een duidelijk patroon:

De "Symbool"-stijl (Een letter kiezen zoals A, B, C, D): Dit werkt het beste voor vragen die vereisen dat je opties vergelijkt. Denk aan een menu waarbij je een lijst met gerechten moet bekijken en degene moet kiezen die bij je dieet past. Het model moet alle opties naast elkaar bekijken om een keuze te maken.
De "Cloze"-stijl (Invulzin): Dit werkt het beste voor vragen die vereisen dat je een verhaal voortzet. Denk aan het afmaken van een zin in een roman. Het model is getraind om te voorspellen welk woord er logischerwijs volgt in een natuurlijk verloop.

Het Probleem: Wanneer onderzoekers een "verhaal-vertellend" model dwongen om een letter uit een lijst te kiezen (Symbool-stijl) voor een vraag die eigenlijk over het afmaken van een zin ging, stortte de score van het model in. Het was alsof je een marathonloper vroeg om een wiskundige vergelijking op te lossen; ze zijn goed in hardlopen, maar het testformaat kwam niet overeen met hun kracht.

2. Mensen kunnen het beste formaat niet raden

De auteurs probeerden dit eerst op te lossen door mensen te vragen naar een vraag te kijken en te beslissen: "Hé, deze ziet eruit als een verhaal, dus laten we de Invul-stijl gebruiken."

Het Resultaat: Dit werkte niet goed. Mensen zijn slecht in het raden van welk formaat een AI zal verkiezen. Soms ziet een vraag er voor een mens uit als een verhaal, maar geeft de AI eigenlijk de voorkeur aan de multiple-choice lijst. Vertrouwen op menselijke intuïtie maakte de AI vaak juist slechter.

3. De oplossing: "Vraag het model wat het wil"

Omdat mensen het juiste formaat niet konden raden, vroegen de auteurs het aan de modellen zelf.

Ze bouwden een kleine, lichtgewicht "verkeersregelaar" (een classifier). Deze verkeersregelaar kijkt naar een specifieke vraag en vraagt aan de AI: "Als ik je deze vraag als een multiple-choice lijst geef, hoe zelfverzekerd ben je dan? Als ik het je als een invulzin geef, hoe zelfverzekerd ben je dan?"

Op basis van de interne vertrouwenssignalen van de AI, beslist de verkeersregelaar welk formaat te gebruiken voor die specische vraag.

Als de vraag gaat over het vergelijken van opties: Zegt de verkeersregelaar: "Gebruik het Multiple Choice (Symbool) formaat."
Als de vraag gaat over het afmaken van een zin: Zegt de verkeersregelaar: "Gebruik het Invul (Cloze) formaat."

4. De resultaten: Het ontsluiten van verborgen potentieel

Wanneer ze deze "Model-Preferred" strategie gebruikten, waren de resultaten spectaculair.

Voor "Verhaal"-vragen: De prestaties van de AI sprongen aanzienlijk omhoog. Het was alsof ze eindelijk de hardloper de juiste schoenen hadden gegeven.
Voor "Vergelijkings"-vragen: De prestaties bleven hoog of verbeterden licht.
De belangrijkste les: Het artikel laat zien dat veel AI-modellen eigenlijk veel slimmer zijn dan we dachten, maar dat we ze vaak testten met de verkeerde "liniaal". Door de liniaal aan te passen aan de specifieke taak, kunnen we hun ware capaciteiten zien.

Samenvatting

Het artikel betoogt dat we niet zomaar één testformaat moeten kiezen en dat voor alles moeten gebruiken. In plaats daarvan moeten we de AI laten vertellen welk formaat het verkiest voor elk specifiek probleem. Door dit te doen, houden we de modellen niet langer tegen en beginnen we te zien hoe slim ze werkelijk zijn.

Kortom: Het artikel bewijst dat de manier waarop je een vraag stelt net zo belangrijk is als de vraag zelf, en dat de beste manier om uit te zoeken wat de juiste manier van vragen is, door te luisteren naar de eigen voorkeuren van het model.

Technische Samenvatting: Modellen kennen modellen het best: Evaluatie via door het model geprefereerde formaten

Probleemstelling

Multiple-choice vraagbeantwoording (MCQA) is de de facto standaard voor het evalueren van Large Language Models (LLM's). Recent onderzoek wijst echter uit dat de prestaties van modellen in MCQA zeer gevoelig zijn voor de inputformattering, met name de keuze tussen symboolgebaseerde en cloze-stijl evaluatieformaten.

Symboolgebaseerd: Het model selecteert een optie door een label te genereren (bijv. "A", "B", "C", "D") dat overeenkomt met een lijst met keuzes.
Cloze-stijl: Het model evalueert de waarschijnlijkheid van de antwoordtekst zelf wanneer deze aan de prompt wordt toegevoegd, wat vaak lengte-normalisatie vereist.

Bestaand onderzoek benadrukt significante prestatieverschillen tussen deze twee formaten, terwijl de onderliggende oorzaken nog onvoldoende begrepen worden. Cruciaal is dat het onduidelijk is of deze discrepanties stochastisch of systematisch zijn, en of door mensen ontworpen heuristieken betrouwbaar kunnen voorspellen welk formaat optimaal is voor een specifieke taak. Huidige evaluatieprotocollen vertrouwen vaak op een enkel vaststaand formaat, wat de werkelijke capaciteiten van LLM's potentieel onderschat vanwege een mismatch tussen formaat en taak.

Methodologie

Het artikel stelt een dynamische formaat-alignatiestrategie voor die het optimale evaluatieformaat voor elke probleeminstantie selecteert op basis van de eigen latente voorkeuren van het model, in plaats van op basis van menselijke intuïtie.

1. Empirische Baseline Analyse

De auteurs voerden een systematische vergelijking uit over 22 decoder-gebaseerde LLM's (waaronder de Qwen 3, Llama 3.1/3.2 en Mistral families) en acht diverse benchmarks (bijv. MMLU, ARC, HellaSwag, PIQA).

Bevindingen: Prestatieverschillen zijn systematisch en taakafhankelijk.
- Symbool-bevoordelende taken: Taken die expliciete vergelijking van opties vereisen (bijv. "Welke van de volgende is...?") of opties bevatten zoals "Geen van de bovenstaande" (bijv. ARC, MMLU) presteren aanzienlijk beter met symboolgebaseerde formaten.
- Cloze-bevoordelende taken: Taken die natuurlijke taalcontinuatie vereisen (bijv. het voorspellen van de volgende zin in een narratief) presteren aanzienlijk beter met cloze-stijl formaten (bijv. HellaSwag, PIQA, WinoGrande).
In-Context Learning: Hoewel few-shot demonstraties format-mismatches kunnen verzachten, elimineren ze het prestatieverschil niet volledig, en slagen modellen er vaak niet in om de baseline van het optimale formaat te bereiken, zelfs niet met 10 voorbeelden.

2. Classifier-gebaseerde Formaatselectie

Om deze inconsistenties aan te pakken, introduceren de auteurs een lichtgewicht encoder-gebaseerde classifier (gefine-tuned DeBERTaV3) die het geprefereerde formaat (Symbool vs. Cloze) voor elke probleeminstantie voorspelt. Twee labelstrategieën werden verkend voor het trainen van deze classifier:

Door mensen geannoteerde labels: Een subset van de data werd handmatig gelabeld op basis van syntactische heuristieken (bijv. of de optie een zin voltooit of een expliciete vergelijking vereist).
- Resultaat: Deze aanpak leidde tot consistente prestatieverslechtering, wat suggereert dat menselijke linguïstische intuïtie niet overeenkomt met de latente inductieve biases van LLM's met betrekking tot formaatvoorkeur.
Door het model gegenereerde labels: Labels werden afgeleid door de doel-model (of een set modellen) te evalueren op beide formaten en het formaat te selecteren waar het model een hogere correctheid of zekerheid vertoonde (gemeten via waarschijnlijkheidsmarges).
- Algoritme: Voor een gegeven instantie, als het model correct antwoordt in slechts één formaat, wordt dat formaat gekozen. Als het in beide correct is, wordt het formaat met de hogere zekerheidsmarge gekozen (met een drempelwaarde $\delta$ om ruis te vermijden).
- Generalisatie: Om de overdraagbaarheid te testen, werd een "meerderheidsstemming"-strategie toegepast waarbij labels werden geaggregeerd van drie verschillende middelgrote modellen (Llama 3.1 8B, Mistral 7B, Qwen3 8B) om een classifier voor onbekende modellen te trainen.

Belangrijkste Bijdragen

Systematische Karakterisering van Formaatbias: Het artikel stelt vast dat prestatieverschillen in MCQA niet stochastisch zijn, maar systematisch variëren volgens de structurele en linguïstische eigenschappen van de taak. Deze patronen zijn model-agnostisch en komen consistent naar voren bij diverse decoder-gebaseerde LLM's.
Latente Voorkeurssignalen: De auteurs leveren bewijs dat de kenmerken die de formaatvoorkeur bepalen, impliciet gecodeerd zijn in de latente representaties van het model. Het expliciet oproepen van deze signalen maakt het mogelijk de prestaties te herstellen die anders verloren gaan door een suboptimaal formaat.
Dynamische Formaat-Alignatiestrategie: De voorgestelde methode maakt gebruik van door het model gegenereerde signalen om dynamisch het optimale evaluatieformaat per instantie te selecteren. Deze aanpak overbrugt de kloof tussen modelcapaciteit en taakkenmerken zonder dat daarvoor training-vrije heuristieken nodig zijn.

Resultaten

De evaluatieresultaten laten zien dat de door het model gegenereerde classifier aanzienlijk beter presteert dan zowel de vaste-formaat baselines als de door mensen geannoteerde classifiers.

Prestatiewinst: De voorgestelde methode levert substantiële en consistente verbeteringen op in zero-shot accuratesse over reasoning en kennisintensieve benchmarks.
- Op cloze-bevoordelende taken (bijv. HellaSwag, PIQA, WinoGrande), overtreft de aanpak vaak de baseline van het "geprefereerde" formaat, waarbij significante prestatiewinst wordt gerealiseerd (bijv. +16,7% op WinoGrande voor Llama 3.2 1B, +28,3% voor Qwen3 0.6B).
- Op symbool-bevoordelende taken (bijv. ARC, MMLU), behoudt de methode de pariteit met het oorspronkelijke geprefereerde formaat, waardoor de degradatie die met door mensen geannoteerde classifiers optreedt, wordt voorkomen.
Generalisatie: De "meerderheids-gelabelde" aanpak, die signalen aggregeert van meerdere modellen, behaalt winsten die vergelijkbaar zijn met "self-labeled" classifiers. Dit geeft aan dat formaatvoorkeuren niet unieke artefacten zijn van specifieke modellen, maar reflecteren op gedeelde, taakafhankelijke tendensen die inherent zijn aan decoder-gebaseerde LLM's.
Menselijke vs. Model Heuristieken: Classifiers getraind op door mensen geannoteerde labels leidden consistent tot prestatievermindering, wat bevestigt dat menselijke intuïtie een onbetrouwbare proxy is voor de formaatvoorkeuren van modellen.

Betekenis

Het artikel voert aan dat vaste-formaat evaluatiepraktijken de capaciteiten van LLM's momenteel onderschatten. Door aan te tonen dat modellen beschikken over latente, taakafhankelijke biases met betrekking tot evaluatieformaten, benadrukken de auteurs het belang van het afstemmen van evaluatieprotocollen op deze inductieve biases.

De betekenis van dit werk ligt in de methodologische bijdrage aan de evaluatie van LLM's:

Het daagt de aanname uit dat door mensen ontworpen heuristieken voldoende zijn voor het bepalen van optimale evaluatiestrategieën.
Het introduceert een training-vrije, op instantie gebaseerde mechanisme om latente modelcapaciteiten te herstellen die worden verborgen door formaat-mismatches.
Het suggereert dat toekomstige evaluaties rekening moeten houden met hoe modellen intern reageren op verschillende interactieformaten om een nauwkeuriger en diepgaander beeld van de modelprestaties te geven.

De auteurs merken op dat dit onderzoek primair methodologisch van aard is, gericht op het verbeteren van de betrouwbaarheid en interpreteerbaarheid van modelevaluatie, en geen nieuwe maatschappelijke of ethische zorgen oproept buiten de problemen die inherent zijn aan de evaluatie van LLM's zelf.