Technische Samenvatting: Elk fout antwoord telt: Optie-niveau Psychometrie voor LLM Multiple-Choice Benchmarks

Probleemstelling

Huidige benchmarking van Large Language Models (LLM's) leunt zwaar op binaire nauwkeurigheidsscores afgeleid van Multiple-Choice Vragen (MCQ's). Deze aanpak behandelt alle onjuiste antwoorden als gelijkwaardig, waardoor de systematische informatie die besloten ligt in welke specifieke afleider wordt gekozen, verloren gaat. Bijgevolg zijn nauwkeurigheidsscores beperkt door hun afhankelijkheid van specifieke itemcomposities en falen ze om modelvertrouwen, systematische foutpatronen of meetonzekerheid te vatten. Naarmate modellen de benchmark-verzadiging naderen, verliest binaire scoring zijn onderscheidend vermogen. Bovendien falen bestaande psychometrische toepassingen op LLM's (bijv. Item Response Theory) typisch door responsen te reduceren tot binaire correctheid, waardoor ze het volledige distributiepatroon van optievoorkeuren—dat LLM's van nature produceren—niet kunnen benutten.

Methodologie: Het LLM Nominal Response Model (LLM-NRM)

De auteurs stellen het LLM Nominal Response Model (LLM-NRM) voor, een optie-bewust psychometrisch framework dat Bock's Nominal Response Model (NRM) aanpast voor LLM-evaluatie. In tegenstelling tot binaire modellen, modelleert LLM-NRM de volledige waarschijnlijkheidsverdeling over alle antwoordopties om de latente LLM-bekwaamheid ($\theta$) en itemkenmerken gezamenlijk te schatten.

Kernformulering

Het model behandelt de respons van een LLM op een MCQ-item als een distributie $p_{ji}$ over $K_i$ opties, in plaats van een enkel binair label. Het breidt de klassieke NRM nutfunctie $u_{jik} = a_{ik}\theta_j + c_{ik}$ uit door drie LLM-specifieke gedragsfactoren te incorporeren:

1. Response Calibration Sharpness ($s_j$): Een per-LLM parameter die fungeert als een inverse temperatuur. Het controleert de concentratie van de waarschijnlijkheidsverdeling zonder de relatieve ordening van opties te wijzigen, wat vastlegt of een model voorkeuren met hoge mate van vertrouwen uitdrukt of een "platte" distributie heeft, onafhankelijk van de itemkennis.
2. Positional Bias ($\delta_j$): Een vector die inhoudsonafhankelijke voorkeuren voor specifieke antwoordposities (bijv. A, B, C, D) vertegenwoordigt. Dit scheidt systematische positionele heuristieken van de werkelijke aantrekkelijkheid van de inhoud van de optie.
3. Difficulty-Gated Guessing Fallback: Een mechanisme dat interpoleert tussen bekwaamheidsgestuurde voorkeuren en een fallback-strategie wanneer een item te moeilijk is voor het model.
   • Een gate $G_{ji} = \sigma[w_0 - \kappa(\theta_j - \tilde{b}_i)]$ bepaalt het gewicht van de fallback, waarbij $\tilde{b}_i$ een benaderde item-moeilijkheidsindex is afgeleid van NRM-parameters.
   • Een fallback logit-vector $\rho_j$ definieert de specifieke distributie van gokken (bijv. label-priors) wanneer de gate actief is.

De uiteindelijke responsdistributie is een softmax-interpolatie:
$$p_{jik}^{LLM-NRM} = \frac{\exp[(1-G_{ji})u_{jik} + G_{ji}\rho_{jk}]}{\sum_{k'} \exp[(1-G_{ji})u_{jik'} + G_{ji}\rho_{jk'}]}$$

Schatting

Parameters worden geschat via Maximum A Posteriori (MAP) met behulp van Adam-optimalisatie op een soft cross-entropy loss, geregulariseerd door een standaard normale prior op bekwaamheid ($\theta_j \sim \mathcal{N}(0,1)$). Het model wordt gefit op een dataset van 189 LLM's en 31.554 MCQ-items over 14 benchmarks.

Belangrijkste Bijdragen

1. Eerste toepassing van NRM op LLM's: Dit werk introduceert het Nominal Response Model in het LLM-domein, wat latente responsvoorkeuren over opties onthult en een rijker beeld geeft van modelgedrag dan enkel correctheid.
2. LLM-Aangepaste Formulering: De auteurs stellen een nieuwe formulering voor die expliciet kalibratiescherpte, positionele bias en moeilijkheidsafhankelijke fallback-gedragingen modelleert, waarmee zij verder gaan dan traditionele item-respons modellering om specifieke LLM-beslissingsprocessen te vatten.
3. Demonstratie van de Nut van Afleiders: Het artikel stelt vast dat onjuiste responsen geen willekeurige ruis zijn, maar onderscheidende, nuttige meetinformatie bevatten.

Experimentele Resultaten

Voorspellende Prestaties

Geëvalueerd op gehouden data via 5-voudige kruisvalidatie, presteert LLM-NRM beter dan binaire IRT-baselines (1PL–4PL), standaard NRM en eerdere state-of-the-art benaderingen (bijv. Deep-IRT, PSN-IRT).

• Binaire Correctheid: LLM-NRM bereikt de hoogste nauwkeurigheid (0.8395) vergeleken met de beste binaire baseline (0.8232).
• Optie-niveau Voorspelling: De winst is meer uitgesproken bij het voorspellen van de volledige optiedistributie, waar LLM-NRM een nauwkeurigheid van 0.7070 en een log-loss van 0.8181 behaalt, wat significant beter is dan de binaire baselines (0.6427 nauwkeurigheid, 0.9879 log-loss) en standaard NRM.

Externe Validiteit

De bekwaamheidsschattingen ($\theta$) afgeleid van LLM-NRM vertonen de sterkste Spearman-correlatie (0.920) met de externe Arena.ai Text Elo leaderboard (gebaseerd op menselijke voorkeuren), waarmee ze de ruwe nauwkeurigheid (0.866) en andere latente bekwaamheidsschattingen (max 0.885) overtreffen. Dit suggereert dat optie-niveau patronen verschillen in modellen beter vatten die in lijn liggen met menselijk oordeel dan geaggregeerde correctheid.

Informatiegehalte van Foute Antwoorden

• Fisher Informatie: De identiteit van de gekozen afleider draagt gemiddeld +101% extra Fisher-informatie per item bij vergeleken met binaire correctheid alleen.
• Herstel van Fouten: Zelfs wanneer alleen onjuiste responsen worden geobserveerd (het negeren van correctheidssignalen), kan het model bekwaamheidsschattingen herstellen met een Spearman-correlatie van 0.9428 tegenover de volledige-informatie referentie. Dit bevestigt dat foutstructuren zeer informatief en systematisch zijn.

Benchmark Efficiëntie

• Item Compressie: Het gebruik van LLM-NRM om de 41 meest informatieve items te selecteren, maakt een 770x reductie in benchmarkgrootte mogelijk, terwijl de volledige bank-rangschikking behouden blijft met een Kendall-correlatie van 0.85.
• Kalibratie Efficiëntie: LLM-NRM kan itemparameters kalibreren met slechts 5 LLM's en nadert de prestaties van de volledige vloot met ~40 items, wat aanzienlijk beter is dan binaire IRT-modellen die grotere vloten vereisen om te stabiliseren vanwege de beperkte informatie in binaire responsen.

Betekenis en Claims

Het artikel concludeert dat foutieve antwoorden in LLM-benchmarks onderscheidende en nuttige meetinformatie dragen in plaats van equivalente fouten te representeren. Door de volledige distributie van responsen te modelleren, biedt LLM-NRM:

1. Verbeterde Evaluatienauwkeurigheid: Levert betrouwbaardere bekwaamheidsschattingen die overeenkomen met menselijke voorkeuren.
2. Onthulling van Gedragsnuances: Scheidt ware kennis van kalibratie-artefacten, positionele biases en fallback-strategieën.
3. Maakt Efficiëntie Mogelijk: Vermindert drastisch de kosten van benchmarking door een hoogwaardige rangschikking mogelijk te maken met minder items en minder kalibratiemodellen.

De auteurs stellen dat deze aanpak het evaluatieparadigma transformeert van een binaire "goed/fout" metriek naar een genuanceerde psychometrische analyse waarbij "elk fout antwoord telt". Toekomstig werk wordt gesuggereerd om partiële waarschijnlijkheidsobservaties, multidimensionale bekwaamheden en uitbreidingen buiten vaste-optie vragen te verkennen, maar het huidige werk richt zich op het valideren van het nut van optie-niveau data in bestaande MCQ-frameworks.