📊 statistics

Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks

Dit artikel introduceert Laplace-PSN-IRT, een post-hoc Bayesiaanse methode die neurale Item Response Theory-modellen uitbreidt met gekalibreerde onzekerheidskwantificering, waarbij wordt onthuld dat veel ranglijsten van LLM-benchmarks statistisch ononderscheidbaar zijn en wordt aangetoond dat de posterior-verwachte Fisher-informatie stabielere en nauwkeurigere itemselectie biedt dan traditionele punt-schattingen.

Oorspronkelijke auteurs: Juan Francisco, Mandujano Reyes

Gepubliceerd 2026-07-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juan Francisco, Mandujano Reyes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de beste videogames van het jaar te rangschikken. Je hebt een enorme lijst met games en een grote groep spelers. Om te bepalen wie de "beste" is, zou je simpelweg kunnen tellen hoeveel games elke speler heeft verslagen. Maar wat als de games zelf kapot zijn? Wat als sommige zo makkelijk zijn dat zelfs een beginner wint, terwijl anderen zo moeilijk zijn dat niemand ze kan voltooien? In dat geval zegt je ranglijst meer over de kapotte games dan over de werkelijke vaardigheden van de spelers. Dit is het probleem waar de wereld van Kunstmatige Intelligentie voor staat. Wetenschappers gebruiken "benchmarks"—sets met lastige vragen—om te testen hoe slim Large Language Models (LLM's) zijn. Maar net als die kapotte videogames, bevatten deze benchmarks vaak vragen die te makkelijk of te moeilijk zijn, waardoor het onmogelijk is om te bepalen of één AI echt beter is dan een andere, of dat ze gewoon geluk hadden met een specifieke set vragen.

Om dit op te lossen, gebruiken onderzoekers een statistisch hulpmiddel genaamd Item Response Theory (IRT). Denk aan IRT als een super slimme scheidsrechter die niet alleen overwinningen en nederlagen telt. In plaats daarvan probeert het tegelijkert k twee verborgen dingen te achterhalen: hoe "vaardig" een model is, en hoe "moeilijk" of "onderscheidend" elke vraag is. Een goede vraag moet net moeilijk genoeg zijn om de experts van de beginners te onderscheiden. Recentelijk gebruikte een nieuwe methode genaamd PSN-IRT neurale netwerken (een type AI-brein) om deze scheidsrechterklus zeer snel uit te voeren. Er zat echter een addertje onder het gras: het gaf slechts één exact getal voor de vaardigheid van een model en de moeilijkheid van een vraag. Het was alsof een scheidsrechter zei: "Speler A is precies 95,2% vaardig," zonder toe te geven: "maar ik weet het niet voor 100% zeker; misschien is hij eigenlijk 94% of 96%." Zonder te weten hoeveel vertrouwen we aan die getallen moeten schenken, is het moeilijk te weten of de rangschikking echt is of slechts een toevalstreffer.

Dit is waar het nieuwe paper, "Laplace-PSN-IRT," in beeld komt om een laag van "onzekerheid" toe te voegen. De auteurs namen het bestaande PSN-IRT-systeem en voegden een slimme wiskundige truc toe genaamd een "Laplace-benadering". Stel je voor dat je een kaart hebt van een berglandschap (de training van het AI-model). De oude methode wees alleen naar het hoogste punt en zei: "Dit is het hoogste punt." De nieuwe methode tekent een wazige wolk rond dat piekpunt, die laat zien welk gebied het hoogste punt zou kunnen zijn. Deze wolk vertegenwoordigt een "posterior distributie", wat een chique manier is om te zeggen: "Hier is het bereik van mogelijkheden waarvan we zeker zijn."

De onderzoekers ontdekten dat wanneer ze naar deze wazige wolken keken voor 12 verschillende AI-modellen op een standaard ranglijst, de wolken bijna overal overlapten. Van de 66 mogelijke confrontaties tussen deze modellen waren er slechts 2 paren die duidelijk van elkaar verschilden. De andere 64 paren lagen zo dicht bij elkaar dat men statistisch gezien niet het verschil kon zien. Het is als het proberen te rangschikken van hardlopers die allemaal een race voltooien binnen een fractie van een seconde van elkaar; zeggen dat de een "eerste" is, is grotendeels gokken.

Het paper pakte ook aan hoe je de beste vragen kiest om deze modellen te testen. De oude methode koos vragen op basis van een enkele "punt-schatting" van moeilijkheid. De auteurs toonden aan dat deze aanpak fragiel is. Als je een vraag kiest op basis van één enkele gok over de moeilijkheid, wordt deze vaak nutteloos (of "verzadigd") voor modellen die iets slimmer of iets dommer zijn dan die gok. Het is als het kiezen van een wiskundevraag die perfect is voor een vijfdeklasser; het vertelt niets over een tiendeklasser of een eersteklasser. De nieuwe methode, die gemiddelden neemt over alle mogelijke moeilijkheidsgraden (de "wazige wolk"), zorgt ervoor dat vragen over een veel breder bereik aan vaardigheden nuttig blijven.

Toen de auteurs deze nieuwe methode testten om te zien of ze de volledige rangschikking konden reconstrueren met slechts een kleine subset aan vragen (zoals 100 of 1.000 items in plaats van de volledige 29.000), werkte de "wazige wolk"-methode in 8 van de 10 gevallen beter. Het was stabieler en betrouwbaarder dan de oude methode met één enkel getal. De auteurs merkten echter voorzichtig op dat bij de kleinste testgroottes (50 items), de oude methode soms iets beter presteerde, waarschijnlijk door puur toeval. Ze gaven ook toe dat omdat ze hun resultaten niet konden vergelijken met een echte "menselijke voorkeur"-rangschikking (omdat een deel van de oude data verloren was gegaan), ze moesten testen tegen een interne "oracle" (een perfecte rangschikking gegenereerd door hun eigen model). Hoewel hun methode in de meeste scenario's won van de oude methode, kon geen van beide methoden consistent winnen van een willekeurige gok tegen deze interne oracle, wat suggereert dat het probleem van het kiezen van de perfecte kleine testset nog steeds erg moeilijk is.

Kortom, dit paper beweert niet het mysterie van AI-rangschikkingen te hebben opgelost. In plaats daarvan biedt het een broodnodige "betrouwbaarheidsmeter". Het laat ons zien dat de verschillen tussen top AI-modellen meestal zo klein zijn en de onzekerheid zo groot, dat we niet met vertrouwen kunnen zeggen wie er echt beter is. Het waarschuwt ons ook dat het kiezen van testvragen op basis van een enkele gok riskant is, en suggereert dat het kijken naar het hele bereik van mogelijkheden ons een veel duidelijker, eerlijker beeld geeft van wat deze modellen daadwerkelijk kunnen.

Technische Samenvatting: Laplace-PSN-IRT

Probleemstelling
Benchmarks voor Large Language Models (LLM's) worden doorgaans geëvalueerd met behulp van single-point nauwkeurigheidsmetrieken die een gebrek aan onzekerheidskwantificering vertonen. Hoewel Zhou et al. [2026] PSN-IRT (Pseudo-Siamese Network Item Response Theory) introduceerden om zowel de latente bekwaamheid van het model ( $\theta$ ) als de itemparameters (moeilijkheidsgraad $b$ , discriminatie $a$ , gokfactor $c$ , plafond $d$ ) gezamenlijk te schatten, vertrouwen hun aanpak en gerelateerde baselines (MLE, MCMC, VIBO) uitsluitend op puntenschattingen. Deze afhankelijkheid creëert een kritieke kloof: het verhindert de berekening van betrouwbaarheidsintervallen, probabilistische uitspraken over de onderscheidbaarheid van modellen en de propagatie van parameteronzekerheid naar downstream-taken zoals itemselectie. Specifiek wordt aangetoond dat de Fisher-informatie op basis van puntenschattingen, die wordt gebruikt voor het selecteren van hoogwaardige benchmark-subsets, fragiel is en vaak instort naar bijna nul door verzadiging bij specifieke referentie-bekwaamheden.

Methodologie
Het artikel introduceert Laplace-PSN-IRT, een post-hoc Bayesiaanse uitbreiding van het getrainde PSN-IRT-model die een last-layer Laplace-benadering [MacKay, 1992; Daxberger et al., 2021] toepast zonder de onderliggende neurale architectuur opnieuw te trainen.

Last-Layer Benadering: De methode behandelt de laatste lineaire readout-lagen van de PSN-IRT-architectuur (die embeddings mappen naar $\theta$ en itemparameters) als de doelwitten voor een Gaussische posterieure benadering. De voorafgaande niet-lineaire embedding-netwerken worden vastgehouden op hun getrainde waarden.
Scoped Posterior & Kalibratie: Een cruciaal methodologisch bevinding betreft de kalibratie van de item-parameter posterieur. De auteurs ontdekten dat het gezamenlijk samplen van de item-discriminatie ( $a$ $a$ ) en moeilijkheidsgraad ( $b$ $b$ ) leidt tot een slechte kalibratie (hoge Expected Calibration Error), omdat deze parameters multiplicatief interageren in de 4PL-logit, waardoor de variantie de ondersteuning van een Gaussische benadering overstijgt. Om dit op te lossen, stellen de auteurs een scoped posterior voor:
- Modelbekwaamheid ( $\theta$ ) wordt behandeld als volledig random (gesampled uit de Laplace-posterieur).
- Item-moeilijkheidsgraad ( $b$ ) wordt behandeld als random (gesampled).
- Item-discriminatie ( $a$ ), de gokfactor ( $c$ ) en de haalbaarheid ( $d$ ) worden vastgehouden op hun Maximum A Posteriori (MAP) puntenschattingen.
Posterior-Verwachte Fisher-informatie: Gebruikmakend van de gevalideerde scoped posterior, berekenen de auteurs de posterior-verwachte Fisher-informatie, $\bar{I}(\theta) = \mathbb{E}_{p(b|D)}[I(\theta | a_{MAP}, b, c_{MAP}, d_{MAP})]$ , via Monte Carlo-averaging. Dit dient als een Bayesiaanse generalisatie van het Fisher-informatiecriterium dat wordt gebruikt voor itemselectie.

Belangrijkste Resultaten
De auteurs valideren de aanpak op een dataset bestaande uit 12 modellen en 29.309 benchmark-items over 11 benchmarks.

Model Onderscheidbaarheid: Bij het analyseren van paarvergelijkingen van de 12 modellen zijn slechts 2 van de 66 paren statistisch onderscheidbaar ( $P(\theta_i > \theta_j) > 0.95$ of $< 0.05$ ). De resterende 64 paren zijn ononderscheidbaar onder de posterieur, waarbij aangrenzende rangordes in de leaderboard overlappen in hun 95% betrouwbaarheidsintervallen. Dit bevestigt kwantitatief de "zwakke scheidbaarheid" van standaard LLM-leaderboards.
Stabiliteit van de Fisher-informatie: De Fisher-informatie op basis van puntenschattingen stort in tot bijna nul voor een groot deel van de items (tot 88% bij het 100e percentiel van de bekwaamheid) vanwege verzadigingseffecten waarbij de voorspelde waarschijnlijkheid de gok- of plafondlimieten nadert. In tegenstelling hiertoe blijft de posterior-verwachte Fisher-informatie aanzienlijk stabieler over het volledige bekwaamheidsbereik, aangezien het middelen over de onzekerheid in item-moeilijkheidsgraad voorkomt dat de metriek verzadigt.
Prestaties van Itemselectie: Bij het herstellen van een volledige benchmark-bekwaamheidsrangorde vanuit kleine item-subsets (100–1000 items), presteert het posterior-verwachte Fisher-informatiecriterium beter dan het criterium op basis van puntenschattingen in 8 van de 10 geteste configuraties. Bij de kleinste subsetgrootte (50 items) presteert het criterium op basis van puntenschattingen iets beter, waarschijnlijk door toevallige uitlijning van specifieke parameterwaarden, maar de posterior-methode is superieur in het praktisch relevante regime van grotere subsets.
Kalibratie: De scoped posterior bereikt een goed gekalibreerde onzekerheid (ECE $\approx$ 0.05–0.08) voor zowel modelbekwaamheid als item-moeilijkheidsgraad, terwijl gezamenlijk samplen van $a$ en $b$ leidt tot significante miskalibratie.

Betekenis en Claims
Het artikel claimt dat Laplace-PSN-IRT een lichtgewicht, post-hoc mechanisme biedt om gekalibreerde onzekerheid te herstellen voor neurale IRT-modellen zonder hertraining. De primaire bijdragen zijn:

Het Onthullen van Zwakke Scheidbaarheid: Het aantonen dat de meerderheid van de modelrangordes op standaard leaderboards niet statistisch robuust is wanneer rekening wordt gehouden met onzekerheid.
Het Diagnostiseren van Verzadiging: Het aantonen dat de Fisher-informatie op basis van puntenschattingen systematisch fragiel is voor itemselectie door verzadiging, terwijl de posterior-verwachte Fisher-informatie een stabieler criterium biedt.
Methodologische Rigor: Het vaststellen dat voor modellen met multiplicatief interagerende output-heads, expliciete validatie van welke parameters gezamenlijk posterieure onzekerheid kunnen dragen, noodzakelijk is om kalibratie te bereiken.

De auteurs vermelden beperkingen, waaronder het gebruik van een interne oracle voor de validatie van itemselectie (vanwege de onbeschikbaarheid van gearchiveerde externe menselijke voorkeursscores voor legacy-modellen) en het feit dat de item-branch posterieur 'scoped' is in plaats van volledig gezamenlijk. Zij concluderen dat hun werk pleit voor een bredere adoptie van gekalibreerde onzekerheidskwantificering in neurale IRT-modellen voor LLM-evaluatie.

Technische Samenvatting: Laplace-PSN-IRT

Meer zoals dit