💬 NLP

RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty

Het artikel stelt RankLLM voor, een nieuw framework dat zowel de moeilijkheidsgraad van vragen als de competentie van het model kwantificeert door middel van bidirectionele scorepropagatie om een fijnmazige, stabiele en efficiënte evaluatie van grote taalmodellen mogelijk te maken die bestaande benchmarks en baselines zoals IRT overtreft.

Oorspronkelijke auteurs: Ziqian Zhang, Xingjian Hu, Yue Huang, Kai Zhang, Ruoxi Chen, Yixin Liu, Qingsong Wen, Kaidi Xu, Xiangliang Zhang, Neil Zhenqiang Gong, Lichao Sun

Gepubliceerd 2026-06-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ziqian Zhang, Xingjian Hu, Yue Huang, Kai Zhang, Ruoxi Chen, Yixin Liu, Qingsong Wen, Kaidi Xu, Xiangliang Zhang, Neil Zhenqiang Gong, Lichao Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de vaardigheid van 30 verschillende chefs probeert te beoordelen. Je hebt een menu van 35.000 verschillende gerechten, variërend van "een sneetje brood roosteren" tot "het creëren van een 10-gangen moleculair gastronomisch feestmaal."

De Oude Manier (Traditionele Benchmarks):
Momenteel beoordelen de meeste mensen deze chefs door simpelweg te tellen hoeveel gerechten ze goed hebben gemaakt. Als Chef A 80% van de gerechten goed heeft en Chef B ook 80% goed heeft, worden ze als gelijk beschouwd.

Het Probleem: Dit is oneerlijk. Als Chef A alleen toast maakte en het goed deed, maar Chef B het complexe 10-gangen feestmaal maakte en het ook goed deed, worden ze als hetzelfde behandeld. De oude methode geeft niet om hoe moeilijk het gerecht was; het telt alleen het aantal "correcte" antwoorden.

De Nieuwe Manier (Het EIP-paper):
De auteurs van dit paper, Ziqian Zhang en team, stellen een nieuw systeem voor genaamd EIP (Empirical Interaction Propagation). Denk aan EIP als een slim, zelfcorrigerend beoordelingssysteem dat twee dingen tegelijkertijd uitzoekt:

Hoe moeilijk elk gerecht eigenlijk is.
Hoe vaardig elke chef werkelijk is.

Hoe het werkt: De "Pingpong" van Moeilijkheid

Stel je een groot spel pingpong voor tussen de Chefs (Modellen) en de Gerechten (Vragen).

De Opzet: Je hebt een graaf die elke chef verbindt met elk gerecht dat ze hebben geprobeerd.
De Regels:
- Als een chef een moeilijk gerecht oplost, krijgt hij een enorme boost in zijn "Skill Score."
- Als een chef een gemakkelijk gerecht niet lukt, is dat een grote rode vlag dat het gerecht eigenlijk wel lastig kan zijn (of dat de chef het moeilijk heeft).
- Als een gerecht door bijna iedereen wordt opgelost, gaat de "Difficulty Score" van dat gerecht omlaag.
- Als een gerecht zelfs de beste chefs in de war brengt, gaat de "Difficulty Score" omhoog.
De Magische Loop: Het systeem draait een loop (zoals een rimpeleffect). Het vraagt: "Wie loste dit moeilijke gerecht op? Die moeten goed zijn." Daarna vraagt het: "Wie faalde voor dit gemakkelijke gerecht? Dat gerecht moet moeilijker zijn dan we dachten." Het geeft deze scores heen en weer totdat de cijfers landen op een stabiele, eerlijke rangschikking.

Wat ze ontdekten (De Resultaten)

De onderzoekers testten dit op 30 verschillende AI-modellen (van klein tot enorm) over 35.550 vragen. Dit is wat zij ontdekten:

Het komt overeen met de menselijke intuïtie: Wanneer ze mensen vroegen welke vragen moeilijker waren, stemde EIP in 90% van de gevallen overeen met hen. Andere methoden (zoals standaard wiskundige modellen gebruikt in het onderwijs) waren veel minder nauwkeurig.
Het spot verborgen talent: EIP vond dat sommige kleinere AI-modellen eigenlijk beter waren in het oplossen van moeilijke problemen dan grotere modellen, zelfs als de grotere modellen een hoger totaal aantal "correcte antwoorden" hadden. De oude methode miste dit; EIP gaf de kleinere modellen een hogere rang omdat ze de pittige zaken aanpakten.
Het is super snel: Het berekenen van deze rangschikkingen duurde vroeger uren of dagen met oude methoden. EIP deed het in 0,006 seconden op een gewone laptop. Het is alsoals overstappen van een paardenkoets naar een raket.
Het is stabiel: Zelfs als je de helft van de chefs uit de competitie haalt, blijft de rangschikking van de gerechten en de overgebleven chefs bijna exact hetzelfde. Het raakt niet in de war van wie er in de kamer is.
Het "Crowd"-effect: Het systeem werkt het best wanneer je een mix hebt van kleine, medium en grote modellen. Als je alleen kleine modellen gebruikt, kunnen zij denken dat alles onmogelijk is. Als je alleen gigantische modellen gebruikt, kunnen zij denken dat alles te makkelijk is. Het mengen van hen allemaal geeft het meest nauwkeurige beeld van de werkelijkheid.

De Kern van het Verhaal

Het paper betoogt dat we moeten stoppen met alle vragen als gelijk te behandelen. Alleen omdat een AI een vraag goed heeft, betekent dat niet dat de AI slim is als de vraag makkelijk was. EIP is een hulpmiddel dat de moeilijkheid van de vraag afweegt tegen de vaardigheid van het model, wat een veel eerlijker en gedetailleerder leaderboard voor Kunstmatige Intelligentie creëert.

Het gaat niet alleen om wie de meeste punten haalt; het gaat om wie de moeilijkste bergen heeft overwonnen.

Technische Samenvatting: Empirical Interaction Propagation (EIP)

1. Probleemstelling

Huidige benchmarks voor Large Language Models (LLMs) leunen zwaar op geaggregeerde nauwkeurigheidsmetrieken binnen topische categorieën (bijv. MMLU-Pro, MATH). Deze aanpak behandelt alle evaluatie-items impliciet als even informatief, waardoor het niet effectief onderscheid kan maken tussen de moeilijkheidsgraden van vragen. Bijgevolg kunnen benchmarks niet effectief onderscheid maken tussen routinematige patroonherkenning en geavanceerd redeneren. Een enkel rekenfeitje en een meerstaps calculus-afleiding worden vaak even zwaar gewogen, wat leidt tot ranglijsten die kunnen verschuiven wanneer de mix van gemakkelijke versus moeilijke items verandert. De auteurs stellen dat moeilijkheid expliciet op itemniveau gemodelleerd moet worden om fijnmazige, moeilijkheidsbewuste vergelijkingen van modelcapaciteiten mogelijk te maken.

2. Methodologie: Empirical Interaction Propagation (EIP)

EIP is een non-parametrisch framework dat is ontworpen om zowel de moeilijkheidsgraad van vragen als de competentie van modellen gezamenlijk te schatten via een iteratief, bidirectioneel score-propagatieproces.

Kernintuïtie

Het framework werkt volgens het principe dat:

Een model een competentiescore verdient wanneer het een vraag correct beantwoordt.
De moeilijkheidsscore van een vraag toeneemt wanneer deze een model uitdaagt (d.w.z. een fout veroorzaakt).
Het oplossen van een moeilijke vraag draagt meer bewijskracht bij aan competentie, terwijl het niet kunnen oplossen van een gemakkelijke vraag meer gewicht toevoegt aan de moeilijkheid van de vraag.

Graafformulering

EIP construeert een gerichte bipartiete graaf $G = (V, E)$ waarbij vertices staan voor Modellen ( $M$ ) en Vragen ( $Q$ ).

Competentie-randen ( $E_{Comp}$ ): Gerichte randen van vragen naar modellen ( $q \to m$ ) geven een correct antwoord aan.
Moeilijkheids-randen ( $E_{Fail}$ ): Gerichte randen van modellen naar vragen ( $m \to q$ ) geven een fout aan.

Score-propagatiemechanisme

Het systeem modelleert interacties als een ergodische Markovketen. Het definieert twee rij-stochastische transitiematrices:

Competentie-transitie ( $P_{Q \to M}$ ): Genormaliseerd door het aantal modellen dat een vraag heeft opgelost ( $S(q)$ ).
Moeilijkheids-transitie ( $P_{M \to Q}$ ): Genormaliseerd door het aantal vragen dat een model niet heeft opgelost ( $F(m)$ ).

Scores worden iteratief bijgewerkt met een dempingsfactor $\alpha \in (0, 1)$ om convergentie naar een unieke stationaire verdeling te waarborgen (gegarandeerd door de Perron-Frobenius-stelling). De update-vergelijkingen zijn:
$\pi^{(t+1)}_Q = \alpha P^\top_{M \to Q} \pi^{(t)}_M + (1 - \alpha)\frac{1_Q}{Q}$
$\pi^{(t+1)}_M = \alpha P^\top_{Q \to M} \pi^{(t+1)}_Q + (1 - \alpha)\frac{1_M}{M}$
Waarbij $\pi_Q$ de moeilijkheid van de vraag vertegenwoordigt en $\pi_M$ de competentie van het model. Het proces convergeert asymptotisch naar unieke scores.

Uitbreidingen

Continue scores: EIP breidt uit naar benchmarks met gedeeltelijke credits door de responsmatrix waarden in $[0, 1]$ te laten aannemen in plaats van binair $\{0, 1\}$ .
Preprocessing: Vragen die universeel zijn opgelost of universeel zijn gefaald, worden uitgesloten om de graaf-connectiviteit te waarborgen en triviale oplossingen te vermijden.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Een nieuw evaluatieframework: EIP introduceert een moeilijkheidsbewuste, non-parametrische aanpak die de moeilijkheidsgraad van vragen en de competentie van modellen gezamenlijk schat, waarmee het verder gaat dan vlakke nauwkeurigheidsmetrieken.
Uitgebreide empirische validatie: Het framework werd geëvalueerd op 30 modellen over 35.550 vragen verspreid over zes benchmarks (BBH, GPQA, GSM8k, HellaSwag, MATH, MMLU-Pro).
Nieuwe inzichten: De studie onthult duidelijke profielen van de moeilijkheidsgraad van datasets, consistente patronen op familieniveau over model-schalen heen, en de betrouwbaarheid van open-weight en mixed-scale pools voor het produceren van stabiele moeilijkheidschattingen.

4. Experimentele Resultaten

Afstemming met menselijk oordeel

EIP bereikte 90% overeenstemming met menselijke oordelen over de moeilijkheidsgraad van vragen onder 20 evaluatoren.
Dit presteerde aanzienlijk beter dan baselines inclusief Simple Rank en diverse Item Response Theory (IRT) modellen (1PL, 2PL, Multi-IRT), die varieerden van 50% tot 62,9% overeenstemming.
Een divers modelpool (mixed scales) bleek cruciaal; homogene pools (bijv. alleen kleine of alleen grote modellen) resulteerden in een lagere consensus (38,6%–64,3%) en hogere bias.

Differentiatie in rangschikking

Hoewel EIP-scores correleren met nauwkeurigheid (Kendall's $\tau = 0,8492$ ), herordent het frequent aangrenzende modellen.
Voorbeeld: Qwen2-0.5B (20,2% nauwkeurigheid) werd hoger gerangschikt dan DeepSeek-Chat-Lite (30,49% nauwkeurigheid) omdat Qwen2-0.5B een hoger aandeel moeilijke vragen oploste (5,5% vs. 2,4%).
Simulatie: In een gecontroleerde simulatie met grondwaarheid-rangschikkingen was EIP de enige methode die de ware rangorde correct herstelde, terwijl nauwkeurigheid-gebaseerde en IRT-gebaseerde methoden er niet in slaagden modellen met identieke algemene nauwkeurigheid maar verschillende moeilijkheidsprofielen te onderscheiden.

Stabiliteit en Robuustheid

Model-perturbatie: Het verwijderen van tot 50% van de modelpool (15 van de 30 modellen) resulteerde in een Spearman-correlatie van 0,9382 voor de moeilijkheidsgraad-rangschikking van vragen en 0,9934 voor de competentie-rangschikking van modellen vergeleken met de volledige pool.
Dataset-perturbatie: Rangschikkingen bleven stabiel onder dataset-perturbaties ( $\rho > 0,99$ ).

Efficiëntie en Schaalbaarheid

Tijdcomplexiteit: $O(tQM)$, waarbij $t$ het aantal iteraties is (meestal constant).
Prestaties: Op consumentenhardware (Intel i7) convergeerde EIP in 0,00597 seconden voor 30 modellen en 35.550 vragen.
Vergelijking: Dit is orders van grootte sneller dan IRT-baselines (bijv. 1PL-IRT duurde ~1782 seconden).
Schaalbaarheid: Lineaire schaling werd waargenomen met interactie-aantallen tot $2 \times 10^9$ interacties.

Dataset en Model Inzichten

Datasetprofielen: MATH en MMLU-Pro vertoonden bredere moeilijkheidstails geschikt voor geavanceerd redeneren, terwijl GSM8k en HellaSwag scheefgetrokken waren naar gemakkelijkere vragen.
Modelfamilies: Schalen verschuift primair de absolute nauwkeurigheid in plaats van de relatieve moeilijkheidsstructuur te veranderen; modellen binnen een familie (bijv. Llama-3 varianten) behielden een vergelijkbare moeilijkheidsspecifieke antwoordverdeling.
Open-Weight Modellen: Moeilijkheidsschattingen afgeleid van enkel open-weight modellen vertoonden een sterke correlatie met de resultaten van de volledige pool (Spearman 0,96), wat die van proprietary pools benadert.

5. Betekenis

Het artikel beweert dat EIP een praktisch, schaalbaar en menselijk-gealigneerd alternatief biedt voor de evaluatie van LLM's. Door de moeilijkheidsgraad van vragen te kwantificeren, maakt het mogelijk:

Fijnere vergelijkingen: Het onderscheiden van modellen die excelleren in moeilijk redeneren versus modellen die vertrouwen op patroonherkenning.
Robuustheid: Het behouden van stabiele rangschikkingen zelfs wanneer modelpools of datasets dynamisch veranderen.
Efficiëntie: Het bieden van een computationeel lichte oplossing die geschikt is voor grootschalige, continue evaluatie (bijv. leaderboards) zonder de zware kalibratiekosten van parametrische modellen zoals IRT.

De auteurs benadrukken dat EIP bredere alignment-beoordelingen niet vervangt, maar deze complementeert door een genuanceerder beeld te geven van modelcapaciteiten in relatie tot de moeilijkheidsgraad van taken.