🤖 machine learning

From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

Dit artikel introduceert Conformal Elo, een kosteneffectief evaluatiekader dat de nauwkeurigheid van LLM-ranking verbetert door gekalibreerde winstkansen te propageren om lokale onzekerheid te schatten en split conformal prediction toe te passen om globale onenigheid met menselijke oordelen te begrenzen, waardoor betrouwbare Elo-schattingen worden geleverd zonder grootschalige menselijke annotatie.

Oorspronkelijke auteurs: Bora Kargi, David Salinas

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bora Kargi, David Salinas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de beste koks ter wereld te rangschikken. Normaal gesproken zou je een panel van menselijke voedselcritici vragen om elk gerecht te proeven en te stemmen wie wint. Maar het vragen aan duizenden mensen om dit te doen is duur en traag. Daarom huur je een "Robotrechter" in (een Large Language Model) om de gerechten te proeven en de winnaars te bepalen.

Het probleem? Robotrechters zijn eigenzinnig. Ze kunnen een voorkeur hebben voor de kok die als eerste spreekt, degene die langere recensies schrijft, of zelfs chefs die op de Robot zelf lijken. Als je de Robot alleen vraagt: "Heeft Chef A het gewonnen van Chef B?" en hij zegt "Ja", dan verlies je veel informatie. Je weet niet hoeveel beter Chef A was. Was het een overwinning met een enorme voorsprong, of een heel nauwe, wankele marge?

Dit artikel introduceert een nieuwe methode genaamd Soft-Elo om dit op te lossen. Het is alsof je een upgrade uitvoert van een simpele "Winst/Verlies"-scorebord naar een hoogtechnologische "Zelfvertrouwensmeter".

Zo werkt het, onderverdeeld in twee eenvoudige stappen:

1. De Lokale Fix: Van "Harde" Labels naar "Zachte" Waarschijnlijkheden

De Oude Manier (Hard-Elo):
Stel je voor dat de Robotrechter twee gerechten ziet. Hij geeft ze scores: Gerecht A krijgt een 8, Gerecht B krijgt een 2. Het oude systeem kijkt hier alleen naar en zegt: "A wint!" Het behandelt dit precies hetzelfde als een strijd waarbij Gerecht A een 9 kreeg en Gerecht B een 8. In beide gevallen registreert het systeem simpelweg een "1" voor een overwinning.

Het Gebrek: Dit gooit de nuance weg. Het oude systeem ziet niet dat de eerste strijd een overmachtswinst was, maar behandelt dit hetzelfde als een nipte overwinning. Hierdoor zien de uiteindelijke ranglijsten er "uitgerekt" uit en zijn ze minder nauwkeurig dan wat mensen echt zouden vinden.

De Nieuwe Manier (Soft-Elo):
In plaats van de Robot te dwingen om een winnaar te kiezen, vraagt Soft-Elo: "Hoe zeker ben je?"

Als de Robot een 8 tegenover een 2 geeft, berekent het een 94% kans dat A beter is.
Als de Robot een 9 tegenover een 8 geeft, berekent het een 52% kans dat A beter is.
De Magie: Het systeem voert deze percentages (waarschijnlijkheden) in de rangschikkingswiskunde in in plaats van alleen "Winst/Verlies". Dit vertelt de wiskunde: "Hé, deze overwinning was een groot ding," of "Dit was eigenlijk een gelijkspel."
Het Resultaat: De uiteindelijke ranglijsten worden veel nauwkeuriger. Het artikel laat zien dat dit de fout in de rangschikkingen met ongeveer 70% vermindert, waardoor de scores van de Robot veel dichter bij wat menselijke jury's zouden zeggen liggen.

2. De Globale Fix: Een "Veiligheidsnet" Toevoegen

Zelfs met de betere "Soft"-methode is de Robotrechter niet perfect. Er is nog steeds een kleine kloof tussen wat de Robot denkt en wat mensen denken. Soms is de Robot consequent te streng voor nieuwe chefs of te gul voor oude chefs.

De Oude Manier:
Je zou gewoon de rangschikking van de Robot gebruiken en hopen op het beste. Als je probeerde te raden hoe ver hij er naast zou kunnen zitten, zou je gok een enorme, nutteloze marge zijn (zoals zeggen: "De chef staat ergens tussen de 10e en 100e plaats").

De Nieuwe Manier (Conformal Prediction):
De auteurs voegen een "Veiligheidsnet" toe met een statistische truc genaamd Split Conformal Prediction.

Denk aan het als een weersvoorspelling. In plaats van alleen te zeggen "Het gaat regenen", geeft een goede voorspelling aan: "Er is een 90% kans dat het tussen 14:00 en 16:00 uur gaat regenen."
De auteurs kijken naar hoe de Robot presteerde op een reeks bekende chefs (de kalibratiegroep). Ze zien het patroon van de fouten.
Wanneer een nieuwe chef wordt getest, geeft het systeem niet zomaar één getal. Het geeft een bereik (bijv. "Deze chef zit waarschijnlijk tussen de 1400 en 1450 Elo").
Het Resultaat: Omdat de "Soft"-methode de initiële rangschikking al veel beter maakte, is dit veiligheidsnet nu smal en nuttig (ongeveer 60% smaller dan voorheen). Het geeft ontwikkelaars een eerlijke, strakke schatting van waar het model staat, zonder dat ze mensen hoeven te betalen om het te controleren.

Het Grote Plaatje

Het artikel betoogt dat we een AI-rechter niet alleen moeten vragen: "Wie heeft er gewonnen?", maar ook: "Hoe zeker ben je?", en vervolgens die mate van vertrouwen moeten gebruiken om een betere rangschikking op te bouwen.

Door dit te doen, creëerden ze een tool die:

Geld Bespaart: Het heeft geen duizenden menselijke stemmen nodig om een goede rangschikking te krijgen.
Nauwkeuriger Is: De rangschikkingen liggen veel dichter bij de menselijke realiteit.
Eerlijk Is: Het vertelt je precies hoeveel je de resultaten kunt vertrouwen met een "betrouwbaarheidsinterval" (een veiligheidsbereik).

Kortom, ze hebben een rigide, foutgevoelige robotrechter veranderd in een flexibele, zelfbewuste rechter die weet wanneer hij gokt en wanneer hij zeker is, wat ons een veel duidelijker beeld geeft van welke AI-modellen echt de beste zijn.

Technische Samenvatting: Van Onzekere Oordelen naar Gecalibreerde Rangschikkingen

Probleemstelling

Het evalueren van Large Language Models (LLM's) leunt doorgaans op kostbare menselijke annotatiecampagnes. Hoewel "LLM-as-a-judge" een schaalbaar en goedkoop alternatief biedt, introduceert het systematische fouten die de resulterende rangschikkingen verkeerd kalibreren. Deze fouten omvatten positiebias, lengtebias en zelfvoorkeur. Bovendien reduceren standaard evaluatiepipelines genuanceerde jury-scores vaak tot harde binaire labels (winst/verlies/gelijkspel), waardoor informatie over de sterkte van de voorkeur verloren gaat.

De paper identificeert twee specifieke faalmodi in huidige "Hard-Elo"-pipelines:

Schaalvervorming: Hoewel jury's vaak de correcte rangschikking van modellen herstellen, zijn de resulterende Elo-afstanden verkeerd geschaald. Jury's neigen overmoedig te zijn, waardoor ze Elo-verschillen produceren die niet overeenkomen met door mensen afgeleide verschillen.
Brede Onzekerheidsintervallen: Wanneer geprobeerd wordt onzekerheid te kwantificeren met behulp van conformal prediction op deze verkeerd geschaalde residuen, zijn de resulterende betrouwbaarheidsintervallen excessief breed (variërend van 132–261 Elo-punten), wat ze operationeel nutteloos maakt voor het onderscheiden van modelprestaties.

De kern van het probleem is dat Hard-Elo een beslissende overwinning (groot scoreverschil) en een nauwe strijd (klein scoreverschil) identiek behandelt, waarbij de lokale onzekerheid die in het scoreverschil van de jury is gecodeerd, wordt genegeerd.

Methodologie: Soft-Elo

De auteurs stellen Soft-Elo voor, een tweelaags framework dat de Elo-schatting verbetert door onzekerheidsinformatie op lokaal niveau te behouden en het op globaal niveau te kalibreren.

1. Lokaal Niveau: Gecalibreerde Winstkansen

In plaats van jury-scores om te zetten in harde labels ( $y \in \{0, 0.5, 1\}$ ) voor het Bradley-Terry (BT) model, propageren de auteurs de ruwe scoreverschillen ( $s$ ) naar gekalibreerde winstkansen.

Score-naar-waarschijnlijkheid Mapping: Het ruwe scoreverschil $s(x)$ wordt via een logistieke functie met een geleerde temperatuurparameter $\beta$ gemapt naar een soft target $\tilde{y}(x)$ :
$\tilde{y}(x) = P[B \prec A | x] = \sigma(\beta s(x))$
Kalibratie: De parameter $\beta$ wordt geschat via Maximum Likelihood Estimation (MLE) op een kalibratieset van gevechten (exclusief het gehouden model) om ervoor te zorgen dat de voorspelde waarschijnlijkheden overeenkomen met de geobserveerde menselijke overeenstemmingspercentages.
Integratie: Dit soft target vervangt het harde label in de standaard BT log-likelihood objectief. De BT-modelstructuur en de Elo-conversie blijven ongewijzigd; alleen de trainingsdoelen worden "verzacht" om de zekerheid van de jury te reflecteren.

2. Globaal Niveau: Split Conformal Prediction

Zelfs met lokale kalibratie blijft er vaak een residu bestaan tussen door LLM afgeleide en door mensen afgeleide Elo-ratings. Om deze onvermijdelijke discrepantie te kwantificeren en eerlijke onzekerheidsgrenzen te bieden:

Residu Modellering: De auteurs berekenen het gesigneerde residu $\epsilon_i = \text{Elo}_{\text{LLM}, i} - \text{Elo}_{\text{Human}, i}$ voor een set kalibratiemodellen.
Genormaliseerde Nonconformity: Om rekening te houden met variërende steekproefgroottes en ruis, worden residuen genormaliseerd door de bootstrap standaardfout ( $\hat{SE}_i$ ) van de LLM Elo-schatting: $S_i = |\epsilon_i| / \hat{SE}_i$ .
Interval Constructie: Met behulp van split conformal prediction wordt een kwantiel $\hat{q}$ bepaald uit de kalibratieset. Voor een nieuw model wordt de definitieve menselijke Elo-schatting geleverd als een conformal interval:
$C = [\text{Elo}_{\text{LLM}, n+1} - \hat{q}\hat{SE}_{n+1}, \text{Elo}_{\text{LLM}, n+1} + \hat{q}\hat{SE}_{n+1}]$
Dit biedt distributievrije marginale dekkinggaranties voor nieuwe modellen die uit dezelfde populatie zijn getrokken.

Belangrijkste Bijdragen

Lokale Onzekerheid Afhandeling: Gedemonstreerd dat het regresseren van gekalibreerde winstkansen uit ruwe jury-scores (in plaats van ze te reduceren tot binaire labels) de nauwkeurigheid van de Elo-schatting drastisch verbetert en gestructureerde residuen vermindert.
Globale Onzekerheid Kwantificering: Toegepast van split conformal prediction op LLM-menselijke Elo-residuen, wat voorspellingsintervallen genereert met distributievrije marginale dekkinggaranties.
Low-Cost Evaluatie Pipeline: Een protocol vastgesteld dat Elo-ratings en onzekerheidsgrenzen schat zonder dat er menselijke annotaties nodig zijn voor het te testen model, waarbij gebruik wordt gemaakt van gevechten tegen diverse tegenstanders.
Benchmarking: De aanpak gevalideerd op LMArena (55 gehouden modellen), waarbij aangetoond werd dat Soft-Elo de door LLM afgeleide ratings binnen 17.9 Elo Mean Absolute Error (MAE) brengt van menselijk afgeleide ratings.

Resultaten

Verbetering van Nauwkeurigheid: Over acht verschillende jury-modellen heen, verminderde Soft-Elo de gehouden Elo MAE met 39% tot 73%. De gemiddelde MAE daalde van 45.9 Elo (Hard-Elo) naar 17.9 Elo (Soft-Elo).
Rangschikkingsstabiliteit: De methode verbeterde de schaalgetrouwheid zonder de modelrangschikkingen te wijzigen; veranderingen in de Spearman rangcorrelatie waren verwaarloosbaar ( $\Delta\rho \in [-0.011, +0.014]$ ).
Interval Vernauwing: Door de gestructureerde residuen die in de conformal stap worden gevoed te verminderen, verkleinde Soft-Elo de mediane breedte van de 90% conformal intervallen met 39% tot 70%. Bijvoorbeeld, op de DeepSeek-V3.2 jury, nam de mediane intervalbreedte af van 261 Elo (Hard-Elo) naar 78 Elo (Soft-Elo), terwijl de empirische dekking nabij de 90% doelstelling bleef.
Steekproef-efficiëntie: Soft-Elo presteerde beter dan Hard-Elo bij alle annotatiebudgetten, waarbij het prestatieverschil het grootst was in scenario's met weinig data.

Betekenis en Claims

De paper claimt dat Soft-Elo een low-cost evaluatietool biedt die gekalibreerde Elo-schattingen en "eerlijke onzekerheidsgrenzen" levert zonder dat er grootschalige menselijke annotatiecampagnes nodig zijn voor het doelmodel.

De betekenis ligt in de verschuiving van enkel het rapporteren van een punt-schatting (die bevooroordeeld kan zijn) naar het bieden van een gekalibreerd interval dat zowel lokale jury-onzekerheid als globale systematische ongelijkheid rekening houdt. De auteurs benadrukken dat deze aanpak zich richt op de specifieke grootheid die leaderboard-gebruikers inspecteren: afstanden op de menselijke Elo-schaal. Door gekalibreerde onzekerheid op modelniveau zichtbaar te maken, beoogt de methode misinterpretatie van modelrangschikkingen veroorzaakt door jury-biases en fragiliteit te voorkomen.

Erkende Beperkingen:

De methode modelleert alleen de onzekerheid die is gecodeerd in het scoreverschil van de jury; het houdt geen rekening met epistemische onzekerheid, gehallucineerde scores of prompt-ambiguïteit.
De conformal garantie rust op de uitwisselbaarheid van de kalibratie- en testmodellen. Significante verschuivingen in de prompt-distributie, modelfamilies of temporele veranderingen kunnen deze conditie schenden, wat her-kalibratie vereist.