🤖 machine learning

From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

Dieses Paper führt Conformal Elo ein, ein kostengünstiges Evaluierungs-Framework, das die Genauigkeit des LLM-Rankings durch die Propagation kalibrierter Gewinnwahrscheinlichkeiten zur Schätzung lokaler Unsicherheit und die Anwendung von Split-Conformal-Prediction zur Begrenzung globaler Diskrepanzen zu menschlichen Urteilen verbessert und dadurch zuverlässige Elo-Schätzungen ohne groß angelegte menschliche Annotation liefert.

Ursprüngliche Autoren: Bora Kargi, David Salinas

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bora Kargi, David Salinas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die besten Köche der Welt zu ranken. Normalerweise würden Sie ein Gremium aus menschlichen Food-Kritikern bitten, jedes Gericht zu probieren und abzustimmen, wer gewinnt. Aber Tausende von Menschen dazu zu bitten, ist teuer und langsam. Also stellen Sie stattdessen einen „Roboter-Richter“ (ein Large Language Model) ein, der die Gerichte verkostet und die Gewinner entscheidet.

Das Problem? Roboter-Richter sind eigenwillig. Sie bevorzugen vielleicht den Koch, der zuerst spricht, den, der längere Rezensionen schreibt, oder sogar Köche, die dem Roboter selbst ähnlich klingen. Wenn Sie den Roboter nur fragen: „Hat Koch A gegen Koch B gewonnen?“ und er sagt „Ja“, verlieren Sie viel Information. Sie wissen nicht, wie viel besser Koch A war. War es ein Landslide-Sieg oder ein winziger, unsicherer Vorsprung?

Dieses Paper stellt eine neue Methode namens Soft-Elo vor, um dies zu beheben. Es ist wie ein Upgrade von einem einfachen „Sieg/Niederlage“-Scoreboard zu einem hochtechnologischen „Konfidenz-Meter“.

So funktioniert es, unterteilt in zwei einfache Schritte:

1. Die lokale Korrektur: Von „harten“ Labels zu „weichen“ Wahrscheinlichkeiten

Der alte Weg (Hard-Elo):
Stellen Sie sich vor, der Roboter-Richter sieht zwei Gerichte. Er vergibt Scores: Gericht A bekommt eine 8, Gericht B eine 2. Das alte System sieht sich das an und sagt einfach nur: „A gewinnt!“ Es behandelt dies exakt genauso wie einen Kampf, in dem Gericht A eine 9 und Gericht B eine 8 erhielt. In beiden Fällen protokolliert das System einen einfachen „1“ für einen Sieg.

Der Fehler: Dies verwirft die Nuancen. Der Roboter weiß, dass der erste Kampf ein Debakel war, aber das System behandelt ihn genauso wie ein knappes Rennen. Dies lässt die endgültigen Rankings „gestreckt“ und ungenau erscheinen im Vergleich zu dem, was Menschen tatsächlich denken würden.

Der neue Weg (Soft-Elo):
Anstatt den Roboter zu zwingen, einen Gewinner zu wählen, fragt Soft-Elo: „Wie sicher bist du dir?“

Wenn der Roboter eine 8 gegen eine 2 vergibt, berechnet er eine 94%ige Wahrscheinlichkeit, dass A besser ist.
Wenn der Roboter eine 9 gegen eine 8 vergibt, berechnet er eine 52%ige Wahrscheinlichkeit, dass A besser ist.
Die Magie: Das System speist diese Prozentsätze (Wahrscheinlichkeiten) in die Ranking-Mathematik ein, anstatt nur „Sieg/Niederlage“. Dies sagt der Mathematik: „Hey, dieser Sieg war eine große Sache,“ oder „Dies war im Grunde ein Unentschieden.“
Das Ergebnis: Die endgültigen Rankings werden viel genauer. Das Paper zeigt, dass dies den Fehler in den Rankings um etwa 70 % reduziert und die Scores des Roboters viel näher an das bringt, was menschliche Richter sagen würden.

2. Die globale Korrektur: Ein „Sicherheitsnetz“ hinzufügen

Selhalb mit der besseren „Soft“-Methode ist der Roboter-Richter immer noch nicht perfekt. Es gibt immer noch eine kleine Lücke zwischen dem, was der Roboter denkt, und dem, was Menschen denken. Manchmal ist der Roboter konsistent zu streng gegenüber neuen Köchen oder zu nett zu alten.

Der alte Weg:
Man würde einfach das Ranking des Roboters nehmen und hoffen, dass es gut geht. Wenn man versuchen würde zu erraten, wie weit man daneben liegen könnte, wäre die Schätzung eine riesige, nutzlose Spanne (wie zu sagen: „Der Koch liegt zwischen Platz 10 und Platz 100“).

Der neue Weg (Conformal Prediction):
Die Autoren fügen ein „Sicherheitsnetz“ hinzu, indem sie einen statistischen Trick namens Split Conformal Prediction verwenden.

Denken Sie an eine Wettervorhersage. Anstatt nur zu sagen: „Es wird regnen“, sagt eine gute Vorhersage: „Es besteht eine 90%ige Wahrscheinlichkeit, dass es zwischen 14:00 und 16:00 Uhr regnet.“
Die Autoren schauen sich an, wie der Roboter bei einer Reihe von bekannten Köchen (der Kalibrierungsgruppe) abgeschnitten hat. Sie sehen das Muster der Fehler.
Wenn ein neuer Koch getestet wird, gibt das System nicht nur eine einzelne Zahl an. Es gibt einen Bereich an (z. B. „Dieser Koch liegt wahrscheinlich zwischen 1400 und 1450 Elo“).
Das Ergebnis: Da die „Soft“-Methode das ursprüngliche Ranking bereits so viel besser gemacht hat, ist dieses Sicherheitsnetz nun schmal und nützlich (etwa 60 % schmaler als zuvor). Es liefert Entwicklern eine ehrliche, enge Schätzung darüber, wo das Modell steht, ohne dass sie Menschen bezahlen müssen, um es zu überprüfen.

Das große Ganze

Das Paper argumentiert, dass wir einen KI-Richter nicht nur fragen sollten: „Wer hat gewonnen?“ Wir sollten fragen: „Wie sicher bist du?“ und dann dieses Konfidenzniveau nutzen, um ein besseres Ranking zu erstellen.

Durch dies zu tun, haben sie ein Werkzeug geschaffen, das:

Geld spart: Es benötigt keine tausenden menschlichen Stimmen, um ein gutes Ranking zu erhalten.
Präziser ist: Die Rankings sind viel näher an der menschlichen Realität.
Ehrlich ist: Es sagt Ihnen genau, wie sehr Sie das Ergebnis vertrauen können, mit einem „Konfidenzintervall“ (einem Sicherheitsbereich).

Kurz gesagt: Sie haben einen starren, fehleranfälligen Roboter-Richter in einen flexiblen, selbstbewussten Richter verwandelt, der weiß, wann er rät und wann er sich sicher ist, was uns ein viel klareres Bild davon vermittelt, welche KI-Modelle wirklich die besten sind.

Technisches Resümee: Von unsicheren Urteilen zu kalibrierten Rankings

Problemstellung

Die Evaluierung von Large Language Models (LLMs) stützt sich typischerweise auf kostspielige menschliche Annotationskampagnen. Während „LLM-as-a-judge“ eine skalierbare, kostengünstige Alternative bietet, führt dies zu systematischen Fehlern, die die resultierenden Rankings miskalibrieren. Zu diesen Fehlern gehören Positionsbias, Längenbias und Selbstbevorzugung (Self-preference). Darüber hinaus kollabieren Standard-Evaluations-Pipelines oft nuancierte Judge-Scores zu harten binären Labels (Sieg/Niederlage/Unentschieden) und verwerfen dabei Informationen über die Stärke der Präferenz.

Das Paper identifiziert zwei spezifische Fehlermodi aktueller „Hard-Elo“-Pipelines:

Skalendistorsion: Während Judges oft das korrekte Ranking der Modelle wiederherstellen, sind die resultierenden Elo-Distanzen falsch skaliert. Judges neigen dazu, übermäßig selbstbewusst zu sein, und produzieren Elo-Abstände, die nicht mit den von Menschen abgeleiteten Abständen übereinstimmen.
Breite Unsicherheitsintervalle: Wenn versucht wird, die Unsicherheit mittels Conformal Prediction auf diesen fehlskalierten Residuen zu quantifizieren, sind die resultierenden Konfidenzintervalle übermäßig breit (sie spannen 132–261 Elo-Punkte auf), was sie operativ unbrauchbar macht, um die Modellleistung zu unterscheiden.

Das Kernproblem besteht darin, dass Hard-Elo einen entscheidenden Sieg (großer Score-Unterschied) und einen knappen Wettkampf (kleiner Score-Unterschied) identisch behandelt und dabei die lokale Unsicherheit, die im Score-Gap des Judges kodiert ist, ignoriert.

Methodik: Soft-Elo

Die Autoren schlagen Soft-Elo vor, ein zweistufiges Framework, das die Elo-Schätzung verbessert, indem es Unsicherheitsinformationen auf lokaler Ebene bewahrt und auf globaler Ebene kalibriert.

1. Lokale Ebene: Kalibrierte Gewinnwahrscheinlichkeiten

Anstatt Judge-Scores in harte Labels ( $y \in \{0, 0.5, 1\}$ ) für das Bradley-Terry (BT)-Modell umzuwandeln, propagieren die Autoren die rohen Score-Differenzen ( $s$ ) in kalibrierte Gewinnwahrscheinlichkeiten.

Score-zu-Wahrscheinlichkeit-Mapping: Die rohe Score-Differenz $s(x)$ wird mithilfe einer logistischen Funktion mit einem gelernten Temperaturparameter $\beta$ auf ein „softes“ Target $\tilde{y}(x)$ abgebildet:
$\tilde{y}(x) = P[B \prec A | x] = \sigma(\beta s(x))$
Kalibrierung: Der Parameter $\beta$ wird mittels Maximum Likelihood Estimation (MLE) auf einem Kalibrierungsdatensatz von Battles (unter Ausschluss des gehaltenen Modells) geschätzt, um sicherzustellen, dass die vorhergesagten Wahrscheinlichkeiten mit den beobachteten menschlichen Übereinstimmungsraten übereinstimmen.
Integration: Dieses weiche Target ersetzt das harte Label im standardmäßigen BT-Log-Likelihood-Objektiv. Die BT-Modellstruktur und die Elo-Konvertierung bleiben unverändert; nur die Trainingsziele werden „verweicht“, um die Konfidenz des Judges widerzuspiegeln.

2. Globale Ebene: Split Conformal Prediction

Selbst mit lokaler Kalibrierung bleibt oft eine Restdifferenz (Residual Gap) zwischen LLM-abgeleiteten und menschen-abgeleiteten Elo-Ratings bestehen. Um diese irreduzible Diskrepanz zu quantifizieren und ehrliche Unsicherheitsgrenzen bereitzustellen:

Residuen-Modellierung: Die Autoren berechnen das Vorzeichen-Residuum $\epsilon_i = \text{Elo}_{\text{LLM}, i} - \text{Elo}_{\text{Human}, i}$ für eine Gruppe von Kalibrierungsmodellen.
Normalisierte Nichtkonformität: Um unterschiedliche Stichprobengrößen und Rauschen zu berücksichtigen, werden die Residuen durch den Bootstrap-Standardfehler ( $\hat{SE}_i$ ) der LLM-Elo-Schätzung normalisiert: $S_i = |\epsilon_i| / \hat{SE}_i$ .
Intervallkonstruktion: Unter Verwendung von Split Conformal Prediction wird ein Quantil $\hat{q}$ aus dem Kalibrierungsdatensatz bestimmt. Für ein neues Modell wird die finale menschliche Elo-Schätzung als Konformalintervall bereitgestellt:
$C = [\text{Elo}_{\text{LLM}, n+1} - \hat{q}\hat{SE}_{n+1}, \text{Elo}_{\text{LLM}, n+1} + \hat{q}\hat{SE}_{n+1}]$
Dies liefert distributionsfreie marginale Coverage-Garantien für neue Modelle, die aus derselben Population gezogen wurden.

Zentrale Beiträge

Umgang mit lokaler Unsicherheit: Es wurde nachgewiesen, dass die Regression kalibrierter Gewinnwahrscheinlichkeiten aus rohen Judge-Scores (anstatt sie auf binäre Labels zu kollabieren) die Genauigkeit der Elo-Schätzung drastisch verbessert und strukturierte Residuen reduziert.
Globale Unsicherheitsquantifizierung: Anwendung von Split Conformal Prediction auf LLM-menschliche Elo-Residuen zur Generierung von Vorhersageintervallen mit distributionsfreien marginalen Coverage-Garantien.
Kostengünstige Evaluations-Pipeline: Etablierung eines Protokolls, das Elo-Ratings und Unsicherheitsgrenzen schätzt, ohne groß angelegte menschliche Annotationen für das zu testende Modell zu benötigen, indem stattdessen Kämpfe gegen diverse Gegner genutzt werden.
Benchmarking: Validierung des Ansatzes auf LMArena (55 gehaltene Modelle), wobei gezeigt wurde, dass Soft-Elo die LLM-abgeleiteten Ratings innerhalb eines Fehlers von 17,9 Elo Mean Absolute Error (MAE) der menschlichen Ratings bringt.

Ergebnisse

Verbesserung der Genauigkeit: Über acht verschiedene Judge-Modelle hinweg reduzierte Soft-Elo den gehaltenen Elo-MAE um 39 % bis 73 %. Der durchschnittliche MAE sank von 45,9 Elo (Hard-Elo) auf 17,9 Elo (Soft-Elo).
Ranking-Stabilität: Die Methode verbesserte die Skalen-Fideltät, ohne die Modellrankings zu verändern; Änderungen in der Spearman-Rangkorrelation waren vernachlässigbar ( $\Delta\rho \in [-0,011, +0,014]$ ).
Verengung der Intervalle: Durch die Reduzierung der strukturierten Residuen, die in den Conformal-Schritt einfließen, reduzierte Soft-Elo die mediane Breite der 90 %-Konformalintervalle um 39 % bis 70 %. Beispielsweise reduzierte Soft-Elo die mediane Intervallbreite beim DeepSeek-V3.2 Judge von 261 Elo (Hard-Elo) auf 78 Elo (Soft-Elo), während die empirische Coverage nahe am 90 %-Zielwert blieb.
Effizienz der Stichprobe: Soft-Elo übertraf Hard-Elo bei allen Annotationsbudgets, wobei der Leistungsunterschied in Szenarien mit geringem Datenaufkommen am signifikantesten war.

Bedeutung und Ansprüche

Das Paper behauptet, dass Soft-Elo ein kostengünstiges Evaluierungswerkzeug bereitstellt, das kalibrierte Elo-Schätzungen und „ehrliche Unsicherheitsgrenzen“ liefert, ohne dass groß angelegte menschliche Annotationskampagnen für das Zielmodell erforderlich sind.

Die Bedeutung liegt im Wechsel des Fokus: Weg von der bloßen Angabe eines Punktschätzers (der verzerrt sein kann) hin zu einem kalibrierten Intervall, das sowohl die lokale Judge-Unsicherheit als auch die globale systematische Diskrepanz berücksichtigt. Die Autoren betonen, dass dieser Ansatz gezielt die Größe adressiert, die Leaderboard-Nutzer untersuchen: Distanzen auf der menschlichen Elo-Skala. Durch die Bereitstellung kalibrierter Unsicherheit auf Modellebene zielt die Methode darauf ab, Fehlinterpretationen von Modellrankings zu verhindern, die durch Judge-Bias und Fragilität entstehen.

Anerkannte Limitationen:

Die Methode modelliert nur die im Score-Unterschied des Judges enthaltene Unsicherheit; sie berücksichtigt keine epistemische Unsicherheit, halluzinierte Scores oder Prompt-Ambiguität.
Die Conformal-Garantie beruht auf der Austauschbarkeit (Exchangeability) von Kalibrierungs- und Testmodellen. Signifikante Verschiebungen in der Prompt-Distribution, Modellfamilien oder zeitliche Veränderungen könnten diese Bedingung verletzen, was eine Neukalibrierung erforderlich machen würde.