🤖 machine learning

Resolution Diagnostics for Paired LLM Evaluation

Dieser Beitrag diagnostiziert ein kritisches Defizit an statistischer Power in aktuellen Leaderboards für gepaarte LLMs und zeigt auf, dass viele paarweise Rangfolgen aufgrund unzureichender Stichprobengrößen sowie der weit verbreiteten fehlerhaften Anwendung ungepaarter Effektgrößen-Näherungen, die die erforderlichen Stichprobengrößen um einen Faktor von etwa zwei unterschätzen, nicht eindeutig gelöst werden können.

Ursprüngliche Autoren: Anany Kotawala

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anany Kotawala

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Richter bei einem Kochwettbewerb. Zwei Köche, Koch A und Koch B, haben gerade ihre Gerichte fertiggestellt. Sie probieren sie und sagen: „Koch A's Gericht ist 0,8 % besser als Koch B's." Die Menge wird wild, die Schlagzeilen schreien „Koch A gewinnt!", und Menschen beginnen, Koch A's Kochbücher zu kaufen.

Aber warten Sie. Wussten Sie tatsächlich, dass Koch A besser war, oder hatten Sie einfach nur Glück mit den spezifischen Zutaten, die Sie zufällig probiert haben?

Dieser Artikel ist ein „Realitätscheck" für die Welt der Large Language Models (LLMs). Er argumentiert, dass viele der aktuellen Leaderboards (die „Kochwettbewerbe" für KI) Behauptungen aufstellen, die zu wackelig sind, um wahr zu sein. Sie erklären Sieger aufgrund winziger Unterschiede, die leicht nur zufälliges Rauschen sein könnten.

Hier ist die Aufschlüsselung der Erkenntnisse des Artikels unter Verwendung einfacher Analogien:

1. Das „gepaarte" Problem: Es ist kein Rennen, es ist ein Duell

Die meisten Menschen denken beim Testen zweier KI-Modelle an ein Rennen, bei dem sie auf verschiedenen Bahnen laufen. In Wirklichkeit werden diese Modelle jedoch auf exakt denselben Fragen (derselben Bahn) getestet.

Die Analogie: Stellen Sie sich zwei Läufer vor, die zur gleichen Zeit auf derselben Bahn laufen. Wenn der Wind weht, bläst er auf beide. Wenn die Bahn rutschig ist, ist sie für beide rutschig. Da sie exakt denselben Bedingungen ausgesetzt sind, sind ihre Ergebnisse „gepaart".
Der Fehler: Viele aktuelle Tools berechnen die „statistische Power" (das Vertrauen, dass das Ergebnis real ist), als ob die Läufer auf verschiedenen Bahnen wären. Das ist, als würde man den Wind und die Bahnbedingungen ignorieren.
Das Ergebnis: Der Artikel fand heraus, dass durch das Ignorieren dieses „gepaarten" Charakters viele Tools die notwendige Stichprobengröße um den Faktor zwei unterschätzen. Es ist, als würde man denken, man brauche nur 50 Geschmacksprüfer, um einen Unterschied zu beweisen, während man tatsächlich 100 benötigt.

2. Die „Auflösungs"-Diagnose: Der Mikroskop-Check

Die Autoren haben ein neues Werkzeug namens „Auflösungs-Diagnose" entwickelt. Denken Sie daran wie an ein Mikroskop für das Leaderboard.

Wie es funktioniert: Bevor Sie einen Sieger erklären, schauen Sie durch das Mikroskop.
- Wenn die Lücke zwischen den Modellen riesig ist (wie 15 %), zeigt das Mikroskop ein klares, scharfes Bild. Der Sieger ist real.
- Wenn die Lücke winzig ist (wie 0,5 %), zeigt das Mikroskop ein verschwommenes, unscharfes Bild. Man kann nicht unterscheiden, ob die Unschärfe daran liegt, dass ein Modell tatsächlich besser ist, oder nur an zufälligem Rauschen.
Die Erkenntnis: Als sie zwei berühmte Leaderboards (Open LLM Leaderboard und MMLU-Pro) untersuchten, fanden sie heraus, dass viele der „Sieger" tatsächlich nur verschwommene Bilder waren.
- Beim Open LLM Leaderboard waren 11 von 40 behaupteten Paarungen zu unscharf, um sicher zu sein.
- Bei den Top 10 von MMLU-Pro waren 4 von 9 der engsten Matches ungelöst.

3. Die „Abkürzung"-Falle: Der kaputte Taschenrechner

Der Artikel entdeckte, dass viele Forscher eine „Abkürzung" verwenden, um ihre Mathematik zu machen.

Die Analogie: Stellen Sie sich vor, Sie haben einen Taschenrechner, der für einzelne Läufer (ungepaart) konzipiert ist. Sie versuchen, ihn für ein Duell (gepaart) zu verwenden, indem Sie einfach am Ende auf eine „mit 0,7 multiplizieren"-Taste drücken.
Das Problem: Der Artikel bewies mathematisch, dass diese Abkürzung für enge Rennen kaputt ist. Sie sagt Ihnen konsequent, dass Sie die Hälfte der Daten benötigen, die Sie tatsächlich brauchen.
Der Beweis: Sie testeten fünf beliebte statistische Tools. Drei davon (einschließlich einer berühmten Lehrbuchformel und einer beliebten Software namens G*Power) gingen in diese Falle. Sie gaben stillschweigend Antworten, die halb so groß waren, wie sie hätten sein sollen, und ließen die Leute glauben, sie hätten genügend Daten, obwohl sie es nicht hatten.

4. Der „Gruppen"-Effekt: Freunde sitzen zusammen

Tests in der realen Welt sind nicht nur zufällige Fragen; sie sind oft nach Themen gruppiert (z. B. Mathematik, Geschichte, Wissenschaft).

Die Analogie: Stellen Sie sich vor, Sie testen, ob eine neue Lernmethode funktioniert. Wenn Sie sie an einer Gruppe von Freunden testen, die alle zusammen sitzen und sich gegenseitig die Antworten abschreiben, sind ihre Ergebnisse korreliert. Sie können sie nicht als 100 unabhängige Personen behandeln; sie verhalten sich eher wie 10 Personen.
Die Erkenntnis: Als die Autoren diese „Gruppen" (Cluster) im MMLU-Pro-Test berücksichtigten, stieg die Anzahl der „ungelösten" (verschwommenen) Paare.
- Ohne Prüfung auf Gruppen: 4 Paare waren verschwommen.
- Mit Prüfung auf Gruppen: 6 Paare waren verschwommen.
- Einige Paare, die wie klare Sieger aussahen, wurden plötzlich zu eng, um sie zu entscheiden.

5. Das „Live-Stream"-Problem: Zu früh stoppen

Leaderboards aktualisieren sich ständig. Jeden Tag werden neue Modelle hinzugefügt.

Die Analogie: Stellen Sie sich vor, Sie schauen einem Live-Stream eines Rennens zu. Wenn Sie das Rennen genau in dem Moment stoppen, in dem Sie sehen, dass ein Läufer einen Vorsprung hat, könnten Sie falsch liegen. Sie haben vielleicht nur einen glücklichen Schub gehabt, und der andere Läufer könnte später aufholen.
Die Erkenntnis: Der Artikel testete, was passiert, wenn man das Leaderboard als kontinuierlichen Live-Stream und nicht als einzelne Momentaufnahme behandelt. Diese „jederzeit-gültige" Testmethode ist strenger. Sie markierte ein weiteres Paar als ungelöst, das der Standardtest übersehen hatte.

Das Fazit

Der Artikel sagt nicht, dass die Modelle schlecht sind oder dass die Rankings gefälscht sind. Er sagt: „Wir erklären Sieger zu schnell."

Viele der winzigen Lücken, die wir auf Leaderboards sehen (wie 0,5 % oder 1 %), sind derzeit zu klein, um statistisch sicher zu sein. Das „Mikroskop" (die Auflösungsdiagnose) zeigt, dass wir oft statisches Rauschen betrachten und es als Signal bezeichnen.

Der Rat der Autoren: Bevor Sie eine Schlagzeile über ein Modell als „besser" veröffentlichen, müssen Sie prüfen, ob Ihr Test genügend „Auflösung" hat, um diesen Unterschied klar zu sehen. Wenn die Antwort nein ist, ist die Lücke nur eine Vermutung, keine Tatsache.

Technische Zusammenfassung: Auflösungsdiagnostik für die Paarbewertung von LLMs

Problemstellung
Moderne Leaderboards für Large Language Models (LLM) rangieren Modelle häufig basierend auf Prozentpunktabständen, die aus Benchmarks mit gemeinsamen Prompts abgeleitet werden. Während eine Schlagzeilenlücke (z. B. 78,3 % vs. 77,5 %) Produktentscheidungen und Narrative antreibt, hängt die statistische Behauptung, dass ein Modell ein anderes sinnvoll besser ist, davon ab, ob die Benchmark-Größe und die Datenstruktur eine ausreichende Auflösung bieten, um die Lücke von Stichprobenrauschen zu unterscheiden.

Die Arbeit identifiziert eine kritische Lücke in aktuellen Evaluierungspraktiken: Viele angezeigte Paar-Rankings auf öffentlichen Leaderboards erfüllen die konventionellen Auflösungsziele für Paar-Tests (insbesondere $\alpha=0.05$ und Power $1-\beta=0.8$ ) nicht. Die Autoren argumentieren, dass Standard-Power-Rechner und Evaluierungsprotokolle die Paar-Natur von Benchmarks mit gemeinsamen Prompts oft ignorieren, was zu unterpowerten Vergleichen führt. Spezifisch hebt die Arbeit hervor, dass:

Auf dem Open LLM Leaderboard (OLL) v1 11 von 40 Paarvergleichen unaufgelöst sind.
Auf den Top-10 von MMLU-Pro 4 von 9 benachbarten Rangpaaren bei der tatsächlichen Benchmark-Größe ( $N=12.032$ ) unaufgelöst sind.
Gängige „Abkürzungen" zur Berechnung der erforderlichen Stichprobengröße in Paar-Szenarien (z. B. Anwendung einer $(1-\rho)$ -Korrektur auf unpaarierte Cohen's $h$ ) die erforderliche Stichprobengröße in Regimen enger Vergleiche systematisch um einen Faktor von etwa zwei unterschätzen.

Methodik
Die Autoren fassen die Paarbewertung von LLMs als Hypothesentestproblem zusammen und leiten ein Auflösungs-Berichtssystem ab, indem sie Tests mit Niveau- $\alpha$ und Power- $(1-\beta)$ invertieren.

Auflösungsverhältnis ( $q$ ): Die primäre Diagnose ist definiert als $q = N / N^\star$ , wobei $N$ die tatsächliche Benchmark-Größe und $N^\star$ die erforderliche Stichprobengröße ist, um eine beobachtete Lücke $\hat{\delta}$ mit der Ziel-Power zu erkennen. Eine Lücke gilt als „aufgelöst", wenn $q \ge 1$ .
Paarvarianz: Für binäre Genauigkeit wird die erforderliche Stichprobengröße $N^\star$ unter Verwendung der McNemar-Connor-Formel abgeleitet, die die Varianz der Paar-Differenz $\sigma_D^2 = p_A q_A + p_B q_B - 2\rho\sqrt{p_A q_A p_B q_B}$ berücksichtigt. Dies steht im Gegensatz zu unpaarierten Formeln, die die erforderliche $N$ aufblähen, indem sie die Kovarianz $\rho$ ignorieren.
Das Abkürzungs-Lemma (Lemma 1): Die Arbeit liefert eine scharfe Expansion für kleine Effekte, die das Versagen der weit verbreiteten Abkürzung „unpaarierte Cohen- $h$ plus $(1-\rho)$ " charakterisiert. Die Autoren beweisen, dass für kleine Effektstärken $\delta$ das Verhältnis der Schätzung durch die Abkürzung ( $n_h$ ) zur korrekten Paar-Schätzung ( $N^\star$ ) gegen $1/2$ konvergiert, mit einer expliziten Konstanten zweiter Ordnung $C(p, \rho)$ . Dies erklärt, warum Tools, die $(1-\rho)$ auf einen unpaarierten Output pro Arm anwenden, $N^\star$ in Regimen enger Vergleiche systematisch um etwa die Hälfte unterschätzen.
Erweiterungen: Das Framework integriert:
- Multiplizitätskorrektur: Anpassung für familienweite Fehlerraten (Bonferroni/Holm) oder False-Discovery-Raten (BH) bei der Bewertung mehrerer Paare.
- Cluster-Sensitivität: Skalierung von $N^\star$ durch einen Design-Effekt ($DE$), um intra-cluster Korrelation zu berücksichtigen (z. B. Fachkategorien in MMLU-Pro).
- Jederzeit-gültiges Testen: Ersetzen von festen- $N$ -Schwellenwerten durch zeituniforme Grenzen, die aus e-Prozessen abgeleitet werden, um kontinuierliche Leaderboard-Updates zu handhaben.

Hauptbeiträge

Theoretische Charakterisierung eines Missbrauchsmusters: Die Arbeit liefert ein neues Lemma (Lemma 1) mit einer expliziten Konstante, die die Abweichung der Abkürzung „unpaariert + $(1-\rho)$ " von der korrekten Paar-Stichprobengröße quantifiziert. Sie zeigt, dass diese Abkürzung die erforderliche Stichprobengröße im Regime enger Vergleiche um den Faktor zwei unterschätzt, ein Muster, das von drei von fünf gängigen Power-Rechnern (Cohen 1988, G*Power, R pwr) stillschweigend übernommen wird.
Empirische Auflösungsdiagnostik: Die Autoren wenden ihr Framework auf echte Leaderboard-Daten (OLL v1 und MMLU-Pro) an. Sie zeigen, dass ein signifikanter Teil der angezeigten benachbarten Ranglücken bei Standard-Power-Zielen unaufgelöst ist.
- Auf OLL v1 sind 11/40 Paare unaufgelöst.
- Auf MMLU-Pro steigt die Anzahl der unaufgelösten benachbarten Paare von 4/9 (unter IID-Annahmen) auf 6/9, wenn reale Cluster auf Ebene der Fachgebiete berücksichtigt werden.
Berichtsprotokoll und Tooling: Die Arbeit stellt ein verpacktes Protokoll (llm-power) vor, das Auflösungsdiagnostiken als Aufruf in einer Zeile bereitstellt und es Benchmark-Designern ermöglicht, die minimal detektierbare Effektstärke (MDE) und das Auflösungsverhältnis $q$ neben den Schlagzeilenlücken zu berichten.

Ergebnisse

Missbrauch von Rechnern: In einem durchgerechneten Beispiel mit Parametern $(p_A, p_B, \rho) = (0.65, 0.60, 0.30)$ lieferten drei beliebte Tools eine erforderliche Stichprobengröße von $\approx 515$ , während die korrekte Paar- $N^\star$ bei $1.028$ lag. Die Tools wendeten die $(1-\rho)$ -Korrektur auf die Varianz eines einzelnen Arms an, statt auf die Varianz der Paar-Differenz.
Auswirkungen in der Praxis:
- OLL v1: 28 % der Paarvergleiche (11/40) verfehlten das Auflösungsziel. Alle Paare mit Lücken $\le 2\%$ waren unaufgelöst.
- MMLU-Pro: Unter der Annahme unabhängiger Items waren 4/9 benachbarter Paare unaufgelöst. Bei Anwendung einer Cluster-Korrektur basierend auf den 14 Fachkategorien stieg die Anzahl der unaufgelösten Paare auf 6/9. Zwei Paare (Rang 4 vs. 5 und Rang 5 vs. 6) wechselten von „entschieden aufgelöst" zu einer Anforderung an Stichprobengrößen $>3N$ .
- Jederzeit-gültiges Testen: Die Anwendung zeituniformer Schwellenwerte für kontinuierliches Monitoring verschärfte die Urteile weiter und machte 5/9 MMLU-Pro-Paare unaufgelöst (ein zusätzliches Paar im Vergleich zu festen- $N$ -Tests).
Kalibrierung: Die $N^\star$ -Vorgaben des Frameworks wurden durch Bootstrap-Subsampling an realen Daten validiert, was bestätigte, dass die abgeleiteten Stichprobengrößen die Ziel-Power ( $\approx 0.80$ ) empirisch erreichen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Aussage, ein Modell sei „besser" als ein anderes, eine statistische Behauptung über die Lücke ist, nicht über die Lücke selbst. Die Bedeutung dieser Arbeit liegt darin, den Fokus von der bloßen Berichterstattung über eine Lücke und einen p-Wert auf die Auflösung des Benchmarks zu verlagern.

Die Autoren argumentieren, dass viele aktuelle Leaderboard-Behauptungen nicht durch die statistische Power der Daten gestützt werden, insbesondere im „Regime enger Vergleiche", in dem benachbarte Modelle rangiert werden. Indem sie den Unterschätzungsfaktor von zwei in gängigen Tools aufdecken und zeigen, dass Clustering und Multiplizität die Auflösung weiter verschlechtern, bietet die Arbeit ein Diagnose-Framework, um übermütige Schlussfolgerungen zu verhindern. Die Arbeit behauptet nicht, dass die Modelle gleich sind, sondern dass die aktuellen Benchmark-Größen unter strengen statistischen Standards nicht ausreichen, um die beobachteten Lücken vom Rauschen zu unterscheiden. Die Arbeit schließt, dass ein Benchmark eine hohe Konstruktvalidität haben kann und dennoch für den spezifischen Hypothesentest zur Hand zu klein ist, was einen neuen Berichtsstandard für LLM-Evaluierungen erfordert.