📊 statistics

When LLMs get significantly worse: A statistical approach to detect model degradations

Dieser Artikel schlägt ein statistisch fundiertes Hypothesentest-Rahmenwerk vor, das auf McNemar-Test basiert, um subtile Modellverschlechterungen, die durch numerische Fehler infolge von Optimierungsprozessen verursacht werden, zuverlässig zu erkennen, sie von harmlosen Bewertungsrauschen zu unterscheiden und dabei die Rate falsch positiver Ergebnisse zu kontrollieren.

Ursprüngliche Autoren: Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei identische Zwillinge, Modell A (das Original) und Modell B (die optimierte Version). Sie möchten wissen, ob Modell B genauso gut ist wie Modell A oder ob es heimlich ein bisschen „dümmer" geworden ist, um Geld zu sparen und schneller zu laufen.

Die Arbeit argumentiert, dass es, wenn man einfach die Durchschnittspunktzahl beider Zwillinge in einem Test betrachtet, so ist, als würde man versuchen, ein Flüstern in einem Hurrikan zu hören. Da moderne Computer leicht unvollkommen sind (aufgrund winziger mathematischer Fehler bei der Behandlung von Zahlen), kann selbst eine perfekte Optimierung dazu führen, dass Modell B auf exakt dieselbe Frage eine leicht andere Antwort gibt als Modell A. Dies erzeugt „Rauschen", das es schwierig macht, zu unterscheiden, ob ein Leistungsabfall real ist oder nur zufälliges statisches Rauschen.

Hier ist die Lösung der Arbeit, aufgeteilt in einfache Konzepte:

1. Der „Nebeneinander"-Detektiv (McNemar-Test)

Die meisten Menschen vergleichen Modelle, indem sie sagen: „Modell A hat 50 % richtig, und Modell B hat 49 % richtig. Ist das ein großes Problem?" Die Arbeit sagt nein. Das ist wie der Vergleich zweier Münzwürfe an verschiedenen Tagen.

Stattdessen sagen die Autoren, man müsse sich für beide Modelle dieselbe Frage zur gleichen Zeit ansehen.

Die Analogie: Stellen Sie sich einen Gerichtssaal vor, in dem Sie einen bestimmten Zeugen beurteilen. Sie fragen nicht: „Hat der Zeuge normalerweise die Wahrheit gesagt?" Sie fragen: „Hat der Zeuge an diesem spezifischen Tag gelogen?"
Die Methode: Sie betrachten jede einzelne Frage.
- Hat Modell A es richtig und Modell B falsch? (Eine „Verschlechterung")
- Hat Modell A es falsch und Modell B richtig? (Eine „Verbesserung")
- Haben beide es richtig oder beide falsch? (Ignorieren Sie diese; sie helfen uns nicht bei der Entscheidung).

Die Arbeit verwendet ein statistisches Werkzeug namens McNemar-Test (eine klassische Methode aus dem Jahr 1947), um nur die Uneinigkeiten zu zählen. Wenn Modell B auf den exakt gleichen Fragen signifikant häufiger versagt als Modell A, dann ist Modell B tatsächlich verschlechtert. Wenn die Ausfälle nur zufälliges Rauschen sind, wird der Test Ihnen sagen, „Ruhe zu bewahren".

2. Das „Rauschen" versus das „Signal"

Die Arbeit weist auf ein lustiges Problem hin: Selbst wenn Sie nichts am Modell ändern (es einfach auf einem anderen Computer oder einer anderen Softwareversion ausführen), können die Antworten aufgrund der Art und Weise, wie Computer Mathematik verarbeiten, leicht hin und her kippen.

Die Metapher: Denken Sie an eine Waage, die leicht wackelig ist. Wenn Sie ein 1-kg-Gewicht darauf legen, kann sie einmal 1,01 kg und beim nächsten Mal 0,99 kg anzeigen. Man kann nicht sagen, dass sich das Gewicht geändert hat; die Waage ist einfach wackelig.
Die Erkenntnis: Die Autoren zeigen, dass man verwirrt wird, wenn man diese „wackeligen" Kippungen als unabhängige Fehler behandelt. Wenn man jedoch das Muster betrachtet, wer bei derselben Frage gewinnt und wer verliert, hebt sich das Wackeln auf, und das echte Signal (tatsächliche Verschlechterung) tritt klar hervor.

3. Das „Drei-Alarm"-System (Aggregieren von Tests)

Wenn Sie ein Modell an vielen verschiedenen Themen testen (Mathematik, Geschichte, Programmieren usw.), wie entscheiden Sie dann, ob das Modell insgesamt schlecht ist? Die Arbeit schlägt drei Möglichkeiten vor, die Ergebnisse zu kombinieren, wie drei verschiedene Sicherheitsbeamte:

Der „Pool"-Wächter: Addiert alle Fehler aus jedem Thema. Gut, wenn das Modell bei allem leicht schlecht ist.
Der „Max-Abfall"-Wächter: Sucht nur nach dem einzelnen schlechtesten Thema. Gut, wenn das Modell in allem großartig ist, aber bei einer bestimmten Sache schrecklich (wie ein Mathegenie, das nicht richtig schreiben kann).
Der „Fisher"-Wächter: Eine ausgewogene Mischung, die die Beweise aus allen Themen mathematisch kombiniert.

Die Arbeit schlägt vor, alle drei zu verwenden. Wenn irgendeiner von ihnen Alarm schlägt, wissen Sie, dass das Modell wahrscheinlich verschlechtert wurde.

4. Das Fett abschneiden (Verringerung der Datensatzgröße)

Die Arbeit entdeckte, dass viele Fragen in diesen großen Tests „zu einfach" oder „zu schwer" sind.

Die Leichten: Beide Modelle bekommen sie jedes Mal richtig.
Die Schweren: Beide Modelle bekommen sie jedes Mal falsch.
Die „Flip"-Zone: Das sind die kniffligen Fragen, bei denen die Modelle manchmal richtig und manchmal falsch liegen.

Die Autoren erkannten, dass man, um festzustellen, ob ein Modell schlechter geworden ist, nur die Fragen der „Flip-Zone" testen muss. Die leichten und schweren sind nur Rauschen. Indem sie die Fragen entfernten, die sich nie ändern, konnten sie die Größe des Testdatensatzes halbieren und dennoch die Verschlechterung erkennen. Es ist wie bei einem Arzt, der nur die Vitalzeichen überprüft, die tatsächlich schwanken, anstatt die Schuhgröße eines Patienten zu messen.

5. Die Ergebnisse: Winzige Abfälle auffangen

Die Autoren testeten dies an echten Large Language Models (LLMs).

Sie fanden heraus, dass ihre Methode einen Genauigkeitsabfall von nur 0,3 % sicher erkennen konnte.
Sie bewiesen, dass einige „Optimierungen" (wie das Ändern der Hardware oder die Verwendung bestimmter mathematischer Abkürzungen) tatsächlich sicher (verlustfrei) waren, obwohl die Rohwerte leicht unterschiedlich aussahen.
Sie entdeckten auch Fälle, in denen Modelle signifikant schlechter wurden (wie bei der Verwendung sehr aggressiver Komprimierung), was ältere, einfachere Methoden übersehen hatten, weil sie vom statistischen Rauschen abgelenkt wurden.

Zusammenfassend: Die Arbeit bietet einen rigorosen, statistischen „Wahrheitsdetektor", der uns davon abhält, wegen zufälliger Computerfehler in Panik zu verfallen, und uns hilft, zu erkennen, wenn ein KI-Modell tatsächlich seine Schärfe verloren hat. Sie sagt uns, dass wir aufhören sollten, die Durchschnittspunktzahl zu betrachten, und anfangen sollten, die spezifischen Schlachten zu betrachten, bei denen die Modelle uneinig sind.

Technische Zusammenfassung: Wenn LLMs signifikant schlechter werden

Problemstellung

Die weit verbreitete Einführung von Large Language Models (LLMs) hat umfangreiche Forschungen zu Inferenz-Optimierungstechniken angeregt, die von theoretisch verlustfreien Methoden (z. B. effiziente Kernel, spekulatives Decodieren) bis hin zu verlustbehafteten Methoden (z. B. Quantisierung, Sparsität) reichen. Eine kritische Herausforderung in diesem Bereich besteht darin, echte Modellverschlechterungen von harmlosen statistischen Schwankungen oder numerischen Fehlern zu unterscheiden.

Selbst bei Temperatur Null sind moderne LLMs aufgrund der nicht-assoziativen Natur der Gleitkommaarithmetik (z. B. $(a+b)+c \neq a+(b+c)$ ) und von Variationen in der Hardware oder den Serving-Frameworks nicht vollständig deterministisch. Diese Faktoren bewirken, dass dasselbe Modell über verschiedene Durchläufe hinweg unterschiedliche Antworten generiert, was zu „Flips" (Umschaltungen) in binären Genauigkeitswerten führt, selbst bei theoretisch verlustfreien Optimierungen. Folglich können beobachtete Abweichungen der Genauigkeit bei Benchmarks mit endlichen Stichproben auf statistische Schwankungen und nicht auf eine tatsächliche Verschlechterung des Modells zurückzuführen sein. Bestehende Evaluierungspraktiken verlassen sich häufig auf willkürliche Schwellenwerte (z. B. ein Genauigkeitsrückgang von 2 % oder eine Flip-Rate von 5 %) oder behandeln Genauigkeitsschätzungen als unabhängig, ohne die Korrelation zu berücksichtigen, die durch die Evaluierung sowohl des Baseline- als auch des optimierten Modells auf exakt demselben Datensatz entsteht. Dies führt entweder zu falsch positiven Ergebnissen (Kennzeichnung verlustfreier Optimierungen) oder zu falsch negativen Ergebnissen (Übersehen subtiler Verschlechterungen).

Methodik

Die Arbeit schlägt einen statistisch rigorosen Hypothesentest-Rahmen vor, der auf dem McNemar-Test basiert, um Modellverschlechterungen mit kontrollierten falsch-positiven Raten zu erkennen.

1. Statistische Grundlage

Anstatt aggregierte Genauigkeitsmetriken zu vergleichen, argumentieren die Autoren dafür, Modellscores auf Basis einzelner Stichproben gegenüberzustellen. Sie definieren eine bivarierte Zufallsvariable, die die gemeinsamen Ergebnisse eines Baseline-Modells $M$ und eines optimierten Modells $\tilde{M}$ auf einer Stichprobe $x$ darstellt. Die Ergebnisse werden in eine Kontingenztabelle kategorisiert:

$a$ : Beide Modelle versagen.
$b$ : Baseline erfolgreich, optimiertes Modell versagt (Verschlechterung).
$c$ : Baseline versagt, optimiertes Modell erfolgreich (Verbesserung).
$d$ : Beide Modelle erfolgreich.

Die Autoren definieren die Verschlechterungswahrscheinlichkeit $q_{\downarrow}$ als die bedingte Wahrscheinlichkeit, dass das Baseline-Modell erfolgreich ist, gegeben, dass die beiden Modelle nicht übereinstimmen ( $b$ vs. $c$ ). Unter der Nullhypothese $H_0$ (keine Verschlechterung) gilt $q_{\downarrow} = 0.5$ . Die Alternativhypothese $H_A$ lautet $q_{\downarrow} > 0.5$ .

2. Exakter einseitiger McNemar-Test

Die vorgeschlagene Teststatistik ist die empirische Verschlechterungswahrscheinlichkeit $\hat{q}_{\downarrow} = b / (b+c)$ . Da $b$ einer Binomialverteilung $Binomial(b+c, q_{\downarrow})$ folgt, nutzen die Autoren einen exakten einseitigen Binomialtest, um p-Werte zu berechnen. Dieser Ansatz:

Konzentriert sich ausschließlich auf Stichproben, bei denen die Modelle nicht übereinstimmen ( $b+c$ ), da übereinstimmende Stichproben kein Signal bezüglich der relativen Leistung liefern.
Vermeidet die Überschätzung der Varianz, die auftritt, wenn Genauigkeitsschätzungen als unabhängig behandelt werden.
Liefert exakte p-Werte anstatt sich auf asymptotische Approximationen für kleine Stichprobengrößen zu verlassen.

3. Aggregation über Aufgaben hinweg

Um Evaluierungen über mehrere Benchmarks hinweg ( $T$ Aufgaben) zu handhaben, führt die Arbeit drei Aggregationsstrategien ein:

Pooled-Test: Aggregiert alle $b$ - und $c$ -Zählungen über die Aufgaben hinweg in eine einzige Kontingenztabelle. Dies ist robust gegenüber Aufgaben-Subgruppen und hochsensitiv, wenn die Verschlechterung über die Aufgaben hinweg homogen ist.
Max Drop-Test: Identifiziert die Aufgabe mit der signifikantesten standardisierten Verschlechterungsstatistik ( $z_{max}$ ). Er verwendet eine Monte-Carlo-Simulation, um die Nullverteilung abzuleiten, und ist effektiv für die Erkennung von Verschlechterungen in einer einzelnen spezifischen Aufgabe.
Fisher-Methode: Kombiniert p-Werte aus einzelnen Aufgaben unter Verwendung der Statistik $\chi^2 = -2 \sum \ln(p_i)$ . Dies bietet einen Ausgleich zwischen den Ansätzen Pooled und Max Drop.
Kombinierte Entscheidung: Der Rahmen kennzeichnet eine Verschlechterung, wenn jeder der drei Tests die Nullhypothese auf Signifikanzniveau $\alpha$ ablehnt.

4. Datensatz-Pruning für Effizienz

Die Autoren schlagen eine Methode vor, um Datensatzgrößen für schnellere Tests zu reduzieren. Indem sie das Baseline-Modell bei einer endlichen Temperatur ausführen, um Beispiele zu identifizieren, die „instabil" sind (wahrscheinlich zu flippen), schlagen sie vor, stabile Beispiele (die immer erfolgreich sind oder immer versagen) aus dem Evaluierungssatz zu entfernen. Dies erhöht die Flip-Wahrscheinlichkeit $p_{\updownarrow}$ im verbleibenden Datensatz und erhöht damit das Signal-zu-Rausch-Verhältnis, ohne relevante Verschlechterungssignale zu verlieren.

5. Verallgemeinerung auf nicht-binäre Scores

Für Aufgaben mit nicht-binären Metriken (z. B. ROUGE) erweitert die Arbeit den Rahmen unter Verwendung von Permutationstests. Dies beinhaltet die Berechnung der mittleren Score-Differenz und den Vergleich mit einer Nullverteilung, die durch zufälliges Umkehren der Vorzeichen der Differenzen erzeugt wird, um die Kontrolle des Fehlers 1. Art für jede Stichprobengröße sicherzustellen.

Wichtige Ergebnisse

Die Autoren implementierten ihren Rahmen auf Basis des Open-Source-lm-eval-Harness und führten umfangreiche Experimente mit den Modellen Llama-3.1 8B, Llama-3.3 70B und Mistral Small durch.

Erkennung subtiler Verschlechterungen: Der Rahmen erkannte erfolgreich empirische Genauigkeitsverschlechterungen von nur 0,3 % (z. B. in der KV-FP8-Variante des 70B-Modells) mit hoher statistischer Sicherheit ( $p < 0.05$ ), während Baseline-Kriterien (2 %-Rückgang oder 5 %-Flip-Rate) versagten, diese zu kennzeichnen.
Validierung verlustfreier Optimierungen: Die Tests identifizierten korrekt, dass theoretisch verlustfreie Änderungen (z. B. Neudurchläufe, unterschiedliche Hardware, verschiedene Inferenz-Engines) trotz beobachteter nicht-null Flip-Raten (1,3 %–2,8 %) und geringer Genauigkeitsschwankungen zu keiner statistisch signifikanten Verschlechterung führten.
Analyse falsch-positiver Ergebnisse: Die Studie zeigte, dass sich allein auf die Flip-Wahrscheinlichkeit zu verlassen (wie von früheren Arbeiten vorgeschlagen), zu falsch positiven Ergebnissen führen kann. Beispielsweise zeigte ein Modell mit einer Flip-Rate von 8,71 % keine Genauigkeitsverschlechterung, während der vorgeschlagene statistische Test es korrekt freigab.
Auswirkung der Quantisierung: Der Rahmen kennzeichnete deutlich signifikante Verschlechterungen bei in INT4 quantisierten Modellen (w4a16) und einer beschnittenen/distillierten Variante, wobei die p-Werte effektiv null waren.
Effizienz: Der Ansatz des Datensatz-Prunings reduzierte die MMLU-Pro-Stichprobengröße um fast 50 %, behielt jedoch die Mehrheit der „flippenden" Beispiele bei, beschleunigte die Evaluierung erheblich und opferte dabei nicht die Erkennungskraft.

Bedeutung und Behauptungen

Die Arbeit behauptet, den ersten rigorosen statistischen Rahmen bereitzustellen, der speziell entwickelt wurde, um LLM-Modellverschlechterungen in Gegenwart von numerischem Rauschen und Unsicherheit bei endlichen Stichproben zu erkennen.

Statistische Rigorosität: Sie geht über heuristische Schwellenwerte (z. B. „2 %-Rückgang") hinaus zu einem prinzipiengeleiteten Hypothesentest-Ansatz, der die Rate falsch-positiver Ergebnisse kontrolliert.
Praktischer Nutzen: Die Autoren stellen eine öffentlich verfügbare Implementierung bereit, die in lm-eval integriert ist und es der Gemeinschaft ermöglicht, diese Tests auf Standard-Benchmarks anzuwenden.
Nuancierte Einsicht: Die Arbeit hebt hervor, dass „Flips" eine natürliche Konsequenz der Gleitkommaarithmetik in modernen LLMs sind und nicht inhärent auf eine Verschlechterung hindeuten. Stattdessen ist die Richtung des Flips (Verschlechterungswahrscheinlichkeit) die kritische Metrik.
Sensitivität: Der Rahmen ist empfindlich genug, um Verschlechterungen zu erkennen, die statistisch signifikant, aber praktisch klein sind (z. B. 0,3 %), was fundiertere Entscheidungen bezüglich Modelloptimierungen ermöglicht.

Die Autoren schließen, dass eine ordnungsgemäße statistische Behandlung der Genauigkeit für die zuverlässige Bewertung optimierter LLMs unerlässlich ist, insbesondere da sich das Feld in Richtung gemischter Präzision und stark komprimierter Modelle bewegt, bei denen numerische Fehler unvermeidbar sind.