📊 statistics

Statistical Methods for Multiple Language Model Comparison on a Shared Evaluation

Dieses Paper schlägt ein einheitliches Random-Effects-Modell vor, das standardmäßige gepaarte statistische Methoden erweitert, um mehrere Sprachmodelle auf gemeinsamen, geclusterten Evaluationen rigoros zu vergleichen, und demonstriert durch Simulationen und Realdaten, dass präzise paarweise Rankings von der angemessenen Berücksichtigung sowohl der Fragen-Ebene-Korrelationen als auch von Mehrfachvergleichen abhängen.

Ursprüngliche Autoren: Juan Francisco Mandujano Reyes

Veröffentlicht 2026-08-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Juan Francisco Mandujano Reyes

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der sich schnell entwickelnden Welt der künstlichen Intelligenz entwickeln Forscher ständig neue Computerprogramme, die darauf ausgelegt sind, die menschliche Sprache zu verstehen und zu generieren. Um zu bestimmen, welches Programm das intelligenteste ist, unterziehen sie diese einer Reihe von Tests, ganz ähnlich wie eine standardisierte Prüfung für Schüler. Diese Tests bestehen aus tausenden von Fragen, die Themen von Geschichte und Wissenschaft bis hin zu Logik und Mathematik abdecken. Jahrelang war die Standardmethode zum Vergleich dieser Programme darin bestand, auf ihre Durchschnittswerte zu schauen. Wenn ein Programm einen höheren Prozentsatz an richtigen Antworten erhält als ein anderes, wird es zum Sieger erklärt. Dieser einfache Ansatz übersieht jedoch oft ein entscheidendes Detail: Die Fragen selbst sind nicht alle gleich. Einige Fragen sind von Natur aus schwieriger als andere, und Fragen innerhalb desselben Fachgebiets, wie etwa eine Reihe von Mathematikaufgaben, tendieren dazu, korreliert zu sein. Wenn zwei Programme beide mit denselben schwierigen Mathematikaufgaben kämpfen, sind ihre Ergebnisse miteinander verknüpft, nicht unabhängig. Das Ignorieren dieser Verbindungen kann dazu führen, dass ein Programm besser oder schlechter erscheint, als es tatsächlich ist, was zu verwirrenden oder falschen Ranglisten führt, die das Feld leiten.

Ein Forscher setzte sich zum Ziel, dieses Problem zu lösen, indem er einen strengeren Weg entwickelte, um mehrere Sprachmodelle gleichzeitig zu vergleichen. Anstatt jede Frage als ein isoliertes Ereignis zu betrachten, schlug er einen statistischen Rahmen vor, der die Struktur des Tests selbst anerkennt. Er behandelte die verschiedenen Computerprogramme als die primären Untersuchungsobjekte, während er die Fragen und die Gruppen, zu denen die Fragen gehören, als zufällige Variationen betrachtete, die jeden beeinflussen. Durch die Verwendung eines einzigen, einheitlichen statistischen Modells konnte er berücksichtigen, dass derselbe Satz von Fragen für jedes Programm verwendet wurde. Dieser Ansatz ermöglichte es ihm, die wahre Fähigkeit des Modells von der Schwierigkeit der spezifischen Fragen und der natürlichen Gruppierung dieser Fragen in Kategorien wie Leseverständnis oder Übersetzung zu trennen.

Der Forscher testete seine Methode anhand realer Daten aus einem bedeutenden Benchmark namens MMLU-Pro, der über 12.000 Fragen in 14 verschiedenen Fachbereichen enthält. Er wählte sechs populäre Sprachmodelle ähnlicher Größe aus und ließ sie alle exakt dieselben 1.497 Fragen beantworten. Als er die Ergebnisse unter Verwendung seiner neuen Methode analysierte, stellte er fest, dass die Standardmethode zum Vergleich von Modellen oft zu falschen Schlussfolgerungen führte. In seinen Simulationsstudien zeigte er, dass man, wenn man Modelle einfach paarweise vergleicht, ohne zu korrigieren, dass man viele Vergleiche gleichzeitig durchführt, eine hohe Wahrscheinlichkeit hat, einen Unterschied zu erklären, der eigentlich nur zufälliges Rauschen ist. In seinem realen Test fand er heraus, dass mehrere Behauptungen darüber, welches Modell besser als ein anderes sei, verschwanden, sobald er die angemessenen statistischen Korrekturen anwandte. Beispielsweise schien ein Modell ein anderes um eine kleine Marge zu schlagen, aber nachdem er die multiplen Vergleiche und die Struktur der Fragen berücksichtigt hatte, war dieser Unterschied nicht mehr statistisch signifikant.

Die Studie hob auch die Bedeutung der Art und Weise hervor, wie Fragen gruppiert werden. Wenn Fragen nach Themen geclustert sind, wie etwa ein Block von Mathematikaufgaben, sind die Leistungen der Modelle bei diesen Fragen korreliert. Der Forscher fand heraus, dass das Ignorieren dieses Clusterings die Unsicherheit der Ergebnisse um das bis zu Dreifache unterschätzen kann. Durch die Verwendung seines Mixed-Effects-Modells, das diese Gruppen als Zufallsfaktoren behandelt, konnte er genau messen, wie viel der Variation in den Ergebnissen aus dem jeweiligen Fachgebiet im Vergleich zur tatsächlichen Fähigkeit des Modells stammte. Dies enthüllte, dass die Themen-Clusterung zwar eine Rolle spielt, der primäre Treiber der Unterschiede jedoch die Modelle selbst waren, allerdings nur, wenn das statistische Rauschen ordnungsgemäß kontrolliert wurde.

Letztendlich bietet das Paper eine klare Reihe von Empfehlungen, wie das Feld voranschreiten sollte. Der Forscher argumentiert, dass Wissenschaftler, bevor sie eine Rangfolge zwischen mehreren Modellen deklarieren, zuerst einen breiten Test durchführen sollten, um zu sehen, ob es überhaupt Unterschiede innerhalb der Gruppe gibt. Wenn dieser Test einen Unterschied zeigt, sollten sie dann spezifische, korrigierte Methoden verwenden, um die Modelle zwei zu zwei zu vergleichen, um sicherzustellen, dass die Chance auf einen Fehlalarm gering bleibt. Er rät auch dazu, dass bei der Gruppierung von Fragen nach Themen diese Gruppen in das statistische Modell einbezogen werden sollten, anstatt zu versuchen, die Zahlen manuell anzupassen. Indem die Gemeinschaft diesen Schritten folgt, kann sie sicherstellen, dass die Ranglisten, auf die sie sich verlassen, echte Verbesserungen in der künstlichen Intelligenz widerspiegeln und nicht Artefakte der Art und Weise, wie die Daten analysiert wurden. Die Arbeit behauptet nicht, jedes Problem in der Evaluierung gelöst zu haben, bietet aber ein solides, bewährtes Fundament für faire und genaue Vergleiche in einem Bereich, in dem der Einsatz hoch und die Fehlermarge gering ist.

Technisches Resümee: Statistische Methoden zum Vergleich mehrerer Sprachmodelle auf einer gemeinsamen Evaluation

Problemstellung

Aktuelle Evaluierungspraktiken in der Forschung zu Large Language Models (LLMs) beinhalten häufig den gleichzeitigen Vergleich von $K > 2$ Modellen auf einem gemeinsamen Satz von Fragen, wie etwa in Leaderboards, Ablationsstudien oder Hyperparameter-Sweeps. Während die bestehende Literatur (z. B. Miller [7]) rigorose statistische Rahmenbedingungen für den Vergleich von genau zwei Modellen mittels gepaarter t-Tests und geclusterter Standardfehler bereitstellt, skalieren diese Werkzeuge nicht natürlich auf mehrere Modelle.

Die primäre statistische Herausforderung ergibt sich daraus, dass Forscher paarweise Vergleiche über alle $K(K-1)/2$ Modellpaare durchführen, ohne eine Korrektur vorzunehmen. Dieser Ansatz ignoriert das Problem des multiplen Testens (Multiple-Comparisons-Problem), was zu inflatierten Falsch-Positiv-Raten führt. Beispielsweise liegt bei $K=4$ Modellen und einem Signifikanzniveau von $\alpha=0,05$ die Wahrscheinlichkeit, mindestens eine Falsch-Positiv-Aussage zu treffen, bei über 25 %. Darüber hinaus versagen Standard-Unpaired-Tests dabei, die Korrelation zwischen Modellen zu berücksichtigen, die dieselben Fragen beantworten, und Ansätze, welche die hierarchische Struktur von Fragen (z. B. Cluster nach Fachgebiet oder Textpassage) vernachlässigen, können zu unterschätzten Standardfehlern führen.

Methodik

Das Paper schlägt ein einheitliches Random-Effects-Modell vor, um die Scores von $K$ Modellen auf einem gemeinsamen Evaluationssatz zu handhaben, wobei Modelle als Fixed Effects und Fragen (oder Frage-Cluster) als Random Effects behandelt werden.

1. Das allgemeine Modell

Für $K$ Modelle, die $n$ Fragen beantworten, wird der Score $s_{i,m}$ von Modell $m$ auf Frage $i$ wie folgt zerlegt:
$s_{i,m} = \mu + \alpha_m + \delta_i + \gamma_{i,m}$
Wobei:

$\alpha_m$ der Fixed Effect des Modells $m$ ist (die Größe von Interesse).
$\delta_i$ ein Fragen-basierter Random Effect ist, der von allen Modellen geteilt wird.
$\gamma_{i,m}$ das Residuum des Rauschens ist.

Diese Formulierung ermöglicht es, die gesamte Summe der Quadrate in Modell-, Fragen- und Residuen-Komponenten zu partitionieren.

2. Zweistufiges Testverfahren

Der Autor empfiełht eine zweistufige Logik, um die Family-Wise Error Rate (FWER) zu kontrollieren:

Omnibus-Test: Zuerst wird das Modell unter Verwendung einer einfaktoriellen Varianzanalyse mit Messwiederholung (One-Way Repeated-Measures ANOVA) oder eines Linearen Gemischten Modells für geklusterte Daten gefittet, um die Nullhypothese $H_0: \alpha_1 = \dots = \alpha_K = 0$ zu testen. Dieser einzelne Test kontrolliert die FWER.
Post-Hoc-Analyse: Nur wenn der Omnibus-Test signifikant ist, werden paarweise Kontraste durchgeführt.
- Für balancierte, nicht-geclusterte Designs wird der Tukey-Test verwendet.
- Für unbalancierte oder geklusterte Designs empfiehlt das Paper die Verwendung von Estimated Marginal Means (EMM) mit expliziten Multiplizitätsanpassungen (z. B. Holm oder Bonferroni für exakte Garantien oder Tukey-Typ als Approximation).

3. Erweiterung auf geklusterte Daten

Um korrelierte Fragegruppen (z. B. Leseverständnis-Passagen, Fachgebiete) zu adressieren, wird das Modell zu einem Linearen Gemischten Modell erweitert:
$s_{i,c,m} = \mu + \alpha_m + u_c + \delta_{i,c} + \epsilon_{i,c,m}$
Wobei $u_c$ den Random Effect des Clusters $c$ und $\delta_{i,c}$ den Random Effect der Frage $i$ innerhalb des Clusters $c$ darstellt. Dieser Ansatz schätzt die Varianzkomponenten ( $\tau^2$ für Cluster, $\sigma^2_q$ für Fragen) direkt und generalisiert Miller's Formeln für geklusterte Standardfehler auf jedes beliebige $K$ .

Zentrale Beiträge

Einheitlicher Rahmen: Das Paper stellt fest, dass Millers gepaarte und geklusterte Schätzer Spezialfälle eines allgemeinen Random-Effects-Modells sind. Dieser Rahmen erweitert diese Ergebnisse auf jedes $K > 2$ und handhabt unbalancierte, geklusterte Designs, ohne dass für jedes Szenario neue Herleitungen erforderlich sind.
Wiederherstellung bestehender Schätzer: Der Autor zeigt, dass das Fitten dieses Modells mittels ANOVA oder Linearer Gemischter Modelle die exakten statistischen Eigenschaften von gepaarten t-Tests und geklusterten Standardfehlern für $K=2$ wiederherstellt.
Korrektur für Multiplizität und Clustering: Die Arbeit hebt hervor, dass das Ignorieren von multiplen Vergleichen zu instabilen Rankings führt und das Ignorieren von Frage-Clustering die Standardfehler unterschätzt (um Faktoren von 1,4–2,7× in Simulationen).
Praktische Implementierung: Das Paper bietet konkreten R-Code (unter Verwendung von lme4 und lmerTest) und einen reproduzierbaren Workflow, damit Forscher diese Korrekturen implementieren können.

Empirische Ergebnisse

Die Methodik wurde durch Simulationen und eine reale Anwendung validiert.

Simulationsstudie

Erweiterung von Millers „Galleon/Dreadnought“-Beispiel auf vier Modelle ( $K=4$ ) mit 400 gemeinsamen Fragen:

False Discovery Rate: Unkorrigierte paarweise z-Tests ergaben eine Family-Wise Error Rate von $\approx 0,26$ bei $\alpha=0,05$ , während die Omnibus-Repeated-Measures-ANOVA die Rate bei $\approx 0,05$ hielt.
Einfluss des Clusterings: Das Ignorieren von Clustering, wenn dieses vorhanden war, unterschätzte die Standardfehler um einen Faktor von 1,4–2,7×.

Anwendung auf Realdaten (MMLU-Pro)

Der Rahmen wurde auf sechs Modelle mit ca. 7B Parametern angewendet, die auf einer stratifizierten Stichprobe von 1.497 MMLU-Pro-Fragen über 14 Fachgebiet-Cluster evaluiert wurden.

Einfluss der Multiplizität: Während unkorrigierte gepaarte Tests 5 signifikante paarweise Unterschiede identifizierten, überlebten nur 3 die Bonferroni- oder Holm-Korrektur. Insbesondere Aussagen, dass Mistral-7B-v0.1 Qwen1.5-7B-Chat übertreffe und dass Yi-6B-Chat Mistral-7B-Instruct-v0.1 besiege, erwiesen sich als ununterscheidbar vom Rauschen, sobald die Multiplizität berücksichtigt wurde.
Einfluss des Blockings: Die korrekt geblockte Repeated-Measures-ANOVA ( $F=4,45, p=4,8 \times 10^{-4}$ ) zeigte eine signifikant höhere Power im Vergleich zu einer One-Way-ANOVA, die die Identität der Fragen ignorierte ( $F=2,90, p=0,013$ ).
Varianzkomponenten: Das Mixed-Effects-Modell schätzte, dass das Clustering der Fachgebiete einen moderaten, aber realen Teil der Residuenvarianz erklärte ( $\hat{\tau}^2 \approx 0,011$ ), was die Entscheidung darüber beeinflusste, ob Clustering-Korrekturen für spezifische Benchmarks einzubeziehen sind.

Bedeutung und Empfehlungen

Das Paper argumentiert, dass Ranking-Claims in LLM-Evaluierungen fragil sind und stark von dem verwendeten statistischen Verfahren abhängen. Der Autor kommt zu dem Schluss, dass ein einziges Random-Effects-Modell die Techniken zum Vergleich von zwei Modellen effektiv auf Multi-Modell-Settings erweitert, indem es Korrelationsstrukturen explizit modelliert und Fehlerraten kontrolliert.

Kernempfehlungen für Forscher:

Zuerst Omnibus: Führen Sie immer zuerst eine Omnibus-Repeated-Measures-ANOVA (oder einen Friedman-Test) durch, bevor Sie paarweise Behauptungen aufstellen.
Multiplizität anpassen: Folgen Sie signifikanten Omnibus-Tests mit Multiplizitäts-angepassten Post-Hoc-Verfahren (Holm/Bonferroni für exakte Garantien in komplexen Designs).
Clustering modellieren: Verwenden Sie Mixed-Effects-Modelle mit Random Effects für Cluster und Fragen anstatt manuell geklusterte Standardfehler abzuleiten.
Transparenz: Berichten Sie sowohl die Standard- als auch die korrekt geblockten Teststatistiken, um den Einfluss der Evaluationsstruktur zu verdeutlichen.
Temperatur-Stabilität: Passen Sie die Sampling-Temperatur nicht an, um die Varianz zu reduzieren; das Modell setzt die Schätzung bei der Deployment-Temperatur voraus.

Das Paper betont, dass diese Methoden die Claims zum Modell-Ranking fundamental verändern können, wodurch das Feld zu rigoroseren und reproduzierbareren Evaluationsstandards geführt wird.