💻 computer science

State-of-the-Art Claims Require State-of-the-Art Evidence

Dieser Artikel argumentiert, dass Behauptungen zum State-of-the-Art in der KI-Forschung häufig nicht durch Benchmark-Ergebnisse gestützt werden, da aggregierte Verbesserungen der Punktzahlen sich oft auf Ausreißer statt auf eine konsistente, robuste Überlegenheit stützen, was eine ehrlichere und präzisere Berichterstattung über die Modellleistung erfordert.

Ursprüngliche Autoren: YongKyung Oh

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: YongKyung Oh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Illusion des „Klassensprechers"

Stellen Sie sich eine Highschool vor, in der Schüler für das Amt des Klassensprechers kandidieren. Um den Gewinner zu bestimmen, nimmt der Schulleiter die Noten aus jedem einzelnen Fach (Mathematik, Geschichte, Kunst, Sport, Naturwissenschaften), addiert sie und erhält eine große „Gesamtnote".

In der Welt der Künstlichen Intelligenz (KI) machen Forscher genau dasselbe. Sie testen ihre KI-Modelle auf vielen verschiedenen Aufgaben (wie das Schreiben von Code, das Beantworten von Geschichtsfragen oder das Erkennen von Katzen auf Fotos), addieren die Punktzahlen und erklären das Modell mit der höchsten Gesamtpunktzahl zum „State-of-the-Art" (SOTA)-Champion.

Das Papier argumentiert, dass dies eine Falle ist. Nur weil ein Schüler die höchste Gesamtnote hat, bedeutet das nicht, dass er in allem der Beste ist. Er könnte ein Genie in Mathematik sein, aber im Sport katastrophal, während ein anderer Schüler in allem „okay" ist. Das Papier sagt, dass es dem Gewinner der Gesamtnote einen Pokal zu verleihen, wie jemandem einen Pokal zu geben, der nur gewonnen hat, weil er in ein paar leichten Fächern perfekte Noten bekam, selbst wenn er in den schwierigen durchgefallen ist.

Die drei Wege, auf denen der „Gewinner" ein Zufall sein könnte

Die Autoren untersuchten 10 verschiedene KI-Ranglisten (wie die Klassensprecher-Tafel) und stellten fest, dass in mehr als der Hälfte der Fälle der erklärte Gewinner nicht tatsächlich der klare Champion war. Sie verwendeten drei einfache Tests, um zu prüfen, ob der Sieg real oder nur ein glücklicher Zufall war:

1. Der „Siegesvorsprung"-Test (Magnitude)

Die Analogie: Stellen Sie sich zwei Läufer vor. Läufer A kommt in 10,00 Sekunden ins Ziel, Läufer B in 10,01 Sekunden. Ist Läufer A signifikant schneller? Oder ist der Unterschied nur eine Frage des Windes, eines losen Schnürsenkels oder eines schlechten Starts?
Die Erkenntnis des Papiers: Oft ist das „gewinnende" KI-Modell nur geringfügig besser als der Zweitplatzierte. Der Unterschied ist so winzig, dass er einfach nur zufälliges Rauschen sein könnte. Dennoch behaupten Forscher weiterhin, der Gewinner sei „überlegen", und ignorieren, dass die Lücke praktisch unsichtbar ist.

2. Der „Konsistenz"-Test (Siegesquote)

Die Analogie: Stellen Sie sich einen Basketballspieler vor, der in einem Spiel 100 Punkte erzielt, aber in den nächsten fünf Spielen jeden Wurf verfehlt. Wenn man ihre Punkte mittelt, sehen sie wie ein Star aus. Aber wenn man fragt: „Haben sie die meisten Spiele gewonnen?", lautet die Antwort nein.
Die Erkenntnis des Papiers: Viele „gewinnende" KI-Modelle verlieren tatsächlich bei mehr als der Hälfte der spezifischen Aufgaben, auf denen sie getestet werden. Sie gewinnen nur die Gesamtrangliste, weil sie bei ein oder zwei spezifischen Aufgaben eine massive Punktzahl erzielten, die ihren Durchschnitt nach oben zog. Sie sind keine konsistenten Gewinner; sie sind Spezialisten, die mit dem Spielplan Glück hatten.

3. Der „Fragilitäts"-Test (Stabilität)

Die Analogie: Stellen Sie sich einen Jenga-Turm vor. Wenn Sie nur einen Block herausziehen können und der ganze Turm umfällt, ist der Turm fragil.
Die Erkenntnis des Papiers: Das Papier stellte fest, dass bei vielen KI-Modellen, wenn man nur ein oder zwei spezifische Testfragen (Datensätze) von der Rangliste entfernt, der „Gewinner" plötzlich auf den letzten Platz fällt. Das bedeutet, dass ihr „Champion"-Status vollständig von ein paar spezifischen Fragen abhängt. Wenn man den Test leicht verändert, kehrt sich die Rangliste komplett um.

Die „Behauptung-Beweis-Lücke"

Die Autoren nennen dies die Behauptung-Beweis-Lücke.

Der Beweis: Die Daten zeigen, dass ein Modell „im Durchschnitt Erster" ist.
Die Behauptung: Das Papier sagt: „Dieses Modell ist State-of-the-Art (das Beste aller Zeiten)."

Das Papier argumentiert, dass „State-of-the-Art" impliziert, ein Modell sei robust, konsistent und sinnvoll besser. Aber die Beweise unterstützen oft nur: „Dieses Modell hat heute die höchste Durchschnittspunktzahl auf dieser spezifischen Liste von Tests."

Warum passiert das immer wieder?

Das Papier schlägt vor, dass dies nicht daran liegt, dass Forscher schlecht in Mathematik sind. Es ist ein institutionelles Problem.

Der Druck: Konferenzen und Zeitschriften lieben kühne Schlagzeilen. Ein Papier mit dem Titel „Unser Modell ist im Durchschnitt Erster" klingt langweilig. „Unser Modell ist der neue State-of-the-Art!" klingt aufregend und führt zu mehr Zitierungen.
Der Status quo: Jeder macht es, also hört niemand auf. Es ist wie ein Spiel, in dem alle auf einem Laufband rennen; wenn man aufhört, um die Geschwindigkeit zu prüfen, bleibt man zurück.

Die Lösung: Ehrliche Berichterstattung (keine neuen Experimente erforderlich)

Die gute Nachricht ist, dass wir keine neuen KI-Modelle erfinden oder teure neue Tests durchführen müssen, um dies zu beheben. Wir müssen nur die Art und Weise ändern, wie wir über die Ergebnisse sprechen.

Anstatt zu sagen:

„Unser Modell ist der State-of-the-Art!"

Schlagen die Autoren vor zu sagen:

„Unser Modell erzielte die höchste Durchschnittspunktzahl auf diesem Benchmark, aber es gewann nur bei 60 % der Aufgaben, und sein Vorsprung verschwindet, wenn wir zwei spezifische Datensätze entfernen."

Die Kernaussage:
Das Papier fordert die KI-Community auf, aufzuhören, eine einzelne Durchschnittszahl als Beweis für totale Überlegenheit zu behandeln. Genau wie man einen Schüler nicht den „klügsten in der Schule" nennen würde, nur weil er einen leichten Test gemeistert hat, sollten wir eine KI nicht als „die Beste" bezeichnen, nur weil sie die höchste Durchschnittspunktzahl auf einer wackeligen Rangliste hat. Wir müssen unsere kühnen Behauptungen mit ehrlichen, detaillierten Beweisen in Einklang bringen.

Technische Zusammenfassung: Anspruchsvollste Behauptungen erfordern anspruchsvollste Belege

Problemstellung

Die Arbeit identifiziert eine weitverbreitete „Lücke zwischen Behauptung und Beleg" in der Forschung zu Künstlicher Intelligenz (KI) und maschinellem Lernen (ML). Während Behauptungen des „State-of-the-Art" (SOTA) allgegenwärtig sind und in über 30 % der Abstracts auf großen Konferenzen erscheinen, stützen sie sich typischerweise auf minimale Belege: einen einzigen aggregierten Mittelwert über mehrere Aufgaben oder Datensätze hinweg. Die Autoren argumentieren, dass die Behauptung, ein Modell sei „SOTA", implizit eine robuste Überlegenheit suggeriert (bedeutsame Verbesserung, Konsistenz über Aufgaben hinweg und Stabilität unter Störungen), doch der Standardbeleg (Überlegenheit des Mittelwerts) lediglich feststellt, dass ein Modell im Durchschnitt an erster Stelle rangiert.

Das Kernproblem besteht darin, dass aggregierte Scores kritische Fehlermodi verschleiern. Ein Modell kann einen höheren Mittelwert aufgrund marginaler Gewinne bei einigen Ausreißer-Datensätzen erreichen, während es bei der Mehrheit der Aufgaben unterdurchschnittlich abschneidet, oder seine Rangfolge kann gegenüber geringfügigen Änderungen in der Zusammensetzung des Datensatzes fragil sein. Trotz des weitverbreiteten Bewusstseins für die Fragilität von Benchmarks (z. B. Empfindlichkeit gegenüber Prompt-Formatierung, Verzerrungen bei der Datensatzauswahl und Verteilungsverschiebungen) verwendet die Gemeinschaft weiterhin Sprache, die robuster Überlegenheit vorbehalten ist, um Ergebnisse zu beschreiben, die nur durch Punktschätzungen gestützt werden.

Methodik

Die Autoren schlagen einen diagnostischen Rahmen vor, um zu testen, ob beobachtete Rangfolgen die impliziten Annahmen von SOTA-Behauptungen stützen. Sie schlagen keine neuen statistischen Tests vor, sondern wenden drei etablierte Konzepte aus der Statistik auf bestehende Benchmark-Daten an:

Magnitude (Effektstärke): Mithilfe von Cohens d messen die Autoren, ob die Leistungslücke zwischen zwei Modellen im Verhältnis zur Varianz über die Aufgaben hinweg bedeutsam ist. Ein Schwellenwert von $\tau_d = 0,2$ (kleiner Effekt) wird verwendet, um zu bestimmen, ob die Verbesserung vom Rauschen unterscheidbar ist.
Konsistenz (Gewinnrate): Die Autoren berechnen den Anteil der Aufgaben, bei denen der „Gewinner" (das Modell mit dem höheren Mittelwert) den Konkurrenten tatsächlich schlägt. Ein Schwellenwert von $\tau_w = 0,6$ wird verwendet, um zu testen, ob das Modell bei einer Mehrheit der Aufgaben gewinnt und nicht nur im Durchschnitt.
Stabilität (Breakdown-Punkt): Unter Verwendung des Konzepts des Breakdown-Punkts aus der robusten Statistik bestimmen die Autoren den minimalen Anteil an Datensätzen, der entfernt werden muss, um die Rangfolge umzukehren. Ein Schwellenwert von $\tau_b = 0,2$ gibt an, ob die Rangfolge auf einer kleinen Teilmenge günstiger Datensätze beruht.

Die Fragilitätsrate ist definiert als der Anteil der paarweisen Vergleiche, bei denen der Gewinner nach Mittelwert mindestens einen dieser drei elementaren Tests nicht besteht.

Die Studie analysiert zehn öffentliche Leaderboards über sechs Domänen hinweg (NLP/LLM, Sprache, Vision-Language, Video, Tabular und Zeitreihen) und rekonstruiert paarweise Vergleiche für die jeweils 20 besten Modelle.

Wichtige Ergebnisse

Die empirische Analyse zeigt, dass die Lücke zwischen Behauptung und Beleg über alle Domänen hinweg weitverbreitet ist:

Hohe Fragilitätsraten: Bei mehr als 1.000 paarweisen Vergleichen fehlt bei einem erheblichen Anteil der Vergleiche zwischen Top-Modellen die Unterstützung für mindestens eine angenommene Eigenschaft der Überlegenheit. Die gesamte Fragilitätsrate reicht von etwa 39 % (HELM MMLU) bis über 74 % (TSFM-Bench mit MSE-Metrik).
Unterschiedliche Fehlermodi: Die drei Diagnosen erfassen unterschiedliche Fehlermodi. Beispielsweise wird die Fragilität in Tabular-Benchmarks oft durch Konsistenzprobleme getrieben (Gewinnraten < 60 %), während bei der Zeitreihenvorhersage die Stabilität die Hauptengpassstelle darstellt (niedrige Breakdown-Punkte).
Konzentration auf Top-Modelle: Die Fragilität ist unter den Top-10-Modellen am ausgeprägtesten, genau dort, wo SOTA-Behauptungen am stärksten konzentriert sind. Wenn die Analyse ausgeweitet wird, um auch niedriger gerankte Modelle einzubeziehen (z. B. Top 60), sinkt die Fragilitätsrate, was darauf hindeutet, dass Unterscheidungen zwischen Top-Performern weniger robust sind als Unterscheidungen zwischen Top-Tier- und Middle-Tier-Modellen.
Robustheit gegenüber Schwellenwerten: Die Ergebnisse sind robust gegenüber der Wahl der Schwellenwerte. Selbst wenn die Schwellenwerte gelockert werden (z. B. Senkung der Gewinnrate-Schwelle auf 0,5), bleibt die gesamte Fragilitätsrate hoch (in allen Fällen über 35 %).
Anzahl der Aufgaben löst das Problem nicht: Subsampling-Experimente bei HELM MMLU zeigen, dass eine Erhöhung der Anzahl der Aufgaben die Instabilität nicht behebt, wenn die Aufgaben ähnliche Merkmale aufweisen oder wenn der Benchmark heterogene Signale aggregiert.

Wichtige Beiträge

Die Arbeit leistet drei Hauptbeiträge:

Identifizierung der Lücke: Die Autoren definieren und testen explizit die impliziten Annahmen hinter SOTA-Behauptungen (Magnitude, Konsistenz, Stabilität) und zeigen auf, dass die Überlegenheit des Mittelwerts diese Eigenschaften nicht garantiert.
Empirischer Nachweis der Weitverbreitung: Durch die Anwendung elementarer statistischer Diagnosen auf zehn diverse öffentliche Leaderboards quantifiziert die Arbeit, dass mehr als die Hälfte der Vergleiche zwischen Top-Modellen mindestens einen Test nicht besteht, und bestätigt, dass die Lücke ein strukturelles Merkmal aktueller Benchmark-Praktiken und keine Anomalie ist.
Institutionelle Diagnose: Die Arbeit argumentiert, dass das Schließen dieser Lücke institutionelle Normen erfordert und keine neuen Experimente. Da die Diagnosen keine zusätzlichen Daten oder Rechenressourcen erfordern, wird das Fortbestehen des Problems auf institutionelle Barrieren (Publikationsdruck, Fehlen standardisierter Berichtsnormen) zurückgeführt und nicht auf technische Limitierungen.

Bedeutung und Behauptungen

Die Bedeutung der Arbeit liegt in ihrem Aufruf zu ehrlicher Berichterstattung und Kalibrierung von Behauptungen. Die Autoren argumentieren, dass die Gemeinschaft bereits über die Werkzeuge verfügt, um diese Probleme zu diagnostizieren (z. B. Konfidenzintervalle, Gewinnraten, Effektstärken), wie seltene Beispiele wie Chatbot Arena und FEV-Bench belegen.

Die Arbeit behauptet nicht, dass Mittelwerte für praktische Entscheidungsfindung unbrauchbar sind, und fordert auch nicht, dass Modelle bestimmte statistische Tests bestehen müssen, um veröffentlicht zu werden. Stattdessen argumentiert sie, dass:

Die Sprache dem Beleg entsprechen muss: Autoren sollten breite „SOTA"-Behauptungen vermeiden, wenn der Beleg eng gefasst ist. Formulierungen wie „erreicht den niedrigsten durchschnittlichen Fehler" oder „rangiert in diesem Benchmark an erster Stelle" sind genauer, wenn das Modell nicht konsistent oder robust gewinnt.
Institutioneller Wandel notwendig ist: Einzelne Autoren können das Gleichgewicht allein nicht verschieben. Die Arbeit fordert Leitlinien auf Ebene der Veranstaltungsorte (ähnlich wie CONSORT in der klinischen Medizin), die Autoren ermutigen, Unsicherheit zu berichten (z. B. Gewinnraten, Effektstärken), und Gutachter dazu anhalten, zu überprüfen, ob die Behauptungssprache mit den berichteten Statistiken übereinstimmt.
Transparenz vor Neuheit: Das Ziel ist nicht die Schaffung größerer Benchmarks, sondern die genaue Berichterstattung über die Grenzen bestehender Ergebnisse, um präzisere und interpretierbarere Vergleiche zwischen Modellen zu ermöglichen.

Zusammenfassend stellt die Arbeit fest, dass „außergewöhnliche Behauptungen außergewöhnliche Belege erfordern", und derzeit trifft die ML-Gemeinschaft außergewöhnliche Behauptungen (SOTA) auf Basis gewöhnlicher, fragiler Belege. Die Lösung liegt in der Abstimmung der Behauptungssprache mit der tatsächlichen Stärke der zugrundeliegenden Daten.