There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
Diese Arbeit zeigt auf, dass moderne LLM-Leaderboards grundlegend unzuverlässig sind, da die Konfigurationen der Evaluierungs-Frameworks (wie etwa die Formulierung der Prompts und die Bewertungsmethoden) die primären Treiber der Leistungs-Varianz sind und oft die Modell-Rankings stärker bestimmen als die tatsächlichen Fähigkeiten der Modelle.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz verlassen sich Forscher auf standardisierte Tests, um zu messen, wie gut Computerprogramme Sprache verstehen. Diese Tests, oft als Benchmarks bezeichnet, präsentieren einer Modell eine Serie von Multiple-Choice-Fragen und protokollieren, wie viele Antworten es richtig hat. Die daraus resultierende Punktzahl wird als definitiver Fakt über die Intelligenz der Maschine behandelt, was es Wissenschaftlern ermöglicht, verschiedene Modelle gegeneinander zu ranken und einen Sieger zu küren. Jahrelang operierte die Fachwelt unter der Annahme, dass die Leistung eines Modells zwar aufgrund von Zufallsschwankungen leicht variieren mag, das allgemeine Ranking jedoch eine stabile Wahrheit über die Fähigkeiten der Technologie widerspiegelt. Die Frage, ob ein Modell wirklich intelligenter ist als ein anderes, wurde durch den Blick auf eine einzige Zahl beantwortet: den Prozentsatz der korrekten Antworten.
Eine neue Untersuchung legt jedoch nahe, dass diese einzelne Zahl eine viel komplexere Geschichte erzählt. Die Studie zeigt, dass die Punktzahl, die ein Modell erhält, nicht nur ein Maß für seine Intelligenz ist, sondern auch ein Produkt der spezifischen Regeln, die zu seiner Bewertung verwendet werden. Diese Regeln, bekannt als Evaluation Harness (Evaluations-Gerüst), beinhalten Entscheidungen, die oberflächlich betrachtet trivial erscheinen: die Reihenfolge, in der die Antwortmöglichkeiten aufgelistet sind, die exakte Formulierung der Anweisungen an die Maschine und die Methode, mit der entschieden wird, ob eine Antwort korrekt ist. Während diese Entscheidungen oft willkürlich oder aus Gründen der Bequemlichkeit getroffen werden, fand der Forscher heraus, dass das Ändern dieser Faktoren die Bestenliste komplett umschreiben kann – ein Modell, das auf letzten Platz rankte, wird zum Spitzenreiter, oder umgekehrt. Die Ergebnisse implizieren, dass die aktuelle Art und Weise, wie wir künstliche Intelligenz bewerten, weit weniger stabil ist als bisher angenommen, und dass das „beste“ Modell vollständig davon abhängt, wie der Test durchgeführt wird.
Um diese verborgene Instabilität aufzudecken, entwarf ein Forscher an der University of California, San Diego, ein massives Experiment, bei dem er die Testregeln selbst als Variable behandelte. Anstatt einen einzelnen Test durchzuführen und das Ergebnis zu akzeptieren, erstellte er ein Raster aus sechsundzwanzig verschiedenen Möglichkeiten, dieselbe Prüfung zu verwalten. Er nahm zwölf verschiedene Sprachmodelle aus vier großen Familien und bat sie, dieselben 3.679 Multiple-Choice-Fragen zu beantworten. Für jede einzelne Frage ließ er die Modelle durch jede mögliche Kombination der Testregeln laufen. Dies beinhaltete das Durchmischen der Reihenfolge der Antwortmöglichkeiten, das Ändern der Fragestellung sowie den Wechsel zwischen zwei verschiedenen Methoden zur Bewertung der Antworten: einer, bei der das Modell eine Textantwort generiert, und einer, bei der der Computer die mathematische Wahrscheinlichkeit berechnet, mit der jede Option korrekt ist.
Die Ergebnisse waren erschütternd. Als der Forscher die Punktzahlen für ein einzelnes Modell betrachtete, fand er keinen einzelnen Fixpunkt der Genauigkeit. Stattdessen fand er ein breites Band möglicher Punktzahlen. Für eines der leistungsstärksten Modelle reichte die Punktzahl je nach verwendetem Regelsatz von einem Tiefstwert von 31 Prozent bis zu einem Höchstwert von 89 Prozent. Das bedeutet, dass derselbe Computer, mit demselben internen Code und demselben Wissen, als hätte er fast alle Antworten richtig beantwortet oder als hätte er etwa ein Drittel der Antworten falsch gemacht, schlicht deshalb, weil der Testadministrator die Reihenfolge der Buchstaben oder den Stil des Prompts geändert hat. Im Durchschnitt konnten 8pp der Antworten, die einem Modell unter den Standardregeln als korrekt zugeschrieben wurden, unter einem anderen, ebenso gültigen Regelsatz als falsch markiert werden.
Die kritischste Entdeckung war, dass diese Schwankungen kein zufälliges Rauschen waren, das gleichmäßig über den Test verteilt war. Die Instabilität konzentrierte sich genau auf die Fragen, die die Modelle voneinander unterschieden. Wenn der Forscher sich die Fragen ansah, die beide benachbarte Modelle unabhängig von den Regeln entweder korrekt oder inkorrekt beantworteten, waren die Modelle im Wesentlichen gleichauf. Die Unterschiede, die die Rankings erzeugten, existierten nur bei den Fragen, bei denen die Modelle unsicher waren. Tatsächlich wurde bei den Paaren von Modellen, die direkt nebeneinander im Ranking standen, fast die gesamte Differenz in ihren Punktzahlen – durchschnittlich etwa 96 Prozent – durch diese instabilen Fragen getragen. Wenn man die Fragen entfernt hätte, die je nach Regel schwankten, wären die Rankings verschwunden und die Modelle wären ununterscheidbar geworden.
Diese Fragilität bedeutete, dass die Identität des „Gewinners“ keine feste Eigenschaft der Modelle war, sondern eine Entscheidung des Evaluators. Unter einem bestimmten Regelsatz konnte ein spezifisches Modell den ersten Platz belegen, während unter einem anderen Regelsatz ein völlig anderes Modell gewann. In dieser Studie konnten vier verschiedene Modelle je nach Konfiguration den ersten Platz erreichen. Ein Modell, das unter den Standardregeln auf Platz elf von zwölf landete, sprang unter einer anderen Bewertungsmethode auf den ersten Platz. Der Forscher stellte fest, dass die Wahl der Bewertungsmethode – ob man den vom Modell geschriebenen Text liest oder die Wahrscheinlichkeiten berechnet – der mächtigste Faktor war, der mehr Verschiebungen in den Rankings verursachte als die Reihenfolge der Optionen oder die Formulierung des Prompts.
Die Studie untersuchte auch einen populären Trend in der Branche: das Komprimieren dieser großen Tests auf einen kleineren Satz der „informativsten“ Fragen, um Zeit zu sparen. Die Logik dahinter war, dass ein paar hundert gut gewählte Fragen den gesamten Test repräsentieren könnten. Der Forscher fand heraus, dass diese Praxis das Problem sogar verschlimmert. Die Fragen, die ausgewählt werden, um am informativsten zu sein, sind genau jene, die am empfindlichsten auf die Testregeln reagieren. Indem man nur diese schwierigen, entscheidenden Fragen beibehält, werden komprimierte Benchmarks noch volatiler als die Vollversionen, die sie ersetzen. Ein kleinerer Test liefert kein klareres Bild; er liefert ein fragileres Bild, bei dem das Ranking noch wahrscheinlicher durch geringfügige Anpassungen am Setup verändert wird.
Letztlich argumentiert die Arbeit, dass die aktuelle Praxis, eine einzige Zahl als die Wahrheit über die Fähigkeit eines Modells zu melden, irreführend ist. Die Punktzahl ist keine Eigenschaft des Modells allein; sie ist eine Eigenschaft des Modells in Interaktion mit einem spezifischen Satz von Regeln. Der Forscher schlägt vor, dass zukünftige Berichte aufhören sollten, die Bestenliste als feste Hierarchie zu behandeln, und statfangen sollten, die Spanne möglicher Punktzahlen darzustellen. Er schlägt vor, dass Wissenschaftler sich beim Vergleich von Modellen auf die Fragen konzentrieren sollten, bei denen die Modelle stabil sind und übereinstimmen, anstatt auf jene, bei denen die Regeln das Ergebnis diktieren. Bis die Fachwelt sich auf eine einzige, unveränderliche Art und Weise zur Durchführung dieser Tests geeinigt hat, werden die Rankings eher ein Abbild der Entscheidungen des Evaluators sein als ein definitives Maß für künstliche Intelligenz.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.