Every Eval Ever: A Unifying Schema and Community Repository for AI Evaluation Results
Dieses Paper stellt „Every Eval Ever“ vor, eine gemeinschaftlich verwaltete Initiative, die der Fragmentierung von KI-Evaluationsergebnissen durch die Etablierung eines einheitlichen JSON-Schemas, die Bereitstellung automatischer Konverter aus diversen Quellen und das Hosting eines Crowdsourcing-Repositorys auf Hugging Face begegnet, welches derzeit Daten von über 22.000 Modellen und 2.000 Benchmarks aggregiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Künstlichen Intelligenz (KI) als eine riesige, chaotische Sportliga vor. Jeden Tag lassen verschiedene Teams (Forscher und Unternehmen) ihre Spieler (KI-Modelle) durch verschiedene Hindernisparcours (Benchmarks) laufen, um zu sehen, wer am schnellsten oder stärksten ist.
Das Problem? Jeder führt die Punkte unterschiedlich.
Einige Teams schreiben ihre Ergebnisse in ein Notizbuch, andere auf ein Whiteboard, manche in eine Tabellenkalkulation und andere posten einfach nur eine einzelne Zahl auf Twitter. Ein Team schreibt vielleicht, dass ein Spieler „85“ Punkte erzielt hat, aber es verrät Ihnen nicht, ob sie eine Stoppuhr oder eine Sanduhr verwendet haben oder ob der Spieler auf einem Laufband oder einer Rennstrecke gelaufen ist. Aufgrund dieses Chaos ist es unmöglich, Spieler A von Team X wirklich mit Spieler B von Team Y zu vergleichen.
„Every Eval Ever“ (EEE) ist das Projekt, das versucht, dieses Chaos zu beseitigen. Betrachten Sie es als den universellen Übersetzer und den offiziellen Schiedsrichter für die gesamte KI-Welt.
So funktioniert es, einfach erklärt:
1. Die universelle Scorecard (Das Schema)
Vor EEE mussten Sie wie ein Detektiv vorgehen, Berichte, Blogposts und Code-Logs durchsuchen, um herauszufinden, wie eine Punktzahl berechnet wurde.
- Die EEE-Lösung: Sie haben eine einzige, standardisierte „Scorecard“ erstellt (ein spezifisches Format namens JSON-Schema).
- Die Analogie: Stellen Sie sich vor, jede Sportliga würde vereinbaren, exakt dasselbe Statistikblatt zu verwenden. Anstatt nur „85 Punkte“ zu schreiben, muss das Blatt Folgendes enthalten: „Wer hat den Test durchgeführt? Welche Regeln wurden befolgt? Wie hoch war die Raumtemperatur? Wurde eine Stoppuhr oder ein Timer verwendet?“
- Warum das wichtig ist: Jetzt, wenn Sie eine Punktzahl sehen, wissen Sie genau, was sie bedeutet, und können sie fair mit einer anderen Punktzahl vergleichen, selbst wenn diese aus völlig unterschiedlichen Quellen stammt.
2. Der magische Übersetzer (Die Konverter)
Sie denken jetzt vielleicht: „Aber jeder hat doch schon seine eigenen, chaotischen Scorecards. Wie lösen wir das?“
- Die EEE-Lösung: Sie haben „Konverter“ gebaut. Das sind wie magische Übersetzungswerkzeuge.
- Die Analogie: Stellen Sie sich einen Übersetzer vor, der eine handschriftliche Notiz auf Französisch, eine Tabelle auf Deutsch und eine Sprachaufnahme auf Spanisch nehmen und sie sofort in ein perfektes, standardisiertes englisches Dokument verwandeln kann.
- Wie es funktioniert: Das Projekt hat Tools entwickelt, die Ergebnisse aus populärer KI-Testsoftware (wie HELM oder lm-eval) und Leaderboards automatisch aufnehmen und sie sofort in das neue Standard-Scorecard-Format umwandeln.
3. Die Community-Bibliothek (Das Repository)
Wo landen die Punkte, nachdem sie übersetzt wurden?
- Die EEE-Lösung: Sie haben eine riesige, öffentliche Bibliothek auf der Plattform namens Hugger Face aufgebaut.
- Die Analogie: Denken Sie an ein massives öffentliches Archiv, in das jeder seine standardisierten Scorecards einwerfen kann. Es ist nicht nur eine Liste der Gewinner; es ist ein tiefer Einblick in die Details.
- Die Größenordnung: Aktuell enthält diese Bibliothek Ergebnisse für über 22.000 verschiedene KI-Modelle, die in 2.200 verschiedenen Herausforderungen getestet wurden. Es ist das erste Mal, dass so viele Daten an einem Ort gesammelt wurden, auf eine Weise, die Computer tatsächlich lesen und vergleichen können.
4. Warum das die Spielregeln ändert (Die Fallstudien)
Das Paper zeigt vier spezifische Wege auf, wie dieses neue System Forschern hilft, Dinge zu sehen, die sie zuvor nicht sehen konnten:
- Kosten vs. Genauigkeit: In der Welt der „KI-Agenten“ (Roboter, die Aufgaben erledigen) zeigte EEE, dass einige Setups zwar teuer sind, aber nicht wirklich besser abschneiden. Es ist wie die Erkenntnis, dass ein Ferrari zwar 500 Dollar am Tag kostet, man mit einem Toyota aber genauso ans Ziel kommt – für nur 50 Dollar.
- Die „Perplexity“-Falle: Forscher schauen oft auf eine Metrik namens „Perplexity“, um zu sehen, wie gut ein Modell Text vorhersagen kann. EEE enthüllte, dass zwei verschiedene Computerprogramme „Perplexity“ auf leicht unterschiedliche Arten berechnen können, was die Zahlen vergleichbar erscheinen lässt, obwohl sie es eigentlich nicht sind. EEE markiert diese Unterschiede, damit niemand getäuscht wird.
- Der „Geist“ in der Maschine: Als Forscher versuchten, alte Tests lokal erneut durchzuführen, stellten sie fest, dass bei den offiziellen Ergebnissen manchmal Daten fehlten (wie leere Antworten), die in ihren lokalen Kopien vorhanden waren. EEE half dabei, diese „Geisterfehler“ aufzuspüren, die unbemerkt geblieben waren.
- Schwierigkeitsgrade: Durch die Betrachtung einzelner Fragen (statt nur der Endpunktzahl) ermöglichte EEE es Forschern, eine statistische Methode (Item Response Theory) anzuwenden, um genau zu bestimmen, welche Fragen zu schwer oder zu leicht waren, was wiederum hilft, bessere Tests zu entwerfen.
Das Fazit
„Every Eval Ever“ ist kein neues KI-Modell und führt die Tests nicht selbst durch. Stattdessen ist es die Infrastruktur, die Sinn in die Tests bringt, die bereits durchgeführt werden.
Es verwandelt einen Haufen verwirrender, inkompatibler Notizen in eine klare, organisierte und faire Datenbank. Es ermöglicht Forschern, aufzuhören zu fragen: „Haben sie das auf die gleiche Weise gemessen?“ und stattdessen zu fragen: „Was sagt uns das tatsächlich über den Fortschritt der KI?“
Das Projekt wird von einer Koalition aus Forschern, Unternehmen und Universitäten geleitet, die davon überzeugt sind, dass wir alle dieselbe Sprache sprechen müssen, wenn wir darüber reden, wie gut eine KI funktioniert, damit die KI besser werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.