Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation
Das Papier stellt Messier vor, einen vereinheitlichten hochauflösenden Korpus aus fast einer Million standardisierter Datensätze über 30 Benchmarks und diverse Domänen hinweg, der eine umfassende Benchmark-übergreifende Agenten-Evaluierung ermöglicht, ungleichmäßige Fortschritte über Aufgabentypen hinweg aufzeigt und eine fundamentale Infrastruktur für die Prüfung und Skalierung von KI-Agenten-Fähigkeiten bereitstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, welcher Videospielcharakter absolut der Beste in allem ist. Sie haben einen Charakter, der großartig im Springen ist, einen anderen, der ein Zauberer beim Lösen von Mathe-Rätseln ist, und einen dritten, der ein Labyrinth perfekt navigieren kann. Aber hier ist der Haken: Jedes Spiel misst „Geschicklichkeit“ anders. Ein Spiel gibt Ihnen einen goldenen Stern, wenn Sie über eine einzige Grube springen, während ein anderes erfordert, dass Sie eine komplexe Algebra-Aufgabe lösen, um eine Tür zu öffnen, und ein drittes verlangt, dass Sie jede einzelne Münze in einem Level einsammeln, ohne einen einzigen Gegner zu berühren. Wenn Sie sich nur die Endpunktzahl ansehen – eine einzige Zahl wie „95 %“ – könnten Sie denken, sie seien alle gleichermaßen gut. Aber diese Zahl verbirgt die unordentlichen Details. Ist der Charakter gescheitert, weil er nicht springen konnte, oder weil er an einer Tür stecken blieb? Hat er 95 % erreicht, weil er alles perfekt gemacht hat, oder weil er eine winzige Sache falsch gemacht hat und das Spiel den gesamten Durchgang als Null gewertet hat?
Dies ist genau das Problem, vor dem Wissenschaftler stehen, die KI-Agenten untersuchen. Dies sind nicht nur Chatbots; es sind digitale Arbeiter, die Werkzeuge nutzen, Code schreiben, das Web durchsuchen und Entscheidungen in Echtzeit-Umgebungen treffen können. Momentan gibt es hunderte verschiedene Tests (Benchmarks), aber sie alle sprechen unterschiedliche Sprachen. Einige Tests sind streng: Wenn man einen Schritt in einem 10-Schritte-Rezept verpasst, bekommt man eine Null. Andere sind nachsichtiger. Aus diesem Grund ist es unglaublich schwierig, einen Agenten, der gut im Programmieren ist, mit einem zu vergleichen, der gut in der juristischen Recherche ist. Es ist, als würde man versuchen, einen Marathonläufer mit einem Schachgroßmeister allein anhand eines einzigen „Athletik“-Wertes zu vergleichen. Um zu verstehen, wie sich KI tatsächlich verbessert, brauchen wir einen Weg, unter die Haube dieser Punktzahlen zu schauen und genau zu sehen, wo die Agenten Erfolg haben und wo sie stolpern.
Hier kommt MESSIER ins Spiel, ein massives neues Projekt, das wie ein riesiger, universeller Übersetsetzer für das Testen von KI fungiert. Die Forscher hinter MESSIER haben nicht nur einen neuen Test gebaut; sie haben eine riesige Bibliothek geschaffen, die die Ergebnisse aus 30 verschiedenen bestehenden Tests sammelt, die 11.891 spezifische Aufgaben und 74.205 verschiedene Arten der Überprüfung des Erfolgs eines Agenten abdecken. Sie haben Daten von 714 verschiedenen KI-Agenten gesammelt und sogar neue, frische Tests in sechs schwierigen Bereichen durchgeführt, in denen Daten fehlten, wie etwa bei juristischen Bewertungen und dem Design von Quantenschaltkreisen. Insgesamt haben sie fast eine Million Testdatensätze in ein einziges, sauberes, standardisiertes Format gebracht. Man kann es sich so vorstellen, als würde man einen chaotischen Haufen Quittungen aus 30 verschiedenen Geschäften, die jeweils in einer anderen Währung und mit anderen Rechenregeln geschrieben sind, nehmen und sie in eine einzige, klare Tabelle verwandeln, die zeigt, was genau gekauft wurde, wie viel es kostete und welcher Laden die besten Angebote hatte.
Das Spannendste, das MESSIER herausgefunden hat, ist, dass die Art und Weise, wie wir Punkte zählen, die Geschichte verändert. Die Studie zeigt, dass viele Tests eine „strenge“ Regel verwenden: Wenn ein Agent auch nur einen kleinen Teil einer Aufgabe nicht erfüllt, wird das Ganze als Fehlschlag markiert. Die Forscher zeigten, dass sich das Bild des Fortschritts ganz anders darstellt, wenn man diese Regel lockert und betrachtet, wie viele Teile der Agent tatsächlich richtig gemacht hat. Zum Beispiel besagte der strenge „Alles-oder-Nichts“-Score bei einem juristischen Benchmark, dass die Agenten nur 0,2 % der Zeit erfolgreich waren. Doch als sie die Details betrachteten, fanden sie heraus, dass die Agenten im Durchschnitt tatsächlich 28,8 % der Kriterien erfüllten. Die strenge Regel verbarg viel an teilweisem Fortschritt. Dies deutet darauf hin, dass die KI zwar besser wird, aber die Art und Weise, wie wir sie messen, vielleicht zu hart ist und es so aussehen lässt, als würden die Agenten häufiger scheitern, als sie es eigentlich tun.
Die Studie hat auch kartiert, wo die KI wirklich „gewinnt“ und wo sie noch Schwierigkeiten hat. Sie fanden heraus, dass die KI bei der „Function Calling“ (dem Aufrufen von Funktionen/Werkzeugen) fast perfekt ist, mit einer Erfolgsquote von 0,97. Sie wird auch sehr gut im Programmieren und verbessert sich in den letzten zwei Jahren rasant. Dennoch hat die KI Schwierigkeiten mit „Enterprise Workflows“ – komplexen, mehrstufigen Büroaufgaben wie der Verwaltung eines Geschäftsprozesses. In diesen Bereichen liegt die Erfolgsquote nur bei 0,57, was bedeutet, dass die Agenten häufiger scheitern als sie erfolgreich sind. Die Forscher haben auch bewiesen, dass man diese massive Bibliothek nutzen kann, um eine neue „Fähigkeitsskala“ für KI zu erstellen, die sehr eng mit anderen großen Rankings korreliert (mit einer Korrelation von 0,81), ohne Millionen von Dollar für das Durchführen neuer Tests ausgeben zu müssen.
Letztendlich ist MESSIER ein Werkzeug für Klarheit. Es legt nahe, dass wir durch den Blick auf die winzigen Details dessen, wie ein Agent scheitert, anstatt nur auf die Endpunktzahl zu schauen, ein viel wahreres Bild davon erhalten können, was eine KI tatsächlich leisten kann. Es sagt nicht, dass die KI alles gelöst hat, aber es deutet an, dass unsere aktuellen Messlatten vielleicht zu stumpf sind. Durch die Standardisierung dieser Ergebnisse hoffen die Autoren, die Verschwendung von Geld durch das wiederholte Durchführen derselben Tests zu stoppen und Forschern zu helfen, genau zu verstehen, für welche Aufgaben die KI bereit ist und für welche noch eine menschliche Hand benötigt wird. Die Daten stehen nun jedem zur Verfügung und verwandeln ein verwirrendes Durcheinander von Zahlen in eine klare Karte der KI-Landschaft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.