Agents' Last Exam
Dieses Paper stellt Agents' Last Exam (ALE) vor, einen lebendigen Benchmark, der gemeinsam mit über 250 Branchenexperten entwickelt wurde, um KI-Agenten bei langfristigen, ökonomisch wertvollen Aufgaben in der realen Welt über 13 Branchencluster hinweg zu evaluieren, mit dem Ziel, die Lücke zwischen dem aktuellen Erfolg bei Benchmarks und einem bedeutsamen, für das BIP relevanten Einsatz zu schließen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten jahrelang einen Roboter-Koch trainiert. Sie haben ihn mit Quizfragen über Rezepte getestet, ihn nach Zutaten fragen lassen und ihn sogar einfache Anweisungen befolgen lassen wie „schneide die Zwiebel“. Bei diesen Tests erzielt der Roboter Bestnoten. Er scheint ein kulinarisches Genie zu sein.
Doch dann bitten Sie ihn, ein ganzes, komplexes Abendessen während einer Stoßzeit in einem geschäftigen Restaurant zuzubereiten. Plötzlich lässt der Roboter die Sauce anbrennen, vergisst die Bestellung oder kommt mit dem Herd durcheinander. Es stellt sich heraus, dass es nicht dasselbe ist, gut über das Kochen zu reden, als gut darin zu sein, die Arbeit tatsächlich zu tun.
Genau dieses Problem versucht das Paper „Agents' Last Exam“ (ALE) zu lösen.
Das Problem: Die „Quiz-Falle“
Schon seit langem testen KI-Forscher ihre KI-Agenten (intelligente Computerprogramme) mit Benchmarks, die wie Multiple-Choice-Fragen funktionieren. Diese Tests sind großartig darin zu messen, was eine KI weiß, aber sie messen nicht, was eine KI in der realen Welt tun kann.
Die Autoren argumentieren, dass nur weil eine KI einen Mathetest oder ein Coding-Quiz besteht, das bedeutet noch lange nicht, dass sie tatsächlich ein Unternehmen führen, eine Brücke entwerfen oder einen Krankenhausplan verwalten kann. Die Lücke zwischen „den Test bestehen“ und „Geld verdienen“ ist riesig.
Die Lösung: Die „Letzte Prüfung“
Um dies zu beheben, hat das Team ALE (Agents' Last Exam) entwickelt. Betrachten Sie dies nicht als ein Quiz, sondern als ein echtes, reales Vorstellungsgespräch für eine KI.
Anstatt zu fragen: „Was ist die Hauptstadt von Frankreich?“ oder „Schreibe eine Python-Schleife“, gibt ALE der KI ein echtes, chaotisches, mehrtägiges Projekt, wie es ein menschlicher Profi tatsächlich durchführen würde.
- Die Aufgaben: Die Prüfung deckt 55 verschiedene Berufsfelder ab (wie Ingenieurwesen, Medizin, Finanzen und Videospielentwicklung).
- Der Schwierigkeitsgrad: Die Aufgaben sind „long-horizon“ (langfristig angelegt), was bedeutet, dass sie Stunden oder Tage zur Bearbeitung benötigen. Sie erfordern, dass die KI verschiedene Softwareprogramme öffnet, auf Schaltflächen klickt, Dateien prüft und ihre eigenen Fehler korrigiert – genau wie ein menschlicher Mitarbeiter.
- Die Quelle: Dies sind keine künstlichen Aufgaben, die sich Forscher ausgedacht haben. Es sind reale Projekte, die über 250 Branchenexperten tatsächlich in ihrem Beruf durchgeführt haben. Die Experten haben ihre vergangene Arbeit eingereicht, und das Team hat daraus Tests erstellt.
Wie die Prüfung funktioniert
Stellen Sie sich vor, die KI sitzt an einem Computer in einem virtuellen Büro.
- Die Aufgabe: Die KI erhält eine reale Aufgabe, wie zum Beispiel „Entwirf eine Form für ein Autoteil“ oder „Analysiere diese medizinischen Röntgenbilder“.
- Die Werkzeuge: Die KI muss echte Software verwenden (wie 3D-Modellierungswerkzeuge, Finanztabellen oder medizinische Bildverarbeitungssoftware), genau wie ein Mensch es tun würde. Sie muss Menüs anklicken, Befehle eintippen und Dateien verwalten.
- Die Bewertung: Das ist der clevere Teil. Die Prüfung verlässt sich nicht darauf, dass ein menschlicher Lehrer das Ergebnis betrachtet und sagt: „Sieht gut aus!“ Das wäre zu langsam und zu subjektiv. Stattdessen nutzt die Prüfung automatisierte Prüfmechanismen.
- Wenn die Aufgabe darin bestand, ein 3D-Modell zu bauen, prüft der Computer, ob die Abmessungen exakt stimmen.
- Wenn die Aufgabe darin bestand, einen Finanzbericht zu schreiben, prüft der Computer, ob die Zahlen korrekt zusammenrechnen.
- Wenn die KI eine „Gate“ (eine Hürde/einen Kontrollpunkt) nicht besteht (wie etwa einen Fehler macht, der eine Maschine beschädigen würde), erhält sie sofort eine Null, egal wie schön der Rest der Arbeit aussieht.
Die Ergebnisse: Die KI ist noch in der Schule
Das Paper hat die klügsten KI-Agenten der Welt auf dieser Prüfung getestet. Die Ergebnisse waren ernüchternd:
- Die „Einfache“ Ebene: Selbst die besten KI-Agenten bestanden nur etwa 30 % der Aufgaben, die als „nahliegend“ (einfacher) gelten.
- Die „Schwere“ Ebene: Bei den schwierigsten Aufgaben (der „Last Exam“-Ebene“) lag die Erfolgsquote bei 0 %. Die KI konnte sie überhaupt nicht bewältigen.
- Die Lücke: Eine KI, die bei einem Standard-Coding-Test (Terminal-Bench) 82 % erreicht, kommt auf dieser realen Prüfung nur etwa 25 %.
Die Autoren nennen dies die „Letzte Prüfung“, weil sie die letzte Hürde darstellt. Wenn eine KI diese bestehen kann, bedeutet das, dass sie bereit ist, tatsächlich den Job zu erledigen und einen menschlichen Arbeiter zu ersetzen. Im Moment sagt das Paper, dass die KI noch weit davon entfernt ist, zu bestehen.
Warum es wichtig ist
In dem Paper geht es nicht nur darum, einen schwereren Test zu erstellen; es geht darum, das Ziel zu ändern.
- Aktuelles Ziel: Eine KI dazu bringen, 100 % in Quizfragen zu erreichen.
- Neues Ziel: Eine KI dazu bringen, 100 % bei echten Jobs zu erreichen, die wirtschaftlichen Wert (BIP) generieren.
Die Autoren glauben, dass wir durch die Konzentration auf diese realen, verifizierbaren Aufgaben aufhören werden, KIs zu bauen, die nur gut im Reden sind, und stattdessen KIs bauen werden, die gut im Arbeiten sind. Bis die KI diese „Letzte Prüfung“ bestehen kann, ist sie nicht bereit für die reale Arbeitswelt.
Zusammenfassende Analogie
Betrachten Sie die aktuellen KI-Benchmarks als Theorieprüfungen für das Autofahren. Man kann alle Verkehrsregeln auswendig lernen und eine perfekte Punktzahl erreichen. Aber ALE ist die praktische Fahrprüfung, bei der man tatsächlich ein Auto durch dichten Verkehr steuern, parallel parken und eine Baustelle durchfahren muss, ohne etwas zu rammen.
Das Paper sagt: „Unsere KI-Fahrer sind großartig in der Theorieprüfung, aber sie bauen in der praktischen Fahrprüfung immer noch Unfälle. Hören wir auf, die Theorie-Ergebnisse zu feiern, und fangen wir an, ihnen beizubringen, wie man fährt.“
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.