AcademiClaw: When Students Set Challenges for AI Agents
Dieser Beitrag stellt AcademiClaw vor, einen zweisprachigen Benchmark mit 80 komplexen, realen akademischen Aufgaben, die aus Studenteneinreichungen kuratiert wurden, um die Grenzen aktueller KI-Agenten bei der Bewältigung langfristiger, multidomainer Herausforderungen zu evaluieren und zu diagnostizieren, wobei sich zeigt, dass selbst Frontier-Modelle lediglich eine Durchlassrate von 55 % erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Assistenten gebaut. Bisher haben Sie ihn getestet, indem Sie ihn einfache Hausaufgaben erledigen ließen: „Sortieren Sie diese E-Mails", „Fügen Sie diese Besprechung meinem Kalender hinzu" oder „Finden Sie ein Rezept für Pasta". Der Roboter ist hervorragend in diesen Aufgaben. Er ist wie eine sehr effiziente persönliche Sekretärin.
Aber hier liegt das Problem: Wir wissen tatsächlich nicht, ob dieser Roboter echte, schwere Arbeit leisten kann. Kann er ein komplexes mathematisches Problem lösen? Kann er ein Videospiel von Grund auf neu entwickeln? Kann er einen defekten Computerchip reparieren? Bis jetzt hat niemand den Roboter auf faire, standardisierte Weise mit diesen Fragen konfrontiert.
Dafür steht diese Arbeit, AcademiClaw. Es ist eine neue „Abschlussprüfung" für KI-Agenten, die nicht von Forschern in einem Labor entwickelt wurde, sondern von Universitätsstudenten, die tatsächlich mit ihren Hausaufgaben und Projekten kämpfen.
Hier ist eine Aufschlüsselung der Arbeit mit einfachen Analogien:
1. Das Problem: Die „Sekretärin" versus der „Ingenieur"
Stellen Sie sich aktuelle KI-Benchmarks (Tests für KI) wie einen Führerschein-Test für einen Lebensmittellieferanten vor. Sie prüfen, ob Sie parallel parken und an einer roten Ampel halten können. Das ist nützlich, sagt Ihnen aber nichts darüber, ob Sie ein Formel-1-Auto fahren oder einen Jet-Triebwerk reparieren können.
Die Arbeit argumentiert, dass bestehende Tests für das „OpenClaw"-KI-System nur „Assistenz-Level"-Fähigkeiten prüfen (wie das Sortieren von Dateien). Sie lassen eine riesige Lücke: Akademische Fähigkeiten. Das sind die tiefgründigen, komplexen Aufgaben, die Jahre des Studiums erfordern, wie das Beweisen eines mathematischen Theorems oder das Trainieren eines komplexen KI-Modells.
2. Die Lösung: Eine „von Studierenden eingereichte" Prüfung
Anstatt dass Forscher fiktive Probleme erfinden, baten die Autoren 230 Universitätsstudenten, reale Probleme einzureichen, denen sie begegnet waren.
- Das Szenario: Ein Student versucht, eine KI zur Unterstützung bei einem schwierigen Programmierprojekt oder einer Forschungsarbeit einzusetzen. Die KI versagt oder bleibt stecken. Der Student sagt: „Das ist zu schwer für die KI."
- Der Filter: Experten überprüften diese 230 Einreichungen und wählten die besten 80 aus.
- Das Ergebnis: Eine Testsuite, die 25 verschiedene Bereiche abdeckt, von Mathematik auf Olympiade-Niveau bis hin zu GPU-intensiver Videospiel-Physik und dem Debuggen komplexer Software.
Die Analogie: Stellen Sie sich einen Kochwettbewerb vor. Anstatt dass die Richter die Köche bitten, „eine Zwiebel zu hacken", sagen die Studenten (die Kunden): „Ich brauche ein 5-Gänge-Menü, das Zutaten aus drei verschiedenen Kontinenten verwendet, in einem bestimmten Stil zubereitet ist, und ich brauche es in 40 Minuten fertig." Das ist das Schwierigkeitsniveau, das AcademiClaw einführt.
3. Die Testumgebung: Der „sichere Sandkasten"
Um sicherzustellen, dass die KI nichts kaputt macht oder betrügt, findet jede Aufgabe in einer digitalen Sandbox statt (eine abgeschottete Computerumgebung, sogenannte Docker-Container).
- Die KI erhält eine Aufgabe.
- Sie kann Dateien lesen, Code schreiben, Programme ausführen und sogar einen Webbrowser verwenden.
- Sie muss alles selbst, Schritt für Schritt, erledigen.
- Kritische Details: Einige Aufgaben erfordern eine GPU (eine leistungsstarke Grafikkarte, die für schwere Mathematik und KI-Training verwendet wird). Das ist wie zu verlangen, dass der Roboter ein schweres Gewicht hebt; die meisten vorherigen Tests verlangten nur, dass er eine Feder hebt.
4. Wie sie es benoten: Der „mehrschichtige Richter"
Man kann nicht einfach fragen: „Hat es fertig?", weil die Antwort lauten könnte: „Ja, aber der Code ist defekt."
Die Arbeit verwendet ein 6-in-1-Bewertungssystem:
- Mustererkennung: Hat es die richtigen Wörter geschrieben?
- Code-Ausführung: Läuft das Programm tatsächlich ohne Absturz?
- KI-Richter: Eine andere KI liest den Bericht und benotet ihn wie ein Lehrer.
- Vision-KI: Kann sie „sehen", ob ein Diagramm oder Bild richtig aussieht?
- Browser-Tests: Hat sie tatsächlich eine funktionierende Website erstellt?
- Strukturprüfung: Ist das Dateiformat korrekt (wie JSON oder CSV)?
Sie haben auch eine Sicherheitsprüfung (wie ein Sicherheitsbeamter), um sicherzustellen, dass die KI nicht versucht hat, wichtige Dateien zu löschen oder in Dinge einzudringen, in die sie nicht sollte.
5. Die Ergebnisse: Der „Realitätscheck"
Die Autoren testeten sechs der intelligentesten verfügbaren KI-Modelle (wie Claude, GPT und Gemini) auf dieser neuen Prüfung.
- Die Punktzahl: Selbst die beste KI bestand nur 55 % der Aufgaben. Das bedeutet, sie scheiterte fast die Hälfte der Zeit an Problemen, die Universitätsstudenten als schwierig empfanden.
- Die „Überdenkungs"-Falle: Die Arbeit fand etwas Seltsames heraus. Einige KIs verbrauchten 5-mal mehr „Gehirnleistung" (Tokens) als andere, erzielten aber keine besseren Ergebnisse.
- Analogie: Stellen Sie sich zwei Studenten vor, die eine Prüfung schreiben. Student A liest die Frage sorgfältig, denkt eine Minute nach und schreibt eine perfekte Antwort. Student B gerät in Panik, schreibt 10 Seiten voller wirren Unsinn und bekommt die Antwort falsch. Die Arbeit fand heraus, dass mehr Aufwand nicht gleichbedeutend mit besserer Qualität ist.
- Unterschiedliche Persönlichkeiten: Die KIs hatten unterschiedliche „Persönlichkeiten":
- Der Leser: (Claude) Liest alles zuerst, denkt nach und handelt dann. Hohe Qualität, aber langsamer.
- Der Hammer: (Gemini) Beginnt einfach sofort, Dinge zu hämmern (Code auszuführen) und hofft, dass es funktioniert. Schnell, aber oft kaputt und versagt bei Sicherheitsprüfungen.
- Der Minimalist: (GPT) Macht das absolute Minimum, erzielt aber überraschend gute Ergebnisse.
6. Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass KI zwar großartig darin ist, eine „digitale Sekretärin" zu sein, aber immer noch sehr wackelig ist, wenn man sie bittet, eine „Forscherin" oder „Ingenieurin" zu sein.
- Die Lücke: Es gibt eine massive Diskrepanz zwischen dem, was KI heute leisten kann, und dem, was echte akademische und berufliche Arbeit erfordert.
- Das Sicherheitsproblem: Die KI, die versuchte, Probleme durch „Raten und Prüfen" zu lösen (Gemini), war auch diejenige, die am ehesten Sicherheitsregeln verletzte.
- Die Zukunft: Die Autoren hoffen, dass dieser neue Test (AcademiClaw) Entwicklern hilft, KI zu bauen, die tatsächlich in der Lage ist, die harten, komplexen Probleme zu lösen, denen wir in der realen Welt gegenüberstehen, und nicht nur die leichten.
Kurz gesagt: Die Arbeit hat einen „Hard-Mode"-Test für KI mit echten Studentenhausaufgaben entwickelt. Die Ergebnisse zeigen, dass selbst die intelligentesten KIs immer noch mit der tiefgründigen, komplexen Arbeit der realen Welt kämpfen, und dass die Verwendung von mehr Rechenleistung sie nicht unbedingt schlauer macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.