AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints

Stellen Sie sich eine Welt vor, in der wir digitale Helfer bauen – winzige, unsichtbare Roboter, die von riesigen Gehirnen angetrieben werden und die Ihre Flüge buchen, Ihren Code schreiben oder einen Ersatz für einen ausverkauften Sneaker finden können. Diese werden als „autonome Agenten“ bezeichnet. Lange Zeit waren Wissenschaftler, die diese Roboter testen, wie Eltern, die eine Hausaufgabe bewerten: Es interessiert sie nur, ob die Antwort richtig ist. „Hat der Roboter den Schuh gefunden?“ Ja? Großartig, gib ihm eine Eins! Aber in der realen Welt ist eine perfekte Antwort, die erst nach zehn Minuten eintrifft oder kostet, als würde sie Ihr gesamtes Taschengeld verschlingen, nutzlos. Es ist, als würde man eine Pizza bestellen, die erst am nächsten Tag ankommt und eine Rechnung über eine Million Dollar kostet; technisch gesehen haben Sie die Pizza zwar bekommen, aber Sie können sie nicht wirklich essen.

Hier kommt eine neue Idee namens „Resource Profiling“ ins Spiel. Denken Sie an einen Mechaniker, der ein Rennauto überprüft. Er fragt nicht nur: „Ist das Auto über die Ziellinie gefahren?“ Er prüft auch: Wie viel Benzin hat es verbraucht? Ist der Motor überhitzt? Ist der Fahrer zu schnell gefahren? In der Welt der Informatik haben wir Werkzeuge, die messen, wie viel „Treibstoff“ (wie Computerarbeitsspeicher, Zeit oder Geld) ein Programm verbraucht. Aber bis jetzt hatten wir keine Möglichkeit, diese Dinge zu messen, während wir gleichzeitig prüfen, ob der Roboter seine Aufgabe tatsächlich korrekt erledigt hat. Dieses Paper führt eine neue Art und Weise vor, diese digitalen Helfer zu testen vor, indem es sie wie Rennwagen behandelt, die das Rennen beenden und gleichzeitig innerhalb ihrer Treibstoff- und Zeitlimits bleiben müssen, um als Gewinner zu gelten.

Die Forscher hinter dieser Studie, Meher Bhaskar Madiraju und Meher Sai Preetam Madiraju, haben einen neuen Testplatz namens AGENTSLABENCH gebaut. Man kann sich das wie einen riesigen, hochtechnologischen Hindernisparcours vorstellen, der speziell darauf ausgelegt ist, zu sehen, ob diese KI-Agenten in der realen Welt überleben können, und nicht nur in einer perfekten, unbegrenzten Fantasie.

Normalerweise lassen wir KI, wenn wir sie testen, mit unbegrenzter Zeit und unbegrenztem Geld wild herumlaufen. Das ist so, als würde man einem Schüler eine Prüfung ermöglichen, bei der er ein Lexikon, einen Taschenrechner und drei Stunden Zeit zur Verfügung hat, während die echte Prüfung nur einen Stift und zehn Minuten erlaubt. Die Autoren argumentieren, dass dies eine schlechte Art ist, auf die Realität vorzubereiten. Deshalb haben sie 16 verschiedene Herausforderungen aufgebaut, die von „Finde mir einen Ersatz für dieses ausverkaufte Hemd“ bis hin zu „Plane eine Reise mit einem strengen Budget“ reichen. Aber hier ist der Clou: Jede einzelne Herausforderung hat ein strenges Regelwerk. Dem Agenten wird gesagt: „Du hast 180 Sekunden, du darfst nur so viel Arbeitsspeicher verwenden und darfst nicht mehr als ein paar Cent ausgeben.“ Wenn der Agent versucht, mehr zu verbrauchen, stoppt der Test und er wird als gescheitert markiert.

Sie haben zwei Arten von Robotern getestet. Zuer erst versuchten sie es mit „General Purpose“-Agenten – das sind die klugen, vielseitigen Denker, die versuchen, jedes Problem durch Logik und Vernunft zu lösen. Dann testeten sie „spezialisierte“ Agenten – Roboter, die speziell für eine bestimmte Aufgabe gebaut wurden, wie etwa ein Schuh-Experte oder ein Reiseplaner, die eingebaute Abkürzungen und Regeln für diese spezifische Aufgabe besitzen.

Die Ergebnisse waren ein wenig schockierend. Die universellen Roboter waren zwar sehr gut darin, einfache Fragen zu beantworten, scheiterten aber völlig an realen Aufgaben. Als sie gefragt wurden, nach einem Hemd zu shoppen oder eine Reise innerhalb der strengen Zeit- und Geldlimits zu planen, versagten sie zu 100 %. Sie brauchten entweder zu lange, gaben zu viel Geld aus oder waren einfach überfordert. Es war, als würde ein brillanter Philosoph versuchen, einen tropfenden Wasserhahn zu reparieren, und dabei das ganze Haus überfluten.

Auf der anderen Seite waren die spezialisierten Agenten die Stars der Show. Der „Retail Agent“ fand erfolgreich in 83,3 % der Fälle Ersatz für Schuhe, der „Travel Agent“ plante in 83,3 % der Fälle Reisen und der „Web Shopping Agent“ meisterte die Aufgabe zu 100 %. Entscheidend war, dass sie dies alles strikt innerhalb ihrer Zeit- und Geldbudgets taten. Sie lieferten nicht nur die richtige Antwort; sie taten es so, wie es ein echtes Unternehmen benötigen würde: schnell, günstig und zuverlässig.

Das Paper führt einen neuen Wert namens EASR (Efficiency-Adjusted Success Rate) ein. Denken Sie an einen „Goldstern“, den man nur erhält, wenn man das Rennen beendet und nicht ohne Benzin liegen geblieben ist. Wenn ein Agent die richtige Antwort liefert, aber zu lange braucht oder zu viel kostet, sinkt sein EASR-Wert auf Null. Dieser Wert zeigte, dass die „Gewinner“ der alten Tests (die allgemeinen Roboter) in einem echten Geschäft oder Büro eine Katastrophe wären, während die spezialisierten Roboter bereit sind, an die Arbeit zu gehen.

Die Autoren haben auch sichergestellt, dass dieser Test fair und reproduzierbar ist. Sie haben die Testfragen in einem digitalen Tresor eingeschlossen, damit niemand die Regeln umgehen kann, und sie haben die Tests mehrfach durchgeführt, um sicherzustellen, dass die Ergebnisse nicht bloß Glück waren. Sie fanden heraus, dass spezialisierte Agenten zwar großartig in ihren spezifischen Aufgaben sind, aber dennoch Fehler machen – wie zum Beispiel der Reiseagent, der bei komplexen Budgetregeln stecken bleibt, oder der Code-Generator, der manchmal falsche Anweisungen erfindet. Aber indem sie genau messen, wo und warum sie scheitern (beispielsweise durch Zeit- oder Speichermangel), können die Forscher den Ingenieuren helfen, genau diese spezifischen Probleme zu beheben.

Kurz gesagt legt dieses Paper nahe, dass wir aufhören müssen, KI-Agenten wie in einem Videospiel mit unendlich vielen Leben und unendlich viel Geld zu behandeln. Um sie in der realen Welt nützlich zu machen, müssen wir sie so testen, wie wir Autos oder Flugzeuge testen: Wir prüfen nicht nur, ob sie funktionieren, sondern auch, ob sie effizient, sicher und innerhalb der Grenzen der realen Welt funktionieren. Die Studie zeigt, dass während allgemeine „kluge“ Gehirne zu kämpfen haben, Roboter, die mit spezifischen Regeln und Abkürzungen ausgestattet sind, diejenigen sind, die tatsächlich bereit sind, die Arbeit zu erledigen.