ORCA-bench: How Ready Are Language Model Agents for Oncall?
Das Papier stellt ORCA-bench vor, einen Benchmark mit Produktions-Fidelität zur Evaluierung von Sprachmodell-Agenten bei Oncall-Ursachenanalyse-Aufgaben, der aufzeigt, dass selbst die fortschrittlichsten Frontier-Modelle derzeit eine geringe Genauigkeit erreichen (25,3 % bei mittlerem Schwierigkeitsgrad) und mit Halluzinationen zu kämpfen haben, was eine signifikante Lücke signalisiert, bevor sie sicher der realen Produktionszuverlässigkeit anvertraut werden können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines massiven, hochtechnologischen Raumschiffs, das durch die Galaxie zieht. Plötzlich beginnt der Computer des Schiffes sich seltsam zu verhalten: Das Licht flackert, die Schwerkraft ist instabil und die Kaffeemaschine spuckt Funken. Sie wissen nicht genau, was los ist, aber Sie wissen, dass das Schiff in Schwierigkeiten steckt. In der realen Welt sind diese Raumschiffe die Websites und Apps, die wir jeden Tag nutzen, und die „Kapitäne“ sind spezialisierte Ingenieure, die man Site Reliability Engineers (SREs) nennt. Ihr Job ist es herauszufinden, warum Dinge kaputtgegangen sind, oft ausgehend von einer vagen Beschwerde wie „der Checkout-Button funktioniert nicht“ oder „die Seite ist langsam“. Sie müssen sich durch Berge digitaler Indizien graben – wie Traffic-Logs, Fehlermeldungen und Code –, um das eine defekte Teil zu finden, bevor das ganze Schiff abstürzt.
Lange Zeit haben Menschen versucht, Computern diese Detektivarbeit beizubringen, indem sie Künstliche Intelligenz (KI) einsetzen, speziell Large Language Models (LLMs). Dies sind dieselben intelligenten Computer, die Geschichten schreiben, Fragen beantworten und sogar beim Programmieren helfen können. Die große Frage, die sich alle stellen, lautet: „Sind diese KI-Detektive bereit, das Steuer zu übernehmen und unsere realen Systeme zu reparieren, wenn etwas schiefgeht?“ Es ist ein Spiel mit hohem Einsatz, denn wenn eine KI falsch rät, könnte ein kleiner Fehler zu einer massiven Katastrophe werden.
Dieses Paper mit dem Titel ORCA-BENCH errichtet einen riesigen, realistischen Trainingsplatz, um genau das zu testen. Die Forscher bauten einen fiktiven, aber unglaublich detaillierten Online-Shop (genannt den „Astronomy Shop“), der sechs Tage lang läuft und eine massive Menge an digitalem Rauschen erzeugt, genau wie eine echte, geschäftige Website. Sie erstellten dann 1.079 verschiedene „mysteriöse Zwischenfälle“, bei denen sie heimlich Dinge im System kaputtmachten, und ließen fünf der klügsten verfügbaren KI-Agenten den Fall lösen. Sie gaben der KI dieselben Werkzeuge, die ein menschlicher Ingenieur verwenden würde: Zugriff auf die Live-Datenströme, den Quellcode und eine vage Nutzerbeschwerde.
Die Ergebnisse? Die KI-Detektive befinden sich noch mitten in der Ausbildung. Selbst die besten KI-Modelle konnten nur etwa 25 % der Fälle mit „mittlerer Schwierigkeit“ korrekt lösen, und bei den schwierigsten Fällen erreichten sie gerade einmal 10 %. Um dies einzuordnen: Wenn ein menschlicher Ingenieur bei einem Test eine Quote von 10 % erzielt hätte, wäre er gefeuert worden; für diese KIs ist dies der aktuelle Stand der Technik. Das Paper stellte fest, dass die Leistung der KI noch schlechter wurde, wenn sie keinen Zugriff auf den Quellcode hatte. Vielleicht noch besorgniserregender war, dass die KI oft „halluzinierte“, was bedeutet, dass sie selbstbewusst vorgetäuschte Gründe für Probleme erfand, die gar nicht existierten. In einem Fall gab eine KI einem Browser-Absturz in einem Test-Tool die Schuld für das Versagen des Warenkorbs eines Nutzers und übersah dabei völlig den eigentlichen Übeltäter.
Die Autoren kommen zu dem Schluss, dass diese KI-Agenten zwar beeindruckend beim Schreiben von Code sind, aber noch nicht bereit sind, der Sicherheit echter, Live-Systeme anvertraut zu werden. Die Lücke zwischen dem, was eine KI in einem kontrollierten Test leisten kann, und dem, was nötig ist, um das Internet sicher am Laufen zu halten, ist noch immer riesig. Das Paper legt nahe, dass wir viel mehr Engineering-Arbeit leisten müssen, um sie zuverlässig zu machen, bevor wir der KI die „Rufbereitschaft“ übertragen können, denn im Moment ist die Wahrscheinlichkeit, dass sie falsch rät, höher, als dass sie das Rätsel löst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.