Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation
Die Arbeit stellt Agent-Diff vor, ein neuartiges Benchmark-Framework, das die Leistung von agentic Large Language Models bei Enterprise-API-Aufgaben durch Code-Ausführung in einer sandgeboxten Umgebung bewertet, wobei der Erfolg anhand von Zustandsänderungen (State-Diffs) statt durch fuzzy Trace-Matching gemessen wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: KI-Agenten im echten Leben testen
Stell dir vor, du hast einen sehr intelligenten, aber noch etwas unerfahrenen Assistenten (eine KI), der dir helfen soll, deine digitale Arbeit zu erledigen. Er soll E-Mails schreiben, Termine in den Kalender eintragen oder Dateien in Cloud-Speichern organisieren.
Das Problem beim Testen solcher Assistenten ist bisher wie ein Wackelbild:
- Im Labor (Fake-Welt): Man testet sie in einer simulierten Welt. Das ist sicher und kontrolliert, aber die KI lernt nicht, wie es sich wirklich anfühlt, mit echten, manchmal chaotischen Programmen zu arbeiten.
- Im echten Leben (Live-Welt): Man lässt sie mit echten Diensten (wie Slack oder Google Calendar) arbeiten. Das ist realistisch, aber wenn die KI einen Fehler macht, löscht sie vielleicht versehentlich echte Daten oder verursacht Chaos, das man nicht rückgängig machen kann.
Die Forscher von Agent-Diff haben eine geniale Lösung gefunden, die das Beste aus beiden Welten vereint.
Die Lösung: Ein „Gläserner Käfig" mit echten Werkzeugen
Stell dir das Agent-Diff-System wie einen hochmodernen Flugsimulator vor, aber für Büroarbeit.
Der Flugsimulator (Die Sandbox):
Die KI denkt, sie fliegt ein echtes Flugzeug und interagiert mit dem echten Flughafen-System. In Wirklichkeit sitzt sie aber in einem sicheren, isolierten Raum (einem Container). Wenn sie einen Fehler macht und das Flugzeug abstürzt, passiert nichts in der echten Welt. Der Raum wird einfach zurückgesetzt, als wäre nichts geschehen.Die echten Werkzeuge (Die API-Replicas):
Der Simulator ist nicht einfach nur ein Cartoon. Er ist eine perfekte Kopie der echten Software (Slack, Box, Google Kalender etc.). Die KI sieht und fühlt die echten Schnittstellen. Sie muss echte Befehle eingeben, genau wie im echten Leben.
Der Trick: Der „Zustands-Differenz"-Check (State-Diff)
Früher haben Prüfer oft nur geschaut: Hat die KI den richtigen Befehl gesagt?
Das ist wie bei einem Koch, der sagt: „Ich koche jetzt Nudeln", aber dann die Nudeln in den Müll wirft. Der Prüfer hat nur das Wort gehört, nicht das Ergebnis gesehen.
Agent-Diff schaut nicht auf die Worte, sondern auf das Ergebnis.
- Die Analogie: Stell dir vor, du betrittst einen Raum (den Zustand vorher). Du siehst einen leeren Tisch.
- Die KI arbeitet.
- Du betrittst den Raum wieder (der Zustand nachher).
- Die Prüfung: Der Prüfer vergleicht nicht, wie die KI den Tisch dekoriert hat (welche Befehle sie geschickt hat), sondern ob genau das passiert ist, was bestellt wurde.
- Steht jetzt eine Vase auf dem Tisch? (Ja = Gut).
- Ist die Vase da, aber auch noch ein Stuhl umgekippt? (Nein = Schlecht, das war ein unbeabsichtigter Schaden).
Dieser Vergleich nennt sich „State-Diff" (Zustands-Unterschied). Er ist wie ein hochpräziser Scanner, der genau misst: „Was hat sich verändert?" Wenn die KI etwas verändert hat, das sie nicht durfte, schlägt der Test sofort fehl. Das zwingt die KI, nicht nur „irgendwas" zu tun, sondern sauber zu arbeiten.
Was haben die Forscher herausgefunden?
Sie haben 9 verschiedene KI-Modelle auf 224 verschiedene Aufgaben getestet (von „Einen Termin finden" bis „Komplexe Dateien sortieren").
- Die Gewinner: Einige Modelle (wie DeepSeek und Devstral) waren sehr gut. Sie konnten planen, Fehler erkennen und sich korrigieren. Sie benutzten Strategien wie: „Lass mich erst nachschauen, ob die Daten da sind, bevor ich etwas ändere."
- Die Verlierer: Andere Modelle (wie Llama oder Claude Haiku) waren oft verwirrt. Sie versuchten oft, denselben Fehler immer wieder zu wiederholen, anstatt einen neuen Weg zu finden.
- Die Rolle der Anleitung (Dokumentation):
- Wenn man den KIs die Handbücher (API-Dokumentation) gab, wurden sie deutlich besser – aber nur bei Aufgaben, bei denen sie wirklich etwas Neues lernen mussten.
- Bei Aufgaben, die sie schon „auswendig" kannten, halfen die Handbücher nicht viel und machten sie manchmal sogar langsamer, weil sie sich in den Texten verlasen.
- Wichtigste Erkenntnis: Die KI, die am besten abschnitt, war nicht unbedingt die, die die meisten Fakten auswendig wusste, sondern die, die am besten plant und Fehler erkennt.
Zusammenfassung in einem Satz
Agent-Diff ist wie ein sicherer, aber realistischer Trainingsplatz für KI-Assistenten, bei dem nicht zählt, wie laut sie schreien (welche Befehle sie senden), sondern ob am Ende der Tisch wirklich sauber gedeckt ist – ohne dass dabei die Vase zerbrochen wurde.
Dieser Ansatz hilft uns endlich zu verstehen, welche KIs wirklich bereit sind, uns im echten Büroalltag zu helfen, und welche noch mehr Übung brauchen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.