One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Computerprogrammen bekannt als „Agenten“ entstanden. Im Gegensatz zu früheren Chatbots, die lediglich Fragen beantworteten oder Texte schrieben, sind diese Agenten darauf ausgelegt, Handlungen vorzunehmen. Sie können im Internet surfen, Softwarecode ausführen oder digitale Werkzeuge aufrufen, um Aufgaben zu erledigen, ganz ähnlich wie ein menschlicher Mitarbeiter. Jahrelang haben Forscher diese Agenten getestet, indem sie sie baten, Probleme zu lösen, die klare, leicht überprüfbare Antworten haben, wie etwa das Beheben einer fehlerhaften Codezeile oder das Finden eines spezifischen Faktums auf einer Website. Der Erfolg in diesen Bereichen wurde daran gemessen, ob der Agent eine korrekte Endausgabe oder einen gültigen Befehl produzierte. Die reale Geschäftswelt ist jedoch selten so einfach. In einem Firmenbüro besteht die Arbeit oft aus einer langen Kette von Ereignissen, bei denen das Computersystem korrekt aktualisiert werden muss, Richtlinien befolgt werden müssen und sich der Zustand einer Datenbank auf eine bestimmte Weise ändern muss. Wenn ein Agent mitten in einem Prozess einen Fehler macht oder wenn er den falschen Datensatz ändert, können die Folgen real und kostspielig sein. Die entscheidende Frage für die Zukunft dieser Technologie ist nicht nur, ob ein Agent einen Weg findet, einmal erfolgreich zu sein, sondern ob er dies zuverlässig und jedes einzelne Mal tun kann, ohne unbeabsichtigte Schäden anzurichten.

Ein Team von Forschern der University of Pittsburgh, der Northwestern University, der University of California, Irvine, und Microsoft hat eine neue Testumgebung geschaffen, um diese Frage zu beantworten. Sie entwickelten eine digitale Umgebung namens ThinkingBox, die als sichere, isolierte Sandbox fungiert, in der diese KI-Agenten mit simulierten Benutzern und komplexen Geschäftswerkzeugen interagieren können. Innerhalb dieser Sandbox werden den Agenten realistische Aufgaben gestellt, wie etwa die Bearbeitung einer Rückerstattung für eine Online-Bestellung, die Änderung einer Hotelreservierung, die Aktualisierung eines Versicherungsanspruchs oder die Bearbeitung einer IT-Support-Anfrage eines Mitarbeiters. Die Umgebung ist darauf ausgelegt, die chaotische Realität der Büroarbeit nachzuahmen, in der Informationen oft unvollständig sind, Regeln streng sind und jede Handlung eine dauerhafte Spur in einem digitalen Datensatz hinterlässt. Die Forscher baten die Agenten nicht nur darum, zu sprechen; sie forderten sie auf, tatsächlich den Zustand des Systems zu ändern. Um sicherzustellen, dass die Tests fair und wiederholbar waren, setzt sich die Sandbox nach jedem Versuch vollständig selbst zurück, wodurch gewährleistet wird, dass keine zwei Versuche dieselben Daten oder dieselbe verborgene Historie teilen.

Die Forscher füllten diese Umgebung anschließend mit 507 unterschiedlichen Aufgaben aus fünf verschiedenen Branchen: Einzelhandel, Reise und Gastgewerbe, Kfz-Versicherung, Bankwesen und Beratung. Sie luden eine breite Palette der fortschrittlichsten verfügbaren Modelle der künstlichen Intelligenz ein, einschließlich sowohl proprietärer Systeme großer Technologieunternehmen als auch Open-Source-Modelle, um diese Aufgaben zu bewältigen. Jedem Modell wurden zwanzig Versuche gegeben, um das jeweilige Problem zu lösen. Die Evaluierung war streng. Ein Agent bestand nicht einfach deshalb, weil er eine höfliche Antwort gab oder einen Werkzeugaufruf tätigte, der oberflächlich betrachtet korrekt aussah. Stattdessen prüfte das System das Endergebnis gegen das geforderte Resultat. War die Rückerstattung tatsächlich in der Datenbank vorhanden? Wurde das Hotelzimmer korrekt als geändert markiert? Wurde der Versicherungsanspruch aktualisiert, ohne versehentlich die falsche Police eines Kunden zu verändern? Das System prüfte auch auf „Kollateralschäden“, was bedeutete, dass es nachsah, ob der Agent versehentlich etwas geändert hatte, das er nicht hätte berühren dürfen – ein häufiger und gefährlicher Fehler in der realen Softwarewelt.

Die Ergebnisse zeigten eine signifikante Lücke zwischen dem, was die Agenten gelegentlich leisten konnten, und dem, was sie zuverlässig leisten konnten. Das am besten abschneidende Modell schaffte es, die Aufgabe beim ersten Versuch in etwa 65 Prozent der Fälle korrekt zu lösen. Dies mag beeindruckend klingen, doch das Bild änderte sich, als die Forscher die Zuverlässigkeit untersuchten. Als sie prüften, wie oft ein Modell die Aufgabe in allen zwanzig Versuchen erfolgreich löste, sank die Zahl drastisch auf nur 25 Prozent. Das bedeutet, dass ein intelligenter Agent zwar oft einen erfolgreichen Pfad finden konnte, wenn man ihm genügend Versuche gab, er aber nicht in der Lage war, diesen Erfolg konsistent ohne Fehler zu wiederholen. Die Forscher fanden heraus, dass viele Fehler nicht darauf zurückzuführen waren, dass die Agenten nicht in der Lage waren, die Anfrage zu verstehen oder mit dem Benutzer zu kommunizieren. Stattdessen war das häufigste Problem, dass die Agenten nicht in der Lage waren, sich zu erholen, wenn ein Werkzeug eine Fehlermeldung ausgab, oder dass sie die korrekte Aktion auf den falschen Datensatz anwandten. Beispielsweise könnte ein Agent erfolgreich ein Werkzeug aufgerufen haben, um einen Datensatz zu aktualisieren, aber die Änderung auf den falschen Kunden angewendet haben, oder er könnte den Prozess vor dem Abschluss eines notwendigen Schrittes abgebrochen haben, wodurch das System in einem fehlerhaften Zustand zurückblieb.

Die Studie hob auch hervor, dass verschiedene Modelle mit unterschiedlichen Arten von Arbeit zu kämpfen hatten. Einige Modelle waren recht gut darin, Einzelhandelsbestellungen abzuwickeln, schnitten aber schlecht ab, wenn es um komplexe Versicherungsrichtlinien oder Bankvorschriften ging. Dies deutet darauf darauf hin, dass eine hohe Leistung in einem Bereich nicht garantiert, dass ein Agent in einem anderen Bereich zuverlässig ist. Die Forscher beobachteten, dass selbst wenn ein Agent eine perfekt klingende Abschlussnachricht an den Benutzer erzeugte, die zugrunde liegende Datenbank oft unverändert blieb oder korrumpiert war. Dieser Befund stellt die aktuelle Art und Weise in Frage, wie viele Systeme evaluiert werden, da diese oft den Fokus auf die Qualität der Konversation oder die Gültigkeit des Werkzeugaufrufs legen, statt auf das tatsächliche Ergebnis. Das Paper kommt zu dem Schluss, dass die künstliche Intelligenz, um vertrauenswürdig für konsequente geschäftliche Aufgaben zu sein, über das bloße Finden eines erfolgreichen Pfades einmalig hinausgehen und lernen muss, diesen Pfad mit konsistenter, wiederholbarer Präzision auszuführen. Die ThinkingBox-Sandbox und ihr Benchmark sind nun der Öffentlichkeit zugänglich gemacht worden und bieten einen neuen Standard dafür, ob diese digitalen Arbeiter wirklich bereit für die reale Welt sind.