SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?
Die Arbeit stellt SaaS-Bench vor, einen umfassenden Benchmark, der 106 realistische Aufgaben über 23 professionelle SaaS-Systeme hinweg umfasst und zeigt, dass aktuelle Computer-nutzende Agenten bei komplexen Workflows mit langer Zeithorizont erheblich Schwierigkeiten haben und aufgrund von Einschränkungen in der Planung, der Zustandsverfolgung und der Fehlerbehebung eine End-to-Erfolgsrate von weniger als 4 % erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Assistenten ein, um Ihren kompliziertesten Arbeitstag zu bewältigen. Sie wollen nicht nur, dass er E-Mails beantwortet; Sie wollen, dass er sich in Ihr Bankkonto, Ihre Projektmanagement-Software, Ihre medizinischen Aufzeichnungen und Ihre Design-Tools einloggt, um die Arbeit tatsächlich zu erledigen.
Diese Arbeit stellt eine neue „Abschlussprüfung" namens SaaS-Bench vor, um zu testen, wie gut KI-Assistenten (genannt Computer-Using Agents) bei dieser Art von realer Arbeit tatsächlich sind.
Hier ist die Aufschlüsselung dessen, was sie getan haben und was sie herausfanden, unter Verwendung einfacher Analogien.
1. Das Problem: Das „Videospiele" vs. der „echte Job"
Bislang waren die meisten Tests für KI-Assistenten wie das Spielen eines Videospiels. Die Levels waren kurz, die Regeln einfach, und wenn Sie stecken blieben, wurde das Spiel einfach zurückgesetzt.
- Der alte Weg: „Klicken Sie auf den roten Knopf, dann tippen Sie 'Hallo'." (Einfach, kurz, isoliert).
- Die reale Welt: „Gehen Sie zum HR-System, um einen Mitarbeiter zu entlassen, dann zum Buchhaltungssystem, um seine letzte Gehaltsabrechnung zu berechnen, dann zum CRM, um seine Kunden neu zuzuweisen, und stellen Sie sicher, dass die Daten perfekt übereinstimmen." (Schwer, lang, chaotisch).
Die Autoren erkannten, dass das Bestehen der „Videospiele"-Tests nicht bedeutete, dass eine KI einen echten Job bewältigen könnte. Daher entwickelten sie einen neuen Test auf Basis von 23 echten, einsetzbaren Softwaresystemen (wie echte medizinische Aufzeichnungssysteme, Buchhaltungstools und Projektmanager), die Fachkräfte tatsächlich nutzen.
2. Die Prüfung: SaaS-Bench
Stellen Sie sich SaaS-Bench als einen massiven, mehrtägigen Hindernisparcours vor.
- Der Parcours: Er umfasst 106 verschiedene Aufgaben in sechs verschiedenen „Arbeitsvierteln" (wie Gesundheitswesen, Finanzen und Softwareentwicklung).
- Die Regeln: Die KI muss diese Systeme mit einem Webbrowser navigieren, genau wie ein Mensch. Sie kann nicht schummeln, indem sie den Datenbankcode einsehen muss; sie muss auf Knöpfe klicken und Bildschirme lesen.
- Die Schwierigkeit: Dies sind keine 5-Minuten-Aufgaben. Die durchschnittliche Aufgabe erfordert über 100 Schritte (Klicks, Eingaben und Scrollen). Es ist, als würde man jemanden bitten, einen Kuchen zu backen, ein Rezept dafür zu schreiben, das Rezept an einen Freund zu versenden und dann die Quittung für das Mehl zu archivieren – alles auf einmal.
3. Die Ergebnisse: Die KI hat sich verirrt
Die Forscher testeten die intelligentesten verfügbaren KI-Modelle (wie die „Top-Schüler" der KI-Welt) bei dieser Prüfung. Die Ergebnisse waren ernüchternd:
- Die Punktzahl: Selbst das beste KI-Modell schloss weniger als 4% der Aufgaben vollständig von Anfang bis Ende ab.
- Die „Fast"-Falle: Die KI war tatsächlich gut im Beginn der Aufgaben. Sie konnte 80% des Weges schaffen. Sie konnte das erste Formular ausfüllen, die richtigen Knöpfe klicken und das erste Dokument erstellen.
- Der Absturz: Aber dann machte sie einen winzigen Fehler (wie das Eingeben des falschen Datums), bemerkte den Fehler nicht und ging weiter den falschen Weg. Bis sie das Ende erreichte, war das gesamte Ergebnis falsch.
Die Analogie: Stellen Sie sich ein GPS vor, das großartig darin ist, Ihnen zu sagen „biegen Sie links ab" und „fahren Sie 5 Meilen". Aber wenn Sie versehentlich eine Abzweigung verpassen, sagt das GPS nicht: „Sie sind verloren, lassen Sie uns neu berechnen." Stattdessen sagt es selbstbewusst, Sie sollen weitere 50 Meilen geradeaus fahren, bis Ihnen das Benzin ausgeht. Die KI ist selbstbewusst, aber oft falsch.
4. Warum sind sie gescheitert? (Die vier großen Hürden)
Die Arbeit identifiziert vier Hauptgründe, warum die KI Schwierigkeiten hatte, unter Verwendung einiger großartiger Metaphern:
- Der „Kartenhaus"-Effekt (Fragilität): Bei diesen langen Aufgaben hängt jeder Schritt von dem vorherigen ab. Wenn Sie Schritt 10 vermasseln, sind Schritte 11 bis 100 ruiniert. Die KI ist bei Schritt 10 so gut, dass sie denkt, sie mache es großartig, aber dieser eine kleine Fehler lässt die gesamte Struktur kollabieren.
- Das „stille Gift" (Fehlerkaskade): Manchmal macht die KI einen Fehler, der auf den ersten Blick korrekt aussieht.
- Beispiel: Die KI erstellt einen Kunden namens „Elena" statt „Arcturus Digital". Der Bildschirm zeigt „Elena (Arcturus)", also denkt die KI: „Toll, ich habe es geschafft!" Aber weil der Name technisch falsch ist, ist jede folgende Finanztransaktion an die falsche Person gebunden. Die KI merkt nie, dass sie den Brunnen vergiftet hat.
- Der „selbstverliebte Lügner" (Selbsttäuschung): Die KI hat ein „Gedächtnis", in dem sie sich selbst erzählt, was sie getan hat. Manchmal sieht sie einen Fehler, versucht ihn zu beheben, vergisst dann aber zu prüfen, ob die Korrektur funktioniert hat. Sie schreibt dann einen Bericht mit „Ich habe es behoben!", obwohl der Bildschirm immer noch den Fehler anzeigt. Es ist wie ein Schüler, der merkt, dass er einen Rechenfehler gemacht hat, versucht, ihn zu löschen, aber dann trotzdem die Antwort hinschreibt und sagt: „Ich bin fertig."
- Der „Münzwurf" (Unzuverlässigkeit): Wenn Sie dieselbe KI dreimal dieselbe Aufgabe ausführen lassen, könnte sie beim ersten Versuch eine perfekte Punktzahl erzielen, beim zweiten völlig versagen und beim dritten okay abschneiden. Sie ist nicht konsistent. Das bedeutet, Sie können ihr nicht vertrauen, dass sie heute zuverlässig einen Job erledigt, selbst wenn sie gestern funktioniert hat.
5. Das Fazit
Die Arbeit fragt: „Können KI-Agenten reale Software nutzen, um professionelle Arbeit zu lösen?"
Die Antwort lautet: Noch nicht.
Während diese KI-Modelle beim Sprechen und Verstehen von Sprache unglaublich intelligent sind, sind sie derzeit schrecklich bei langer, komplexer, realer Ausführung. Sie verirren sich in den Details, überprüfen ihre Arbeit nicht doppelt und können sich nicht erholen, wenn sie einen Fehler machen.
Die Autoren haben diesen Test (SaaS-Bench) nicht entwickelt, um zu sagen, dass KI nutzlos ist, sondern um uns genau zu zeigen, wo sie versagt, damit wir sie beheben können. Bis die KI einen 100-Schritte-Arbeitsablauf bewältigen kann, ohne verwirrt zu werden oder sich über die falsche Antwort sicher zu sein, ist sie nicht bereit, Ihren professionellen Job zu übernehmen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.