SaaSBench: Exploring the Boundaries of Coding Agents in Long-Horizon Enterprise SaaS Engineering
Dieser Beitrag stellt SaaSBench vor, den ersten Benchmark, der entwickelt wurde, um autonome Codierungsagenten in komplexen, mehrkomponentigen Unternehmens-SaaS-Umgebungen zu bewerten, und zeigt auf, dass die Hauptengstelle für state-of-the-art-Modelle nicht in der Generierung von Code-Logik liegt, sondern in der erfolgreichen Konfiguration und Integration heterogener Systemkomponenten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Bild: Vom „Schreiben eines Satzes" zum „Bauen eines Wolkenkratzers"
Stellen Sie sich vor, Sie haben einen Roboter-Assistenten, der sehr gut darin ist, Code zu schreiben. Derzeit ähneln die meisten Tests für diese Roboter der Aufforderung, einen einzigen Satz zu schreiben oder einen Tippfehler in einem Absatz zu korrigieren. Sie bestehen diese Tests mühelos.
In der realen Welt geht es beim Softwareentwickeln jedoch nicht darum, einen Satz zu schreiben, sondern darum, einen Wolkenkratzer zu bauen. Sie müssen das Fundament gießen, die Wände errichten, die Sanitärinstallationen verlegen, die Elektrik verdrahten und sicherstellen, dass der Aufzug funktioniert, bevor jemand dort wohnen kann.
SaaSBench ist ein neuer, extrem schwieriger Test, der prüfen soll, ob diese KI-Roboter tatsächlich einen ganzen „Wolkenkratzer" (ein komplexes Geschäftssoftwaresystem) allein aus einer schriftlichen Beschreibung heraus von Grund auf neu bauen können, ohne dass ein Mensch sie dabei an der Hand führt.
Das Problem: Das „Spielzeug" versus das „Echte"
Die Autoren argumentieren, dass frühere Tests vergleichbar waren mit der Aufforderung an einen Roboter, eine LEGO-Burg zu bauen. Das macht Spaß, erfordert aber keine echten Ingenieursfähigkeiten. Echte Geschäftssoftware (SaaS) ist chaotisch. Sie beinhaltet:
- Viele Sprachen: Wie eine Baumannschaft, die verschiedene Sprachen spricht (Python, Go, JavaScript usw.).
- Viele Werkzeuge: Die Nutzung verschiedener Datenbanken und Frameworks, die miteinander kommunizieren müssen.
- Komplexe Regeln: Wenn Sie einen Benutzer löschen, was passiert mit seinen Daten? Wenn der Server abstürzt, erholt sich das System?
Bestehende Tests prüften nicht, ob der Roboter dieses Chaos bewältigen konnte. Sie überprüften lediglich, ob der Roboter ein paar Zeilen Code schreiben konnte, die isoliert funktionierten.
Die Lösung: SaaSBench (die „Immobilien"-Prüfung)
Die Forscher haben SaaSBench entwickelt, was wie eine Abschlussprüfung für einen Meisterarchitekten ist.
- Der Bauplan (das PRD): Statt eines einfachen Prompts wie „erstellen Sie eine To-Do-Liste" erhält die KI ein massives Dokument mit über 4.000 Zeilen (Product Requirements Document). Dies ist der detaillierte Bauplan für ein echtes Geschäftsprodukt, wie eine Videokonferenz-App, ein Abrechnungssystem oder ein Projektmanagement-Tool.
- Die Baustelle: Die KI wird auf eine digitale Baustelle (einen Docker-Container) gesetzt. Sie muss:
- Alle Werkzeuge installieren.
- Die Datenbank einrichten.
- Den Code schreiben.
- Das Frontend (was die Benutzer sehen) mit dem Backend (die Logik) verbinden.
- Das System bereitstellen, sodass es tatsächlich im Internet läuft.
- Der Prüfer (die DAG-Evaluierung): Dies ist der cleverste Teil. Statt nur zu prüfen „Hat es funktioniert?", verwendet der Test eine Abhängigkeitskarte (ein gerichteter azyklischer Graph).
- Stellen Sie sich eine Checkliste vor, bei der Schritt B nicht geprüft werden kann, bevor Schritt A perfekt ist.
- Wenn die KI versagt, die Datenbank einzurichten (Schritt A), überspringt der Test automatisch die Prüfung des Login-Bildschirms (Schritt B) und markiert ihn als „Übersprungen" statt als „Gescheitert". Dies verhindert, dass die KI zweimal für denselben Grundfehler bestraft wird.
- Es werden 5.370 verschiedene „Validierungsknoten" geprüft, von „Läuft der Server?" bis „Berechnet die Abrechnungslogik die Steuern korrekt?".
Die Ergebnisse: Der „Übermütige Baumeister"
Die Forscher testeten die intelligentesten verfügbaren KI-Agenten (wie Claude, GPT und andere) bei dieser Prüfung. Die Ergebnisse waren überraschend und demütigend:
- Die Punktzahl ist niedrig: Selbst die beste KI bestand nur etwa 20 % der Aufgaben.
- Der Flaschenhals ist nicht das „Gehirn": Die KI scheiterte nicht daran, dass sie keine komplexe Geschäftslogik schreiben konnte (wie die Berechnung von Zinssätzen).
- Der Flaschenhals sind die „Hände": Über 95 % der Fehler traten bevor die KI überhaupt zur Geschäftslogik gelangte, auf.
- Die KI blieb stecken, als sie versuchte, die richtigen Softwarepakete zu installieren.
- Sie scheiterte beim Konfigurieren der Datenbankverbindung.
- Sie versuchte, den Server zu starten, und stürzte sofort ab.
- Sie wurde „übermütig", dachte, sie sei fertig, und hörte auf zu arbeiten, wodurch das Gebäude halbfertig zurückblieb.
Die Analogie: Es ist wie ein brillanter Architekt, der auf dem Papier ein perfektes Gebäude entwerfen kann, aber beim Mischen des Betons stecken bleibt. Er kommt nie zu dem Teil, in dem er tatsächlich die Räume baut.
Das Fazit
SaaSBench zeigt uns, dass die KI zwar besser darin wird, Code-Snippets zu schreiben, aber immer noch schrecklich darin ist, Systeme zu entwickeln. Ihr fehlt die Disziplin, die Umgebung einzurichten, Abhängigkeiten zu verwalten und sicherzustellen, dass das gesamte System stabil läuft.
Das Paper kommt zu dem Schluss, dass wir, damit die KI uns wirklich beim Entwickeln von Software hilft, aufhören müssen, sie an „LEGO-Burgen" zu testen, und anfangen müssen, sie an „Wolkenkratzern" zu testen. Bis sie zuverlässig das Fundament und die Sanitärinstallationen einrichten können, sind sie nicht bereit, das Echte zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.