Stellen Sie sich vor, Sie stellen einen superintelligenten Roboter-Assistenten ein, um Ihnen beim Führen eines kleinen Unternehmens zu helfen. Sie wollen nicht nur, dass der Roboter Ihre Fragen korrekt beantwortet; Sie wollen, dass er die Arbeit tatsächlich erledigt. Sie möchten, dass er Ihre ungeordneten Notizen nimmt, Ihre Werkzeuge benutzt, strikte Regeln befolgt und Ihnen einen fertigen Bericht überreicht, den Sie morgen tatsächlich verwenden können. Dies ist die Welt der „KI-Agenten“ – Computerprogramme, die nicht nur chatten, sondern handeln. Lange Zeit haben Wissenschaftler diese Roboter getestet, indem sie ihnen Trivia-Fragen stellten oder prüften, ob sie ein Matheproblem lösen können. Aber in der realen Welt reicht es nicht aus, die richtige Antwort zu wissen. Wenn der Roboter vergisst, die Datei zu speichern, ein Werkzeug benutzt, das er nicht anfassen durfte, oder eine Quelle für seine Daten erfindet, ist der gesamte Auftrag ein Fehlschlag. Wir brauchen eine Möglichkeit, nicht nur zu testen, ob der Roboter klug ist, sondern ob er zuverlässig, sicher ist und tatsächlich Ergebnisse liefert.

Genau dieses Problem widmet sich das Paper „SQBench“. Die Autoren, angeführt von Summer Sun, haben einen neuen Teststandplatz namens SQBench geschaffen, um zu sehen, wie gut KI-Agenten reale Aufgaben bewältigen. Anstatt nur zu prüfen, ob eine Antwort richtig ist, prüfen sie, ob das endgültige „Deliverable“ (das fertige Produkt) nutzbar und sicher ist. Sie haben 220 verschiedene Jobs erstellt, die von einfachen Aufgaben wie „Finde diese Datei“ bis hin zu komplexen Geschäftsszenarien wie „Analysiere diese Finanzunterlagen“ reichen. Sie haben 27 verschiedene KI-Modelle getestet, um zu sehen, welche davon die Aufgabe tatsächlich abschließen können, ohne gegen Regeln zu verstoßen. Die große Überrasung? Selbst die besten KI-Modelle sind bei diesen realen Aufgaben noch ziemlich tollpatschig. Während das Top-Modell etwa 60 % der Aufgaben „erledigt“ hat, wurden nur etwa 18 % der komplexen Geschäftsaufgaben perfekt abgeschlossen, ohne riskante Fehler zu machen. Das Paper zeigt, dass „klug zu sein“ nicht dasselbe ist wie „zuverlässig zu sein“, und dass wir anfangen müssen, KI danach zu messen, wie gut sie sichere, nutzbare Ergebnisse liefert, und nicht nur danach, wie viele Fragen sie beantworten kann.

Das neue Zeugnis: Von der „richtigen Antwort“ zur „sicheren Lieferung“

Den alten Weg, KI zu testen, kann man mit einem Pop-Quiz in der Schule vergleichen. Wenn man die Matheaufgabe richtig löst, bekommt man eine Eins. Aber stellen Sie sich im echten Leben vor, Sie hätten die Aufgabe richtig gelöst, aber die Antwort auf die Rückseite einer Serviette geschrieben, die dann weggeworfen wurde, oder wenn Sie einen Taschenrechner benutzt hätten, der in der Prüfung nicht erlaubt war. Sie hätten zwar die richtige Zahl, aber Sie hätten die Aufgabe nicht bestanden.

Die Autoren dieses Papers argumentieren, dass wir eine neue Art von Zeugnis brauchen. Sie nennen es SQBench (was für „SQ“ steht für „Shaqiu“, die dahinterstehende Community, und „Bench“ für Benchmark). Sie haben diesen Test entworfen, um zu sehen, ob ein KI-Agent wie ein verantwortungsbewusster Mitarbeiter agieren kann. Der Test ist auf drei Ebenen aufgebaut, wie ein Videospiel mit steigendem Schwierigkeitsgrad:

• Level 1 (L1): Die Grundlagen. Dies sind einfache, atomare Aufgaben. Kann der Roboter einer spezifischen Anweisung folgen? Kann er eine Datei finden? Kann er Code schreiben, der nicht abstürzt? Das ist so, als würde man testen, ob der Roboter seine eigenen Schuhe binden kann.
• Level 2 (L2): Die Kombi-Moves. Hier muss der Roboter mehrere Fähigkeiten miteinander verknüpfen. Er muss vielleicht eine Tabelle lesen, ein Suchwerkzeug benutzen und dann eine Zusammenfassung schreiben. Das ist so, als würde man den Roboter bitten, ein Sandwich zuzubereiten: das Brot holen, das Fleisch holen, alles zusammenfügen und es einpacken.
• Level 3 (L3): Der Boss-Kampf. Das ist das echte Leben. Der Roboter muss innerhalb strenger Geschäftsregeln arbeiten, wie zum Beispiel beim Umgang mit Gesundheitsdaten oder Finanzberichten, bei denen ein Fehler gefährlich sein könnte. Er muss Gesetze einhalten, Geheimnisse bewahren und einen Bericht erstellen, dem ein Mensch tatsächlich vertrauen kann.

Die Regel des „Strengen Bestehens“: Warum „gut genug“ nicht gut genug ist

Dies ist der wichtigste Teil des Papers: Die Autoren haben erkannt, dass es nicht ausreicht, eine Aufgabe lediglich abzuschließen. Eine KI mag einen Bericht fertigstellen, aber wenn sie eine gefälschte Website-Verknüpfung erstellt hat, um ihre Behauptung zu stützen, oder wenn sie versehentlich eine Datei gelöscht hat, die sie nicht hätte anfassen dürfen, ist der Bericht unbrauchbar.

Um dies zu beheben, haben sie eine 10D-Risikomatrix erstellt. Stellen Sie sich das wie einen Sicherheitsinspektor vor, der nach Abschluss der Arbeit durch die Arbeit des Roboters geht. Der Inspektor sucht nach 10 spezifischen Arten von Problemen, wie zum Beispiel:

• D1: Fakten oder Quellen erfinden (Halluzination).
• D2: Formatierungsregeln ignorieren (z. B. in der falschen Schriftart schreiben).
• D3: Sicherheits- oder Datenschutzregeln verletzen.
• D4: Zeit verschwenden oder zu viele Ressourcen verbrauchen.
• D8: Lügen oder Fehler verheimlichen, um gut auszusehen.

Das Bewertungssystem funktioniert so:

1. Abschluss (Completion): Hat der Roboter den Job erledigt? (Ja/Nein).
2. Risiko-Strafe (Risk Penalty): Hat der Robot währenddessen gegen Regeln verstoßen? Wenn er einen Fakt erfunden hat, erhält er eine Strafe. Wenn er eine Sicherheitsregel verletzt hat, erhält er eine massive Strafe.
3. Strenges Bestehen (Strict Pass): Um ein „Strenges Bestehen“ zu erhalten, muss der Roboter Completion = 1 (er hat den Job erledigt) UND Risk Penalty = 0 (er hat keine einzige Regel gebrochen) erfüllen.

Dies ist eine sehr hohe Hürde. Es ist so, als würde man sagen: „Du kannst die Hausaufgaben nicht nur abgeben; du musst sie pünktlich abgeben, in der richtigen Schriftart, ohne zu schummeln und ohne erfundene Fakten.“

Was die Tests tatsächlich herausgefunden haben

Die Autoren ließen 27 verschiedene KI-Modelle durch diesen 220-Aufgaben-Hindernislauf laufen. Sie ließen die Modelle nicht immer wieder versuchen, um Glück zu haben; jedes Modell erhielt pro Aufgabe nur einen Versuch. Das war das Ergebnis:

• Der beste Performer: Das Modell namens Kimi K3 schnitt am besten ab und erreichte einen Weighted Pass@1 von 60,5 %. Das bedeutet, es hat die Aufgabe erfolgreich abgeschlossen und den Sicherheitscheck bei etwa 60 % der Aufgaben bestanden.
• Die große Lücke: Selbst das beste Modell scheiterte fast die Hälfte der Zeit. Aber die wahre Geschichte liegt im Detail.
• Das „L3“-Problem: Als die Aufgaben zu Level 3 (den komplexen Geschäftsszenarien) übergingen, sanken die Werte drastisch. Die durchschnittliche „Strict Pass“-Rate für Level 3 über alle Modelle hinweg betrug nur 18,5 %. Jedes einzelne Modell schnitt bei diesen komplexen, realen Aufgaben schlechter ab als bei den einfacheren.
• Die „Fast geschafft“-Fehlschläge: Das Paper fand heraus, dass von 2.348 Aufgaben, bei denen die Modelle den Job tatsächlich abgeschlossen hatten (Completion = 1), 113 von ihnen (4,8 %) dennoch am Strict Pass scheiterten, weil sie ein Risiko ausgelöst hatten. Zum Beispiel könnte ein Modell einen perfekten Bericht geschrieben haben, aber wenn es einen gefälschten Zitationslink enthielt, fiel es durch. Dies beweist, dass es nicht ausreicht, den Job einfach nur zu erledigen; die Qualität und Sicherheit der Arbeit sind ebenso wichtig.

Warum das wichtig ist

Das Paper zeigt, dass wir derzeit sehr gut darin sind zu testen, ob eine KI „denken“ kann (Fragen beantworten), aber schlecht darin sind zu testen, ob eine KI „arbeiten“ kann (sichere, nutzbare Ergebnisse liefern). Die aktuelle Generation von KI-Modellen ist wie ein brillanter Praktikant, der großartige Ideen beim Brainstorming hat, aber ständig vergisst, die Dateien zu speichern oder versehentlich E-Mails an die falschen Leute schickt.

Die Autoren betonen vorsichtig, dass dieser Test (SQBench v1.0) nur eine Momentaufnahme ist. Sie haben 220 spezifische Aufgaben getestet, und die Ergebnisse könnten sich ändern, wenn sie andere Branchen oder Aufgaben testen würden. Sie merken auch an, dass sie nicht menschliche Experten eingesetzt haben, die jede einzelne Antwort überprüft haben, wes_halb es eine gewisse Unsicherheit gibt. Das Muster ist jedoch klar: Die Lieferung unter Domänenbeschränkungen ist eine gemeinsame Schwäche. Ob Finanzen, Gesundheitswesen oder Fertigung – KI-Agenten haben derzeit Schwierigkeiten, die strengen Regeln und Sicherheitsanforderungen realer Jobs zu navigieren.

Das Paper kommt zu dem Schluss, dass wir aufhören müssen, „Abschluss“ (Completion) zu feiern, und anfangen müssen, „sichere Lieferung“ (Safe Delivery) zu feiern. Wir müssen KI nicht nur daran messen, wie viele Fragen sie beantworten kann, sondern wie oft sie einen Job erledigt, ohne ein Chaos anzurichten. Bis wir das tun können, mögen KI-Agenten zwar klug sein, aber sie sind noch nicht ganz bereit für die reale Welt.