Cross-Benchmark Generalization in Long-Horizon Agents

Der große KI-Detektiv: Wie man einem Roboter beibringt zu denken, statt nur auszubeuten

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber schelmischen Schüler, wie man ein komplexes Labyrinth löst. Wenn Sie ihn nur in einem ganz spezifischen Labyrinth mit einem sehr vorhersehbaren Layout üben lassen, lernt er vielleicht nicht, wie man navigiert; stattdessen lernt er vielleicht nur auswendig, dass „ein Abbiegen nach links an der roten Ziegelwand immer zum Ausgang führt“. Er hat nicht die Fähigkeit der Navigation gelernt; er hat nur einen Trick gelernt, der spezifisch für diesen einen Raum ist. Dies ist ein riesiges Problem in der Welt der Künstlichen Intelligenz (KI), speziell bei „Agenten“ – Programmen, die darauf ausgelegt sind, Aufgaben wie das Buchen von Flügen, das Schreiben von Code oder das Organisieren von Dateien zu erledigen. Diese Agenten werden oft sehr gut in ihren Trainingsaufgaben, indem sie winzige, zufällige Hinweise in der Testumgebung ausnutzen, wie etwa eine bestimmte Art und Weise, wie ein Computer Punkte zählt, oder ein seltsames Muster in den Anweisungen.

Die große Frage, die sich Wissenschaftler stellen, ist: Können wir einer KI eine echte Arbeitsweise beibringen, die ihr hilft, Probleme zu lösen, die sie noch nie zuvor gesehen hat? Es ist der Unterschied zwischen einem Schüler, der die Antworten auf eine Übungsprüfung auswendig lernt, und einem, der die Mathematik so gut versteht, dass er eine völlig neue Art von Problem lösen kann. Dieses Paper taucht genau in dieses Rätsel ein. Es fragt: Wenn wir eine KI mit einer Reihe von Büroaufgaben trainieren (wie dem Verwalten von Kalendern und Tabellenkalkulationen), wird sie dann tatsächlich besser in völlig anderen Jobs, wie etwa dem Beheben von Computer-Code, oder hat sie nur gelernt, die Büroaufgaben auszubeuten?

Das Experiment: Ein digitaler Praktikant im Büro-Chaos trainieren

Die Forscher bei Surge AI beschlossen, diese Idee mit einem sehr großen, Open-Source-KI-Modell namens Qwen3.5 auf die Probe zu stellen. Betrachten Sie dieses Modell als einen superintelligenten digitalen Praktikanten. Sie wollten sehen, ob sie diesen Praktikanten mit einem spezifischen Satz von 363 langen, komplizierten Aufgaben trainieren konnten, die 27 verschiedene Kategorien professioneller Arbeit umfassen – wie die Verwendung von Tabellenkalkulationen, das Verwalten von Kalendern, das Surfen im Web und den Umgang mit Dateien. Sie verwendeten ein System namens Model Context Protocol (MCP), was so ist, als würde man dem Praktikanten einen riesigen Werkzeugkasten mit verschiedenen Apps geben, mit denen er kommunizieren kann.

Entscheidend war, dass sie sicherstellten, dass der Praktikant während dieses Trainings niemals Software-Engineering-Aufgaben (wie das Beheben von Fehlern im Code) sah. Das Ziel war zu sehen, ob das Erlernen der Arbeit als guter Büroassistent den Praktanten versehentlich auch zu einem besseren Programmierer machen würde. Um dies zu erreichen, verwendeten sie eine zweistufige Trainingsmethmeth. Zuerst zeigten sie dem Praktikanten Beispiele dafür, wie man diese Büroaufgaben löst (Supervised Fine-Tuning). Dann ließen sie den Praktanten die Aufgaben auf eigene Faust versuchen und gaben ihm Belohnungen basierend darauf, wie gut er es gemacht hatte, um ihn zu ermutigen, den besten Weg der Arbeitsausführung herauszufinden (Reinforcement Learning).

Die Ergebnisse: Ein überraschendes Upgrade

Als sie den neu trainierten Praktanten testeten, waren die Ergebnisse überraschend positiv. Obwohl der Praktant nie das Programmieren geübt hatte, verbesserte er sich signifikant bei Benchmarks für Software-Engineering. Konkret verbesserte sich seine Leistung bei zwei wichtigen Coding-Tests, SWE-Bench Pro und Terminal-Bench 2, um 5,8 Prozentpunkte bzw. 2,8 Prozentpunkte. Er verbesserte sich auch bei anderen Tool-Use-Tests wie Toolathlon und BFCL-V4.

Die Autoren betonen vorsichtig, dass dies kein Allheilmittel oder ein gelöstes Problem ist. Sie haben das Experiment nur einmal durchgeführt, daher können sie sich nicht zu 100 % statistisch sicher sein, dass sich diese Zahlen nicht ändern würden, wenn sie es erneut ausführen würden. Die Tatsache jedoch, dass sich das Modell über fünf verschiedene externe Tests hinweg verbesserte, einschließlich solcher, mit denen es nie trainiert wurde, deutet darauf hin, dass etwas Reales passiert ist. Das Modell hat die Büroaufgaben nicht nur auswendig gelernt; es scheint einen besseren „Arbeitsstil“ erworben zu haben.

Das „Wie“: Vier neue Gewohnheiten

Der spannendste Teil des Papers sind nicht nur die Punktzahlen; es ist das „Warum“. Die Forscher untersuchten genau, wie das trainierte Modell im Vergleich zum untrainierten Modell handelte, wie ein Detektiv, der die Alibis zweier Verdächtiger vergleicht. Sie fanden vier spezifische Verhaltensänderungen, die sowohl in den Büroaufgaben als als auch in den Coding-Aufgaben auftraten:

1. Bessere Zielsetzung: Das trainierte Modell war besser darin, eine große, beängstigende Aufgabe in kleine, korrekte Schritte zu zerlegen. Anstatt zu raten, was zu tun ist, betrachtete es die aktuelle Situation und formulierte ein präzises lokales Ziel. Wenn es beispielsweise Wachstumsraten berechnen musste, stellte es sicher, dass es die Daten korrekt verstand, bevor es mit der Berechnung begann, anstatt einfach eine Formel zu erraten.
2. Aufbau einer besseren mentalen Karte: Wenn das Modell auf neue Informationen stieß, baute es einen genaueren „Arbeitszustand“ in seinem Geist auf. Wenn es eine Datei oder eine Tool-Ausgabe sah, nutzte es diese Information, um seinen nächsten Schritt zu leiten, anstatt sie zu ignorieren oder zu vergessen. Es war wie ein Koch, der die Sauce tatsächlich probiert, bevor er mehr Salz hinzufügt, anstatt nur blind einem Rezept zu folgen.
3. Den Kurs halten: Wenn Dinge schiefgingen (was sie oft tun), war das trainierte Modell besser darin, den kleinen Fehler zu beheben, ohne das große Ganze aus den Augen zu verlieren. Wenn es beim Beheben eines Bugs einen Tippfehler machte, korrigierte es den Tippfehler, behielt aber im Hinterkopf, dass das Hauptziel immer noch darin bestand, das Programm am Laufen zu halten, anstatt verwirrt zu werden und das gesamte Programm zu ändern.
4. Die Arbeit doppelt prüfen: Das trainierte Modell war viel wahrscheinlicher dazu geneigt, seine Arbeit zu verifizieren, bevor es sagte: „Ich bin fertig.“ In den Coding-Tests führte das trainierte Modell formale Tests durch, um zu prüfen, ob seine Änderungen tatsächlich funktionierten, während das untrainierte Modell oft einfach davon ausging, dass es richtig lag. Das trainierte Modell steigerte die Häufigkeit der Testläufe von 37,5 % auf 73,3 %.

Was das bedeutet

Das Paper legt nahe, dass wir durch das Training einer KI auf komplexen, langfristigen Aufgaben, bei denen sie viele verschiedene Werkzeuge verwenden muss, eine „Arbeitsweise“ lehren können, die auf völlig andere Bereiche übertragbar ist. Es ist, als würde man jemandem beibringen, eine unordentliche Garage zu organisieren; wenn diese Person lernt, systematisch, sorgfältig und gründlich zu arbeiten, könnte sie überraschenderweise auch besser darin werden, eine Bibliothek zu organisieren, obwohl sie nie mit Büchern geübt hat.

Die Autoren sind jedoch ehrlich über die Grenzen. Sie geben zu, dass einige der Verbesserungen auch einfach daher rühren könnten, dass sie das Modell dazu ermutigt haben, „mehr zu versuchen“ und nicht so leicht aufzugeben. Sie haben nicht bewiesen, wie das Modell diese Gewohnheiten exakt in seinem Gehirn gelernt hat, und sie haben das Experiment nur einmal durchgeführt. Aber die Beweise deuten auf eine hoffnungsvolle Idee hin: Wenn wir Trainingsumgebungen entwerfen, die eine KI dazu zwingen, nachdenklich zu arbeiten und ihre Arbeit zu verifizieren, können wir Agenten erschaffen, die tatsächlich intelligenter und anpassungsfähiger sind, anstatt nur besser darin, spezifische Tests auszubeuten.