Stellen Sie sich eine Welt vor, in der Computer nicht nur Fragen beantworten, sondern Dinge tatsächlich für Sie erledigen. Sie können Code schreiben, Flüge buchen oder Ihre digitalen Dateien organisieren. Um dies zu ermöglichen, haben Wissenschaftler „KI-Agenten“ gebaut – intelligente Programme, die denken, planen und Werkzeuge benutzen können. Aber hier ist der knifflige Teil: Diese Agenten arbeiten nicht im Vakuum. Sie benötigen ein „Harness“ (ein Gestell oder eine Umgebung), das wie ein komplexer Kontrollraum oder ein spezialisiertes Cockpit funktioniert. Dieses Harness verwaltet das Gedächtnis des Agenten, verbindet ihn mit dem Internet und hilft ihm, Werkzeuge wie einen Taschenrechner oder einen Webbrowser zu benutzen. Stellen Sie sich das Harness als den Pilotsitz und den Agenten als den Piloten vor; man kann einen Piloten nicht einfach in einem Videospiel trainieren und erwarten, dass er dann eine echte Boeing 747 fliegt. Das echte Flugzeug hat spezifische Knöpfe, Notfallprotokolle und ein Cockpit-Layout, das das Videospiel nie gezeigt hat.

Lange Zeit gab es ein großes Problem: Die „Videospiele“ (einfache Trainingsumgebungen) passten nicht zu den „echten Flugzeugen“ (den komplexen Harnesses, die in der realen Welt verwendet werden). Forscher konnten Agenten zwar leicht trainieren, aber wenn sie sie in die echten, chaotischen Harnesses setzten, wurden die Agenten oft verwirrt oder scheiterten. Dieses Paper mit dem Titel „OpenForge RL“ befasst sich genau mit dieser Diskrepanz. Es führt eine neue Methode ein, um diese digitalen Piloten direkt in den echten Cockpits zu trainieren, in denen sie später fliegen werden, indem es ein System nutzt, mit dem sie gleichzeitig auf tausenden verschiedenen „Flugzeugen“ üben können, ohne die gesamte Trainingsanlage zum Absturz zu bringen.

---

Das Problem: Im Videospiel trainieren vs. das echte Flugzeug fliegen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Auto zu reparieren. Wenn Sie ihn in einem einfachen Videospiel trainieren, in dem der Motor nur ein roter Knopf und der Reifen ein blaues Quadrat ist, lernt der Roboter, auf Rot zu drücken und Blau zu greifen. Aber wenn Sie diesen Roboter in einer echten Werkstatt mit einem echten Motor, einem echten Reifen und Millionen anderen Werkzeugen platzieren, erstarrt er. Er weiß nicht, wie er mit der echten Komplexität umgehen soll.

Genau das ist bei KI-Agenten passiert. Moderne Agenten sind leistungsstark, aber sie verlassen sich auf hochentwickelte „Harnesses“ (wie Claude Code oder Codex), um ihre Gedanken und Werkzeuge zu verwalten. Diese Harnesses sind wie das echte Cockpit: Sie verfügen über zustandsbehaftetes Gedächtnis (sie erinnern sich daran, was vor fünf Schritten passiert ist), Multi-Prozess-Workflows (sie führen mehrere Dinge gleichzeitig aus) und komplexe Tool-Verbindungen. Die Standardmethoden, mit denen Forscher KI trainieren (unter Verwendung von Reinforcement Learning), gehen jedoch meist von einer einfachen, flachen Umgebung aus. Sie versuchen, den Agenten in einer vereinfachten Version des Harness zu trainieren, was einen „Train-Deploy-Mismatch“ (Diskrepanz zwischen Training und Einsatz) erzeugt. Es ist, als würde man einen Piloten in einem Simulator trainieren, der keine echten Notbremsen hat, und dann erwarten, dass er ein echtes Flugzeug landet, wenn die Bremsen versagen.

Die Lösung: OpenForge RL (Die Cloud-Werkstatt)

Die Autoren dieses Papers haben OpenForge RL entwickelt, ein Framework, das wie eine riesige, cloudbasierte Werkstatt fungiert. Anstatt zu versuchen, das echte, komplexe Harness in eine einfache Trainingsbox zu zwängen, macht OpenForge RL das Gegenteil: Es nimmt die Trainingsbox und schickt sie hinaus in das echte Harness.

So funktioniert es, unter Verwendung einer spielerischen Analogie:

1. Die Remote-Pods (Die Cloud-Werkstatt): Stellen Sie sich vor, Sie haben eine Flotte winziger, selbstfahrender Werkstätten in der Cloud. Jede Werkstatt ist ein Container, der ein spezifisches „Harness“ enthält (wie ein bestimmtes Automodell). OpenForge RL nutzt einen „Kubernetes-Orchestrator“ (man kann ihn sich als hocheffizienten Werkstattmanager vorstellen), um tausende dieser Remote-Werkstätten sofort hochzufahren.
2. Der Proxy (Der Zwei-Wege-Spiegel): In jeder Werkstatt versucht der KI-Agent, eine Aufgabe zu lösen. Ein „leichtgewichtiger Proxy“ fungt wie ein Zwei-Wege-Spiegel. Er lässt den Agenten mit dem echten Harness und der echten Umgebung (wie einem echten Computer oder Webbrowser) kommunizieren, zeichnet aber heimlich jede einzelne Bewegung, jeden Gedanken und jeden Tool-Klick auf.
3. Die Trainingsschleife: Der Proxy sendet diese aufgezeichneten „Flugprotokolle“ zurück an das zentrale Trainingsgehirn (das Standardwerkzeuge wie veRL verwendet). Das Gehirn lernt aus diesen realen Protokollen, aktualisiert das Gehirn des Agenten und sendet die neue Version zurück in die Remote-Werkstätten, um es erneut zu versuchen.

Die Magie liegt darin, dass das Training innerhalb des echten Harness stattfindet, in der echten Umgebung, aber die schwere Arbeit der Verwaltung all dieser verschiedenen Umgebungen wird durch die Cloud bewältigt. Das bedeutet, dass Forscher Agenten gleichzeitig auf „ZeroClaw“, „OpenClaw“, „Codex“ oder sogar visuellen GUI-Agenten (Agenten, die Maus und Tastatur benutzen) trainieren können, ohne ihren Trainingscode für jedes neue Werkzeug neu schreiben zu müssen.

Was sie herausgefunden haben: Echtes Training funktioniert besser

Das Team testete dieses System mit zwei Arten von Agenten: Claw-Agenten (die Text und Tools verwenden, um Dinge wie E-Mails zu durchsuchen oder Dateien zu verwalten) und GUI-Agenten (die einen Bildschirm betrachten und eine Maus benutzen, um in einem Webbrowser oder Computer auf Schaltflächen zu klicken).

Sie trainierten diese Agenten mit nur einigen hundert bis einigen tausend Aufgaben – viel weniger als einige massive Modelle, die Millionen nutzen. Die Ergebnisse waren beeindruckend:

• Für Claw-Agenten: Ihr Modell, OpenForge-Claw, erreichte einen Wert von 31,7 (pass@3) auf dem ClawEval-Benchmark und 33,7 auf QwenClawBench. Dies war signifikant besser als andere Open-Source-Modelle ähnlicher Größe (um 30 Milliarden Parameter). Tatsächlich schnitt es besser ab als einige Modelle, die um ein Vielfaches größer sind.
• Für GUI-Agenten: Ihr Modell, OpenForge-GUI, erreichte einen Wert von 37,7 auf OSWorld-Verified, 63,0 auf Online-Mind2Web und 72,3 auf WebVoyager. Das ist eine große Sache, da GUI-Aufgaben unglaublich schwierig sind; der Agent muss den Bildschirm „sehen“ und herausfinden, wo er klicken muss. OpenForge-GUI konnte Modelle erreichen oder sogar übertreffen, die viel größer sind und auf wesentlich mehr Daten trainiert wurden.

Die „Harness“-Lektion: Nicht alle Cockpits sind gleich

Eine der interessantesten Entdeckungen war nicht nur, dass das Training funktionierte, sondern wie unterschiedliche Harnesses das Lernen beeinflussten. Die Autoren testeten ihre Agenten in vier verschiedenen Harnesses: ReACT (eine einfache Schleife), ZeroClaw (leichtgewichtig), OpenClaw und Codex (sehr komplex).

Sie fanden heraus, dass einige Harnesses viel schwieriger zu erlernen sind als andere.

• Einfachere, besser abgestimmte Harnesses (wie ZeroClaw) ermöglichten es den Agenten, schneller zu lernen und besser abzuschneiden.
• Komplexere Harnesses (wie Codex) waren schwieriger zu meistern. Die Agenten hatten mehr Schwierigkeiten, und obwohl Reinforcement Learning (RL) half, waren die Gewinne im Vergleich zu den einfacheren Harnesses geringer.

Dies deutet darauf hin, dass das Design des „Cockpits“ genauso wichtig ist wie das Training des Piloten. Ein gut gestaltetes Harness macht den Agenten intelligenter und zuverlässiger.

Was RL den Agenten tatsächlich beigebracht hat

Die Autoren untersuchten auch genau, was die Agenten tatsächlich lernten, wenn sie Reinforcement Learning (RL) zusätzlich zum Basistraining (SFT) anwendeten. Sie fanden heraus, dass RL die Agenten nicht nur im allgemeinen Sinne „schlauer“ machte, sondern speziell die Zuverlässigkeit verbesserte:

• Selbstverifizierung: Die Agenten begannen, ihre eigene Arbeit zu überprüfen. Wenn sie beispielsweise eine Datei erstellten, waren sie eher dazu geneigt, diese erneut einzulesen, um sicherzustellen, dass sie korrekt war.
• Tool-Abdeckung: Sie begannen, eine größere Vielfalt an Werkzeugen zu nutzen, anstatt sich nur auf ein oder zwei zu beschränken, die sie gut kannten.
• Fehlerbehebung: Das war der knifflige Teil. Während RL den Agenten half, kleine Fehler zu korrigieren, blieb die Fehlerbehebung (Error Recovery) schwach. Selbst nach dem Training konnten sie, wenn ein Agent einen großen Fehler machte, diesen oft nicht beheben und gaben stattdessen einfach auf. Die Autoren legen nahe, dass diese spezifische Fähigkeit spezielle Daten oder andere Trainingsmethoden erfordert, um gemeistert zu werden.

Das Fazit

OpenForge RL beweist, dass man die reale Welt nicht vereinfachen muss, um KI-Agenten zu trainieren. Durch den Einsatz eines cloudbasierten Systems, das das Training von der Umgebung entkoppelt, kann man Agenten direkt in den komplexen, chaotischen realen Harnesses trainieren, die sie später tatsächlich verwenden werden.

Das Paper legt nahe, dass dieser Ansatz es Forschern ermöglicht, Agenten zu bauen, die nicht nur fähiger, sondern auch zuverlässiger in ihren spezifischen Aufgaben sind. Während die Agenten immer noch mit komplexer Fehlerbehebung kämpfen, ist die Fähigkeit, sie direkt im „echten Cockpit“ statt in einem „Videospiel“ zu trainieren, ein großer Fortschritt. Das bedeutet, dass wir in Zukunft KI-Agenten sehen könnten, die wirklich bereit sind, neben uns zu arbeiten – nicht nur in Simulationen, sondern in den tatsächlichen digitalen Werkzeugen, die wir jeden Tag nutzen.