EnterpriseBench Corecraft: Training Generalizable Agents on High-Fidelity RL Environments

Die Studie stellt CoreCraft vor, eine hochrealistische Unternehmenssimulation, die durch das Training von KI-Agenten mit GRPO nicht nur die Aufgabenbewältigung in diesem spezifischen Umfeld verbessert, sondern auch messbare Leistungssteigerungen auf diverse, außerhalb des Trainings liegende Benchmarks ermöglicht.

Das Wesentliche

Stell dir vor, du möchtest einen jungen Azubi für einen sehr anspruchsvollen Job im Kundenservice ausbilden.

Die meisten Firmen machen das heute so: Sie geben dem Azubi eine Liste mit 1.000 einfachen, erfundenen Aufgaben. „Rufe die Nummer 1 an", „Schreibe eine E-Mail an Person 2". Der Azubi lernt schnell, diese spezifischen Aufgaben zu erledigen. Aber sobald er in die echte Welt kommt, wo Kunden wütend sind, Daten fehlen und die Regeln kompliziert sind, scheitert er. Er hat nur gelernt, wie man eine Liste abarbeitet, nicht wie man denkt.

Das ist das Problem, das die Forscher von Surge AI mit ihrer Arbeit „Corecraft" lösen wollen. Hier ist die Geschichte ihrer Entdeckung, einfach erklärt:

1. Der neue Trainingsplatz: Corecraft

Statt einer simplen Liste haben die Forscher eine komplette, lebendige Welt gebaut. Nennen wir es „Corecraft".

• Die Welt: Es ist eine riesige, digitale Simulation eines Computer-Shops. Es gibt über 2.500 Kunden, Millionen von Bestellungen, Lagerbestände, Garantiebedingungen und sogar Streitereien zwischen Mitarbeitern.
• Die Aufgabe: Der KI-Agent (der Azubi) muss echte Probleme lösen. Nicht nur „Suche die Bestellnummer", sondern: „Der Kunde ist wütend, weil sein PC nicht startet. Prüfe die Garantie, finde heraus, ob das Teil kompatibel ist, vergleiche den Preis mit einem neuen Modell und schreibe eine höfliche E-Mail, die alle Regeln einhält."

Es ist wie der Unterschied zwischen dem Lernen von Schachzügen auf einem Brett und dem Spielen in einem echten Turnier gegen einen Großmeister, der unvorhersehbare Züge macht.

2. Das Problem mit den „Besten" KI-Modellen

Die Forscher haben die aktuell stärksten KI-Modelle (wie GPT-5 oder Claude Opus) in diese Welt geschickt. Das Ergebnis war ernüchternd: Selbst die „Genies" schafften weniger als 35 % der Aufgaben perfekt.
Warum? Weil sie oft Tricks benutzten, die in einfachen Tests funktionieren, aber in der echten Welt scheitern.

• Beispiel: Wenn sie nach einer Information suchen, geben sie oft auf, sobald sie 10 Ergebnisse sehen, statt zu prüfen, ob es noch mehr gibt (wie ein Schüler, der aufgibt, sobald er eine Seite im Buch gelesen hat, statt das ganze Kapitel zu durchsuchen).
• Beispiel: Sie nutzen nur das erste Werkzeug, das ihnen einfällt, statt nach der besten Lösung zu suchen.

3. Der Durchbruch: Lernen durch echtes Feedback

Hier kommt der Clou der Studie. Die Forscher haben nicht einfach mehr Daten gesammelt. Sie haben dem KI-Modell (GLM 4.6) einen strengen, aber fairen Trainer an die Seite gestellt.

• Der Trainer: Ein System, das von echten Experten geschrieben wurde. Es prüft nicht nur, ob die Antwort „richtig" ist, sondern wie sie zustande kam.
• Die Methode: Das Modell hat nur einen einzigen Tag (eine „Epoch") in dieser simulierten Welt trainiert. Jedes Mal, wenn es einen Fehler machte, bekam es sofortiges, detailliertes Feedback: „Du hast die Garantie nicht geprüft", „Deine E-Mail war zu unfreundlich", „Du hast vergessen, nach weiteren Ergebnissen zu suchen".

Das Ergebnis war verblüffend: Nach nur diesem einen Trainingstag schaffte das Modell 36,76 % der Aufgaben – und das war ein riesiger Sprung von den vorherigen 25 %.

4. Das Wunder: Das „Übertragen" des Wissens

Das Wichtigste an der Geschichte ist nicht, dass das Modell im Computer-Shop besser wurde. Das Wunder ist, dass es andere Jobs besser machte, für die es niemals trainiert wurde.

Stell dir vor, du hast einen Azubi im Computer-Shop trainiert. Plötzlich kannst du ihn in eine Bank schicken, und er ist dort plötzlich besser als alle anderen, weil er gelernt hat, strukturiert zu denken.

• BFCL (Funktionsaufrufe): Das Modell wurde besser darin, mehrere Werkzeuge gleichzeitig zu koordinieren.
• τ 2-Bench (Einzelhandel): Es wurde besser im Kundenservice für Kleidung oder Lebensmittel, obwohl es nur Computer-Teile kannte.
• Toolathlon (Langfristige Aufgaben): Es wurde zuverlässiger bei komplexen, langen Aufgaben, die viele Schritte erfordern.

Die Analogie:
Früher dachten Forscher, KI müsse für jeden Job (Bank, Arzt, Programmierer) separat trainiert werden. Diese Studie zeigt: Wenn du die KI in einer hochwertigen, realistischen Welt trainierst, lernt sie nicht nur die Fakten dieses einen Jobs. Sie lernt wie man arbeitet. Sie lernt Geduld, wie man Regeln anwendet, wie man Fehler findet und wie man strukturiert kommuniziert. Diese Fähigkeiten sind universell.

Zusammenfassung in einem Satz

Die Forscher haben gezeigt, dass man KI nicht durch das Auswendiglernen von einfachen Aufgaben trainieren sollte, sondern indem man sie in eine realistische, komplexe Simulation wirft, wo sie durch echtes Feedback lernt, wie man Probleme löst – und diese Fähigkeit dann auf jede andere Situation übertragen kann.

Es ist der Unterschied zwischen dem Lernen von Vokabeln und dem Lernen, eine Sprache fließend zu sprechen, indem man in einem Land lebt, in dem diese Sprache gesprochen wird.

Technische Zusammenfassung

1. Problemstellung

Trotz rascher Fortschritte bei KI-Agenten in Forschungsbenchmarks ist der Einsatz in der Produktion nach wie vor begrenzt. Eine Umfrage unter Praktikern zeigt, dass 68 % der eingesetzten Agenten weniger als zehn Schritte ausführen, bevor ein Mensch eingreifen muss, wobei Zuverlässigkeit als Hauptproblem genannt wird.

Die Autoren führen diese Lücke auf die Eigenschaften der Trainingsumgebungen zurück. Viele bestehende Benchmarks nutzen vereinfachte Simulationen, synthetische Daten oder künstliche Aufgabenstrukturen, die die Komplexität realer Arbeitsabläufe nicht abbilden. Folglich lernen Agenten oft umgebungsspezifische Heuristiken anstelle von generalisierbaren Problemlösungsstrategien. Das Ziel dieser Arbeit ist es zu beweisen, dass das Training in hochfidelitäts Umgebungen (High-Fidelity Environments), die reale Unternehmensworkflows simulieren, zu robusteren und übertragbaren Fähigkeiten führt.

2. Methodik

Die Corecraft-Umgebung

Das Herzstück der Arbeit ist Corecraft, die erste Umgebung in der „EnterpriseBench"-Suite von Surge AI. Es handelt sich um eine voll funktionsfähige Simulation eines Kundensupport-Teams für einen Online-Händler von PC-Komponenten.

• Struktur: Die Umgebung enthält über 2.500 Entitäten (Kunden, Bestellungen, Produkte, Tickets etc.) in 14 Entitätstypen und bietet 23 einzigartige Tools über das Model Context Protocol (MCP).
• Design-Prinzipien:
  1. Aufgabenorientierung: Alle Ressourcen dienen der Unterstützung diverser, herausfordernder Aufgaben, nicht nur der Maximierung der Weltkomplexität.
  2. Expertengestützte Bewertung: Domänenexperten erstellen Aufgaben und detaillierte Rubriken (Bewertungskriterien), die eine zuverlässige, automatisierte Reward-Berechnung ermöglichen.
  3. Realistische Workflows: Aufgaben spiegeln echte professionelle Muster wider (mehrschrittige Reasoning-Prozesse, Umgang mit Constraints, strukturierte Kommunikation).
• Technische Implementierung: Die Umgebung läuft in einem stateful Docker-Container, der den Weltzustand (Bestellungen, Inventar) während eines Episodenlaufs konsistent hält.

Trainingsansatz

• Basis-Modell: GLM 4.6 (357 Mrd. Parameter, Mixture-of-Experts, 32 Mrd. aktive Parameter).
• Reinforcement Learning (RL): Es wird Group Relative Policy Optimization (GRPO) verwendet, ergänzt durch Adaptive Clipping (inspiriert von DAPO), um Entropie-Kollaps zu verhindern.
• Reward-Signal: Anstelle eines einfachen Erfolgs/Fehlschlag-Signals werden Rubriken verwendet. Ein LLM-Judge bewertet jede Trajektorie gegen eine Liste verifizierbarer Kriterien (Vollständigkeit, Korrektheit, Constraint-Einhaltung, Format). Der Reward ist der Anteil erfüllter Kriterien.
• Prozess: Ein Rollout-Engine (SGLang) generiert Antworten, die Tools im Docker-Container aufrufen. Die Trajektorien werden bewertet, und die Gewichte werden über Megatron aktualisiert.

3. Wichtige Beiträge

1. Nachweis von Generalisierung: Das Paper demonstriert, dass Training in einer hochfidelitäts Umgebung zu Fähigkeiten führt, die über die Trainingsverteilung hinausgehen (Out-of-Distribution-Transfer).
2. Leistungssteigerung: Ein einzelner Trainings-Epoch auf Corecraft führt zu einer signifikanten Verbesserung, die die Lücke zwischen starken Modellen (z. B. Claude Sonnet 4.5 und Opus 4.5) überbrückt.
3. Qualitative Analyse: Identifikation von drei spezifischen Lernkategorien:
   • Ausführung mehrstufiger Workflows (korrekte Dekomposition).
   • Umgang mit Constraints (Filterung, Zeitfenster, Logik).
   • Qualität und Struktur der Antwort (professionelle Kommunikation).
4. Umgebungsdesign als Schlüsselfaktor: Die Arbeit liefert Evidenz, dass Qualität, Diversität und Realismus der Umgebung entscheidend für generalisierbare Agenten-Fähigkeiten sind.

4. Ergebnisse

In-Distribution Performance (Corecraft)

Auf einem zurückgehaltenen Testset (150 Aufgaben) verbesserte sich GLM 4.6 nach einem Trainings-Epoch von einer Pass-Rate von 25,37 % auf 36,76 % (+11,39 Prozentpunkte).

• Das trainierte Modell übertrifft damit das untrainierte Claude Opus 4.5 (33,49 %) und nähert sich der Leistung von GPT-5.1 High (36,86 %) an.
• Zum Vergleich: Frontier-Modelle wie Claude Opus 4.6 oder GPT-5.2 erreichen ohne Training auf dem Corecraft-Benchmark weniger als 31 % Pass-Rate.

Out-of-Distribution Generalisierung (Transfer)

Die größten Erkenntnisse liegen in der Übertragung auf externe Benchmarks, auf denen das Modell nie trainiert wurde:

• BFCL Parallel (Function Calling): +4,5 % Verbesserung (von 91,0 % auf 95,5 %). Dies zeigt verbesserte Koordination bei parallelen Tool-Aufrufen.
• τ²-Bench Retail (Kundenservice): +7,4 % Verbesserung (von 68,7 % auf 76,1 %).
• Tool Decathlon (Langfristige Tool-Nutzung): +6,8 % Verbesserung (Pass@1 von 18,8 % auf 25,6 %).
  • Besonders bemerkenswert ist die Steigerung der Zuverlässigkeit (Pass@3 verdoppelt sich von 9,3 % auf 17,6 %), was auf eine konsistentere Problemlösung hindeutet.
  • Die Verbesserungen traten auch in Domänen auf, die sich stark von Corecraft unterscheiden (z. B. DevOps, Bildung, Finanzdaten), was bestätigt, dass allgemeine Workflow-Muster gelernt wurden.

5. Bedeutung und Schlussfolgerung

Die Studie widerlegt die Annahme, dass Agenten nur durch massive Datenmengen oder synthetische Aufgaben verbessert werden können. Stattdessen zeigt sie, dass hochwertige, realistische Trainingsumgebungen mit expertengestützten Bewertungskriterien entscheidend sind, um Agenten beizubringen, robuste, übertragbare Fähigkeiten zu entwickeln.

• Implikation für die Praxis: Um die Lücke zwischen Benchmark-Leistung und Produktionsreife zu schließen, sollten Trainingsumgebungen reale Arbeitsabläufe, komplexe Datenabhängigkeiten und diverse Aufgabenstrukturen abbilden.
• Zukunftsaussichten: Die Autoren schlagen weitere Forschung in Richtung Skalierung (mehr Epochen), Ablationsstudien zur Isolierung von Umgebungsdesign-Faktoren und Multi-Domain-Curricula vor.

Zusammenfassend beweist Corecraft, dass die Qualität der Trainingsumgebung ein primärer Treiber für die Generalisierungsfähigkeit von KI-Agenten ist.