EnterpriseBench Corecraft: Training Generalizable Agents on High-Fidelity RL Environments

Dit paper introduceert CoreCraft, een hoogwaardige RL-omgeving voor klantenservice die aantoont dat het trainen van AI-agenten op realistische, complexe bedrijfswerkprocessen niet alleen de prestaties op specifieke taken verbetert, maar ook leidt tot significante generalisatie naar diverse, buiten-de-distributie benchmarks.

De kern

Samenvatting: Hoe je een AI-leraar bouwt met een echte "simulator"

Stel je voor dat je iemand wilt leren autorijden. Je hebt twee opties:

1. Je zet ze in een virtuele wereld waar de weg altijd recht is, er geen andere auto's zijn en het nooit regent.
2. Je zet ze in een echte auto op een drukke weg, met andere bestuurders, verkeerslichten en onverwachte gaten in de weg.

De meeste AI-onderzoekers hebben tot nu toe gekozen voor optie 1. Ze trainen hun kunstmatige intelligenties (AI-agenten) op simpele, neppe oefeningen. Het probleem? Zodra die AI's de echte wereld in gaan, raken ze in paniek. Ze kunnen wel een rechte weg afrijden, maar falen als er een kind de weg oversteekt.

Dit artikel van Surge AI introduceert een nieuwe aanpak: Corecraft.

Wat is Corecraft?

Corecraft is geen simpele oefening. Het is een hyper-realistische simulatie van een klantenservice-afdeling voor een computeronderdelenwinkel.

• Het is alsof je een AI in een volledig werkend bedrijf stopt.
• Er zijn meer dan 2.500 "personages" (klanten, bestellingen, producten).
• Er zijn 23 verschillende "gereedschappen" (zoals databases zoeken, tickets aanmaken, retouren verwerken).
• De AI moet complexe taken doen, zoals: "Klant X heeft een kapotte videokaart gekocht, maar de garantie is net verlopen. Zoek de bestelling, check de datum, en schrijf een beleefde e-mail waarin je uitlegt waarom we hem niet kunnen helpen, maar wel een alternatief bieden."

Het Grote Experiment

De onderzoekers wilden weten: Als we een AI trainen in deze moeilijke, echte wereld, wordt hij dan slimmer in alles, of alleen maar in deze specifieke winkel?

Ze namen een slimme AI (GLM 4.6) en gaven hem één dag (één "epoch") training in Corecraft. Ze gebruikten een slimme methode (GRPO) waarbij de AI probeert, faalt, en dan een "score" krijgt van een menselijke expert die precies kijkt of alle regels zijn gevolgd.

Het resultaat was verbazingwekkend:

1. Binnen de simulatie: De AI werd van 25% goed naar 37% goed. Dat klinkt niet als veel, maar in de wereld van AI is dat een enorme sprong. Het deed het zelfs beter dan de allerbeste modellen die niet waren getraind op deze specifieke taak.
2. Buiten de simulatie (Het Magische): Dit is het belangrijkste deel. De AI werd getest op hele andere taken waar hij nooit van gehoord had:
   • Het aansturen van software (zoals het programmeren van servers).
   • Het gebruiken van verschillende apps tegelijk.
   • Het oplossen van complexe klantvragen in een andere winkel.

De AI werd overal beter!

• +4,5% beter in het aansturen van software.
• +7,4% beter in klantenservice (in een andere context).
• +6,8% beter in het gebruik van lange reeksen tools.

Waarom werkt dit? De 3 Sleutels

De onderzoekers ontdekten drie redenen waarom deze "echte wereld" zo goed werkt, terwijl de simpele oefeningen dat niet doen:

1. De "Gym" voor de hersenen: In Corecraft zijn de taken niet zomaar "zoek iets op". Ze zijn ontworpen om de AI te dwingen om na te denken. Het is alsof je een atleet niet alleen laat rennen op een loopband, maar hem laat klimmen in een rotsachtig landschap. De AI leert strategie, niet alleen herhaling.
2. De "Strenge Trainer": In plaats van een simpele "goed/slecht" score, gebruikt het systeem een gedetailleerde checklist (een "rubric"). De AI krijgt feedback op elk klein detail: "Je hebt de klant niet bedankt", of "Je hebt de verkeerde datum gebruikt". Dit leert de AI om precies te zijn.
3. De "Echte Chaos": De wereld in Corecraft is rommelig, zoals de echte wereld. Bestellingen zijn soms incompleet, data klopt niet altijd, en klanten zijn verward. Door hierin te trainen, leert de AI omgaan met onzekerheid en fouten, in plaats van alleen te werken in een perfecte, nep-wereld.

De Conclusie in Eén Zin

Als je AI-agenten wilt trainen die echt nuttig zijn in de echte wereld, moet je ze niet trainen in een schone, simpele klaslokaal. Je moet ze in een drukke, chaotische, maar goed gestructureerde "werkplek" zetten. Dan leren ze niet alleen hoe ze die ene klus moeten doen, maar ontwikkelen ze algemene vaardigheden die ze overal kunnen gebruiken.

Het is het verschil tussen iemand leren zwemmen in een bad met een stilstaand water, en iemand leren zwemmen in een rivier met stroming, wind en andere zwemmers. De laatste kan overal zwemmen.

Technische samenvatting

Probleemstelling

Ondanks snelle verbeteringen in AI-agenten op onderzoeksbenchmarks, blijft de implementatie in productieve omgevingen beperkt. Een recente enquête onder 306 praktijkmensen toont aan dat 68% van de ingezette agenten minder dan tien stappen uitvoert voordat menselijke ingreep nodig is, waarbij betrouwbaarheid de grootste uitdaging is.

De auteurs stellen dat deze kloof tussen benchmarkprestaties en inzetbaarheid voortkomt uit de aard van de trainingsomgevingen. Bestaande benchmarks gebruiken vaak vereenvoudigde simulaties, synthetische data of kunstmatige taakstructuren die de complexiteit van echte werkprocessen niet vastleggen. Hierdoor leren agenten omgevingsspecifieke heuristieken in plaats van generaliseerbare probleemoplossingsstrategieën.

Methodologie: Het Corecraft-omgeving

Om dit probleem aan te pakken, introduceert het team Corecraft, het eerste omgeving in de EnterpriseBench-suite van Surge AI. Dit is een hoogwaardige versterkingsleer (RL)-omgeving die een klantenserviceorganisatie voor een fictieve PC-onderdelenwinkel simuleert.

Kernkenmerken van de omgeving:

• Realistische Complexiteit: De omgeving bevat meer dan 2.500 entiteiten over 14 entiteitstypen (klanten, bestellingen, producten, tickets, etc.) en 23 unieke tools, toegankelijk via het Model Context Protocol (MCP).
• Drie Ontwerpprincipes:
  1. Taakgerichte wereldbouw: Alle entiteiten en tools bestaan om diverse en uitdagende taken te ondersteunen, niet enkel om de wereldcomplexiteit te maximaliseren.
  2. Expert-gedefinieerde rubrics: Domeinexperts ontwerpen zowel de taken als gedetailleerde beoordelingsrubrics. Dit stelt betrouwbare, geautomatiseerde beloning (reward) berekening in staat.
  3. Realistische workflows: Taken nabootsen echte professionele patronen, waaronder meerstapsredenering, omgaan met beperkingen en gestructureerde communicatie.

Trainingsproces:

• Model: Het team traint het frontier-model GLM 4.6 (357B parameters, MoE-architectuur).
• Algoritme: Er wordt gebruikgemaakt van Group Relative Policy Optimization (GRPO) met adaptieve clipping (geïnspireerd door DAPO) om entropie-instorting te voorkomen.
• Reward-signaal: In plaats van een critic-netwerk, worden beloningen berekend door een LLM-judge die de agenten-uitkomsten vergelijkt met de expert-rubrics. De beloning is de proportie van voldane criteria.
• Infrastructuur: De training verloopt in een continue lus: Rollout (genereren van antwoorden in stateful Docker-containers) -> Reward Computation (evaluatie via LLM-judge) -> Training Update (GRPO-gradiënten en gewichtssynchronisatie).

Belangrijkste Bijdragen

1. Validatie van High-Fidelity Training: Het bewijst dat training op realistische, hoogwaardige omgevingen leidt tot vaardigheden die generaliseren buiten de trainingsdistributie.
2. Significante Prestatieverbetering: Na slechts één trainingsronde (epoch) wordt een verbetering van +11,39 procentpunten behaald op de vastgehouden Corecraft-evaluatie (van 25,37% naar 36,76%). Dit overschrijdt het prestatieverschil tussen topmodellen zoals Claude Sonnet 4.5 en Claude Opus 4.5.
3. Generalisatie naar OOD-benchmarks: De verbeteringen transfereren naar volledig nieuwe benchmarks die niet in de training zijn gebruikt:
   • +4,5% op BFCL Parallel (function calling).
   • +7,4% op τ²-Bench Retail (klantenservice).
   • +6,8% op Tool Decathlon (langdurig tool-gebruik).
4. Kwalitatieve Analyse: Identificatie van drie specifieke verbeteringen: betere uitvoering van meerstaps-workflows, correcter hanteren van beperkingen (constraints), en hogere kwaliteit van gestructureerde antwoorden.

Resultaten

• In-Distribution (Corecraft): Het getrainde GLM 4.6-model (36,76%) presteert beter dan Claude Opus 4.5 (33,49%) en nadert de prestaties van GPT-5.1 High (36,86%) op de testset.
• Out-of-Distribution (OOD):
  • Op Toolathlon (108 diverse, langdurige taken) steeg de Pass@1 van 18,8% naar 25,6%. De betrouwbaarheid (Pass3, succes op alle runs) verdubbelde bijna van 9,3% naar 17,6%.
  • De verbeteringen zijn het grootst in categorieën die structurele overeenkomsten hebben met Corecraft (data-manipulatie, meerstaps-interacties), wat suggereert dat het model algemene workflow-patronen heeft geleerd in plaats van domeinspecifieke kennis.
• Foutanalyse van Frontier-modellen: De studie toont aan dat zelfs de sterkste modellen (zoals GPT-5.2 en Claude Opus 4.6) falen in strategieën zoals paginatie bij onvolledige zoekresultaten, het kiezen van de juiste zoekstrategie en het volledig verkennen van beschikbare tools.

Betekenis en Conclusie

Het paper concludeert dat kwaliteit, diversiteit en realisme van de trainingsomgeving cruciale factoren zijn voor het ontwikkelen van generaliseerbare agent-vaardigheden.

De kernboodschap is dat agenten niet hoeven te worden getraind op synthetische of vereenvoudigde data om robuust te worden. Door te trainen in omgevingen die echte professionele uitdagingen nabootsen (met expert-rubrics voor feedback), leren modellen generaliseerbare competenties zoals taakdecompositie, constraint-handling en gestructureerde communicatie. Dit biedt een veelbelovende route om de kloof tussen benchmarkprestaties en de betrouwbaarheid die nodig is voor daadwerkelijke productiedeployments te overbruggen. De auteurs pleiten voor een verschuiving in de agent-trainingsmethodologie richting hoogwaardige, domein-expertise-gedreven simulaties.