EnterpriseBench Corecraft: Training Generalizable Agents on High-Fidelity RL Environments

Il paper introduce CoreCraft, un ambiente di simulazione aziendale ad alta fedeltà che, attraverso l'addestramento di agenti AI su flussi di lavoro realistici e rubriche esperte, dimostra come la qualità e il realismo dell'ambiente siano fondamentali per ottenere capacità generalizzabili che migliorano le prestazioni anche su benchmark esterni.

L'essenziale

Immagina di voler insegnare a un nuovo dipendente come gestire un negozio di computer molto complesso.

Se gli dai solo un manuale teorico pieno di esempi fittizi e semplificati ("Se il cliente chiede X, rispondi Y"), probabilmente imparerà a memoria quelle risposte specifiche, ma andrà in crisi appena si troverà di fronte a una situazione reale, confusa e piena di imprevisti.

Questo è esattamente il problema che gli scienziati di Surge AI hanno affrontato nel loro nuovo studio, presentato nel paper "Corecraft".

Ecco la spiegazione semplice di cosa hanno fatto e perché è importante, usando qualche analogia.

1. Il Problema: Allenare gli AI in "Palestre Finte"

Fino a poco tempo fa, per addestrare gli agenti AI (i "robot" che fanno compiti per noi), si usavano ambienti di prova molto semplificati. Era come se un calciatore si allenasse solo su un campo di erba sintetica perfetta, senza vento, senza avversari e con regole facili.
Quando arrivava la partita vera (il mondo reale), il calciatore si perdeva perché non sapeva gestire il fango, il vento o le strategie imprevedibili degli avversari. Gli AI funzionavano bene nei test di laboratorio, ma fallivano miseramente quando dovevano lavorare davvero.

2. La Soluzione: Costruire un "Simulatore di Realtà" (Corecraft)

Gli autori hanno creato Corecraft. Non è un semplice test, ma un mondo virtuale ultra-realistico che simula un intero dipartimento di assistenza clienti per un'azienda di computer.

Immagina Corecraft come un videogioco di ruolo (RPG) estremamente dettagliato, dove:

• Ci sono 2.500 personaggi (clienti, ordini, prodotti, ticket di supporto).
• Ci sono 23 strumenti diversi (database, sistemi di spedizione, politiche di garanzia) che l'AI deve usare.
• Le situazioni sono caotiche e reali: i dati sono incompleti, le regole sono complesse e bisogna fare più passi di fila per risolvere un problema.

Non si tratta di rispondere a una domanda semplice, ma di gestire una situazione complessa: "Il cliente ha comprato un pezzo che non è compatibile con il suo computer, vuole un rimborso, ma la garanzia è scaduta da 2 giorni e il pezzo è stato danneggiato. Cosa fai?"

3. L'Esperimento: Imparare dall'Errore (con un "Giudice Esperto")

Hanno preso un modello AI intelligente (chiamato GLM 4.6) e lo hanno fatto "giocare" in questo simulatore.
Ma c'è un trucco fondamentale: non hanno lasciato che l'AI imparasse da sola. Hanno assunto dei veri esperti umani (dipendenti reali) per scrivere delle liste di controllo (rubriche).

• L'analogia: Immagina che ogni volta che l'AI prova a risolvere un problema, un allenatore esperto non gli dica solo "Bravo" o "Sbagliato". Gli dice: "Hai trovato il cliente? Sì. Hai controllato la data di acquisto? Sì. Hai applicato la regola della garanzia? No, hai sbagliato qui. Hai scritto la mail in modo professionale? No, era troppo aggressiva."

L'AI ha ricevuto questo feedback preciso migliaia di volte, imparando non solo cosa fare, ma come farlo bene.

4. I Risultati: Il "Super Allenamento"

Dopo solo una giornata di allenamento (un "epoch" nel linguaggio tecnico), l'AI è migliorata drasticamente:

• Nel simulatore, la sua capacità di risolvere compiti è passata dal 25% al 36%. Un salto enorme.
• Ma la cosa più incredibile è che queste abilità si sono trasferite altrove.

5. La Magia: L'Allenamento Trasferibile

Qui sta il punto forte della ricerca. L'AI non ha imparato solo a vendere computer. Ha imparato come pensare.
Quando hanno fatto fare all'AI compiti completamente diversi (come chiamare funzioni di programmazione, gestire ordini di un negozio di vestiti, o usare strumenti software complessi), è diventata molto meglio anche lì.

• L'analogia: È come se avessi allenato un giocatore di calcio in un campo di fango e pioggia. Quando lo hai mandato a giocare a tennis (uno sport diverso), si è scoperto che aveva imparato a muoversi meglio, a leggere il terreno e a gestire la pressione. Non sapeva giocare a tennis, ma aveva imparato le regole fondamentali dello sport che lo rendevano un atleta migliore in tutto.

In Sintesi: Cosa ci insegna questo?

Il paper ci dice che per creare AI davvero utili nel mondo reale, non dobbiamo inventare mondi finti e facili. Dobbiamo costruire ambienti di addestramento difficili, realistici e pieni di dettagli, dove l'AI possa sbagliare, ricevere feedback da esperti e imparare a gestire il caos.

Se l'ambiente di allenamento è di alta qualità, l'AI impara a essere un problem-solver flessibile che funziona ovunque, non solo nel laboratorio dove è stata addestrata. È un passo avanti fondamentale per portare l'AI dagli esperimenti di ricerca ai veri uffici e aziende.

Sommario tecnico

1. Il Problema

Nonostante i rapidi miglioramenti nelle capacità dei modelli AI sui benchmark di ricerca, il loro dispiegamento in ambienti di produzione reali rimane limitato. Un sondaggio recente indica che il 68% degli agenti AI dispiegati esegue meno di dieci passaggi prima di richiedere l'intervento umano, citando l'affidabilità come sfida principale.
Gli autori ipotizzano che questo divario derivi dalle caratteristiche degli ambienti di addestramento attuali:

• Molti benchmark utilizzano simulazioni semplificate, dati sintetici o strutture di task artificiali che non catturano la complessità dei flussi di lavoro reali.
• Gli agenti addestrati su tali ambienti tendono a imparare euristiche specifiche dell'ambiente piuttosto che strategie di risoluzione dei problemi generalizzabili.
• Manca un substrato di addestramento che rifletta fedelmente i pattern professionali reali, inclusi il ragionamento multi-step, la gestione dei vincoli e la comunicazione strutturata.

2. Metodologia e Ambiente Corecraft

Per affrontare queste limitazioni, gli autori introducono Corecraft, il primo ambiente della suite EnterpriseBench di Surge AI, progettato come simulazione ad alta fedeltà di un'organizzazione di supporto clienti per un'azienda di componenti PC.

Caratteristiche Chiave dell'Ambiente:

• Struttura del Mondo: Simula un'azienda operativa con oltre 2.500 entità distribuite su 14 tipi (clienti, ordini, prodotti, ticket, politiche aziendali, ecc.) e 23 strumenti unici esposti tramite il Model Context Protocol (MCP).
• Filosofia di Progettazione:
  1. Design centrato sul task: Ogni entità e strumento esiste per supportare task diversificati e sfidanti, non per massimizzare la complessità del mondo in sé.
  2. Valutazione curata da esperti: I task e le rubriche di valutazione sono scritti da esperti di dominio, permettendo un calcolo affidabile delle ricompense.
  3. Flussi di lavoro realistici: I task imitano pattern professionali reali, richiedendo recupero informazioni, comunicazione, ragionamento e flussi multi-step.
• Architettura Tecnica: L'ambiente è un bundle Docker autonomo che mantiene lo stato del mondo (ordini, inventario, ticket) durante ogni episodio. Gli agenti interagiscono tramite chiamate agli strumenti, gestite da un server MCP.

Metodo di Addestramento:

• Modello Base: GLM 4.6 (architettura Mixture-of-Experts con 357B parametri totali, 32B attivi).
• Algoritmo: Group Relative Policy Optimization (GRPO) con adaptive clipping (ispirato a DAPO) per prevenire il collasso dell'entropia.
• Segnale di Ricompensa: Le ricompense sono calcolate basandosi su rubriche (criteri verificabili) valutate da un LLM Judge. Ogni task viene scomposto in criteri fattuali (completezza, correttezza, soddisfazione dei vincoli, conformità al formato). La ricompensa è la proporzione di criteri soddisfatti.
• Dati: 1.000 task per l'addestramento e 150 task per la valutazione held-out.

3. Contributi Chiave

1. Dimostrazione di Miglioramenti Significativi: L'addestramento su un singolo epoch ha portato a un miglioramento di 11,39 punti percentuali nel tasso di passaggio dei task su Corecraft (dal 25,37% al 36,76%), superando il divario di capacità tra modelli frontier come Claude Sonnet 4.5 e Claude Opus 4.5.
2. Generalizzazione Fuori Distribuzione (OOD): I guadagni ottenuti si sono trasferiti efficacemente a benchmark esterni mai visti durante l'addestramento:
   • +4,5% su BFCL Parallel (chiamate di funzioni parallele).
   • +7,4% su τ²-Bench Retail (servizio clienti).
   • +6,8% su Tool Decathlon (uso di strumenti a lungo orizzonte).
3. Analisi Qualitativa: Identificazione di tre categorie di miglioramento apprese: esecuzione di flussi di lavoro multi-step, gestione dei vincoli e qualità strutturata delle risposte.
4. Evidenza Empirica: Prove che la qualità, la diversità e il realismo dell'ambiente sono fattori critici per l'addestramento di agenti generalizzabili, superando l'approccio basato su dati sintetici.

4. Risultati Sperimentali

Performance In-Distribution (Corecraft):

• Dopo un solo epoch, GLM 4.6 ha raggiunto un tasso di passaggio del 36,76%, superando modelli come Claude Opus 4.5 (33,49%) e avvicinandosi alle prestazioni di GPT-5.1 High (36,86%).
• L'analisi dei fallimenti dei modelli frontier (es. GPT-5.2, Claude Opus 4.6) ha rivelato pattern ricorrenti: strategie di ricerca inefficaci, mancata paginazione dei risultati incompleti e mancata esplorazione di strumenti alternativi.

Performance Out-of-Distribution (Transfer):

• BFCL Parallel: Miglioramento del 4,5%, indicando una migliore coordinazione degli strumenti appresa dai flussi multi-tool di Corecraft.
• τ²-Bench Retail: Miglioramento del 7,4%, dimostrando che le competenze di supporto clienti sono trasferibili tra diversi contesti retail.
• Tool Decathlon: Miglioramento del 6,8% (da 18,8% a 25,6% Pass@1). Questo è un risultato cruciale poiché i task di Toolathlon (es. gestione Kubernetes, sincronizzazione inventari) sono semanticamente molto diversi dal dominio del supporto clienti, suggerendo che l'agente ha appreso pattern di workflow generalizzabili e non scorciatoie specifiche del dominio.
• Affidabilità: Il metrico Pass3 (task risolti correttamente in tutte e 3 le esecuzioni) è raddoppiato (da 9,3% a 17,6%), indicando una maggiore consistenza e affidabilità, non solo un picco di capacità.

5. Significato e Implicazioni

Il paper sostiene che il divario tra le prestazioni sui benchmark e la prontezza al dispiegamento reale può essere colto migliorando la qualità degli ambienti di addestramento.

• Dall'Heuristica alla Strategia: Gli ambienti ad alta fedeltà costringono gli agenti a imparare strategie di risoluzione problemi robuste (come la decomposizione dei task e la gestione dei vincoli) invece di memorizzare pattern superficiali.
• Importanza delle Rubriche: L'uso di rubriche curate da esperti fornisce segnali di ricompensa densi e interpretabili, fondamentali per l'addestramento RL in scenari complessi.
• Impatto sul Deployment: La capacità di generalizzare a domini non visti (come DevOps o E-commerce generico) suggerisce che l'addestramento su flussi di lavoro aziendali realistici è una via promettente per creare agenti AI affidabili pronti per la produzione.

In conclusione, gli autori dimostrano che la progettazione attenta dell'ambiente (diversità, realismo, valutazione rigorosa) è tanto importante quanto la scalabilità del modello per sviluppare agenti AI capaci di operare con successo nel mondo reale.