Sintesi Tecnica: CRAFT – Impara lo Schema, Esegui il Piano

Problematica

Gli agenti di codifica enterprise vengono sempre più utilizzati per tradurre richieste analitiche in linguaggio naturale in codice eseguibile su API e schemi proprietari. Tuttavia, il modello di distribuzione prevalente si basa sul "context stuffing" (riempimento del contesto), in cui definizioni esaustive dello schema (DDL), documentazione delle API e istruzioni degli strumenti vengono iniettate in ogni prompt. Questo approccio presenta tre sfide critiche per l'analisi in produzione:

1. Overhead di Inferenza: I prompt dello schema lunghi competono con i turni dell'utente e i risultati intermedi per la memoria di lavoro, aumentando significativamente i costi dei token.
2. Fragilità dell'Evoluzione dello Schema: I cambiamenti fisici allo schema (ad esempio, rinomina di colonne, migrazioni di tabelle) richiedono aggiornamenti frequenti delle pipeline dei prompt e test di regressione.
3. Affidabilità Multi-turn: La costante reiniezione di contesto statico mina la coerenza e la costanza nei dialoghi analitici multi-turn, dove l'agente deve mantenere i vincoli e far avanzare l'analisi piuttosto che trattare ogni turno in modo indipendente.

Gli autori indagano se la conoscenza stabile dello schema e i comportamenti di utilizzo degli strumenti possano essere acquisiti attraverso il post-training piuttosto che tramite il contesto transitorio del prompt, preservando così la coerenza richiesta per l'analisi in produzione.

Metodologia

Il documento propone CRAFT, una ricetta di post-training a due stadi progettata per agenti di codifica basati su schema. Il sistema è valutato all'interno di un ambiente enterprise controllato utilizzando API beta e dati pubblicitari collegati allo schema, evitando l'esposizione di dati di produzione sensibili ai clienti.

1. Distillazione e Filtraggio delle Traiettorie

Per affrontare la mancanza di ground truth umana per la generazione di codice a lungo termine con strumenti multipli, gli autori trattano la generazione di traiettorie come un problema di ricerca verificabile. I modelli teacher generano traiettorie candidate utilizzando un formato a tre blocchi: un ragionamento scratchpad, un blocco <PLAN> a livello di business (che spiega entità/metriche senza DDL grezzi) e un blocco <CODE> eseguibile.

• Filtro Tri-Gate: Un filtro di rifiuto a tre stadi cura i dati di addestramento da oltre 100K traiettorie generate fino a 15.1K traiettorie accettate:
  • Gate 1: Rifiuta fallimenti di esecuzione, errori di sintassi e timeout.
  • Gate 2: Rifiuta output vuoti o incompleti.
  • Gate 3: Utilizza un ensemble di LLM-judge per rilevare discrepanze semantiche tra il prompt, il piano e il codice.

2. Stadio I: SFT del PLAN privo di Schema

Il primo stadio addestra un modello base MoE da 120B per apprendere piani strutturati nel dominio e comportamenti eseguibili senza l'iniezione esaustiva dello schema al tempo del prompt.

• Rimozione dello Schema (Schema Stripping): Il contesto dello schema da oltre 50K token viene rimosso dall'input. Il modello deve fare affidamento sulla struttura del dominio interiorizzata.
• Mascheramento della Perdita (Loss Masking): Gli output degli strumenti sono mascherati dalla funzione di perdita per evitare che il modello memorizzi valori di runtime imprevedibili (identificatori, timestamp, contenuti di dataframe).
• Obiettivo: Fornire familiarità con il dominio e insegnare relazioni comuni tra entità e idiomi di codice, fungendo da inizializzazione necessaria per l'agente.

3. Stadio II: Reinforcement Learning orientato all'Esecuzione (RL)

Il secondo stadio applica la Group Relative Policy Optimization (GRPO) per allineare la policy dell'agente con il feedback di esecuzione.

• Funzione di Reward: Il reward totale ($R_{total}$) è una combinazione pesata di:
  • $R_{outcome}$: Successo dell'esecuzione e correttezza dei test unitari.
  • $R_{process}$: Struttura della chiamata allo strumento, qualità del codice ed evitamento di anti-pattern (es. join ridondanti).
  • $R_{consistency}$: Accordo tra il piano dichiarato e il codice generato.
  • $R_{judge}$: Valutazione dell'LLM-judge per l'allineamento con il business.
• Infrastruttura: Il sistema utilizza estensioni di VERL e SLIME per supportare rollout multi-turn asincroni, propagando i reward degli strumenti a livello di step e gestendo i turni di risposta degli strumenti stateful.

Contributi Chiave

1. Sistema di Rollout Enterprise Pianificato: Una descrizione di un setting di deployment per l'analisi pubblicitaria che copre 25 entità collegate allo schema e 30 workflow agentici, valutati rispetto ad API beta.
2. Ricetta di Post-Training priva di Schema: Una nuova combinazione di PLAN SFT e RL orientato all'esecuzione che riduce la dipendenza dall'iniezione esaustiva dello schema al tempo del prompt.
3. Valutazione Orientata alla Produzione: Una valutazione completa che misura la qualità del task, la coerenza, l'interazione multi-turn e l'efficienza, riportando delta confidenziali rispetto a un baseline di schema-stuffing.
4. Lezioni di Deployment: Documentazione di compromessi di design, modalità di fallimento ed estensioni infrastrutturali (VERL/SLIME) necessarie per il multi-turn tool-use RL in contesti enterprise.

Risultati

Valutato contro un baseline di schema-stuffing, CRAFT dimostra miglioramenti significativi in qualità ed efficienza:

• Metriche di Performance:
  • Agent Score: Migliorato di +9.6 punti percentuali (pp).
  • Coerenza: Migliorata di +4.1 pp.
  • Coerenza Multi-turn: Migliorata di +4.2 pp.
• Metriche di Efficienza:
  • Carico di Token di Input: Ridotto di circa 9 volte (0.11x del baseline) grazie alla rimozione dello schema.
  • Cicli di Scoperta dello Schema (Schema-Discovery Loops): Ridotti fino a 5 volte (0.20x del baseline), indicando che l'agente richiede meno round di esplorazione per trovare percorsi di esecuzione validi.
• Analisi dei Componenti: I miglioramenti sono stati distribuiti tra successo di esecuzione, correttezza dell'uso degli strumenti, allineamento piano-codice e accuratezza della risposta finale, piuttosto che concentrati in un singolo parametro.
• Capacità Generali: I benchmark pubblici (IFEval, GSM8K, GPQA) hanno mostrato delta quasi nulli, indicando l'assenza di regressioni materiali nelle capacità di ragionamento generale.

Significato e Rivendicazioni

Il documento sostiene che CRAFT offre una via percorribile per il deployment di agenti di codifica affidabili in ambienti enterprise dove gli schemi sono proprietari e stabili. Spostando la conoscenza stabile dello schema dal contesto del prompt ai pesi del modello tramite post-training, il sistema ottiene:

• Scalabilità: Drastica riduzione dell'overhead dei token, rendendo economicamente sostenibili le interazioni multi-turn.
• Robustezza: Maggiore capacità di gestire raffinamenti multi-turn e recuperare dai fallimenti di esecuzione senza reiniettare un contesto massiccio.
• Manutenibilità: Disaccoppiamento del ragionamento centrale dell'agente dalle versioni specifiche dello schema, riducendo la necessità di aggiornare le pipeline dei prompt durante l'evoluzione dello schema.

Gli autori posizionano modestamente CRAFT come una "ricetta di post-training per agenti di codifica che operano su schemi proprietari stabili in un setting di rollout pianificato", sottolineando esplicitamente che non è un sostituto per il retrieval o il grounding degli strumenti in contesti open-world arbitrari. Il lavoro enfatizza che, mentre lo SFT fornisce la necessaria familiarità con il dominio, il RL orientato all'esecuzione è critico per allineare la policy decisionale interattiva dell'agente riguardo alla selezione degli strumenti e alla risoluzione delle ambiguità.