Technische Samenvatting: CRAFT – Leer het Schema, Voer het Plan Uit

Probleemstelling

Enterprise coding-agents worden steeds vaker gebruikt om natuurlijke taal-gebaseerde analytische verzoeken te vertalen naar uitvoerbare code over propriëtaire API's en schema's. De heersende implementatiepatronen vertrouwen echter op "context stuffing", waarbij uitgebreide schema-definities (DDL), API-documentatie en tool-instructies in elke prompt worden geïnjecteerd. Deze aanpak presenteert drie kritieke uitdagingen voor productie-analyse:

1. Inference Overhead: Lange schema-prompts concurreren met gebruikersbeurten en tussenresultaten voor het werkgeheugen, wat de tokenkosten aanzienlijk verhoogt.
2. Fragiliteit bij Schema-evolutie: Fysieke schema-wijzigingen (bijv. kolomhernoemingen, tabelmigraties) vereisen frequente updates van prompt-pipelines en regressietesten.
3. Multi-Turn Betrouwbaarheid: De constante herinjectie van statische context ondermijnt de consistentie en coherentie in multi-turn analytische dialogen, waarbij de agent beperkingen moet behouden en de analyse moet voortzetten in plaats van elke beurt onafhankelijk te behandelen.

De auteurs onderzoeken of stabiele schema-kennis en tool-gebruik gedrag kunnen worden verworven via post-training in plaats van via transiënte prompt-context, om zo de vereiste consistentie voor productie-georiënteerde analytics te waarborgen.

Methodologie

Het paper stelt CRAFT voor, een tweefasige post-training recept ontworpen voor schema-gegronde coding-agents. Het systeem wordt geëvalueerd binnen een gecontroleerde enterprise-omgeving met bèta-API's en schema-gelinkte advertentiegegevens, om blootstelling aan klantgevoelige productiedata te vermijden.

1. Traject-distillatie en Filtering

Om het gebrek aan menselijke grondwaarheid voor langdurige, multi-tool codegeneratie aan te pakken, behandelen de auteurs trajectgeneratie als een verifieerbaar zoekprobleem. Teacher-modellen genereren kandidaat-trajecten met een drieblokken-formaat: een reasoning scratchpad, een business-niveau <PLAN> blok (dat entiteiten/metrieken uitlegt zonder ruwe DDL) en een uitvoerbaar <CODE> blok.

• Tri-Gate Filter: Een driestaps rejectie-filter cureert de trainingsdata van meer dan 100K gegenereerde trajecten terug naar 15,1K geaccepteerde trajecten:
  • Gate 1: Wijst executiefouten, syntaxisfouten en timeouts af.
  • Gate 2: Wijst lege of incomplete outputs af.
  • Gate 3: Gebruikt een LLM-judge ensemble om semantische mismatches tussen de prompt, het plan en de code te detecteren.

2. Fase I: Schema-gestripte PLAN Supervised Fine-Tuning (SFT)

De eerste fase traint een 120B MoE base model om domein-gestructureerde plannen en uitvoerbaar gedrag te leren zonder uitgebreide prompt-time schema-injectie.

• Schema Stripping: De 50K+ token schema-context wordt verwijderd uit de input. Het model moet vertrouwen op geïnternaliseerde domeinstructuur.
• Loss Masking: Tool-outputs worden gemaskeerd voor de loss-functie om te voorkomen dat het model onvoorspelbare runtime-waarden (identifiers, timestamps, dataframe-inhoud) memoriseert.
• Doelstelling: Om domeinkennis te bieden en veelvoorkomende entiteitsrelaties en code-idiomen aan te leren, dienend als een noodzakelijke initialisatie voor de agent.

3. Fase II: Executie-gestuurde Reinforcement Learning (RL)

De tweede fase past Group Relative Policy Optimization (GRPO) toe om de policy van de agent af te stemmen op executie-feedback.

• Reward Functie: De totale beloning ($R_{total}$) is een gewogen combinatie van:
  • $R_{outcome}$: Executie succes en unit test correctheid.
  • $R_{process}$: Tool-call structuur, code kwaliteit en het vermijden van anti-patronen (bijv. redundante joins).
  • $R_{consistency}$: Overeenstemming tussen het gestelde plan en de gegenereerde code.
  • $R_{judge}$: LLM-judge beoordeling voor business alignment.
• Infrastructuur: Het systeem maakt gebruik van extensies van VERL en SLIME om asynchrone multi-turn rollouts te ondersteunen, waarbij step-level tool-rewards worden gepropageerd en stateful tool-response beurten worden afgehandeld.

Belangrijkste Bijdragen

1. Planned-Rollout Enterprise Systeem: Een beschrijving van een deployment setting voor advertentie-analytics die 25 schema-gelinkte entiteiten en 3o agentic workflows beslaat, geëvalueerd tegen bèta-API's.
2. Schema-gestripte Post-Training Recept: Een nieuwe combinatie van PLAN SFT en executie-gestuurde RL die de afhankelijkheid van uitgebreide prompt-time schema-injectie vermindert.
3. Productie-georiënteerde Evaluatie: Een uitgebreide evaluatie die taakkwaliteit, consistentie, multi-turn interactie en efficiëntie meet, waarbij vertrouwelijke delta's over een schema-gestuffed baseline worden gerapporteerd.
4. Deployment Lessen: Documentatie van design trade-offs, faalmodi en infrastructuur-extensies (VERL/SLIME) die vereist zijn voor multi-turn tool-use RL in enterprise settings.

Resultaten

Geëvalueerd tegen een schema-gestuffed baseline, demonstreert CRAFT significante verbeteringen in kwaliteit en efficiëntie:

• Prestatie-metrieken:
  • Agent Score: Verbeterd met +9,6 procentpunt (pp).
  • Consistentie: Verbeterd met +4,1 pp.
  • Multi-turn Coherentie: Verbeterd met +4,2 pp.
• Efficiëntie-metrieken:
  • Input Token Last: Verminderd met ongeveer 9x (0,11x van de baseline) door schema stripping.
  • Schema-discovery loops: Verminderd met tot wel 5x (0,20x van de baseline), wat aangeeft dat de agent minder exploratierondes nodig heeft om geldige executiepaden te vinden.
• Component Analyse: Verbeteringen waren verdeeld over executie succes, tool-use correctheid, plan-code alignment en final-answer accuratesse, in plaats van geconcentreerd te zijn in één enkele metriek.
• Algemene Capaciteiten: Publieke benchmarks (IFEval, GSM8K, GPQA) vertoonden nagenoeg nul delta's, wat duidt op geen materiële regressie in algemene redeneerkracht.

Betekenis en Claims

Het paper claimt dat CRAFT een levensvatbaar pad biedt voor het deployen van betrouwbare coding-agents in enterprise omgevingen waar schema's propriëtair en stabiel zijn. Door stabiele schema-kennis van de prompt-context naar de modelgewichten te verplaatsen via post-training, bereikt het systeem:

• Schaalbaarheid: Drastische reductie in token overhead, waardoor multi-turn interacties economisch haalbaar worden.
• Robuustheid: Verbeterd vermogen om multi-turn verfijningen aan te gaan en te herstellen van executiefouten zonder massale context opnieuw te injecteren.
• Onderhoudbaarheid: Ontkoppeling van de kernredenering van de agent van specifieke schema-versies, wat de noodzaak voor prompt-pipeline updates tijdens schema-evolutie vermindert.

De auteurs positioneren CRAFTS bescheiden als een "post-training recept voor coding-agents die opereren over stabiele propriëtaire schema's in een planned-rollout setting", waarbij zij expliciet opmerken dat het geen vervanging is voor retrieval of in-context tool grounding in willekeurige open-world domeinen. Het werk benadrukt dat hoewel SFT de noodzakelijke domeinkennis biedt, executie-gestuurde RL cruciaal is voor het afstemmen van de interactieve beslissingspolicy van de agent met betrekking tot tool-selectie en ambiguïteitsresolutie.