Technische Samenvatting: CURATEEVO

Probleemstelling

Large Language Model (LLM) agents vereisen post-training methoden die in staat zijn om de besluitvorming over lange termijn (long-horizon decision-making) te verbeteren met behulp van feedback uit de omgeving. Hoewel datakwaliteit een bekende determinant is voor prestaties in agentic post-training, lijden bestaande pipelines voor datacuratie onder twee primaire beperkingen:

1. Curation Neglect (Verwaarlozing van Curatie): De meeste methoden richten zich primair op data-augmentatie (het verzamelen van meer mislukte trajecten), terwijl ze de cruciale operaties van het filteren en verfijnen van data verwaarlozen. Dit resulteert vaak in de inclusie van lage kwaliteit of redundante data, wat de trainingskosten verhoogt zonder evenredige prestatiewinst.
2. Adaptation Rigidity (Rigiditeit in Adaptatie): Bestaande pipelines vertrouwen op vaste dataprocessingregels. Deze statische strategieën kunnen moeilijk adapteren aan out-of-distribution downstream toepassingen of evoluerende faalmodi, omdat ze niet dynamisch kunnen aanpassen aan de specifieke zwakheden van de huidige agent-policy.

Methodologie: CURATEEVO

De auteurs stellen CURATEEVO voor, een failure-driven dynamisch evolutie-framework voor agentic post-training datacuratie. In tegen tegenstelling tot traditionele benaderingen die curatie behandelen als een statische preprocessing-stap, behandelt CURATEEVO de curatiestrategie als uitvoerbare code die iteratief wordt herschreven op basis van feedback uit de omgeving.

Kernframework

Het framework werkt in multi-epoch evolutiecycli:

1. Representatie: De curatiestrategie $\rho$ wordt gerepresenteerd als uitvoerbare code die een vaste ruwe corpus ($D_{raw}$) transformeert naar drie resources:
   • Supervised Fine-Tuning data ($D_{SFT}$).
   • Reinforcement Learning data ($D_{RL}$).
   • Een inference-time memory bank ($M_{mem}$).
2. Training & Evaluatie: Een agent-policy wordt getraind vanuit een vast basemodel met behulp van een vast recept (SFT + GRPO) op de gecureerde data. De policy wordt vervolgens geëvalueerd op een held-out development set ($Q_{dev}$).
3. Feedbackverzameling: Mislukte trajecten uit de development set worden verzameld, samen met statistieken over de huidige gecureerde data (schaal, turn-distributie, redundantie).
4. Code-evolutie: Een LLM-gebaseerde code-evolutie-agent analyseert de mislukte trajecten om terugkerende faalmodi te diagnosticeren (bijv. incorrecte toolselectie, zwakke planning, memory mismatches). Vervolgens herschrijft het de curatiecode ($\rho$) om deze problemen aan te pakken.

Optimalisatie-doelstelling

Het evolutieproces optimaliseert een kostenbewuste doelstelling $J(\rho) = P(\rho) - \lambda C(\rho)$, waarbij:

• Effectiviteit ($P(\rho)$): Gemeten door de downstream prestaties van de agent die getraind is met de gecureerde resources. De evolutie-agent richt zich hier eerst op door data te augmenteren om ontbrekende capaciteiten te dekken, misleidende voorbeelden te filteren en zwakke trajecten te verfijnen.
• Efficiëntie ($C(\rho)$): Gemeten door de genormaliseerde training-turn kosten. Nadat de effectiviteit is geadresseerd, snoeit de agent redundante turns weg, verwijdert het data met een lage utility en verkort het overly lange trajecten om de trainingsschaal te verkleinen terwijl kritieke supervisiesignalen behouden blijven.

Als een geëvolueerde strategie er niet in slaagt het doel te verbeteren, wordt het proces teruggedraaid (rollback) om foutcascades te voorkomen.

Belangrijkste Bijdragen

1. Dynamisch Evolutie-framework: Het voorstel van CURATEEVO, dat datacuratie verschuift van een statische pipeline naar een dynamisch, op code gebaseerd evolutieproces dat wordt gedreven door falen van de agent.
2. Gezamenlijke Optimalisatie: Het framework beschouwt gezamenlijk data-augmentatie, filtering en verfijning, waardoor prestatieverbeteringen mogelijk zijn terwijl de trainingskosten tegelijkertijd worden verlaagd.
3. Adaptiviteit: Door de curatiecode dynamisch te herzien op basis van evaluatie-feedback, past de methode zich aan aan out-of-distribution toepassingen en specifieke faalmodi, in tegen tegenstelling tot vaste pipelines.
4. Resource Constructie: De methode construeert expliciet niet alleen trainingsdata (SFT/RL), maar ook een inference-time memory bank, waardoor een holistische resource-set voor agent-training ontstaat.

Experimentele Resultaten

De auteurs evalueerden CURATEEVO op ACEBench-Agent, BFCL-V4, en $\tau^2$-Bench onder twee instellingen: Labeled Data (door mensen geannoteerde trajecten) en Wild Data (echte gebruikersinteractielogs).

• Prestatiewinsten:
  • In de Labeled Data instelling verbeterde CURATEEVO de gemiddelde scores met 3,2 punten ten opzichte van de sterkste eerdere baselines.
  • In de Wild Data instelling verbeterde het de gemiddelde scores met 2,7 punten.
  • Opvallend genoeg presteerde CURATEEVO met een 4B parameter model (QWEN3-4B) beter dan verschillende eerdere methoden met 8B modellen, wat suggereert dat adaptieve curatie net zo impactvol kan zijn als het vergroten van de modelgrootte.
• Efficiëntie: CURATEEVO verminderde de token-overhead met ongeveer 48% en de wall-clock overhead met 50% per 1.000 behouden training-turns vergeleken met eerdere baselines. Deze efficiëntie komt voort uit het evolueren van code over een vaste corpus in plaats van te vertrouwen op dure interacties met de omgeving of gesimuleerde gebruikers.
• Compatibiliteit: De door CURATEEVO geproduceerde gecureerde resources zijn compatibel met verschillende post-training recepten (bijv. AgentGym-RL, ProRL-Agent), wat een extra gemiddelde verbetering van 21,3 punten oplevert wanneer deze met deze methoden worden gecombineerd.
• Ablatie-studies:
  • Het verwijderen van de effectiviteitsgerichte revisie veroorzaakte de grootste prestatiedaling (~7 punten), wat bevestigt dat het diagnosticeren van faalmodi de primaire drijfveer van succes is.
  • Het verwijderen van de efficiëntiegerichte revisie veroorzaakte ook een consistente daling, wat aangeeft dat het wegknippen van redundantie de datakwaliteit verbetert, niet alleen de schaal vermindert.
  • Alle drie de resources (SFT, RL, Memory) bleken complementair te zijn.

Betekenis en Claims

Het artikel claimt dat adaptieve, feedback-gestuurde datacuratie een praktische en effectieve richting is voor het verbeteren van LLM agents. De betekenis van CURATEEVO ligt in het vermogen om:

• Het curatieproces te transformeren van een "vaste preprocessing-stap" naar een iteratieve, failure-aware optimalisatieloop.
• Aan te tonen dat filteren en verfijnen even cruciaal zijn als augmentatie voor agentic post-training.
• Aan te tonen dat kostenbewuste curatie de trainingsoverhead kan verminderen terwijl de downstream prestaties tegelijkertijd worden verbeterd, wat het geschikt maakt voor real-world agent-toepassingen waar data ruisachtig of imperfect kan zijn.

De auteurs positioneren CURATEEVO niet als een vervanging voor specifieke policy-optimalisatiealgoritmen, maar als een modulaire, aan de datazijde gerichte verbetering die de kwaliteit en efficiëntie van de trainingsresources ($D_{SFT}$, $D_{RL}$, $M_{mem}$) verhoogt die in elke agentic post-training pipeline worden gevoed.