CurateEvo: Data-Curation Evolving for Agentic Post-Training

Riepilogo Tecnico: CURATEEVO

Definizione del Problema

Gli agenti basati su Large Language Models (LLM) richiedono metodi di post-training capaci di migliorare il processo decisionale a lungo termine utilizzando il feedback dall'ambiente. Sebbene la qualità dei dati sia un determinante noto delle prestazioni nell'agentic post-training, le pipeline di cura dei dati esistenti soffrono di due limitazioni primarie:

1. Negligenza nella Cura (Curation Neglect): La maggior parte dei metodi si concentra principalmente sull'aumento dei dati (raccolta di traiettorie fallite) trascurando le operazioni critiche di filtraggio e raffinamento dei dati. Ciò spesso risulta nell'inclusione di dati di bassa qualità o ridondanti, aumentando i costi di addestramento senza guadagni proporzionali nelle prestazioni.
2. Rigidità di Adattamento (Adaptation Rigidity): Le pipeline esistenti si affidano a regole di elaborazione dei dati fisse. Queste strategie statiche faticano ad adattarsi ad applicazioni downstream fuori distribuzione o a modalità di fallimento evolutive, poiché non possono regolare dinamicamente le debolezze specifiche dell'attuale policy dell'agente.

Metodologia: CURATEEVO

Gli autori propongono CURATEEVO, un framework di evoluzione dinamica guidata dai fallimenti per la cura dei dati di agentic post-training. A differenza degli approcci tradizionali che trattano la cura come un passaggio di pre-elaborazione statico, CURATEEVO tratta la strategia di cura come codice eseguibile che viene iterativamente riscritto sulla base del feedback dall'ambiente.

Framework Core

Il framework opera in cicli di evoluzione multi-epoca:

1. Rappresentazione: La strategia di cura $\rho$ è rappresentata come codice eseguibile che trasforma un corpus grezzo fisso ($D_{raw}$) in tre risorse:
   • Dati di Supervised Fine-Tuning ($D_{SFT}$).
   • Dati di Reinforcement Learning ($D_{RL}$).
   • Un banco di memoria per il tempo di inferenza ($M_{mem}$).
2. Addestramento ed Evoluzione: Una policy dell'agente viene addestrata partendo da un modello base fisso utilizzando una ricetta fissa (SFT + GRPO) sui dati curati. La policy viene poi valutata su un set di sviluppo tenuto separato ($Q_{dev}$).
3. Raccolta del Feedback: Vengono raccolte le traiettorie fallite dal set di sviluppo, insieme alle statistiche sulla attuale cura dei dati (scala, distribuzione dei turni, ridondanza).
4. Evoluzione del Codice: Un agente di evoluzione del codice basato su LLM analizza le traiettorie fallite per diagnosticare le modalità di fallimento ricorrenti (ad es., selezione errata dello strumento, pianificazione debole, discrepanze della memoria). Successivamente, riscrive il codice di cura ($\rho$) per affrontare questi problemi.

Obiettivo di Ottimizzazione

Il processo di evoluzione ottimizza una funzione obiettivo consapevole dei costi $J(\rho) = P(\rho) - \lambda C(\rho)$, dove:

• Efficacia ($P(\rho)$): Misurata tramite le prestazioni downstream dell'agente addestrato con le risorse curate. L'agente di evoluzione punta prima a questo obiettivo aumentando i dati per coprire le capacità mancanti, filtrando gli esempi fuorvianti e raffinando le traiettorie deboli.
• Efficienza ($C(\rho)$): Misurata tramite il costo dei turni di addestramento normalizzato. Dopo aver affrontato l'efficacia, l'agente elimina i turni ridondanti, rimuove i campioni a bassa utilità e tronca le traiettorie eccessivamente lunghe per ridurre la scala di addestramento preservando al contempo i segnali di supervisione critici.

Se una strategia evoluta non riesce a migliorare l'obiettivo, il processo effettua un rollback per prevenire il cascata di errori.

Contributi Chiave

1. Framework di Evoluzione Dinamica: La proposta di CURATEEVO, che sposta la cura dei dati da una pipeline statica a un processo di evoluzione dinamico basato sul codice e guidato dai fallimenti dell'agente.
2. Ottimizzazione Congiunta: Il framework considera congiuntamente l'aumento dei dati, il filtraggio e il raffinamento, permettendo miglioramenti delle prestazioni e contemporaneamente riducendo i costi di addestramento.
3. Adattabilità: Revisando dinamicamente il codice di cura in base al feedback di valutazione, il metodo si adatta ad applicazioni fuori distribuzione e a modalità di fallimento specifiche, diversamente dalle pipeline fisse.
4. Costruzione delle Risorse: Il metodo costruisce esplicitamente non solo i dati di addestramento (SFT/RL), ma anche un banco di memoria per il tempo di inferenza, creando un set di risorse olistico.

Risultati Sperimentali

Gli autori hanno valutato CURATEEVO su ACEBench-Agent, BFCL-V4 e $\tau^2$-Bench sotto due configurazioni: Dati Etichettati (traiettorie annotate da umani) e Dati Wild (log di interazione reale degli utenti).

• Guadagni di Prestazioni:
  • Nella configurazione Dati Etichettati, CURATEEVO ha migliorato i punteggi medi di 3,2 punti rispetto ai più forti baseline precedenti.
  • Nella configurazione Dati Wild, ha migliorato i punteggi medi di 2,7 punti.
  • Notevolmente, l'uso di un modello con 4 miliardi di parametri (QWEN3-4B) in CURATEEVO ha superato diversi metodi precedenti che utilizzavano modelli da 8 miliardi, suggerendo che la cura adattiva può avere un impatto paragonabile all'aumento delle dimensioni del modello.
• Efficienza: CURATEEVO ha ridotto l'overhead dei token di circa il 48% e l'overhead del tempo di esecuzione (wall-clock) del 50% per ogni 1.000 turni di addestramento trattenuti rispetto ai baseline precedenti. Questa efficienza deriva dall'evoluzione del codice su un corpus fisso piuttosto che dal ricorso a costose interazioni con l'ambiente o utenti simulati.
• Compatibilità: Le risorse curate prodotte da CURATEEVO sono compatibili con diverse ricette di post-training (ad es., AgentGym-RL, ProRL-Agent), producendo un ulteriore miglioramento medio di 21,3 punti quando combinate con questi metodi.
• Studi di Ablazione:
  • La rimozione della revisione orientata all'efficacia ha causato il calo di prestazioni più significativo (~7 punti), confermando che la diagnosi delle modalità di fallimento è il principale motore del successo.
  • La rimozione della revisione orientata all'efficienza ha causato anch'essa un calo costante, indicando che la rimozione della ridondanza migliora la qualità dei dati, non solo la scala.
  • È stato riscontrato che tutte e tre le risorse (SFT, RL, Memoria) sono complementari.

Significato e Rivendicazioni

Il documento sostiene che la cura dei dati adattiva e guidata dal feedback è una direzione pratica ed efficace per migliorare gli agenti LLM. La significatività di CURATEEVO risiede nella sua capacità di:

• Trasformare il processo di cura da un "passaggio di pre-elaborazione fisso" in un ciclo di ottimizzazione iterativo e consapevole dei fallimenti.
• Dimostrare che il filtraggio e il raffinamento sono critici quanto l'aumento dei dati per l'agentic post-training.
• Mostrare che la cura consapevole dei costi può ridurre l'overhead di addestramento migliorando simultaneamente le prestazioni downstream, rendendola adatta alle applicazioni di agenti reali dove i dati possono essere rumorosi o imperfetti.

Gli autori posizionano CURATEEVO non come un sostituto di specifici algoritmi di ottimizzazione della policy, ma come un potenziamento modulare lato dati che migliora la qualità e l'efficienza delle risorse di addestramento ($D_{SFT}$, $D_{RL}$, $M_{mem}$) fornite a qualsiasi pipeline di agentic post-training.