Riepilogo Tecnico: Ripensare DAgger nell'Era degli Agenti LLM

Enunciato del Problema

Gli agenti basati su Modelli Linguistici (LLM) a lungo orizzonte operano in ambienti interattivi multi-turno (ad esempio, ingegneria del software, navigazione web) dove un singolo errore precoce può alterare la distribuzione degli stati, causando la divergenza dell'agente dalla traiettoria delle dimostrazioni esperte di successo. Questo fenomeno, noto come spostamento dei covariati (covariate shift), rappresenta una sfida significativa per gli algoritmi di post-addestramento. I metodi esistenti soffrono di limitazioni strutturali in questo contesto:

• Fine-Tuning Supervisionato (SFT): Addestra su stati indotti dall'esperto ma fallisce durante il deployment perché lo studente genera i propri stati, portando a una discrepanza tra le distribuzioni di addestramento e di test.
• Apprendimento per Rinforzo con Ricompense Verificabili (RLVR): Impara da rollout on-policy per evitare la discrepanza di distribuzione, ma si basa su ricompense sparse a livello di risultato, portando a una difficile assegnazione del credito e a costi computazionali elevati.
• Distillazione On-Policy (OPD): Cerca di combinare la copertura degli stati on-policy con la supervisione dell'insegnante, ma si scontra con un collo di bottiglia di "avvio a freddo" (cold-start) in cui studenti deboli generano traiettorie improduttive nelle fasi iniziali dell'addestramento, costringendo l'insegnante a supervisionare prefissi falliti. Inoltre, l'OPD richiede spesso l'accesso ai logit dell'insegnante, limitandone l'uso con modelli black-box.

La domanda centrale affrontata è: Esiste un metodo che possa sfruttare simultaneamente feedback densi, mantenere la copertura degli stati on-policy e fornire un accesso precoce a traiettorie di successo?

Metodologia

Gli autori riprendono l'Aggregazione dei Dati (DAgger), un classico algoritmo di apprendimento per imitazione, e lo adattano per agenti LM multi-turno. Il principio fondamentale è addestrare lo studente sugli stati che è effettivamente probabile visiti, piuttosto che solo sugli stati indotti dall'esperto.

Rollout Intercalato con Insegnante

Il metodo proposto impiega una miscela stocastica delle politiche dello studente e dell'insegnante durante la raccolta delle traiettorie. Vengono introdotte due strategie specifiche di rollout:

1. Stile DAgger (Miscela a livello di turno): Ad ogni turno $t$, un'azione viene eseguita dalla politica dell'insegnante $\pi_e$ con probabilità $\beta_i$ o dalla politica dello studente $\pi_\theta$ con probabilità $1-\beta_i$. Il parametro di miscelazione $\beta_i$ viene ridotto (annealed) da 1.0 a un limite inferiore (ad esempio, 0.6) nel corso delle iterazioni di addestramento.
2. Stile AggreVaTe (Miscela a livello di traiettoria): Lo studente genera un prefisso iniziale di lunghezza $\kappa$, dopo di che l'insegnante subentra per completare la traiettoria. La distribuzione della lunghezza del prefisso è programmata per crescere nel tempo.

Meccanismo Chiave: Indipendentemente dal fatto che lo studente o l'insegnante esegua l'azione in un dato stato, l'insegnante viene interrogato per l'azione corretta ad ogni stato visitato. Lo studente viene quindi addestrato tramite apprendimento supervisionato (perdita di entropia incrociata) per imitare queste azioni dell'insegnante sugli stati che ha effettivamente incontrato.

Framework Unificato

Il paper colloca questo approccio all'interno di un framework unificato di post-addestramento definito da tre componenti:

• Distribuzione del Contesto ($p_s$): La distribuzione degli stati visitati (miscela di studente e insegnante in DAgger rispetto a puro insegnante in SFT o puro studente in RL).
• Distribuzione delle Etichette ($p_a$): La fonte delle etichette delle azioni (Insegnante in DAgger rispetto a Studente in RL/OPD).
• Funzione di Punteggio ($w(s,a)$): Il peso assegnato ai campioni (Uniforme in DAgger rispetto a basato sull'Advantage in RL).

Utilizzando una distribuzione del contesto mista con etichette dell'insegnante e pesi uniformi, il metodo colma il divario tra SFT (supervisione densa, spostamento dei covariati) e RL/OPD (copertura on-policy, problemi di scarsità delle ricompense e avvio a freddo).

Contributi Chiave

1. Adattamento Algoritmico: Adatta con successo DAgger per agenti LLM a lungo orizzonte, consentendo al modello di imparare da stati realistici di deployment ricevendo al contempo supervisione densa a livello di token da un insegnante.
2. Mitigazione dell'Avvio a Freddo: A differenza dell'OPD, l'approccio intercalato con insegnante garantisce che le traiettorie iniziali siano guidate dall'insegnante, impedendo allo studente di rimanere bloccato in stati improduttivi durante la fase iniziale di addestramento.
3. Compatibilità Black-Box: Il metodo richiede solo che l'insegnante fornisca etichette delle azioni (token), non logit, rendendolo compatibile con LLM black-box (ad esempio, GPT, Gemini).
4. Validazione Empirica: Dimostra miglioramenti coerenti rispetto a SFT, RL (GRPO) e Distillazione On-Policy su compiti di ingegneria del software.

Risultati Sperimentali

Il metodo è stato valutato su SWE-Gym (addestramento) e SWE-Bench Verified (valutazione fuori dominio) utilizzando modelli studenti Qwen3-4B e Qwen3-8B con un insegnante Qwen3-30B.

• Miglioramenti delle Prestazioni:
  • Modello 4B: Ha raggiunto il 27,3% su SWE-Bench Verified, superando la baseline di post-addestramento più forte (OPD) di +3,9 punti e superando sistemi rappresentativi di agenti SWE pubblicati da 8B.
  • Modello 8B: Ha raggiunto il 29,8% su SWE-Bench Verified, superando l'OPD di +3,6 punti e battendo il sistema su scala 32B SWE-Gym-32B di +9,2 punti.
• Stabilità dell'Addestramento: Il metodo ha mostrato traiettorie di scalabilità più stabili rispetto a SFT e OPD, in particolare nelle fasi iniziali (avvio a freddo).
• Riduzione dello Spostamento dei Covariati: L'analisi della divergenza KL inversa ha mostrato che l'addestramento in stile DAgger ha ridotto significativamente la divergenza tra la distribuzione di deployment dello studente e quella dell'insegnante rispetto a SFT, che ha sofferto di un rimbalzo della divergenza man mano che l'addestramento procedeva.
• Miglioramenti Comportamentali: L'analisi qualitativa ha indicato che gli agenti addestrati con DAgger hanno commesso meno errori di sintassi/runtime e hanno mostrato migliori comportamenti di recupero, spostando le modalità di fallimento da errori "passivi" (ad esempio, nessuna sottomissione) a limitazioni più difficili come l'overflow del contesto.

Significato e Affermazioni

Il paper afferma che la correzione esplicita della distribuzione degli stati tramite DAgger intercalato con insegnante è un ingrediente potente per il post-addestramento di agenti LM a lungo orizzonte. I risultati suggeriscono che:

• Modelli più piccoli (4B/8B) addestrati con questo metodo possono avvicinarsi o superare le prestazioni di sistemi significativamente più grandi (32B).
• L'approccio mitiga efficacemente la discrepanza di distribuzione tra addestramento e test intrinseca nell'SFT, evitando al contempo i problemi di ricompensa scarsa e avvio a freddo di RL e OPD.
• Questa metodologia offre una ricetta pratica ed efficiente in termini di campioni per il deployment di agenti robusti che utilizzano strumenti in ambienti complessi e multi-turno.

Gli autori sottolineano che, sebbene il metodo migliori l'affidabilità e l'efficienza dei campioni, i colli di bottiglia rimanenti per questi agenti sono sempre più legati alla capacità di contesto lungo (ad esempio, overflow del contesto) piuttosto che all'algoritmo di addestramento stesso.