Riassunto Tecnico: TurnOPD

Problematica

La distillazione on-policy (OPD) è un framework promettente per l'addestramento di agenti linguistici, in cui un modello studente impara da un insegnante più forte emulando la distribuzione dell'insegnante sulle proprie traiettorie generate. Tuttavia, l'applicazione della vanilla OPD a task di agenti a lungo raggio (che coinvolgono interazioni multi-turno, uso di strumenti e cambiamenti ambientali) rivela due inefficienze critiche che degradano le prestazioni di addestramento e l'utilizzo delle risorse:

1. Mismatch Esterno (Profondità di Rollout): La vanilla OPD utilizza tipicamente rollout a orizzonte completo e fisso. Gli autori identificano che il segnale di supervisione reverse-KL è fortemente sbilanciato verso i primi turni. Man mano che l'addestramento procede e le traiettorie si estendono, i turni nella "coda" spesso forniscono segnali KL deboli, rumorosi o non informativi. Continuare a calcolare rollout a lunghezza completa spreca risorse di tempo di calcolo (wall-clock) su questi step a bassa resa.
2. Mismatch Interno (Allocazione della Perdita): Gli obiettivi KL standard a livello di traiettoria normalizzano la perdita in base al conteggio dei token. Poiché i primi turni spesso contengono più token e una divergenza KL iniziale più elevata, essi dominano il budget della perdita. Di conseguenza, i turni decisionali più profondi — che sono cruciali per il successo a lungo raggio ma contengono meno token e una KL grezza inferiore — ricevono una supervisione insufficiente. Gli autori formalizzano questo fenomeno come un meccanismo di contaminazione-compressione: man mano che lo studente genera più contesto, la distribuzione del prossimo token diventa sempre più "forzata" da formati o pattern ripetitivi, comprimendo la KL osservabile anche se persistono reali disaccordi nella policy. Ciò porta a uno scenario in cui i turni profondi vengono sotto-addestrati una volta che i comportamenti iniziali si sono allineati.

Metodologia: TurnOPD

Per affrontare questi mismatch, gli autori propongono TurnOPD, una strategia di budgeting a livello di turno che gestisce dinamicamente sia l'orizzonte di rollout che l'allocazione della perdita. TurnOPD consiste in due controller adattivi:

1. Adaptive Rollout-Depth Budgeting (Budgeting Adattivo della Profondità di Rollout)

Questo controller determina dinamicamente la lunghezza ottimale del rollout ($H_{ctrl}$) per evitare di sprecare calcolo su turni di coda a basso segnale. Esso sintetizza due segnali:

• Proxy di Efficienza ($H_{eff}$): Calcola il centroide della distribuzione reverse-KL pesata sui sopravvissuti. Tratta il segnale KL come una distribuzione di massa di distillazione, spostando la profondità target in base a dove si concentrano i segnali di correzione significativi.
• Limite Inferiore di Copertura ($H_{cov}$): Garantisce che il rollout sia abbastanza profondo da coprire un quantile specifico (ad esempio, l'80%) di traiettorie di successo. Questo impedisce al controller di troncare i rollout in modo troppo aggressivo, assicurando che lo studente osservi ancora un numero sufficiente di completamenti riusciti.
• Meccanismo: Il controller aggiorna $H_{ctrl} = \max(H_{eff}, H_{cov})$ utilizzando periodicamente dei probe di rollout a lunghezza completa per stimare le statistiche, mentre i passaggi di addestramento di routine utilizzano l'orizzonte limitato.

2. Progressive Turn-Normalized Loss Budgeting (Budgeting della Perdita Progressiva Normalizzata per Turno)

Questo controller affronta il mismatch interno spostando gradualmente la strategia di aggregazione della perdita dal livello di token a una supervisione bilanciata per turno.

• Blending Lineare: Invece di un passaggio netto, il metodo interpola linearmente tra il peso standard a livello di traiettoria (proporzionale al conteggio dei token, $q_{traj}$) e un peso uniforme a livello di turno ($q_{turn}$).
• Progressione: Il coefficiente di blending $\alpha$ aumenta linearmente con il progredire dell'addestramento. Inizialmente ($\alpha \approx 0$), la perdita segue la massa dei token per garantire la stabilità. Man mano che l'addestramento avanza, $\alpha$ aumenta, spostando il peso verso i turni più profondi per garantire che ricevano una supervisione adeguata per raffinare il processo decisionale complesso.

Contributi Chiave

1. Diagnosi a Livello di Turno: Il paper fornisce un'analisi sistematica di OPD in contesti a lungo raggio, rivelando che i segnali di supervisione e i budget di ottimizzazione sono distribuiti in modo non uniforme tra i turni. Identifica il fenomeno della "contaminazione-compressione" dove i vincoli indotti dal contesto sopprimono artificialmente la KL osservabile nei turni profondi.
2. Formalizzazione dei Mismatch: Gli autori formalizzano il "mismatch esterno" (profondità fissa vs utilità variabile del segnale) e il "mismatch interno" (perdita pesata sui token vs importanza a livello di turno) come le cause radice dell'inefficienza della vanilla OPD.
3. Framework TurnOPD: La proposta di un sistema a doppio controller che adatta simultaneamente la profondità di rollout e la normalizzazione della perdita, progettato specificamente per la natura condizionata al turno delle interazioni degli agenti.
4. Validazione Empirica: Esperimenti estesi che dimostrano come TurnOPD avanzi la frontiera accuratezza-tempo, raggiungendo prestazioni superiori con una riduzione significativa del tempo di addestramento rispetto alla vanilla OPD e ad altri baseline.

Risultati Sperimentali

Gli autori hanno valutato TurnOPD su tre benchmark rappresentativi: ALFWorld (pianificazione incarnata), WebShop (navigazione web) e Multi-Hop Search (recupero informazioni). Hanno utilizzato varie coppie studente-insegnante (ad esempio, studenti Qwen3-1.7B/4B distillati da insegnanti Qwen3-8B/9B).

• Frontiera Accuratezza-Tempo: TurnPOD ha costantemente raggiunto la migliore "Least-Time" accuracy (la massima accuratezza raggiunta entro il minimo tempo di calcolo richiesto affinché qualsiasi metodo completi 100 step).
  • Su ALFWorld-1.7B, TurnOPD ha migliorato lo Same-Step Avg@4 da 83.0 (Vanilla OPD) a 86.3 riducendo al contempo il tempo di calcolo da 4.42 ore a 1.93 ore (un incremento di velocità di 2.29×).
  • Su WebShop, ha migliorato l'accuratezza riducendo il tempo da 1.57h a 1.24h.
  • Su Multi-Hop Search, ha ottenuto la migliore Least-Time accuracy, superando la vanilla OPD a parità di budget temporale.
• Studi di Ablazione:
  • Solo Adaptive Depth: Ha ridotto significativamente il tempo di calcolo (di circa il 55%) ma ha leggermente degradato l'accuratezza, confermando che accorciare i rollout risparmia calcolo ma non risolve il problema dell'allocazione della perdita.
  • Solo Linear Blend Norm: Ha migliorato l'accuratezza riallocando la perdita ai turni profondi, ma non ha ridotto il tempo di calcolo.
  • Combinato: L'approccio completo TurnOPD ha raggiunto il trade-off ottimale, sfruttando sia l'efficienza che le leve di ottimizzazione.
• Dinamica dei Controller: L'analisi ha mostrato che il controller adattivo ha tracciato con successo i segnali diagnostici, aumentando la profondità del rollout con l'emergere di traiettorie di successo e bilanciando efficienza e vincoli di copertura.

Significato e Rivendicazioni

Il paper sostiene che TurnOPD offra un framework più efficiente ed efficace per l'addestramento di agenti linguistici a lungo raggio. Il suo significato primario risiede nello spostamento del paradigma di supervisione da una posizione piatta del token a una decisione condizionata al turno all'interno di una traccia di interazione in evoluzione.

Gli autori affermano che:

• La supervisione KL standard e la normalizzazione lungo l'intera traiettoria sono insufficienti per gli agenti a lungo raggio a causa dei specifici mismatch strutturali identificati.
• TurnOPD sposta la frontiera accuratezza-tempo, consentendo agli agenti di raggiungere livelli di prestazione più elevati con un addestramento fino a 2.29× più veloce.
• L'approccio è robusto rispetto a diverse dimensioni dei modelli e tipi di task, suggerendo che il budgeting consapevole del turno sia un principio generalizzabile per l'addestramento di agenti.

Il paper conclude che TurnOPD apre la strada verso un addestramento consapevole del turno e adattivo al budget, affrontando le sfide specifiche dei task di agenti a lungo raggio che gli obiettivi di generazione di sequenze vanilla non riescono a risolvere.