Riepilogo Tecnico: Cosa e Quando Distillare: Distillazione Selettiva a Retrospettiva per Agenti Multi-Turno

1. Enunciato del Problema

L'apprendimento per rinforzo (RL) è un paradigma primario per l'addestramento di agenti basati su Modelli Linguistici di Grandi Dimensioni (LLM) in ambienti interattivi a lungo orizzonte (ad esempio, navigazione web, compiti incarnati). Tuttavia, esiste un collo di bottiglia critico nell'assegnazione del credito: segnali di successo sparsi a livello di traiettoria (ad esempio, un singolo reward di "compito completato") devono essere distribuiti su decine di azioni, molte delle quali sono passaggi di navigazione o formattazione di routine senza alcun impatto causale sul risultato.

I metodi esistenti presentano due limitazioni principali:

1. Assegnazione del Credito Grossolana: I metodi relativi al gruppo, come GRPO, trasmettono un unico vantaggio a livello di traiettoria a ogni token, trattando in modo identico le decisioni decisive e i token di interfaccia inerti.
2. Fuga di Informazioni Privilegiate nella Distillazione: Sebbene l'autodistillazione on-policy (OPD) possa fornire una supervisione densa a livello di token utilizzando un modello "insegnante" che osserva il feedback dell'ambiente (retrospettiva), l'imitazione indiscriminata rischia di far trapelare informazioni non disponibili allo studente al momento della decisione (ad esempio, osservazioni future, messaggi di errore). Ciò può amplificare preferenze stilistiche non correlate al successo del compito e destabilizzare l'addestramento.

La sfida fondamentale consiste nel determinare quali fonti di feedback siano utili, dove (con quale granularità) applicarle e come integrarle senza compromettere il legame causale tra la decisione dell'agente e il reward finale.

2. Metodologia: SERL

Gli autori propongono SERL (Selective Environment-Reweighted Learning), un framework che disaccoppia la direzione dell'aggiornamento dalla magnitudine e collocazione dell'aggiornamento.

Principio Fondamentale

• Reward del Compito: Determina la direzione dell'aggiornamento della politica (se rafforzare o sopprimere un comportamento).
• Feedback dell'Ambiente: Regola solo la collocazione (quali token) e la magnitudine (con quale intensità) di tale aggiornamento.

Componenti Chiave

A. Collocazione a Retrospettiva (Fonte e Granularità)

SERL esplora sistematicamente lo spazio di progettazione delle fonti di feedback e dei punti di inserimento:

• Fonti di Feedback: Feedback immediato ($r_t$), prossima osservazione ($s_{t+1}$), traiettoria futura ($\tau_{>t}$), traiettorie di successo ($\tau_+$) e combinazioni.
• Granularità:
  • Livello di Passo: Applica il feedback a ogni transizione.
  • Livello di Ancoraggio: Raggruppa stati semanticamente simili in "ancore" e applica il feedback solo ai cambiamenti di stato significativi per ridurre ridondanza e rumore.

B. Meccanismo Asimmetrico Insegnante-Studente

SERL impiega una politica insegnante con gradiente bloccato ($\pi_T$) condizionata alla retrospettiva posizionata $\Phi(t)$, mentre lo studente ($\pi_\theta$) vede solo il contesto al momento della decisione.

1. Divario di Log-Probabilità: Il sistema calcola il divario tra le log-probabilità dell'insegnante e dello studente per un token: $\Delta_{t,i} = \log \pi_T - \log \pi_\theta$.
2. Ripesatura Consapevole del Segno: Questo divario viene convertito in un peso limitato $w_{t,i}$ che modifica il vantaggio GRPO. Crucialmente, il segno del vantaggio GRPO originale ($A_t$) determina come il divario viene interpretato:
   • Se $A_t > 0$ (traiettoria di successo), i token favoriti dall'insegnante ricevono aggiornamenti positivi più ampi.
   • Se $A_t < 0$ (traiettoria fallita), i token sfavoriti dall'insegnante vengono penalizzati più severamente.
3. Mascheramento dei Token di Azione: La ripesatura è limitata ai token di azione eseguibili. I token di ragionamento e formattazione mantengono i loro pesi GRPO originali, impedendo all'insegnante di influenzare le parti non decisionali della generazione.
4. Programma di Decadimento: L'intensità della ripesatura a retrospettiva ($\alpha_k$) decade durante l'addestramento. Le fasi iniziali sfruttano una retrospettiva densa per l'assegnazione del credito durante l'esplorazione; le fasi successive restituiscono il controllo all'obiettivo guidato dal reward per prevenire un pregiudizio privilegiato persistente.

C. Funzione Obiettivo

L'obiettivo finale combina la perdita RL ripesata ($\mathcal{L}_{rw}$) con un termine di distillazione leggero, solo per le azioni ($\mathcal{L}_{act}$):
$$\mathcal{L}_{SERL} = \mathcal{L}_{rw} + \lambda \mathcal{L}_{act}$$
Ciò garantisce che la retrospettiva privilegiata non detti mai la direzione completa dell'aggiornamento della risposta, ma serva come un aggiustamento di credito limitato a livello di azione.

3. Contributi Chiave

1. Studio Sistematico della Progettazione del Feedback: La prima analisi completa del feedback ambientale per il RL di agenti LLM a lungo orizzonte, che valuta cinque fonti di feedback e due granularità di inserimento su ALFWorld e WebShop.
2. Framework SERL: Un obiettivo compatibile con GRPO che converte la retrospettiva privilegiata in una ripesatura limitata a livello di azione del gradiente della politica, mantenendo la direzione di ottimizzazione ancorata al reward del compito.
3. Risultati Empirici: Dimostrazione che un feedback efficace non è semplicemente il contesto "più ricco". Segnali fondati e rilevanti per l'azione in punti di inserimento semanticamente significativi (Livello di Ancoraggio) superano costantemente l'uso indiscriminato di contesti più lunghi o più privilegiati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ALFWorld (presa di decisioni incarnata) e WebShop (navigazione per lo shopping online) utilizzando Qwen2.5-7B-Instruct come modello di base.

• Prestazioni: SERL ha raggiunto una media di successo del 90,0% su ALFWorld e dell'80,1% su WebShop.
• Confronti:
  • Ha superato forti baseline RL (ad esempio, GRPO, HGPO) con margini significativi (ad esempio, +14,7 punti sulla media di successo su ALFWorld rispetto a GRPO).
  • Ha superato ibridi RL-distillazione (ad esempio, SDPO, RLSD), che spesso hanno sofferto di guadagni incoerenti o instabilità in compiti a lungo orizzonte.
• Risultati delle Ablazioni:
  • Fonte: La combinazione di traiettorie di successo + feedback immediato ha prodotto i migliori risultati, suggerendo che il comportamento di riferimento deve essere fondato sulla transizione effettiva del rollout corrente.
  • Granularità: La collocazione a livello di ancoraggio ha generalmente superato quella a livello di passo per feedback multi-sorgente, poiché ha soppresso aggiornamenti ridondanti preservando al contempo i segnali causali.
  • Decadimento: Il decadimento del segnale dell'insegnante è stato critico; l'uso uniforme della retrospettiva durante tutto l'addestramento ha portato a prestazioni subottimali a causa della fuga di informazioni privilegiate nelle fasi successive.

5. Significato e Affermazioni

Il paper afferma che il collo di bottiglia principale nel RL degli agenti non è semplicemente la riduzione della varianza nella stima del gradiente, ma il disallineamento dell'assegnazione del credito nelle traiettorie lunghe.

• Fondato vs. Ricco: Lo studio mette in discussione l'assunto che più contesto (ad esempio, traiettorie future complete) sia sempre meglio. Al contrario, sostiene che segnali fondati e rilevanti per l'azione in punti semanticamente significativi siano superiori perché mantengono un allineamento causale con le decisioni specifiche dell'agente.
• Distillazione Controllata: SERL dimostra che la distillazione può essere integrata nel RL senza instabilità se il segnale dell'insegnante è utilizzato in modo asimmetrico: come coefficiente per l'aggiustamento della magnitudine piuttosto che come target diretto per l'imitazione.
• Principi di Progettazione: Il lavoro stabilisce che un RL efficace degli agenti richiede l'allineamento di tre scelte progettuali: la fonte del feedback, la collocazione (granularità) di tale feedback e la forza della sua influenza sull'aggiornamento della politica.

Affrontando il "cosa e quando" della distillazione, SERL fornisce un percorso stabile per l'addestramento di agenti multi-turno che possono utilizzare efficacemente feedback ambientali densi senza soccombere alle insidie della fuga di informazioni privilegiate.