🤖 machine learning

Agentic Reinforcement Learning with Self-Distilled Reward Shaping

Questo articolo introduce l'Agentic Reinforcement Learning con Self-Distilled Reward Shaping (ADRS), un framework che migliora le prestazioni degli agenti linguistici su orizzonti temporali lunghi attraverso la generazione di credito a livello di token associato al rendimento tramite segnali di abilità privilegiati auto-distillati, che sono calibrati e modulati congiuntamente dalla fiducia del docente e dai rendimenti realizzati.

Autori originali: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

Pubblicato 2026-08-05

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come navigare in una casa gigante e disordinosa per trovare un oggetto specifico, come una tazza di tè calda. Non puoi semplicemente dire al robot "Ottimo lavoro!" solo dopo che ha finalmente trovato il tè. Se aspetti così a lungo, il robot non saprà quali passi specifici sono stati utili: ha aperto la porta giusta? Ha preso la tazza giusta? O ha solo vagato per dieci minuti prima di essere fortunato? Questo è il cuore del puzzle dell'Apprendimento per Rinforzo (Reinforcement Learning): come si dà credito alle piccole decisioni intermedie che portano a un grande successo, specialmente quando il premio finale è raro e lontano?

Per risolvere questo problema, gli scienziati usano spesso un trucco chiamato Auto-Distillazione (Self-Distillation). Immaginala come uno studente che sostiene un esame e poi, immediatamente dopo, lo stesso studente agisce come un insegnante severo per correggere le proprie risposte. La versione "insegnante" possiede un foglio di riferimento speciale (chiamato "informazione privilegiata") che lo "studente" non aveva durante l'esame. Confrontando ciò che lo studente ha fatto con ciò che l'insegnante avrebbe fatto con il foglio di riferimento, possiamo capire quali mosse sono state intelligenti e quali sono state frutto della fortuna. Tuttavia, c'è un trucco: il fatto che l'insegnante pensi che una risposta sia "buona" non significa che abbia effettivamente portato al risultato corretto. L'insegnante potrebbe essere sicuro di sé ma sbagliare, o sicuro di sé riguardo alla cosa sbagliata.

Questo ci porta a un nuovo studio di ricercatori dell'Università di Scienza e Tecnologia della Cina e del Gruppo Alibaba. Hanno affrontato il problema di come prendere quella "fiducia dell'insegnante" e trasformarla in una guida affidabile per la mossa successiva del robot, senza mai permettere al robot di usare il foglio di riferimento durante il gioco effettivo. Chiamano il loro nuovo metodo ADRS (Agentic Reinforcement Learning with Self-Distilled Reward Shaping).

I ricercatori hanno scoperto che limitarsi a copiare il punteggio dell'insegnante non funziona perché la fiducia dell'insegnante può essere fuorviante. A volte l'insegnante è molto sicuro di una mossa che porta al fallimento, o incerto su una mossa che porta al successo. Per risolvere questo, l'ADRS agisce come un filtro intelligente. Per prima cosa, normalizza i punteggi dell'insegnante in modo che siano equi da confrontare tra le diverse parti del compito. Poi, controlla se la fiducia dell'insegnante corrisponde effettivamente al risultato finale (la mossa sicura ha portato a una vittoria?). Se la fiducia e il risultato concordano, il filtro aumenta il punteggio di quella mossa; se non concordano, attenua il segnale. Infine, inietta questo segnale raffinato direttamente nel processo di apprendimento del robot prima che il robot decida cosa fare.

I risultati suggeriscono che questo metodo sia molto efficace. Quando testato su tre diversi compiti impegnativi — navigare in una casa virtuale, fare acquisti su un sito web simulato e cercare risposte online — l'ADRS ha costantemente aiutato gli agenti IA a performare meglio, specialmente in compiti lunghi e complicati. Ad esempio, nel compito di navigazione nella casa, il metodo ha aiutato un modello di IA specifico a raggiungere un tasso di successo del 94,5%, superando i precedenti migliori tentativi con un margine significativo. Lo studio ha anche dimostato che l'IA ha appreso queste abilità utilizzando meno dati di addestramento rispetto al solito e poteva ancora performare bene anche quando i compiti diventavano leggermente diversi o più difficili. Fondamentalmente, i ricercatori hanno dimostrato che l'IA non aveva bisogno del "foglio di riferimento" durante il gioco effettivo; aveva solo bisogno di esso durante la fase di addestramento per imparare a prendere decisioni migliori da sola. Ciò suggerisce che, calibrando attentamente quanto fidarsi dell'opinione di un "insegnante" in base ai risultati del mondo reale, possiamo insegnare agli agenti IA a essere molto più affidabili ed efficienti nel risolvere problemi complessi e multi-step.

Riassunto Tecnico: Apprendimento per Rinforzo Agente con Modellazione del Premio Auto-Distillata (ADRS)

Definizione del Problema

L'Apprendimento per Rinforzo (RL) Agente consente agli agenti basati su Large Language Model (LLM) di apprendere attraverso l'interazione con gli ambienti. Tuttavia, l'RL agente standard si basa tipicamente su premi terminali sparsi a livello di traiettoria. Sebbene questi premi indichino se una traiettoria ha avuto successo, non riescono a identificare quali decisioni intermedie (query o azioni) meritino credito. Questa scarsità rende difficile l'assegnazione del credito temporale a livello di token, anche per i metodi senza critico come GRPO e GiGPO.

Sebbene le abilità in linguaggio naturale (ad esempio, sub-obiettivi, regole d'azione) possano fornire una guida più densa, i metodi esistenti faticano a integrare efficacemente queste informazioni. Nello specifico, gli approcci attuali affrontano tre sfide tecniche quando utilizzano informazioni "privilegiate" (abilità disponibili solo durante l'addestramento):

Calibrazione del Punteggio: Le probabilità logaritmiche grezze del docente variano in offset e scala tra i diversi step di interazione a causa della lunghezza del contesto e della composizione della risposta, rendendole incomparabili.
Stima dell'Affidabilità: Un'alta confidenza del docente non corrisponde necessariamente a rendimenti realizzati più elevati; un docente può preferire decisioni linguisticamente canoniche che però falliscono nel raggiungere l'esito del compito.
Integrazione del Credito: I metodi esistenti spesso trattano la supervisione privilegiata come un obiettivo ausiliario separato, il che può disallineare gli aggiornamenti a livello di token con la costruzione nativa del rapporto reward-advantage del backbone RL.

Metodologia: Framework ADRS

Gli autori propongono l'Apprendimento per Rinforzo Agente con Modellazione del Premio Auto-Distillata (ADRS), un framework che converte le abilità procedurali corrispondenti al compito in premi a livello di token associati al rendimento, senza richiedere le abilità durante il rollout o l'inferenza. ADRS opera come uno strato di costruzione del credito tra la raccolta delle traiettorie e l'ottimizzazione dell'attore, affrontando le tre sfide tramite tre moduli accoppiati:

1. Punteggio Privilegiato Relativo All'interno dello Step (Calibrazione del Punteggio)

Per affrontare l'incomparabilità dei punteggi grezzi tra gli step, ADRS ricalcola i punteggi dei token generati dallo studente utilizzando un fermo snapshot della policy sotto un contesto privilegiato (abilità corrispondenti al compito). Successivamente applica la centratura e la normalizzazione della scala all'interno dello step:

Calcola la media della probabilità logaritmica ( $b_s$ ) dei punteggi privilegiati all'interno di uno specifico step di interazione.
Calcola la deviazione con segno ( $q_{s,j}$ ) di ogni token da questa media.
Normalizza per la deviazione standard ( $\sigma_q$ ) delle deviazioni all'interno dello step.
Ciò produce un punteggio centrato e con scala controllata ( $\hat{q}_{s,j}$ ) che rappresenta la preferenza relativa del token all'interno di un passo decisionale, sopprimendo la deriva dipendente dallo step pur mantenendo i punteggi grezzi per la successiva stima dell'affidabilità.

2. Gating dell'Affidabilità TVA Basato sul Ritorno (Stima dell'Affidabilità)

Per garantire che il segnale privilegiato sia allineato con il reale successo del compito, ADRS introduce un gate Teacher Value Advantage (TVA). Questo gate modula il segnale normalizzato in base all'associazione tra la confidenza privilegiata e i rendimenti realizzati all'interno di un gruppo di confronto (ad esempio, traiettorie per lo stesso prompt in GRPO, o stati ancora in GiGPO).

Il metodo calcola un peso di alta confidenza soft ( $\alpha_u$ ) per ogni unità (traiettoria o step) basato sulla sua media di probabilità logaritmica privilegiata.
Contrasta i rendimenti delle unità ad alta confidenza ( $\mu^+_g$ ) rispetto alle unità a bassa confidenza ( $\mu^-_g$ ).
La differenza ( $d_g$ ) funge da gate scalare ( $m_u$ ). Se una maggiore confidenza correla con rendimenti più elevati, il gate amplifica il segnale; in caso contrario, lo sopprime.
La Proposizione 1 stabilisce che il segno del gate TVA corrisponde alla covarianza empirica tra la confidenza privilegiata e il rendimento all'interno del gruppo.

3. Modulazione dell'Advantage per Token Guidata dal Docente (Integrazione del Credito)

Invece di utilizzare un obiettivo ausiliario separato, ADRS integra il segnale filtrato nel percorso nativo reward-to-advantage prima della costruzione dell'advantage.

Premio del Docente: Il punteggio normalizzato e filtrato viene convertito in un premio a livello di token ( $r^T_{s,j} = \eta m_{s,j} \hat{q}_{s,j}$ ).
Premio Modellato: Questo viene aggiunto al premio base dell'ambiente ( $\tilde{r}_{s,j} = r^{base}_{s,j} + r^T_{s,j}$ ).
Costruzione dell'Advantage: Il premio modellato viene passato attraverso l'operatore di advantage standard (ad esempio, GRPO o GiGPO).
Doppio Percorso: Poiché il premio del docente centrato per step somma a zero (Proposizione 2), la somma a livello di traiettoria rimane invariata, preservando la direzione dell'esito definito dall'ambiente. Tuttavia, l'advantage a livello di token viene ridistribuito ( $A^{ADRS} = A^{traj} + \eta Z^T$ ), permettendo alla policy di apprendere quali specifici token all'interno di una traiettoria di successo siano stati più critici.

Contributi Chiave

Framework ADRS: Un metodo di modellazione del premio auto-distillata che trasforma le abilità procedurali utilizzabili solo in fase di addestramento in premi a livello di token associati al rendimento. Esso combina unicamente la calibrazione del punteggio all'interno dello step e il gating TVA, mantenendo i rollout e l'inferenza privi di abilità.
Integrazione Nativa: Gli autori formulano il segnale filtrato come modellazione del premio pre-advantage, integrando la guida privilegiata direttamente nella costruzione nativa del credito RL piuttosto che come un obiettivo ausiliario separato. Essi ne caratterizzano la compatibilità con GRPO/GiGPO e la loro equivalenza locale del primo ordine con gli aggiornamenti ausiliari dei token campionati.
Validazione Empirica: Esperimenti estesi su tre benchmark interattivi (ALFWorld, Search-based QA, WebShop) dimostrano miglioramenti costanti delle prestazioni.

Risultati Sperimentali

Il paper valuta ADRS su modelli Qwen2.5 (3B, 7B) e Qwen3 (1.7B) attraverso tre benchmark:

Prestazioni allo Stato dell'Arte: ADRS raggiunge nuovi risultati state-of-the-art su tutti e tre i benchmark. Ad esempio, con Qwen2.5-3B, raggiunge il 94,5% di successo su ALFWorld (un miglioramento di 10,1 punti percentuali rispetto al baseline più forte) e il 45,0% di macro-media su Search-based QA.
Compiti a Lungo Orizzonte: ADRS mostra una forza particolare nei compiti procedurali a lungo orizzonte (ALFWorld), mantenendo i guadagni di prestazione su un addestramento prolungato (300 step) e attraverso diversi backbone RL (GRPO e GiGPO).
Efficienza dei Dati: ADRS supera i baseline GRPO a pieno dataset utilizzando solo il 60% dei dati di addestramento disponibili.
Generalizzazione: Il metodo si trasferisce efficacemente a split di task non visti in ALFWorld, migliorando i tassi di successo nella maggior parte delle categorie.
Analisi del Meccanismo: L'analisi diagnostica rivela che ADRS concentra il contrasto di aggiornamento sui token di azione e oggetto che portano al compito, separandoli dai token di stile generici, il che spiega la sua efficacia nelle interazioni a lungo orizzonte.

Significato e Rivendicazioni

Il paper sostiene che ADRS affronti con successo la sfida fondamentale di assegnare il credito alle decisioni intermedie nell'RL agente. Convertendo la conoscenza privilegiata disponibile solo in fase di addestramento in un segnale che è calibrato (comparabile tra gli step), affidabile (associato ai rendimenti) e integrato (nativo dell'obiettivo RL), ADRS consente agli agenti di apprendere più efficacementamente da feedback sparsi.

Gli autori sottolineano che ADRS non richiede informazioni privilegiate durante l'inferenza, rendendolo un framework pratico per il deployment di agenti privi di abilità che hanno appreso da un addestramento guidato dalle abilità. I risultati suggeriscono che la conoscenza procedurale disponibile solo in fase di addestramento può essere convertita efficacemente in un credito a livello di token e incorporata direttamente nella costruzione nativa del rapporto reward-to-advantage, offrendo una strada robusta per migliorare gli agenti linguistici multi-turno.