Riepilogo Tecnico: TREK – Distill to Explore, Reinforce to Refine

1. Definizione del Problema

Il documento affronta un modo specifico di fallimento di Group Relative Policy Optimization (GRPO) quando applicato a compiti di ragionamento complessi. Sebbene GRPO sia efficace quando la politica attuale (studente) campiona già traiettorie di soluzione utili, spesso si blocca su prompt difficili dove i modi della soluzione corretta si trovano al di fuori del supporto on-policy attuale dello studente.

In questi regimi difficili, lo studente campiona ripetutamente traiettorie errate plausibili ma strutturalmente simili. La scarsità non riguarda il segnale di ricompensa (i verificatori possono premiare le soluzioni corrette se trovate), quanto piuttosto la copertura di esplorazione dello spazio delle soluzioni. Il GRPO standard, essendo un metodo on-policy, non può rinforzare comportamenti che non campiona. Di conseguenza, gruppi di rollout più grandi o vantaggi relativi più netti spesso falliscono nel fuggire dalla regione ristretta del supporto attuale dello studente.

I metodi esistenti di distillazione e informati dal docente si concentrano ampiamente sul miglioramento della supervisione o dell'assegnazione del credito per le traiettorie che lo studente già raggiunge. Non affrontano direttamente il regime in cui lo studente campiona raramente alcuna traiettoria che porti ricompensa. La sfida centrale è: Come possiamo rendere un comportamento utile campionabile, quando l'esplorazione non assistita dello studente fallisce?

2. Metodologia: TREK

Gli autori propongono TREK (Teacher-Routed Exploration via Forward KL), una procedura a stadi che inquadra la distillazione come espansione del supporto di esplorazione piuttosto che come semplice imitazione.

Filosofia Centrale

TREK tratta un docente (esterno o auto-aumentato) non come un obiettivo di comportamento universale, ma come un meccanismo di proposta. Il metodo si basa su un'interfaccia solo output, il che significa che richiede solo traiettorie di output verificate, non i logit, gli stati nascosti o le probabilità del docente. Ciò consente l'uso di docenti black-box, docenti white-box o lo stesso modello con contesto aggiuntivo durante l'inferenza (ad esempio, riflessione, budget di ragionamento più lunghi o lezioni derivanti dai fallimenti).

L'Algoritmo TREK

La procedura separa la disponibilità di proposta a livello di prompt dalla raggiungibilità a livello di traiettoria:

1. Routing dei Prompt (Hard Prompt Mining):

   • Per ogni prompt $x$, il sistema stima il tasso di successo non assistito dello studente $p_S(x)$ campionando $K$ rollout.
   • Se $p_S(x) \leq \tau_{low}$ (che indica un prompt difficile dove lo studente fallisce), il prompt viene instradato alla fase di proposta. I prompt facili rimangono nel flusso GRPO standard.

2. Generazione e Selezione delle Proposte:

   • Una fonte di proposta $\pi_T$ (un modello più forte o lo stesso modello con contesto extra) genera soluzioni candidate per i prompt difficili instradati.
   • Le traiettorie sono filtrate da un verificatore $V$. Vengono mantenuti solo i successi verificati.
   • Filtraggio della Raggiungibilità: Tra le traiettorie verificate, il sistema le classifica in base alla verosimiglianza attuale dello studente (misurata tramite un Negative Log-Likelihood troncato e normalizzato per lunghezza, $d_S$).
   • Vengono mantenute le prime $r$ proposte verificate più prossime allo studente. Ciò assicura che lo studente non sia chiamato a imitare soluzioni troppo distanti dalle sue attuali capacità, concentrandosi invece su modi che può plausibilmente raggiungere.

3. Consolidamento Forward-KL (Warm-Start):

   • Le traiettorie mantenute formano un dataset $D_{scaf}$.
   • Viene applicato un breve aggiornamento Forward-KL: $\min KL(q_{prop} \parallel \pi_\theta)$.
   • Questo obiettivo penalizza lo studente per l'assegnazione di una bassa probabilità ai modi proposti verificati, "tirando" efficacemente questi modi di soluzione all'interno del supporto dello studente. Questo è distinto dalla distillazione standard (che spesso minimizza $KL(\pi_\theta \parallel q_{prop})$ o utilizza la distillazione on-policy).

4. Raffinamento On-Policy:

   • Dopo il breve warm-start Forward-KL, i prompt tornano al flusso di rollout GRPO standard.
   • Lo studente, avendo ora espanso il proprio supporto per includere i modi verificati, può campionarli e ricevere vantaggi relativi dal verificatore per raffinare ulteriormente la politica.

3. Contributi Chiave

1. Identificazione di un Modo di Fallimento: Il documento identifica la "mancanza di supporto di esplorazione" come un collo di bottiglia distinto per GRPO sui prompt di ragionamento difficili, separato dalla scarsità di ricompensa.
2. Distillazione come Esplorazione: Formula una visione della distillazione specificamente per espandere il supporto raggiungibile dello studente, piuttosto che per densificare semplicemente la supervisione sulle traiettorie già campionate.
3. La Procedura TREK: Un algoritmo instradato semplice che decouple la difficoltà del prompt dalla raggiungibilità della traiettoria, utilizzando una breve fase di Forward-KL per consolidare le proposte verificate prima di tornare a GRPO.
4. Compatibilità Black-Box: Poiché richiede solo output verificati, il metodo è compatibile con docenti esterni black-box, docenti white-box o l'auto-aumento del contesto, rendendolo ampiamente applicabile in contesti pratici.
5. Efficienza dell'Addestamento: Dimostra che iniettare modi di soluzione verificati prima che l'RL inizi accelera significativamente l'apprendimento sui tipi di task più difficili, riducendo il numero di passi di ottimizzazione necessari per raggiungere alte prestazioni.

4. Risultati Sperimentali

Gli autori hanno valutato TREK su compiti di ragionamento matematico (AIME 2024/2025) e compiti di pianificazione agentica (ALFWorld, ScienceWorld).

Ragionamento Matematico (Modelli Qwen3)

• Setup: Testato su modelli Qwen3 da 1.7B, 8B e 14B. Le proposte provengono da DeepSeek-V4 (esterno) o dallo stesso modello Qwen3 con auto-contesto (lezioni dai fallimenti).
• Performance: TREK ha superato costantemente il GRPO diretto in tutte le scale.
  • Qwen3-8B: Ha migliorato AIME 2025 dal 36.9% al 40.3% e AIME 2024 dal 47.9% al 51.1% (usando proposte da DeepSeek-V4).
  • Variante Self-Context: Anche senza un docente esterno, la variante self-context ha migliorato AIME 2025 al 38.5% e AIME 2024 al 49.6%.
• Ablazione: Sostituire il consolidamento Forward-KL con la supervisione in stile On-Policy Distillation (OPD) ha portato a prestazioni inferiori, confermando che l'obiettivo Forward-KL è superiore per espandere la copertura dei modi sulle hard prompt.

Compiti Agentici (Qwen2.5-7B-Instruct)

• ALFWorld: Il tasso di successo è aumentato dal 75.8% (GRPO) all'82.8% (TREK con DeepSeek-V4) e all'80.4% (self-context).
• ScienceWorld: Il tasso di successo è più che raddoppiato, passando dal 12.5% (GRPO) al 26.7% (TREK con DeepSeek-V4) e al 23.4% (self-context).
• Analisi della Difficoltà del Task: I guadagni si sono concentrati sui tipi di task più difficili (ad es., "Heat & Place", "Examine in Light") dove le prestazioni del baseline GRPO erano più basse. I task facili hanno mostrato poco o nessun miglioramento, confermando che il metodo mira al collo di bottiglia dell'esplorazione.
• Dinamiche di Addestramento: TREK ha raggiunto alti tassi di successo molto prima nell'addestramento rispetto a GRPO. Ad esempio, su ALFWorld, TREK ha superato il 60% di successo entro lo step 20, mentre GRPO rimaneva sotto il 50% e richiedeva circa 5 volte più step per raggiungere lo stesso livello.

5. Significato e Rivendicazioni

Il documento sostiene che TREK offre un framework generalizzabile per migliorare i sistemi di ragionamento on-policy quando il collo di bottiglia primario è l'incapacità di campionare traiettorie che portano ricompensa.

• Complementarità: TREK è presentato come complementare ai metodi esistenti (come il pesatura dei token o i miglioramenti dell'assegnazione del credito) che operano all'interno del supporto attuale dello studente. TREK opera prima di ciò, assicurando che il supporto esista.
• Efficienza: Il vantaggio principale non è necessariamente alzare il tetto asintotico (poiché GRPO può eventualmente raggiungere livelli simili con un enorme calcolo), ma ridurre drasticamente il budget di addestramento richiesto per scoprire i modi di soluzione difficili.
• Praticità: La dipendenza da output verificati piuttosto che dagli interni del docente rende il metodo robusto per l'implementazione nel mondo reale, dove i docenti black-box o i loop di auto-riflessione sono comuni, ma gli stati interni del modello sono inaccessibili.

Gli autori concludono che questo paradigma "Distill to Explore, Reinforce to Refine" può estendersi ad altri framework di post-training (ad es., DAPO, GSPO) e scenari di acquisizione continua delle abilità, fornendo un modo strutturato per introdurre nuove capacità tramite proposte verificate prima di stabilizzarle attraverso il rinforzo on-policy.