🤖 machine learning

Latent On-Policy Self-Distillation

Questo articolo introduce la Latent On-Policy Self-Distillation (LOPD), un nuovo framework che sostituisce gli artefatti privilegiati creati manualmente con token latenti apprendibili derivati da esperienze recuperate per consentire agli agenti di raggiungere prestazioni e un'efficienza dei dati superiori in compiti di auto-evoluzione come l'uso di strumenti e la generazione di codice.

Autori originali: Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

Pubblicato 2026-08-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come giocare a un videogioco complesso. Ai vecchi tempi, avresti dovuto sederti lì e scrivere manualmente una "guida" perfetta per ogni livello, dicendo al robot esattamente quali tasti premere. Ma cosa succederebbe se il robot potesse imparare giocando al gioco da solo, guardando i propri replay e capendo cosa ha funzionato? Questo è il cuore di un campo chiamato On-Policy Self-Distillation (Auto-distillazione On-Policy). Immaginalo come un robot che funge da proprio insegnante. Gioca un round (lo "studente"), e poi una versione più intelligente di se stesso (l'"insegnante") guarda il replay e dice: "Ehi, hai esitato qui; prova così invece". La magia avviene quando l'insegnante fornisce un feedback super dettagliato su ogni singola mossa fatta dallo studente, non solo se ha vinto o perso alla fine.

Tuttavia, c'è un problema. Per essere un buon insegnante, il robot ha bisogno di una guida "privilegiata" — qualcosa come una soluzione perfetta o una strategia segreta — che lo studente non possiede ancora. Di solito, gli esseri umani devono creare manualmente queste guide, scrivendole in testo semplice o con regole specifiche. Ma cosa succederebbe se il robot potesse imparare a creare le proprie guide automaticamente, estraendo le parti più utili dalle sue avventure passate e trasformandole in un linguaggio segreto che solo l'insegnante può capire? Questa è la grande domanda che questo articolo affronta: possiamo smettere di far scrivere le regole agli umani e lasciare che l'IA impari come riassumere la propria esperienza in una guida perfetta e invisibile?

Il Paper: Latent On-Policy Self-Distillation (LOPD)

Questo articolo introduce un nuovo metodo chiamato Latent On-Policy Self-Distillation (LOPD). Inveve di chiedere a un progettista umano di scrivere una "guida" specifica (come una risposta testuale o una descrizione specifica di una competenza) affinché l'insegnante del robot possa leggerla, LOPD insegna al robot a imparare la propria guida.

Ecco come funziona, usando un'analogia giocosa:

Immagina un robot studente che cerca di risolvere un labirinto. Sbatte contro un muro, si gira e alla fine trova l'uscita.

Il Vecchio Modo: Un essere umano guarderebbe il labirinto e scriverebbe una nota dicendo: "Gira a sinistra alla porta rossa". Il robot insegnante leggerebbe questa nota e direbbe allo studente: "Avresti dovuto girare a sinistra". Ma questa nota è rigida. Se il labirinto cambia leggermente, la nota potrebbe diventare inutile.
Il Modo LOPD: Il robot non usa una nota scritta. Al suo posto, ha un "Memory Composer" (Compositore di Memoria). Questo compositore guarda le passate corse di successo del robot attraverso labirinti simili. Prende i momenti più importanti e li comprime in un piccolo "codice segreto" invisibile (chiamato latent tokens). Questo codice è come un sussurro compresso e tecnologicamente avanzato che solo il robot insegnante può sentire.

Il robot insegnante ascolta questo sussurro segreto mentre guarda il robot studente giocare. Poiché l'insegnante possiede questo codice segreto, sa esattamente cosa avrebbe dovuto fare lo studente ad ogni singolo passo. Poi insegna allo studente: "Non tirare a indovinare; ecco il percorso denso e dettagliato che avresti dovuto seguire".

La parte più incredibile? Il robot impara a scrivere questo codice segreto mentre impara a giocare al gioco. Capisce quali parti delle sue avventure passate sono effettivamente utili e quali sono solo rumore. È come se il robot imparasse a prendere i propri appunti in un linguaggio da lui inventato, invece di essere costretto a leggere un libro di testo scritto da un essere umano.

Cosa hanno scoperto

I ricercatori hanno testato questo metodo su due tipi di compiti molto diversi tra loro:

Agentic Tool Use (Uso di strumenti agentico): Dare al robot un set di strumenti (come una calcolatrice, un motore di ricerca o un database) e chiedergli di risolvere problemi multi-step, come prenotare un volo o gestire un'agenda.
Code Generation (Generazione di codice): Chiedere al robot di scrivere programmi informatici funzionanti.

Hanno confrontato LOPD con altri metodi in cui gli esseri umani dovevano creare manualmente le "guide" (come fornire all'insegnante una risposta testuale perfetta o una specifica sintesi delle competenze).

I Risultati:

Prestazioni Migliori: LOPD ha costantemente superato gli altri metodi. Nei test di uso degli strumenti, ha migliorato significativamente i punteggi. Ad esempio, in un test chiamato EnvScaler, ha alzato il punteggio da 61.8 a 63.7 con un modello più piccolo, e da 60.2 a 66.4 con uno più grande. Nei test di programmazione, è arrivato anch'esso in cima, battendo i migliori metodi progettati dagli umani.
Super Efficienza: Il robot ha imparato più velocemente. Il paper nota che LOPD ha ottenuto questi risultati utilizzando meno del 30% del "rollout budget" (il numero di partite di pratica) richiesto da altri metodi d'eccellenza come GRPO e Skill-SD. È come prendere un 10 in matematica dopo aver studiato solo tre ore, mentre i tuoi amici hanno studiato dieci.
La "Formula Magica" è apprendibile: Il paper ha dimostrato che il codice segreto (il contesto latente) deve essere appreso. Quando hanno provato a usare una versione congelata e immutabile del codice, il robot non ha imparato altrettanto bene. Ma quando hanno lasciato che il robot sintonizzasse il codice stesso, ha funzionato perfettamente.

Cosa hanno escluso

Il paper argomenta esplicitamente contro l'idea che dobbiamo continuare a inventare guide sempre più complesse scritte dagli umani (come tracce di ragionamento specifiche, risposte perfette o rigide descrizioni di competenze) per rendere i robot più intelligenti. Hanno dimostrato che queste note create a mano spesso falliscono perché sono troppo rigide; una nota che aiuta in una situazione potrebbe confondere il robot in un'altra. LOPD suggerisce che la strada migliore sia lasciare che il robot capisca cosa ricordare e come comprimerlo, piuttosto che costringerlo a leggere un manuale pre-scritto.

Quanto sono sicuri?

Gli autori sono piuttosto fiduciosi in queste scoperte perché hanno testato il metodo su tre diversi modelli di robot (Qwen3-4B, Qwen3-8B e Olmo3-7B) e sette benchmark. I risultati non sono stati un caso fortuito; si sono mantenuti costanti. Hanno anche eseguito esperimenti specifici per dimostrare che la parte di "apprendimento" del codice segreto era la vera ragione del successo, e non solo l'aggiunta di potenza di calcolo. Sebbene non pretendano di aver risolto l'intero mistero dell'evoluzione dell'IA, i dati suggeriscono fortemente che lasciare che l'IA impari il proprio "contesto privilegiato" sia un passo avanti enorme per rendere gli agenti capaci di migliorarsi continuamente.

Riepilogo Tecnico: Latent On-Policy Self-Distillation (LOPD)

1. Definizione del Problema

Il paper affronta la sfida di consentire agli agenti IA di apprendere dall'esperienza e di interiorizzarla nella propria policy per l'auto-evoluzione. Sebbene l'On-Policy Self-Distillation (OPSD) offra una via promettente utilizzando un auto-insegnante "privilegiato" per fornire una supervisione densa sulle traiettorie dello studente, i metodi esistenti soffrono di un limite fondamentale: si affidano pesantemente ad artefatti privilegiati progettati dal programmatore (ad esempio, risposte fisse, tracce di ragionamento, skill o traiettorie recuperate).

Questi contesti creati manualmente vincolano il sistema a un formato informativo specifico scelto dal progettista. Non permettono all'insegnante di apprendere quali aspetti dell'esperienza pregressa siano effettivamente utili per supervisionare l'attuale traiettoria dello studente, né di adattare la rappresentazione di tale esperienza al compito o allo stato di apprendimento specifico. Il paper sostiene che, affinché l'auto-evoluzione dell'IA possa scalare, né il contenuto utile dell'esperienza né la sua rappresentazione dovrebbero essere fissati da euristiche umane.

Domanda di Ricerca: Il contesto privilegiato stesso può essere appreso end-to-end dall'esperienza, permettendo all'auto-insegnante di determinare quale conoscenza esperienziale trattenere e come codificarla per una supervisione on-policy densa?

2. Metodologia: Latent On-Policy Self-Distillation (LOPD)

LOPD riformula il contesto privilegiato non come un artefatto testuale predefinito, ma come un substrato latente apprendibile. Il framework opera attraverso i seguenti componenti:

A. Contesto Privilegiato Latente Apprendibile

Invece di fornire all'insegnante un artefatto testuale fisso, LOPD costruisce un contesto continuo e differenziabile dai dati esperienziali recuperati:

Recupero dell'Esperienza: Un archivio di esperienze offline memorizza i rollout di successo (descrizione del task + traccia compatta azione-risultato). Per un task attuale, un retriever denso recupera i top- $J$ traiettorie rilevanti.
Latent Composer: Un modulo apprendibile ( $\Phi_\phi$ $Φ_{ϕ}$ ) trasforma queste traiettorie recuperate in un insieme compatto di token latenti continui.
- Encoder: Un backbone congelato aumentato con parametri LoRA addestrabili codifica la coppia task-esperienza in stati nascosti.
- Compressore: Un modulo di tipo QFormer con query apprese comprime questi stati di lunghezza variabile in un numero fisso ( $K$ ) di token latenti continui per esperienza.
- Formazione del Contesto: Questi token vengono concatenati per formare il contesto privilegiato $c_\phi$ , che viene iniettato nella finestra di input dell'insegnante come token speciali.

B. Processo di On-Policy Self-Distillation

Il ciclo di addestramento segue lo standard OPSD ma con il contesto apprendibile:

Student Rollout: La policy dello studente ( $\pi_S$ ) genera una traiettoria basata esclusivamente sul task e sulla cronologia delle interazioni (senza contesto privilegiato).
Valutazione dell'Insegnante: Un modello insegnante congelato ( $\pi_T$ ), inizializzato dallo stesso backbone, rivaluta gli stessi prefissi della traiettoria dello studente visitati. Fondamentalmente, l'insegnante è condizionato dal contesto latente appreso $c_\phi$ derivato dalle esperienze recuperate.
Obiettivo di Distillazione: Lo studente è ottimizzato per corrispondere alle distribuzioni dei token dell'insegnante utilizzando la divergenza KL inversa sui top- $M$ logit più un bucket della coda. Ciò incoraggia lo studente a concentrarsi su comportamenti supportati dal contesto arricchito dell'insegnante.

C. Vincolo del Margine Privilegiato (Privileged-Margin Constraint)

Per prevenire il "collasso" in cui l'insegnante si limita a imitare lo studente (rendendo il contesto latente privo di informazioni), LOPD introduce un obiettivo di margine privilegiato:

Allineamento dell'Esito: Il sistema lega il vantaggio del token dell'insegnante all'esito verificato della traiettoria.
Vincolo: Una variabile duale $\beta$ impone un margine $m$ tale per cui il vantaggio della log-probabilità dell'insegnante rispetto allo studente sulle traiettorie di successo debba superare una soglia.
Effetto: Ciò assicura che il contesto appreso rimanga informativo e fornisca un vantaggio verificabile, guidando il composer verso prove che supportano il comportamento di successo piuttosto che soluzioni triviali.

D. Inferenza

Dopo l'addestramento, viene mantenuta solo la policy dello studente. L'archivio delle esperienze, il retriever, il composer e il contesto latente vengono scartati. Lo studente ha interiorizzato la guida, non richiedendo alcun database esterno o input privilegiato durante il deployment.

3. Contributi Chiave

Riformulazione del Contesto: Il paper sposta il paradigma del contesto privilegiato dagli artefatti testuali predefiniti e progettati a mano a un substrato latente apprendibile end-to-end. Ciò permette all'insegnante di estrarre automaticamente segnali di supervisione rilevanti per il task dalle traiettorie grezze.
Soluzione Proposta (LOPD): Un framework che ottimizza congiuntamente il contesto privilegiato (tramite il composer) e la policy dello studente. Include un vincolo di margine privilegiato per garantire che il contesto appreso rimanga informativo e per prevenire che l'insegnante collassi verso lo studente.
Validazione Sperimentale: LOPD dimostra prestazioni ed efficienza superiori rispetto ai metodi esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato LOPD su tre backbone di modelli (Qwen3-4B, Qwen3-8B, Olmo3-7B) e sette benchmark che coprono l'uso di strumenti agentici (EnvScaler, BFCL-v3, ACEBench) e la generazione di codice (LiveCodeBench, EvalPlus).

Prestazioni: LOPD ha ottenuto i migliori risultati aggregati in tutti i dieci confronti backbone-benchmark.
- Su EnvScaler con Qwen3-8B, LOPD ha raggiunto 66.4, superando il baseline più forte (Skill-SD a 60.2).
- Su ACEBench, LOPD ha raggiunto 62.7, battendo significativamente OPSD (52.7) e SDPO (52.0).
- Nella generazione di codice, LOPD ha migliorato i punteggi pass@1 su LiveCodeBench ed EvalPlus, superando costantemente i baseline come GRPO e Skill-SD.
Efficienza del Campionamento: LOPD ha superato GRPO e Skill-SD con meno del 30% del loro budget di rollout, raggiungendo prestazioni elevate precocemente nell'addestramento (ad esempio, superando 0.61 di reward medio dopo 320 generazioni rispetto al miglioramento graduale dei baseline).
Studi di Ablazione:
- Ottimizzazione Congiunta: L'apprendimento congiunto del contesto è necessario; l'uso di un composer congelato o la rimozione del vincolo di margine ha causato cali di prestazioni, confermando che i guadagni derivano dall'apprendimento della rappresentazione, non solo dall'aggiunta di parametri.
- Learnable vs Fixed: I metodi a contesto fisso (come SDPO o OPSD) a volte hanno degradato le prestazioni rispetto ai modelli vanilla, mentre LOPD ha costantemente migliorato il baseline vanilla, dimostrando che le rappresentazioni apprendibili si adattano meglio a diversi task e stati di apprendimento.
- Interiorizzazione del Comportamento: L'analisi ha mostrato che gli studenti LOPD hanno adottato comportamenti di pianificazione sequenziale più strutturati (meno chiamate a strumenti per step, risposte al primo step più brevi) anche senza accesso al contesto latente, provando che la guida è stata interiorizzata.

5. Significato e Claim

Il paper afferma che LOPD rappresenta un passo verso un paradigma più scalabile e autodiretto per l'evoluzione degli agenti.

Principio di Design: Il claim centrale è che le rappresentazioni dell'esperienza dovrebbero essere ottimizzate end-to-end per le policy che devono migliorare, piuttosto che fare affidamento su una successione di formati di esperienza sempre più elaborati e scritti da umani.
Scalabilità: Rendendo il "contesto privilegiato" apprendibile, il sistema evita il collo di bottiglia della creazione manuale di artefatti per ogni nuovo dominio o tipo di task.
Interiorizzazione: Il metodo trasforma con successo le traiettorie grezze in un substrato di supervisione apprendibile, permettendo all'agente di scoprire cosa preservare come prova e come codificarla, rendendo l'apprendimento dell'esperienza veramente end-to-end.

Gli autori sottolineano che, sebbene il solo recupero sia insufficiente e l'ottimizzazione non vincolata possa portare al collasso, la combinazione di composizione latente e il vincolo del margine privilegiato abilita una supervisione produttiva che persiste dopo la rimozione del contesto.