🤖 machine learning

Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data

Questo articolo propone un metodo per migliorare l'efficienza campionaria dell'apprendimento per rinforzo online guidando i modelli del mondo attraverso abbondanti dati offline non curati tramite il riavvolgimento dell'esperienza e la guida all'esecuzione, superando così i problemi di shift distributivo e superando significativamente i baseline in diversi compiti visuomotori.

Autori originali: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Pubblicato 2026-06-16

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot come camminare, correre o prendere una tazza di caffè. Tradizionalmente, dovresti stare lì a guardare il robot, dicendogli ogni singola volta se ha fatto bene o male. Questo è lento, costoso e richiede molto sforzo umano per etichettare i dati.

Questo articolo presenta un nuovo metodo chiamato NCRL (Non-curated offline data for efficient Reinforcement Learning) che insegna ai robot molto più velocemente utilizzando un approccio "dal rifiuto al tesoro". Ecco come funziona, suddiviso in concetti semplici:

1. Il Problema: Il dilemma dei dati "spazzatura"

Di solito, per addestrare un robot, serve un dataset pulito e organizzato dove ogni azione sia etichettata con un punteggio (ad esempio, "Bravo!" o "Sbagliato!"). Ma nel mondo reale, abbiamo montagne di dati disordinati e non organizzati.

Non hanno punteggi (privi di reward).
Sono un mix di mosse ottime e terribili errori (qualità mista).
Provengono da diversi tipi di robot (multi-embodiment).

Pensa a questo come a una biblioteca piena di milioni di libri, ma nessuno dei quali ha titoli, riassunti o valutazioni. La maggior parte delle persone ignorerebbe questa biblioteca perché è troppo difficile da usare. I metodi precedenti hanno cercato di usare questi dati, ma spesso fallivano perché assumevano che i dati fossero ordinati e con etichette.

2. La Soluzione: Costruire prima una "Mappa Mentale"

Invece di cercare di imparare il compito specifico immediatamente, il metodo NCRL costruisce prima un Modello del Mondo (World Model).

L'analogia: Immagina uno studente che vuole imparare a guidare un'auto. Invece di salire in auto e cercare di guidare subito verso il supermercato, passa prima mesi guardando tutti i tipi di video di guida: alcuni di auto da corsa, alcuni di camion, alcuni di persone che guidano male e altri di esperti. Non conosce ancora la destinazione; impara solo come si muove l'auto, come appare la strada e come funziona lo sterzo.
La tesi del paper: Gli autori hanno addestrato un unico "cervello" (il Modello del Mondo) su questi dati disordinati e non etichettati provenienti da 6 tipi diversi di robot. Questo cervello ha imparato la fisica generale del movimento senza dover sapere quale fosse l'obiettivo finale.

3. La Trappola: Perché il semplice "Fine-Tuning" fallisce

I ricercatori hanno scoperto che se prendi questo cervello pre-addestrato e provi immediatamente a insegnargli un nuovo compito specifico (come "Cammina verso la porta"), spesso fallisce.

L'analogia: È come prendere uno studente che ha studiato video di guida generica e metterlo immediatamente in un'auto da corsa su una pista che non ha mai visto. Lo studente va nel panico perché la pista specifica appare diversa dai video che ha guardato. La "mappa mentale" che ha costruito non corrisponde alla realtà del nuovo compito.
La scoperta del paper: Hanno scoperto che questo accade a causa di un cambio distributivo (distributional shift). I dati disordinati usati per l'addestramento sono molto diversi dai dati specifici che il robot incontra quando inizia a cercare di risolvere il nuovo compito.

4. La Soluzione: Due tecniche speciali

Per correggere questo disallineamento, gli autori hanno aggiunto due "rotelle di sostegno" per aiutare il robot a colmare il divario tra il passato disordinato e il presente specifico.

Tecnica A: Rehearsal dell'Esperienza (Il metodo delle "Flashcard")

Come funziona: Quando il robot inizia a imparare il nuovo compito, non guarda solo il suo piccolo set di nuove esperienze. Torna alla sua enorme libreria di dati disordinati e cerca i clip specifici che somigliano alla situazione attuale.
L'analogia: Immagina che il robot sia bloccato su una curva specifica. Invece di tirare a indovinare, estrae una "flashcard" dalla sua libreria di vecchi video che mostra una curva simile, anche se quel vecchio video proveniva da un robot diverso o da un giorno diverso. "Ripassa" queste memorie rilevanti per ricordare a se stesso come funzionano le cose, evitando di dimenticare ciò che ha imparato in precedenza.

Tecnica B: Guida all'Esecuzione (Il metodo del "Co-pilota")

Come funziona: Il robot ha un "Co-pilota" (una policy addestrata sui dati disordinati) che sa come muoversi in modo sicuro, anche se non è perfetto. Durante le prime fasi dell'apprendimento, il robot alterna il tentativo di applicare le proprie nuove idee con il lasciare che il Co-pilota prenda il comando per alcuni secondi.
L'analogia: Pensa a un nuovo conducente con un istruttore di guida seduto al posto del passeggero. Il nuovo conducente prova a sterzare, ma se inizia a deviare, l'istruttore prende gentilmente il controllo per un momento per mantenere l'auto sulla strada, poi restituisce il controllo. Questo evita che il robot finisca in "vicoli ciechi" dove non può imparare nulla, guidandolo verso aree in cui è più probabile che abbia successo.

5. I Risultati: Due volte più veloce

Il paper ha testato questo metodo su 72 compiti diversi, che vanno da un cheetah che corre a un braccio robotico che impila blocchi.

La tesi: Utilizzando questo metodo, i robot hanno imparato due volte più velocemente rispetto ai robot che partono da zero (imparando senza alcun dato precedente).
Il confronto: Anche confrontato con altri metodi che hanno cercato di usare dati offline, NCRL ha vinto con un margine significativo, specialmente nei compiti difficili dove il robot deve esplorare e capire da solo.

Riassunto

Il paper sostiene che non abbiamo bisogno di dati perfetti e con etichette per insegnare ai robot. Possiamo usare i dati "disordinati" che già possediamo (video di robot che si muovono senza punteggi) se:

Costruiamo prima una comprensione generale del mondo.
Usiamo un sistema di "ricerca" per trovare vecchi ricordi rilevanti quando si apprendono nuovi compiti (Rehearsal dell'Esperienza).
Usiamo un "Co-pilota" per guidare il robot in modo che non si perda all'inizio (Guida all'Esecuzione).

Questo permette ai robot di apprendere abilità complesse con molti meno tentativi, rendendo l'addestramento dell'IA molto più efficiente.

Sintesi Tecnica: Apprendimento per Rinforzo Efficiente Guidando i Modelli del Mondo con Dati Non Curati

Problematica
L'utilizzo di dati offline è una via promettente per migliorare l'efficienza campionaria del Reinforcement Learning (RL) online. Tuttavia, gli approcci esistenti si affidano prevalentemente a dataset offline curati, etichettati con ricompense e spesso limitati a compiti o embodiment specifici. Acquisire tali dati è costoso e laborioso, in particolare per la manipolazione robotica, dove è richiesta l'annotazione retrospettiva delle ricompense. Sebbene lavori recenti abbiano esplorato l'utilizzo di abbondanti dati "non curati" — caratterizzati dall'essere privi di ricompense, di qualità mista e raccolti su molteplici embodiment — l'applicazione ingenua di tali dataset si è rivelata insufficiente. Nello specifico, il pre-addestramento di un modello del mondo su tali dati e il successivo fine-tuning ingenuo per l'RL online spesso non riescono ad accelerare l'addestramento. Gli autori identificano la causa radice di questo fallimento in uno shift distributivo tra i dati offline utilizzati per il pre-addestramento e i dati online raccolti durante la fase di fine-tuning. Quando la distribuzione offline non copre sufficientemente la distribuzione dei dati del compito a valle, il modello del mondo pre-addestrato fatica a beneficiare dell'apprendimento della policy, portando al dimenticanza catastrofica o a una degradazione dell'accuratezza del modello.

Metodologia: NCRL
Il documento propone NCRL (Non-curated offline data for efficient RL), una pipeline a due stadi progettata per utilizzare efficacemente dati non curati, privi di ricompensa e multi-embodiment.

Pre-addestramento del Modello del Mondo Multi-Embodiment:
Invece di addestrare modelli separati per ogni compito, NCRL pre-addestra un singolo modello del mondo agnostico rispetto al compito su un dataset non curato su larga scala. L'architettura si basa sul Recurrent State Space Model (RSSM) con modifiche specifiche per gestire input diversificati:
- Rimozione delle perdite (loss) specifiche per il compito.
- Zero-padding delle azioni per unificare le dimensioni tra diversi embodiment.
- Scalabilità a 280 milioni di parametri.
  Il modello è ottimizzato utilizzando standard di predizione, dinamica e rappresentazione sulle traiettorie offline grezze, senza etichette di ricompensa.
Fine-Tuning Basato su RL con Rehearsal e Guida:
Per affrontare lo shift distributivo e trasferire efficacemente la conoscenza pre-addestrata, NCRL introduce due tecniche chiave durante la fase di fine-tuning online:
- Experience Rehearsal (Rievocazione dell'Esperienza): Invece di scartare i dati offline dopo il pre-addamento, NCRL recupera traiettorie rilevanti per il compito dal dataset non curato durante l'addestramento online. Ciò avviene calcolando la distanza delle feature neurali tra le osservazioni iniziali nel buffer online e le traiettorie offline utilizzando l'encoder pre-addestrato. Queste traiettorie recuperate vengono riprodotte per:
  - Prevenire la dimenticanza catastrofica continuando ad addestrare il modello del mondo su dati di pre-addestramento rilevanti.
  - Augmentare la distribuzione dello stato iniziale ( $p_0(s)$ ) per i rollout del modello, consentendo la generazione di traiettorie promettenti per l'aggiornamento della policy.
  - Servire come regolarizzatore contro lo shift distributivo.
- Execution Guidance (Guida all'Esecuzione): Per guidare l'esplorazione verso regioni in cui il modello del mondo ha un'alta confidenza (e dove esistono dati offline), NCRL addestra una policy prior ( $\pi_{bc}$ ) tramite behavioral cloning sui dati offline recuperati. Durante la raccolta dati online, l'agente alterna probabilisticamente tra la policy RL ( $\pi_\phi$ ) e la policy prior ( $\pi_{bc}$ ). Questo approccio a policy mista indirizza l'agente verso regioni ad alta qualità dello spazio degli stati nelle fasi iniziali dell'addestramento, mitigando i rischi di un'esplorazione difficile.

Contributi Chiave
Il documento delinea quattro contributi primari:

C1: Propone un setting più realistico per sfruttare i dati offline, utilizzando dataset non curati, privi di ricompensa e multi-embodiment, andando oltre i vincoli dei dati curati ed etichettati con ricompense.
C2: Dimostra che il fine-tuning ingenuo del modello del mondo fallisce in molti compiti a causa dello shift distributivo tra i dati di pre-addestramento e quelli di fine-tuning.
C3: Introduce il experience rehearsal e l'execution guidance come tecniche specifiche per mitigare questo gap distributivo e incoraggiare l'esplorazione.
C4: Presenta il framework NCRL, che integra i dati non curati sia nella fase di pre-addestramento che in quella di fine-tuning, dimostrando prestazioni superiori in un set diversificato di compiti rispetto agli approcci esistenti.

Risultati Sperimentali
Gli autori valutano NCRL su 72 compiti di controllo visuomotorio che spaziano tra locomozione e manipolazione robotica attraverso 6 embodiment (utilizzando i benchmark DMControl e Meta-World). Il dataset offline comprende 60k traiettorie (10 milioni di coppie stato-azione) raccolte da agenti non supervisionati e dimostrazioni rumorose.

Efficienza Campionaria: Sotto un budget limitato di 150k campioni online, NCRL ottiene quasi il doppio del punteggio aggregato rispetto ai baseline di apprendimento da zero (DrQ-v2 e DreamerV3). Eguaglia le prestazioni di questi baseline addestrati con 3.3x fino a 6.7x più campioni.
Confronto con Metodi Offline: NCRL supera significativamente gli stati dell'arte che sfruttano dati offline, inclusi R3M (pre-addestramento visivo), UDS-RLPD, ExPLORe e JSRL-BC. Notevolmente, mentre metodi come JSRL-BC faticano con le traiettorie non esperte, NCRL utilizza efficacemente dati esplorativi e di qualità mista.
Confronto con Metodi Basati su Modello: NCRL supera altri approcci di pre-addestramento di modelli del mondo (ad es., iVideoGPT, DreamerV3 pre-addestrato) che si affidano a nuove architetture ma mancano di meccanismi per riutilizzare i dati offline durante il fine-tuning. Fondamentalmente, NCRL ottiene questo risultato senza fare affidamento su trucchi come la modellazione della ricompensa (reward shaping) o l'inizializzazione del buffer di replay esperto usati da alcuni baseline.
Adattamento al Compito: In un contesto di apprendimento continuo, NCRL consente agli agenti di adattarsi a nuovi compiti (ad es., compiti del robot Ant) significativamente più velocemente del baseline PackNet, raggiungendo l'adattamento entro 100 tentativi per compito.

Significatività e Rivendicazioni
Il documento sostiene che la principale significatività di NCRL risieda nella sua capacità di sbloccare il potenziale di abbondanti dati non curati per l'RL. Identificando lo shift distributivo come il collo di bottiglia per il fine-tuning ingenuo e affrontandolo attraverso l'experience rehearsal e l'execution guidance, gli autori dimostrano che i modelli del mondo pre-addestrati su dati non curati possono aumentare sostanzialmente l'efficienza campionaria. Il lavoro suggerisce che la ricca informazione contenuta nei dataset non curati (dinamica, stati informativi, prior d'azione) non è pienamente sfruttata dai metodi attuali che scartano questi dati dopo il pre-addestramento o non riescono ad allinearli agli obiettivi online. NCRL fornisce una pipeline pratica per colmare questo divario, abilitando un RL efficiente attraverso una gamma più ampia di compiti ed embodiment senza il costo proibitivo dell'annotazione delle ricompense.