Sintesi Tecnica: Verso un Apprendimento per Rinforzo Multi-Task Scalabile con Grandi Modelli Decisionali

Problematica

L'Apprendimento per Rinforzo (RL) ha ottenuto un successo significativo in domini specifici come i giochi, la robotica e il controllo. Tuttavia, l'applicazione dell'RL a contesti del mondo reale rimane una sfida a causa della necessità di estese interazioni con l'ambiente, una meticolosa ingegneria delle ricompense, architetture specifiche per il dominio e un sostanziale tuning degli iperparametri. Sebbene l'RL offline e gli approcci da offline a online mitigino il costo dell'interazione online, selezionare e adattare un algoritmo adeguato per un nuovo ambiente rimane difficile.

Parallelamente a queste sfide, i modelli di sequenza su larga scala hanno trasformato l'elaborazione del linguaggio naturale e la visione artificiale. Nell'RL, gli approcci basati su modelli di sequenza come i Decision Transformer hanno dimostrato che le policy possono essere rappresentate come modelli autoregressivi sulle traiettorie. Ciò solleva una domanda critica: è possibile consolidare traiettorie di RL offline multi-dominio in un'unica policy transformer scalabile mantenendo al contempo elevate prestazioni per i task in molti domini? L'ostacolo principale è che gli ecosistemi di RL multi-dominio sono frammentati, eterogenei e difficili da unificare.

Metodologia

Gli autori introducono LDM-v0 (Large Decision Model v0), una policy transformer multi-task e multi-modale unificata, addestrata offline su traiettorie provenienti da migliaia di ambienti eterogenei. La metodologia si compone di tre componenti principali:

1. Supervisione Automatica della Reference-Policy

Per generare dati di addestramento di alta qualità in domini diversi senza ingegneria manuale delle ricompense, gli autori trattano la costruzione del dataset come un problema di AutoRL:

• Selezione dei Candidati: Viene definito un pool di algoritmi e configurazioni candidate (da Stable-Baselines3 e SB3-Contrib, inclusi A2C, PPO, SAC, DQN, ecc.).
• Classificazione (Ranking): Per ogni libreria di ambienti, vengono addestrati candidati compatibili su un sottoinsieme di cinque ambienti. Le configurazioni vengono classificate tramite confronti a coppie basati su un t-test di Welch a una coda sulle prestazioni finali.
• Generazione dei Dati: Le configurazioni con il ranking più alto vengono addestrate per 3 milioni di transizioni. Le traiettorie vengono registrate e la policy finale addestrata viene riprodotta per generare annotazioni di azioni di riferimento.
• Filtraggio: Le esecuzioni di bassa qualità (quelle prive di un miglioramento delle prestazioni statisticamente significativo o che scendono al di sotto del 95% delle prestazioni della migliore policy) vengono rimosse.
• Risultato: Un dataset di circa 9,3 miliardi di transizioni da circa 3.000 ambienti distinti, annotati con azioni di reference policy piuttosto che con azioni esplorative.

2. Infrastruttura Ambientale Unificata

Per gestire la frammentazione delle librerie RL (diverse versioni di Python, dipendenze, simulatori), gli autori hanno sviluppato un framework di orchestrazione interno:

• Gli ambienti sono incapsulati in container Docker isolati.
• Viene esposta un'API di interazione unificata compatibile con le moderne interfacce Gymnasium.
• Questa pipeline ha integrato 146 librerie di ambienti coprendo circa 15.000 singoli ambienti.

3. Architettura del Modello e Addestramento

• Architettura: LDM-v0 è un decoder-only transformer basato sull'architettura Llama, addestrato da zero.
• Elaborazione dell'Input: Il modello riceve una cronologia di interazione (passate osservazioni, azioni, ricompense, segnali di terminazione) e l'osservazione corrente.
  • Tokenizzazione: Gli input continui sono codificati tramite $\mu$-law e discretizzati in 1024 bin. Gli input discreti utilizzano tabelle di lookup. Le immagini sono ridimensionate a 64x64 e codificate tramite un encoder convoluzionale.
  • Embedding: Osservazione, azione, ricompensa e segnali di terminazione sono allineati e impilati in meta-token a livello di transizione. Questa rappresentazione compatta riduce la lunghezza della sequenza rispetto alla tokenizzazione per dimensione (es. Gato), permettendo cronologie più lunghe entro un budget di contesto fisso.
• Obiettivo di Addestramento: Il modello è addestrato tramite la predizione della prossima azione supervisionata utilizzando la loss cross-entropy sui bin discretizzati. Impara a predire l'azione di riferimento $a_t$ condizionata dalla cronologia della traiettoria $(o_i, a_i, r_i, d_i)$.
• Scala: Il modello primario (LDM-v0) ha 308M di parametri, 12 layer e una lunghezza di contesto di 2048 transizioni. È stato addestrato per sei giorni su due nodi con 16 GPU NVIDIA H200.

Contributi Chiave

1. LDM-v0: Una policy transformer multi-modale su larga scala, addestrata su un dataset unificato che comprende 146 librerie e ~3.000 ambienti.
2. Infrastruttura Scalabile: Una pipeline robusta per automatizzare la generazione della reference-policy e l'orchestrazione dell'ambiente attraverso ecosistemi RL altamente eterogenei.
3. Modellazione Compatta a Livello di Transizione: Una strategia di tokenizzazione che impacchetta segnali di osservazione, azione, ricompensa e terminazione in singoli meta-token, consentendo una modellazione di sequenze a lungo termine efficiente.
4. Validazione Empirica: Evidenza del fatto che una singola parametrizzazione condivisa può raggiungere prestazioni competitive in domini diversi senza fine-tuning specifico per il task.

Risultati

Gli autori hanno valutato LDM-v0 attraverso gli ambienti di addestramento (in-distribution) e l'hanno confrontato con le performance delle reference policy indipendentemente addestrate e specifiche per il task.

• Soglie di Performance: LDM-v0 ha raggiunto >80% delle prestazioni della reference policy in oltre 1.600 ambienti e ha eguagliato la performance della reference in circa 1.000 ambienti.
• Copertura dei Domini: Forti prestazioni sono state osservate in:
  • Robotica e controllo (es. gymnasium_robotics, panda-gym).
  • Guida autonoma (highway-env).
  • Trading finanziario (gym_trading_env) e ottimizzazione dell'inventario.
  • Cybersecurity (cymnasium).
  • Ambienti di tipo gioco (stile Atari, procogen, Super Mario Bros).
• Leggi di Scalabilità (Scaling Laws): Gli esperimenti con dimensioni del modello che vanno da 32M a 736M parametri hanno mostrato miglioramenti sostanziali delle prestazioni da 32M a 308M. I guadagni sembravano stabilizzarsi tra 308M e 736M, suggerendo che, sebbene una maggiore capacità aiuti, il modello da 308M cattura regolarità statistiche significative.

Significato e Rivendicazioni

Il paper sostiene di dimostrare la fattibilità di un pre-addestramento offline su larga scala attraverso ambienti di apprendimento per rinforzo eterogenei utilizzando un'unica policy transformer.

• Rappresentazione Unificata: I risultati suggeriscono che, nonostante la sostanziale eterogeneità nelle modalità di osservazione, negli spazi di azione, nelle scale di ricompensa e negli orizzonti temporali, i grandi modelli di sequenza possono sfruttare le regolarità statistiche condivise tra sottogruppi di ambienti.
• Automazione: Il lavoro evidenzia il potenziale di pipeline automatizzate e unificate per superare la frammentazione degli attuali ecosistemi RL, riducendo la dipendenza dalla conoscenza esperta e dalle scelte di design specifiche per il task.
• Direzioni Future: Gli autori vedono LDM-v0 come un passo verso sistemi di apprendimento per rinforzo pre-addestrati e scalabili. Notano esplicitamente che il loro obiettivo primario non era studiare la generalizzazione out-of-distribution, ma indagare se una singola policy potesse modellare congiuntamente comportamenti RL diversificati su larga scala.

Gli autori rimangono modesti riguardo alla generalizzazione, riconoscendo che le valutazioni sono state condotte principalmente su ambienti all'interno della distribuzione di addestramento. Identificano la comprensione delle strategie decisionali trasferibili e il miglioramento della generalizzazione verso ambienti non visti (tramite adattamento in-context o fine-tuning) come importanti questioni aperte per il lavoro futuro.