Riepilogo Tecnico: Apprendimento per Rinforzo On-Policy Scalabile tramite Scalabilità Adattiva del Batch

1. Enunciato del Problema

Il senso comune nell'Apprendimento per Rinforzo (RL) sostiene che l'addestramento con batch di grandi dimensioni sia fondamentalmente incompatibile con questo campo. A differenza dell'apprendimento supervisionato, dove l'aumento delle dimensioni dei batch stabilizza la stima del gradiente e permette l'addestramento di modelli massicci (Leggi di Scalabilità), i praticanti del RL fanno tipicamente affidamento su batch di dimensioni modeste (es. 256–1024). Questa limitazione è attribuita all'intrinseca non stazionarietà della distribuzione dei dati nel RL; man mano che la politica ($\pi_\theta$) si aggiorna, la distribuzione dei dati si sposta, creando un compromesso tra bias e varianza.

La visione prevalente suggerisce che aumentare le dimensioni dei batch oltre una soglia critica produca rendimenti decrescenti o un degrado delle prestazioni. Si ritiene che i batch grandi causino un overfitting degli agenti su traiettorie transitorie e instabili durante le fasi iniziali e volatili dell'addestramento. Di conseguenza, la pratica standard favorisce batch piccoli per mantenere la plasticità del modello e adattarsi a distribuzioni in cambiamento, anche quando si utilizzano architetture su larga scala. Questo lavoro sfida la natura statica di tale visione, sostenendo che il grado di non stazionarietà non è costante ma evolve durante l'addestramento.

2. Metodologia: Scalabilità Adattiva del Batch (ABS)

Gli autori propongono la Scalabilità Adattiva del Batch (ABS), un framework che regola dinamicamente la dimensione effettiva del batch in base alla stabilità della politica di apprendimento. L'ipotesi di fondo è che l'addestramento RL consista in due regimi distinti:

1. Fase Iniziale (Alta Non Stazionarietà): Caratterizzata da rapidi cambiamenti comportamentali. Sono necessari batch piccoli per preservare la plasticità e prevenire l'overfitting su traiettorie instabili.
2. Fase Tardiva (Quasi Stazionarietà): Man mano che la politica converge, la distribuzione dei dati si stabilizza. I batch grandi diventano benefici per sopprimere il rumore del gradiente e permettere una convergenza precisa.

Componenti Chiave

• Divergenza Comportamentale ($\delta_\pi$): Una nuova metrica introdotta per quantificare la non stazionarietà della politica. Misura la frazione di stati in cui l'azione preferita cambia tra la politica corrente ($\pi_\theta$) e la politica precedente ($\pi_{\theta_{old}}$) su un batch di riferimento.
  • Formalmente: $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$.
  • Un $\delta_\pi$ alto indica alta volatilità (fase iniziale); un $\delta_\pi$ basso indica stabilità (fase tardiva).
• Programma di Scalabilità Dinamica: La dimensione effettiva del batch ($|B|$) è scalata inversamente proporzionale alla divergenza comportamentale.
  • La lunghezza del rollout ($L_{adapt}$) viene aggiustata logaritmicamente tra un minimo ($L_{min}$) e un massimo ($L_{max}$) in base alla divergenza normalizzata.
  • Quando $\delta_\pi$ è alto (cambiamento rapido), $L_{adapt}$ è impostato su $L_{min}$ (batch piccolo).
  • Quando $\delta_\pi$ è basso (stabile), $L_{adapt}$ scala verso $L_{max}$ (batch grande).
• Integrazione: Il metodo è integrato con l'algoritmo Parallelised Q-Network (PQN). Il calcolo della Divergenza Comportamentale si basa esclusivamente su passaggi in avanti (forward passes), rendendolo computazionalmente efficiente rispetto ai metodi che richiedono passaggi all'indietro (backward passes) (es. Scala del Rumore del Gradiente).

3. Contributi Chiave

1. Quantificazione della Non Stazionarietà nel RL: L'introduzione della Divergenza Comportamentale come metrica pratica, basata su passaggi in avanti, per misurare gli spostamenti a livello di azione tra aggiornamenti di politica successivi.
2. Framework di Scalabilità Adattiva del Batch: Un algoritmo semplice ma efficace che scala dinamicamente le dimensioni dei batch (lunghezze di rollout) in risposta alla stabilità della politica, colmando il divario tra la necessità di plasticità nella fase iniziale e la stabilità nella fase tardiva.
3. Verifica della Scalabilità: Dimostrazione empirica che l'ABS permette miglioramenti delle prestazioni con batch di dimensioni maggiori sul benchmark ALE, in particolare quando combinato con architetture di rete più grandi (es. modelli multi-skip in stile ResNet), un comportamento di scalabilità precedentemente ritenuto irraggiungibile nel RL.

4. Risultati Sperimentali

Il metodo è stato valutato sui benchmark Atari-57 e Atari-10 utilizzando l'algoritmo PQN, ed esteso al controllo continuo (MuJoCo) e a impostazioni off-policy (BTR).

• Prestazioni vs. Batch Fissi: L'ABS ha superato il PQN vanilla e le baseline con batch piccoli/grandi fissi nella maggior parte degli ambienti. Ha ottenuto punteggi più alti nella fase iniziale (grazie ai batch piccoli) e una varianza inferiore nella fase tardiva (grazie ai batch grandi).
• Confronto con GNS: L'ABS ha superato l'approccio della Scala del Rumore del Gradiente (GNS) sia nell'efficienza dei campioni che nelle prestazioni finali, risultando al contempo significativamente più efficiente dal punto di vista computazionale poiché evita passaggi all'indietro aggiuntivi.
• Scalabilità con Modelli Grandi: Quando applicato ad architetture più grandi (PQN-L e PQN-XL), l'ABS ha costantemente migliorato le prestazioni. Crucialmente, mentre l'uso di un batch grande fisso degradava le prestazioni sui modelli grandi, l'ABS (che scala da piccoli a grandi) ha sbloccato il potenziale di questi modelli, ottenendo le migliori prestazioni. Ciò conferma una correlazione positiva tra la scala del modello e l'efficacia del batching adattivo.
• Generalizzazione:
  • Controllo Continuo: Applicato a PPO su MuJoCo utilizzando la Divergenza KL come proxy per la non stazionarietà, l'ABS ha migliorato l'efficienza dei campioni e le prestazioni finali.
  • RL Off-Policy: Applicato a BTR con modifiche minime (sostituendo la lunghezza del rollout con un intervallo di dimensioni del batch), l'ABS ha migliorato le prestazioni in 4 ambienti su 5 di Atari-5.

5. Significato e Affermazioni

Il lavoro afferma di sfidare il "senso comune" secondo cui l'addestramento con batch di grandi dimensioni è incompatibile con il RL. Dimostrando che la non stazionarietà è una proprietà evolutiva piuttosto che un vincolo fisso, gli autori mostrano che reti più grandi e batch di dimensioni maggiori possono raggiungere le migliori prestazioni nel RL se gestiti in modo adattivo.

Il significato di questo lavoro risiede nel suo potenziale di sbloccare il potenziale di scalabilità dell'apprendimento per rinforzo, permettendo ad agenti RL ad alta capacità di sfruttare gli stessi vantaggi dell'addestramento con batch grandi che hanno guidato il successo nell'apprendimento supervisionato (es. LLM e Vision Transformers). Gli autori posizionano l'ABS come un passo fondamentale verso un RL scalabile, colmando il divario di prestazioni tra RL e apprendimento supervisionato su larga scala.

Limitazioni e Direzioni Future:
Gli autori notano che, sebbene il lavoro attuale si concentri su algoritmi on-policy, i lavori futuri includono l'estensione dell'ABS al RL offline, la validazione su architetture basate su Transformer e l'integrazione del metodo nelle tecniche di allineamento dei Large Language Model (es. GRPO) per un RLHF scalabile.