Data Deletion Can Help in Adaptive RL

1. Enunciato del Problema

Il documento affronta la sfida dell'Apprendimento per Rinforzo (RL) Adattivo nel deployment nel mondo reale. A differenza dell'RL standard, dove gli ambienti di addestramento e di test sono identici, l'RL adattivo richiede che un agente generalizzi ad ambienti non visti ma simili.

• Framework: Gli autori utilizzano il framework del Processo Decisionale di Markov Contestuale (cMDP). Un cMDP è una famiglia di MDP indicizzata da un contesto $c$ a bassa dimensionalità (ad esempio, gravità, massa, attrito) che influenza le dinamiche di transizione.
• La Sfida: Il vero contesto $c$ è noto durante l'addestramento ma sconosciuto al momento del test.
• Approccio Standard: Il problema è tipicamente scomposto in due parti:
  1. Politica Universale ($K$): Addestrata per intraprendere azioni ottimali dato lo stato e il vero contesto.
  2. Stimatore del Contesto ($\phi$): Addestrato per stimare il contesto $\hat{c}$ basandosi sulle traiettorie osservate di stato-azione.
  3. Politica Adattiva: Definita come $\pi = K(\hat{c})$.
• Il Problema: Nell'addestramento multi-round, i dati vengono raccolti utilizzando politiche progressivamente migliori. Le traiettorie più vecchie sono generate da politiche subottimali e provengono da una distribuzione che differisce significativamente dallo scenario di deployment (dove lo stimatore è imperfetto). Questo disallineamento distributivo tra i dati di addestramento e la realtà del deployment degrada le prestazioni dello stimatore del contesto.

2. Metodologia: Cancellazione Casuale dei Dati

Gli autori propongono una tecnica semplice e controintuitiva chiamata Cancellazione Casuale dei Dati per migliorare le prestazioni dello stimatore del contesto.

• L'Algoritmo:
  1. Addestrare una politica universale $K$ e uno stimatore del contesto iniziale $\phi$.
  2. Raccogliere traiettorie utilizzando la politica adattiva corrente $K(\phi)$.
  3. Aggiungere queste traiettorie a un buffer di dati.
  4. Passaggio Cruciale: Dopo ogni round di addestramento, cancellare casualmente una frazione $(1 - \alpha)$ delle traiettorie attualmente presenti nel buffer.
  5. Riaddestrare lo stimatore $\phi$ sui dati rimanenti.
• Meccanismo di Azione:
  • Poiché i dati vengono raccolti su più round, i dati più vecchi corrispondono a politiche precedenti, meno capaci.
  • La cancellazione casuale crea un decadimento esponenziale implicito sui dati più vecchi. Le traiettorie dei round iniziali hanno una probabilità di sopravvivenza inferiore rispetto a quelle dei round recenti.
  • Questo filtra efficacemente i dati "obsoleti" (che causano disallineamento distributivo) preservando al contempo la diversità dei dati (a differenza del semplice mantenimento dei soli dati più recenti, che potrebbero mancare di copertura).
• Giustificazione Teorica:
  • Gli autori analizzano questo fenomeno tramite Minimizzazione del Rischio Empirico Regolarizzato (ERM) con un disallineamento tra la distribuzione di addestramento ($P_{train}$) e la distribuzione di test ($P_{test}$).
  • Dimostrano che, in condizioni lievi (specificamente per funzioni di perdita convesse), la rimozione di un singolo punto dati scelto uniformemente a caso diminuisce la perdita di test attesa se il disallineamento distributivo è significativo.
  • Per la Regressione Ridge, derivano una condizione quantitativa: la cancellazione è benefica quando il Rapporto Segnale-Rumore (SNR) è sufficientemente basso e il coefficiente di regolarizzazione è moderato. La soglia SNR misura direttamente l'entità richiesta del disallineamento distributivo affinché la cancellazione sia utile.

3. Contributi Chiave

1. Tecnica Innovativa: Introduzione della Cancellazione Casuale dei Dati come metodo per potenziare le politiche di RL adattivo.
2. Validazione Empirica: Dimostrazione di guadagni nelle prestazioni attraverso Perceptron a Strati Multipli (MLP) e Reti Neurali Ricorrenti (RNN come LSTM/GRU).
3. Efficienza: Dimostrazione che la cancellazione dei dati permette a modelli più piccoli (ad esempio, un MLP con 5 volte meno parametri) di superare modelli più grandi e ampi addestrati senza cancellazione.
4. Analisi Teorica: Fornitura di un quadro teorico che spiega perché la cancellazione aiuta, collegandola al disallineamento distributivo e alla regolarizzazione in contesti di ottimizzazione convessa.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo su benchmark di Controllo Classico (Pendulum, LunarLander, Acrobot, MountainCar) e Locomozione Brax (Ant, HalfCheetah), variando contesti come gravità, massa e attrito.

• Guadagni nelle Prestazioni:
  • MLP: Hanno ridotto il divario di robustezza (distanza dalla politica ottimale a "vero contesto") fino al 30%.
  • RNN (LSTM/GRU): Hanno ridotto il divario di robustezza in media del 6%.
• Efficienza del Modello:
  • Un MLP Stretto (8.322 parametri) addestrato con cancellazione dei dati ha superato un MLP Ampio (47.426 parametri) addestrato senza cancellazione.
  • Le RNN (LSTM/GRU) hanno generalmente superato l'MLP Ampio, nonostante avessero significativamente meno parametri.
• Studi di Ablazione:
  • Confronto con Cancellazione Obsoleta (rimozione solo dei dati più vecchi) e Cancellazione Uniforme (campionamento casuale per l'addestramento ma mantenimento di tutti i dati).
  • La Cancellazione Casuale è stata superiore per le RNN, mentre la Cancellazione Uniforme ha funzionato meglio per gli MLP Stretti. La cancellazione obsoleta ha performato male, confermando che alcuni dati più vecchi sono necessari per la diversità.
  • La ritenzione ottimale dei dati ($\alpha$) è risultata essere intorno a 0,8 (cancellando il 20%) o 0,5 (cancellando il 50%) a seconda dell'architettura e dell'ambiente.

5. Significato e Conclusione

Questo lavoro sfida la saggezza convenzionale secondo cui "più dati sono sempre meglio" nell'RL. Dimostra che, in contesti adattivi, i dati più vecchi possono essere dannosi a causa degli spostamenti distributivi causati dall'evoluzione della politica.

• Impatto Pratico: Il metodo offre un modo computazionalmente economico e regolabile tramite iperparametri per migliorare la generalizzazione dell'RL senza modificare l'architettura sottostante o la funzione di ricompensa.
• Insight Teorico: Colma il divario tra euristiche pratiche e comprensione teorica, mostrando che la cancellazione dei dati agisce come un regolarizzatore contro il disallineamento distributivo.
• Applicazione più Ampia: I risultati suggeriscono che in qualsiasi scenario di apprendimento in cui la distribuzione di addestramento si allontana dalla distribuzione di deployment (comune nell'apprendimento online e nel trasferimento sim-to-real), la rimozione selettiva di dati obsoleti può migliorare la generalizzazione.

In sintesi, il documento stabilisce che cancellare casualmente una frazione dei dati di addestramento è una strategia potente, semplice e teoricamente fondata per migliorare la robustezza e l'efficienza degli agenti di RL adattivo in ambienti variabili nel tempo.