From Ticks to Flows: Dynamics of Neural Reinforcement Learning in Continuous Environments

Titolo: Dai Ticks ai Flussi: Dinamiche dell'Apprendimento per Rinforzo Neurale in Ambienti Continui

Definizione del Problema
L'Apprendimento per Rinforzo Profondo (Deep RL) ha ottenuto un successo significativo nei compiti di controllo continuo, eppure una rigorosa comprensione teorica di come gli agenti basati su reti neurali apprendano in ambienti continui rimane limitata. Mentre le teorie per l'apprendimento supervisionato profondo (ad esempio, Neural Tangent Kernel, limiti mean-field) spiegano l'efficacia delle reti sovraparametrizzate in contesti stazionari, questi framework non si applicano direttamente al RL. Nel RL, la distribuzione dei dati cambia dinamicamente con i passi di gradiente a causa dell'interazione dell'agente con l'ambiente. Le analisi teoriche esistenti per il controllo continuo mancano spesso di un framework unificato capace di catturare l'evoluzione simultanea dello stato dell'ambiente e dei parametri della rete neurale, in particolare riguardo alla natura stocastica dell'esplorazione e alle dinamiche del sistema in tempo continuo.

Metodologia
Gli autori propongono un nuovo framework teorico che modella il deep RL in ambienti continui come un processo stocastico a tempo continuo. La metodologia centrale prevede:

1. Formulazione a Tempo Continuo: Il problema è inquadrato all'interno di un Processo Decisionale di Markov (MDP) control-affine in cui le transizioni di stato sono governate da Equazioni Differenziali Stocastiche (SDE). Gli autori introducono un modello di "dinamiche esplorative" in cui sia il rumore dell'ambiente che la stocasticità della policy contribuiscono al rumore di transizione, formalizzato tramite una specifica SDE (Equazione 4).
2. Analisi a Due Scale Temporali: Il processo di apprendimento è caratterizzato da due orologi distinti: il tempo dell'ambiente ($t$), che governa le transizioni di stato, e il tempo del gradiente ($\tau$), che governa gli aggiornamenti dei parametri. Lo stato del sistema è trattato come una variabile casuale $s_{t,\tau}$ dipendente da entrambe le scale temporali.
3. Reti Sovraparametrizzate Linearizzate: Per rendere l'analisi trattabile, gli autori impiegano reti neurali a strato singolo linearizzate (sia per l'attore che per il critico) nel limite di larghezza infinita. Le funzioni di policy e di valore sono approssimate utilizzando un'espansione di Taylor del primo ordine attorno alla loro inizializzazione, un approccio comune nello studio del "regime pigro" (lazy regime) del deep learning.
4. Espansione di Itô-Taylor: Gli autori utilizzano l'espansione di Itô-Taylor per esprimere la variabile di stato dipendente dal tempo come un polinomio dei parametri della rete. Ciò consente di tracciare i cambiamenti nella distribuzione dello stato ad ogni passo di gradiente.
5. Equazioni Differenziali Stocastiche (SDE): Combinando la dinamica della rete linearizzata con la dinamica dell'ambiente a tempo continuo, gli autori derivano equazioni che descrivono il cambiamento infinitesimale della distribuzione dello stato ad ogni passo di gradiente sotto un tasso di apprendimento evanescente ($\eta = O(1/\sqrt{n})$).

Contributi Chiave

• Formulazione Nonparametrica: Il documento fornisce una formulazione nonparametrica per studiare algoritmi actor-critic neurali sovraparametrizzati in spazi di stato e azione continui.
• Sistema Chiuso di Dinamiche: Il principale risultato teorico (Teorema 6.1) dimostra che le dinamiche del tempo del gradiente dello stato, dell'azione e delle stime del valore possono essere descritte da un sistema chiuso di soli cinque variabili dipendenti dal tempo. Questo sistema cattura l'evoluzione della distribuzione dello stato su un singolo passo di gradiente.
• Prima Derivazione dell'Evoluzione dello Stato nel Tempo del Gradiente: Gli autori derivano, per la prima volta nel RL continuo, un'equazione che descrive il cambiamento infinitesimale della distribuzione dello stato ad ogni passo di gradiente. Questa equazione tiene conto dell'interazione tra la stocasticità dell'ambiente e le dinamiche di apprendimento.
• Equivalenza delle Dinamiche Esplorative: Il documento stabilisce uno schema numerico che simula le dinamiche esplorative in tempo discreto rimanendo fedele al sottostante processo a tempo continuo, provando l'equivalenza della SDE esplorativa proposta a un sistema con rumore combinato di ambiente e policy.

Risultati

• Validazione Teorica: Le equazioni derivate mostrano che i cambiamenti nello stato, nell'azione, nella stima del valore e nelle loro derivate rispetto a un passo di gradiente sono distribuiti gaussianamente (fino a un errore di ordine $O(1/\sqrt{n})$) e dipendono solo dai valori correnti delle cinque variabili chiave.
• Corroborazione Empirica: Gli autori validano i loro risultati teorici utilizzando un compito di controllo continuo (Regolatore Lineare Quadratico - LQR).
  • Dimostrano che le loro dinamiche esplorative coprono efficacemente le coppie stato-azione rispetto al normale rumore di Wiener additivo.
  • Mostrano che un algoritmo actor-critic episodico utilizzando reti linearizzate impara con successo politiche quasi ottimali in ambienti LQR con diverse dimensioni dello stato ($d_s \in \{1, 2, 8, 32\}$).
  • La simulazione empirica del modello teorico corrisponde strettamente al comportamento dell'algoritmo actor-critic online episodico.

Significatività e Rivendicazioni
Il documento rivendica di fornire un ponte principato tra la teoria del controllo stocastico e il moderno RL sovraparametrizzato. Riconfigurando il deep RL come un sistema stocastico a due orologi, gli autori consentono caratterizzazioni locali e infinitesimali di come evolvono le stime di stato, azione e valore. La significatività risiede nel:

• Offrire un modello teorico trattabile che spiega le dinamiche di apprendimento degli algoritmi actor-critic senza fare affidamento sulla piena complessità di reti non lineari e a larghezza finita.
• Dimostrare che una semplificazione delle reti neurali sovraparametrizzate emerge da principi fondamentali della teoria della probabilità e dei processi stocastici.
• Fornire una base per future analisi teoriche, come l'analisi del regret e della convergenza, in contesti di controllo continuo.

Gli autori riconoscono i limiti, notando che i loro risultati attualmente si basano su dinamiche lisce, modelli a singolo strato nascosto e sul limite di larghezza asintotica. Affermano che l'estensione di questi risultati a reti a larghezza finita, attivazioni non lisce e dimostrazioni ad alta dimensionalità sono passi naturali successivi, ma il presente lavoro stabilisce il framework nonparametrico fondamentale per tali indagini.