Sintesi Tecnica: Apprendimento Actor-Critic per il Controllo del Campo Medio Esteso con Politiche Deterministiche

Formulazione del Problema

Questo articolo affronta i problemi di controllo del campo medio (MFC) esteso in tempo continuo. In questo contesto, un pianificatore centrale ottimizza il comportamento collettivo di una vasta popolazione di agenti omogenei e interagenti. Lo stato controllato di un agente rappresentativo segue un'equazione differenziale stocastica (SDE) di tipo McKean-Vlasov:
$$dX^\alpha_s = b(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))ds + \sigma(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))dW_s$$
Fondamentalmente, a differenza del classico MFC dove i coefficienti dipendono solo dalla distribuzione dello stato, l'MFC esteso permette che il drift $b$, la diffusione $\sigma$ e le funzioni di ricompensa dipendano dalla distribuzione congiunta dello stato e del controllo, indicata come $\mathcal{P}(X^\alpha_s, \alpha_s)$.

L'obiettivo è massimizzare un funzionale di ricompensa su processi di controllo ammissibili. Una sfida primaria in questo dominio è la natura a dimensione infinita del problema, in cui la funzione valore dipende dal tempo, dallo stato individuale e dalla distribuzione dello stato. Inoltre, gli approcci esistenti di Reinforcement Learning (RL) per l'MFC in tempo continuo spesso si basano su politiche stocastiche (esplorative). Gli autori sostengono che le politiche stocastiche affrontino ostacoli algoritmici significativi nell'MFC esteso: la randomizzazione delle azioni altera la distribuzione del controllo, rompendo la linearità del generatore rispetto alla politica e complicando la derivazione della dinamica ausiliaria. Inoltre, le politiche stocastiche richiedono un campionamento ad alta frequenza e approssimazioni Monte Carlo su spazi di azione continui, portando a inefficienza computazionale e instabilità.

Metodologia

Il documento propone un framework Actor-Critic model-free che utilizza politiche di feedback deterministiche. Invece di ottimizzare su kernel stocastici, il metodo ottimizza su una famiglia parametrizzata di politiche deterministiche $\phi_\theta(t, x, \mu)$, che mappano direttamente il tempo corrente, lo stato e la legge dello stato verso un'azione.

1. Fondamenti Teorici

Il nucleo della metodologia è la derivazione di una formula di gradiente della politica deterministica (DPG) per l'MFC esteso in tempo continuo.

• Sensibilità Model-Free: Gli autori stabiliscono innanzitutto una formula di sensibilità model-free per la dinamica di McKean-Vlasov parametrizzata. Derivano una formula del gradiente per la funzione valore rispetto ai parametri della politica $\theta$ senza richiedere la conoscenza esplicita dei coefficienti di drift o diffusione.
• Funzione di Tasso di Vantaggio (Advantage-Rate): Il gradiente è espresso come un integrale che coinvolge la derivata di una funzione di tasso di vantaggio lungo il flusso delle distribuzioni di stato.
• Decomposizione Locale (Teorema 3.2): Un raffinamento teorico chiave riguarda la decomposizione delle funzioni valore e di vantaggio "lifted" in funzioni locali dello stato, dell'azione e della distribuzione congiunta stato-azione. Questa decomposizione produce un gradiente della politica contenente:
  1. Una derivata rispetto all'azione locale.
  2. Un termine di derivata della misura rispetto alla distribuzione del controllo.
• Caratterizzazione di Martingala: Gli autori stabiliscono una condizione di martingala per queste rappresentazioni locali. Ciò consente di apprendere le funzioni valore e di vantaggio direttamente dalle traiettorie osservate di stato e controllo, evitando la necessità di apprendere esclusivamente dal flusso delle leggi di stato.

2. Algoritmo: CT-DDPG

Sulla base dei risultati teorici, il paper propone l'algoritmo Continuous-Time Deep Deterministic Policy Gradient (CT-DDPG).

• Architettura: L'algoritmo impiega reti neurali dipendenti dalla misura. La funzione valore $V_\phi$ e la funzione di tasso di vantaggio $q_\psi$ sono approssimate utilizzando reti neurali che prendono in input non solo lo stato e il tempo, ma anche embedding a dimensione finita della distribuzione dello stato (ad esempio, momenti o mappe di caratteristiche apprendibili).
• Aggiornamento del Critic: I critic sono addestrati utilizzando uno schema di apprendimento temporal-difference (TD) derivato dalla caratterizzazione di martingala. La funzione di perdita impone i vincoli di tipo Bellman e le condizioni terminali.
• Aggiornamento dell'Actor: La politica viene aggiornata tramite gradiente ascendente utilizzando la formula DPG derivata (Eq. 3.22), che utilizza la funzione di tasso di vantaggio locale e le sue derivate.
• Esplorazione: Poiché la politica è deterministica, l'esplorazione viene introdotta esternamente tramite due meccanismi:
  1. Esplorazione dello spazio delle azioni: aggiunta di rumore alle azioni selezionate dalla politica.
  2. Esplorazione dello spazio dei parametri: perturbazione dei parametri della rete della politica.
• Simulazione: La dinamica di McKean-Vlasov è simulata utilizzando un'approssimazione a particelle (discretizzazione Euler-Maruyama) con $M$ agenti per stimare le distribuzioni empiriche.

Contributi Chiave

1. Framework di Politica Deterministica per l'MFC Esteso: Il paper introduce un framework di RL model-free specificamente per l'MFC esteso in tempo continuo che evita i limiti degli approcci a politica stocastica (come la perdita di linearità nel generatore e l'alto costo computazionale).
2. Nuova Formula del Gradiente della Politica: Viene derivata una formula del gradiente della politica deterministica che tiene esplicitamente conto della dipendenza dalla distribuzione congiunta stato-azione. Ciò include un nuovo termine di derivata della misura rispetto alla distribuzione del controllo, essenziale per i problemi di MFC esteso.
3. Rappresentazione Locale del Vantaggio: Decomponendo le funzioni valore e di vantaggio in componenti locali, gli autori consentono segnali di apprendimento più informativi derivati da singole traiettorie piuttosto che solo dal flusso aggregato dello stato.
4. Implementazione Algoritmica: Il paper presenta l'algoritmo CT-DDPG, integrando approssimazioni a particelle, reti neurali dipendenti dalla misura e apprendimento TD per risolvere questi problemi di controllo ad alta dimensione e a dimensione infinita.

Risultati Numerici

Il metodo proposto è valutato su due problemi di benchmark:

1. Controllo di Consenso Cucker-Smale Stocastico:

   • Caso Lineare-Quadratico (LQ) ($\gamma=0$): CT-DDPG converge più velocemente all'ottimo rispetto alle baseline model-aware esistenti (Actor-Critic e Q-Learning), nonostante non sfrutti la nota struttura LQ.
   • Caso Non-LQ ($\gamma=1$): Il metodo dimostra robustezza ed efficienza. Le varianti che utilizzano mappe di caratteristiche apprendibili per l'embedding della distribuzione performano comparabilmente a quelle che utilizzano feature kernel predefinite, validando la natura model-agnostic dell'approccio.
   • Esplorazione: L'esplorazione dello spazio delle azioni si è rivelata più robusta alla calibrazione della scala del rumore rispetto all'esplorazione dello spazio dei parametri, sebbene entrambe possano raggiungere prestazioni comparabili con una calibrazione attenta.

2. Liquidazione Ottimale con Trade Crowding:

   • Questo problema dipende esplicitamente dalla distribuzione del controllo (impatto permanente sul mercato).
   • CT-DDPG mostra una velocità di convergenza e una stabilità superiori rispetto alle baseline.
   • In questo specifico setting, l'esplorazione dello spazio dei parametri ha mostrato potenziali vantaggi rispetto all'esplorazione dello spazio delle azioni, poiché il rumore nello spazio delle azioni non perturbava sufficientemente la dinamica del processo dei prezzi.

Significato e Rivendicazioni

Il paper sostiene che il proposto approccio di politica deterministica offre significativi vantaggi computazionali rispetto ai metodi a politica stocastica negli scenari di MFC esteso in tempo continuo. Evitando l'ottimizzazione su kernel stocastici e utilizzando direttamente la struttura di push-forward delle politiche deterministiche, il metodo ottiene:

• Migliore Stabilità: La natura deterministica della politica riduce la varianza associata al campionamento stocastico delle azioni.
• Convergenza più Rapida: Il principio di apprendimento basato sulla martingala e le rappresentazioni locali del vantaggio forniscono gradienti più informativi.
• Capacità Model-Free: L'algoritmo opera senza conoscere la dinamica del sistema ($b, \sigma$) o le funzioni di ricompensa, rendendolo applicabile a scenari complessi del mondo reale dove tali modelli sono sconosciuti o intrattabili.

Gli autori sottolineano che il loro approccio rimuove le assunzioni restrittive presenti nei lavori precedenti (ad esempio, strutture separabili o dipendenza esplicita nota dai controlli) e fornisce un framework unificato per l'apprendimento in problemi di MFC esteso dove la distribuzione del controllo gioca un ruolo cruciale.