Sintesi Tecnica: Affrontare i Processi Decisionali con Obiettivi Non Cumulativi tramite l'Apprendimento per Rinforzo

Definizione del Problema

I processi decisionali di Markov (MDP) standard modellano il processo decisionale massimizzando la somma attesa delle ricompense su una traiettoria, definita come $E_\pi [\sum_{t=0}^{T-1} r_t]$. Tuttavia, molte applicazioni del mondo reale richiedono l'ottimizzazione di Processi Decisionali di Markov Non Cumulativi (NCMDP), dove l'obiettivo è massimizzare il valore atteso di una funzione arbitraria $f$ delle ricompense, piuttosto che la loro somma:
$$E_\pi [f(\tilde{r}_0, \tilde{r}_1, \dots, \tilde{r}_{T-1})]$$
Esempi di tali obiettivi includono la massimizzazione della ricompensa minima (problemi del "anello più debole"), l'ottimizzazione del rapporto di Sharpe (media divisa per la deviazione standard dei rendimenti), o la minimizzazione della velocità massima in compiti di controllo. I metodi esistenti per risolvere gli NCMDP sono limitati: spesso restringono gli obiettivi a funzioni specifiche (ad esempio, solo il massimo), operano solo in ambienti deterministici o richiedono la modifica degli algoritmi di apprendimento per rinforzo (RL) centrali (ad esempio, ridefinendo gli errori di differenza temporale). Di conseguenza, gli approcci RL allo stato dell'arte spesso si affidano ad approssimazioni o non riescono a gestire efficacemente gli NCMDP stocastici.

Metodologia

Gli autori propongono un quadro teorico generale che mappa qualsiasi NCMDP in un MDP standard, consentendo l'applicazione diretta degli esistenti solver MDP (come il programmazione dinamica o algoritmi di deep RL come PPO) senza modifiche algoritmiche.

Il Meccanismo di Mappatura

L'innovazione principale è la costruzione di uno spazio di stato aumentato e di una funzione di ricompensa adattata. Dato un NCMDP $\tilde{M}$ con stati $\tilde{s}_t$, ricompense $\tilde{r}_t$ e funzione obiettivo $f$, l'MDP corrispondente $M$ è definito come segue:

1. Stati Adattati ($s_t$): Lo spazio degli stati è ampliato per includere un vettore di storia $h_t$ che incapsula tutte le informazioni necessarie dalla storia delle ricompense per calcolare la funzione obiettivo.
   $$s_t = (\tilde{s}_t, h_t)$$
   Il vettore $h_t$ viene aggiornato ad ogni passo tramite una funzione $u$: $h_{t+1} = u(h_t, \tilde{r}_t)$. Per molte funzioni comuni (ad esempio, max, min, rapporto di Sharpe), $h_t$ può essere mantenuto con una dimensione costante.

2. Ricompense Adattate ($r_t$): La ricompensa immediata nel nuovo MDP è definita come la variazione incrementale del valore della funzione obiettivo:
   $$r_t = f(\tilde{r}_0, \dots, \tilde{r}_t) - f(\tilde{r}_0, \dots, \tilde{r}_{t-1}) = \rho(h_t, \tilde{r}_t)$$
   Ciò assicura che la somma cumulativa delle ricompense adattate nell'MDP sia uguale al valore dell'obiettivo non cumulativo nell'NCMDP originale:
   $$\sum_{t=0}^{T-1} r_t = f(\tilde{r}_0, \dots, \tilde{r}_{T-1})$$

3. Equivalenza: Gli autori dimostrano che la politica ottimale per l'MDP costruito è equivalente alla politica ottimale per l'NCMDP originale. Inoltre, qualsiasi politica produce lo stesso rendimento atteso in entrambe le formulazioni. Ciò consente l'applicazione diretta degli standard di convergenza (ad esempio, per Q-learning o gradienti di policy) agli NCMDP.

Implementazione

L'approccio tratta l'ambiente NCMDP e il solver MDP come scatole nere. Un semplice livello intermedio calcola gli stati e le ricompense adattate, richiedendo nessun cambiamento all'algoritmo di RL sottostante. Questo facilita l'uso di librerie standard (ad esempio, Stable-Baselines3) per problemi non cumulativi.

Contributi Chiave

1. Quadro Teorico: Introduzione di una mappatura generale da NCMDP a MDP standard che accoglie arbitrarie funzioni obiettivo non cumulative sia in ambienti deterministici che stocastici.
2. Agnosticismo Algoritmico: Il metodo consente l'uso di qualsiasi solver MDP esistente senza modificare l'algoritmo di apprendimento stesso, a differenza dei lavori precedenti che richiedevano la ridefinizione delle regole di aggiornamento.
3. Gestione dello Spazio degli Stati: Identificazione delle condizioni sotto le quali l'informazione aggiuntiva di storia $h_t$ rimane di dimensione costante, rendendo l'approccio scalabile per le tecniche di deep RL nonostante l'espansione dello spazio degli stati.
4. Validazione Empirica: Dimostrazione dell'efficacia del metodo attraverso diversi domini, inclusi il controllo classico, l'ottimizzazione di portafogli finanziari e l'ottimizzazione discreta.

Risultati Sperimentali

Gli autori hanno valutato il loro approccio rispetto alle formulazioni MDP standard e ai metodi precedenti specifici per NCMDP in tre domini:

• Controllo Classico (Lunar Lander): Il compito consisteva nel massimizzare una funzione di ricompensa penalizzata dalla velocità massima durante una traiettoria. Il metodo proposto (MAXVELPPO) ha ottenuto un compromesso superiore tra sicurezza dell'atterraggio e velocità massima rispetto a un approccio cumulativo (FINALPPO) che aggiungeva la penalità solo alla fine. L'aggiunta della storia a un agente cumulativo non ha migliorato le prestazioni, mentre l'approccio di mappatura ha integrato naturalmente la storia.
• Ottimizzazione di Portafoglio: L'obiettivo era massimizzare il rapporto di Sharpe. Il metodo proposto (SHARPE) ha ottimizzato direttamente l'esatto rapporto di Sharpe, superando gli agenti che utilizzavano l'approssimazione del rapporto di Sharpe differenziale (DIFFSHARPE) o una formulazione di ricompensa finale (FINALSHARPE).
• Ottimizzazione Discreta:
  • Ambiente Peak: In un problema giocattolo che richiedeva aumenti intermittenti dei costi per trovare un minimo globale, l'obiettivo non cumulativo (MAXREINFORCE) si è addestrato significativamente più velocemente rispetto al baseline cumulativo. L'analisi ha mostrato che ciò era dovuto alla riduzione della varianza del gradiente e a una direzione del gradiente più vantaggiosa.
  • Correzione dell'Errore Quantistico e Diagrammi ZX: Nei compiti che coinvolgono la scoperta di circuiti quantistici e la semplificazione dei diagrammi ZX, l'approccio non cumulativo (MAXPPO) ha generalmente superato il PPO standard. Nel compito sui diagrammi ZX, l'agente non cumulativo ha esplorato in modo più efficace (maggiore entropia della policy) e ha raggiunto le prestazioni ottimali in circa la metà dei passi di addestramento richiesti dall'agente cumulativo.

Significato e Rivendicazioni

Il documento sostiene che questo lavoro espande significativamente l'ambito dell'apprendimento per rinforzo unificando gli obiettivi non cumulativi con i solver MDP standard. Gli autori sottolineano che:

• Il metodo elimina la necessità di algoritmi NCMDP specializzati e spesso limitati ai soli ambienti deterministici.
• Permette ai ricercatori di specificare obiettivi esatti (ad esempio, rapporto di Sharpe, ricompensa minima) direttamente all'agente senza approssimazioni.
• L'implementazione è semplice, richiedendo solo uno strato di mappatura, rendendolo accessibile agli esperti di dominio che non sono specialisti di RL.
• L'approccio migliora sia le prestazioni finali che l'efficienza dell'addestramento in compiti in cui l'obiettivo dipende dalla storia della traiettoria in modo non additivo.

Gli autori notano limitazioni, come il potenziale aumento della dimensione dello spazio degli stati (sebbene gestibile dal deep RL) e l'osservazione che in alcuni compiti di ottimizzazione discreta con traiettorie lunghe, l'apprendimento può essere inizialmente lento se l'agente incorre frequentemente in ricompense nulle. Riconoscono inoltre che, sebbene il loro metodo migliori le prestazioni all'interno dell'ambiente addestrato, la generalizzazione a periodi non visti (ad esempio, nei dati finanziari) rimane una sfida comune a tutti gli agenti RL in questi domini.