Sintesi Tecnica: AETDICE: Framework Unificato e Ottimizzazione Offline per il Reinforcement Learning Multi-Obiettivo Nonlineare

1. Definizione del Problema

Il reinforcement learning multi-obiettivo (MORL) mira a ottimizzare decisioni sequenziali sotto molteplici obiettivi, spesso in competizione tra loro. Mentre la scalarizzazione lineare (somme pesate) riduce il MORL al classico RL a obiettivo singolo, la scalarizzazione non lineare è essenziale per catturare preferenze complesse come l'avversione al rischio, l'equità (fairness) e i rendimenti decrescenti.

Storicamente, il MORL non lineare è stato diviso in due distinti paradigmi basati sull'ordinamento di scalarizzazione e aspettativa:

1. Scalarizzazione del Rendimento Atteso (SER - Scalarized Expected Return): Applica la non linearità al vettore del rendimento atteso ($u(\mathbb{E}[R])$). Ciò richiede un'ottimizzazione a livello globale perché il contributo marginale di un'azione dipende dal rendimento atteso complessivo della policy, richiedendo spesso policy stocastiche.
2. Rendimento Scalarizzato Atteso (ESR - Expected Scalarized Return): Applica la non linearità a ogni vettore di rendimento della traiettoria ($\mathbb{E}[u(R)]$). Questo crea un problema non-markoviano in cui l'azione ottimale dipende dalla storia accumulata delle ricompense, richiedendo l'aumento dello stato per ripristinare la proprietà di Markov.

Il Gap: I metodi esistenti di offline RL hanno affrontato la scalarizzazione lineare e gli obiettivi SER. Tuttavia, l'ESR rimane non affrontato nel contesto offline. La non linearità a livello di traiettoria rende le azioni ottimali dipendenti dalle ricompense accumulate, e l'apprendimento di tali policy condizionate alla ricompensa da dataset statici non è stato esplorato. Inoltre, nessun metodo esistente affronta obiettivi che combinano sia non linearità a livello di traiettoria che a livello di aspettativa, né gestisce i trade-off specifici indotti da tali combinazioni.

2. Metodologia

Il Framework AET

Gli autori propongono il framework Aggregation–Expectation–Transformation (AET) per unificare gli obiettivi MORL non lineari. AET decompone il processo di scalarizzazione in tre componenti:

1. Trasformazione (F): Una trasformazione a livello di traiettoria $F: \mathbb{R}^m \to \mathbb{R}^n$ che mappa il vettore di rendimento in $n$ dimensioni di utilità (ad esempio, catturando i rendimenti decrescenti tramite $\log$ o l'efficienza tramite Cobb-Douglas).
2. Aspettativa (E): L'aspettativa sulle traiettorie.
3. Aggregazione (G): Un'aggregazione a livello di aspettativa $G: \mathbb{R}^n \to \mathbb{R}$ (tipicamente concava) che combina le utilità attese.

L'obiettivo AET è definito come:
$$J_{AET}(\pi; F, G) = G(\mathbb{E}_{\tau \sim \pi}[F(R(\tau))])$$

Questo framework assorbe il MORL Lineare, il SER-MORL e l'ESR-MORL come casi speciali, consentendo una classe più ricca di obiettivi (AET-MORL) che combina le non linearità $F$ (traiettoria) e $G$ (aspettativa).

Algoritmo AETDICE

Per ottimizzare gli obiettivi AET in modalità offline, gli autori propongono AETDICE (Offline AET optimization via DIstribution Correction Estimation). Il metodo affronta separatamente le due fonti di non linearità:

1. Gestione della Trasformazione Non Lineare $F$ (MOMDP aumentato):
Per gestire la non linearità di $F$ a livello di traiettoria, gli autori costruiscono un MOMDP a orizzonte finito aumentato $\tilde{M} = (\tilde{S}, A, \tilde{P}, H, \tilde{p}_0, \tilde{r})$.

• Aumento dello Stato: Lo stato è aumentato con il vettore di ricompensa accumulata: $\tilde{s}_t = (s_t, R^{acc}_t, t)$. Ciò ripristina la proprietà di Markov per gli obiettivi ESR.
• Ricompensa Trasformata: Viene definita una nuova funzione di ricompensa per catturare il contributo incrementale di ogni azione alla utilità della traiettoria $F$:
  $$\tilde{r}(\tilde{s}_t, a_t) = F(R^{acc}_t + r(s_t, a_t)) - F(R^{acc}_t)$$
  Questo crea una somma telescopica dove $\sum \tilde{r} = F(R(\tau))$. Questa trasformazione riduce l'ESR-MORL a un classico RL a obiettivo singolo nello spazio aumentato e l'AET-MORL al SER-MORL nello spazio aumentato.

2. Gestione dell'Aggregazione Non Lineare $G$ (Ottimizzazione Convessa tramite DICE):
Con $F$ assorbita nella ricompensa, il problema diventa massimizzare una funzione concava $G$ sulle utilità attese nello spazio aumentato. Gli autori estendono il framework Distribution Correction Estimation (DICE):

• Distribuzione di Visita: L'obiettivo è riformulato come un'ottimizzazione convessa sulla distribuzione di visita $d_t(\tilde{s}, a)$ nello spazio aumentato.
• Variabile Slack: Viene introdotta una variabile slack $k$ per disaccoppiare l'aspettativa dall'aggregazione concava $G$, permettendo una stima campionaria non distorta.
• Regolarizzazione: Viene aggiunto un penalità $\phi$-divergenza per correggere lo shift di distribuzione tra la policy appresa e il dataset offline.
• Formulazione Duale: Il problema primale viene convertito in un problema dual risolvibile tramite discesa del gradiente stocastico su reti neurali che rappresentano i moltiplicatori di Lagrange ($\nu$) e la variabile slack ($\mu$). La policy ottimale viene estratta tramite weighted behavior cloning utilizzando i rapporti di visita appresi.

3. Contributi Chiave

1. Framework Unificato (AET): Il documento introduce AET, un framework rigoroso che unifica SER ed ESR e definisce una nuova classe di obiettivi (AET-MORL) che combinano non linearità a livello di traiettoria e di aspettativa.
2. Primo Ottimizzazione Offline di ESR: Definendo una ricompensa trasformata in uno spazio di stato aumentato, gli autori forniscono il primo metodo per ottimizzare gli obiettivi ESR da dataset statici, riducendo il problema a un classico offline RL.
3. Algoritmo AETDICE: Gli autori propongono AETDICE, un algoritmo offline basato su campionamento che gestisce sia la non linearità $F$ (tramite aumento dello stato) che la non linearità $G$ (tramite la correzione della distribuzione in stile DICE).
4. Validazione Empirica: Il framework è validato attraverso diversi obiettivi, inclusi Fair MORL (interpolando tra ESR e SER tramite $\alpha$-fairness), utilità convesse e utilità non convesse di tipo Cobb-Douglas con vincoli di sicurezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sugli ambienti Fair-Taxi, MO-PointMaze e D4MORL (MO-Ant, MO-Walker2d, MO-HalfCheetah).

• Fair MORL (Fair-Taxi & PointMaze): AETDICE ha ottimizzato con successo gli obiettivi ESR, SER e Balanced Scalarized Return (BSR).
  • Differenze Comportamentali: Le policy ottime per ESR hanno prodotto rendimenti bilanciati in ogni singola traiettoria (comportamento non-markoviano dipendente dalla storia). Le policy ottime per SER hanno prodotto miscele stocastiche di traiettorie specializzate (Markoviane, bilanciando solo in media). Le policy BSR hanno interpolato fluidamente tra questi comportamenti.
  • Performance: AETDICE ha raggiunto punteggi elevati sui rispettivi obiettivi target, superando i baseline come FairDICE (limitato a SER) ed ESR-IQL (limitato a ESR).
• Obiettivi AET Generali (D4MORL):
  • $F$ Convessa: Il metodo ha ottimizzato con successo obiettivi che danno priorità alle dimensioni ad alte prestazioni (F convessa) mantenendo il bilanciamento tramite $G$ concava, risultando in miscele stocastiche di comportamenti specializzati.
  • $F$ Non Convessa (Cobb-Douglas): AETDICE ha ottimizzato i trade-off di efficienza (ad esempio, velocità vs energia). Fondamentalmente, aggiungendo un'utilità di sicurezza tramite aggregazione concava, il metodo ha evitato il collasso dell'agente (un fallimento dell'ottimizzazione di pura efficienza) mantenendo un'alta efficienza.
• Ablazione: Lo studio sul coefficiente di regolarizzazione $\beta$ ha mostrato che sono necessari valori più piccoli per permettere alla MORL non lineare lo shift di distribuzione necessario, pur mantenendo stabilità ed efficacia.

5. Significato e Rivendicazioni

Il paper sostiene che AETDICE risolva barriere di lunga data nel campo del MORL offline, unificando strategie di ottimizzazione precedentemente frammentate.

• Unificazione: Colma il divario tra SER ed ESR, fornendo un unico framework per un generale MORL non lineare.
• Novità: È il primo metodo ad affrontare l'ottimizzazione offline di ESR e la più ampia classe di obiettivi AET.
• Insight Comportamentali: Il framework rivela distinzioni nei comportamenti delle policy (strategie non-markoviane, miscele stocastiche) derivanti dall'interazione tra non linearità a livello di traiettoria e di aspettativa, che i metodi esistenti non riescono a catturare o affrontare.
• Praticità: Abilitando l'ottimizzazione offline di complessi obiettivi di equità ed efficienza, il metodo supporta il processo decisionale nel mondo reale, dove le policy devono bilanciare criteri contrastanti sia all'interno che tra gli episodi.

Gli autori segnalano limitazioni riguardanti la scalabilità dello spazio di stato aumentato all'aumentare degli obiettivi e i rigorosi requisiti di copertura dei dati inerenti al MORL offline con shift di distribuzione. Tuttavia, affermano che AETDICE fa progredire significativamente il campo rendendo trattabile una classe più ampia di obiettivi non lineari nel contesto offline.