Sintesi Tecnica: Apprendimento di Decisioni Sequenziali da Molteplici Fonti tramite MDP Gruppo-Robusti

Formulazione del Problema

Questo articolo affronta la sfida di apprendere politiche di decision-making sequenziale robuste da dataset offline raccolti in molteplici siti (ad esempio, ospedali) che condividono un contesto applicativo comune ma presentano eterogeneità. Nell'apprendimento per rinforzo (RL) offline standard, le politiche vengono apprese da dati pre-raccolti senza ulteriore interazione con l'ambiente. Tuttavia, i dati multi-sito del mondo reale soffrono spesso di due problemi critici:

1. Spostamento Distribuzionale (Distributional Shift): Le traiettorie offline sono generate da politiche di comportamento che potrebbero non coprire la distribuzione stato-azione della politica ottimale.
2. Eterogeneità tra i Siti: Le variazioni nei protocolli di acquisizione dei dati, nella composizione della popolazione e nelle condizioni ambientali implicano che le traiettorie non siano generate da un singolo MDP fisso. Invece, ogni sito $k$ possiede il proprio kernel di transizione $P_k$ e la propria funzione di ricompensa $r_k$.

Gli autori modellano questo scenario come un MDP Distribuzionalmente Robusto Lineare a Gruppi (Group-Linear DRMDP). L'assunto fondamentale è che tutti i siti condividano una mappa di caratteristiche (feature map) comune e nota $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$, ma che i kernel di transizione e le funzioni di ricompensa siano lineari rispetto a queste caratteristiche con parametri specifici per sito $(\theta^k_h, \mu^k_h)$. L'obiettivo è apprendere una politica che performi bene sotto il peggior scenario di spostamento ambientale all'interno di un insieme di incertezza plausibile definito dall'inviluppo convesso delle distribuzioni specifiche dei siti.

Metodologia

1. Insiemi di Incertezza per Caratteristica (d-rettangolari)

Per gestire l'incertezza derivante dai molteplici siti mantenendo la trattabilità computazionale, gli autori propongono un insieme di incertezza per caratteristica (d-rettangolare).

• Struttura: A differenza di un inviluppo convesso standard tra i siti che accoppia l'incertezza attraverso tutte le caratteristiche (portando a insiemi non rettangolari e alla pianificazione NP-hard), questo approccio consente all'avversario di selezionare pesi di miscelazione indipendentemente per ogni dimensione di caratteristica $i \in [d]$.
• Definizione: Per ogni step $h$ e caratteristica $i$, l'avversario sceglie un vettore di miscelazione $\alpha_{h,i} \in \Delta^{K-1}$ per formare una miscela peggiore dei parametri specifici del sito. L'insieme di incertezza $\mathcal{U}_h$ è definito in modo tale che la ricompensa e la transizione per ogni $(s, a)$ siano combinazioni lineari dei parametri del sito pesate da queste miscelazioni specifiche per caratteristica.
• Vantaggio: Questa rilassazione preserva l'eterogeneità tra i siti pur ripristinando le ricorsioni di Bellman robuste, rendendo il problema trattabile.

2. Algoritmo di Iterazione del Valore Pessimista

Gli autori sviluppano un algoritmo offline (Algoritmo 1) basato sull'iterazione del valore pessimista, che include tre componenti principali:

1. Regressione Ridge Per-Sito: Per ogni sito $k$, l'algoritmo stima i coefficienti del target di Bellman $\hat{\nu}^k_h$ utilizzando la regressione ridge sul dataset locale $D_k$. Ciò produce stime dei parametri lineari specifiche per sito.
2. Aggregazione del Caso Peggiore per Caratteristica: Invece di mediare, l'algoritmo esegue un minimo riga per riga attraverso i coefficienti stimati di tutti i siti. Nello specifico, per ogni dimensione di caratteristica $i$, il coefficiente robusto è impostato come $\min_{k \in [K]} (\hat{\nu}^k_h)_i$. Questo cattura lo scenario peggiore tra i siti per ogni caratteristica.
3. Penalità di Pessimismo Dipendente dai Dati: Per tenere conto dell'incertezza di stima e dello spostamento distribuzionale, un termine di penalità viene sottratto dal valore Q. Questa penalità è calcolata utilizzando le diagonali delle matrici di design inverse (matrici di covarianza) dalla regressione ridge. La penalità scala con il vettore delle caratteristiche $\phi(s, a)$ e con l'incertezza massima osservata tra i siti per ogni dimensione di caratteristica.

3. Estensione a Livello di Cluster

Per migliorare l'efficienza del campionamento quando i siti mostrano somiglianze, gli autori propongono un'estensione a livello di cluster. I siti sono partizionati in cluster basati su una conoscenza pregressa di somiglianza. All'interno di ogni cluster, i dataset vengono uniti per formare un "super-sito", e l'operatore di Bellman robusto viene applicato ai rappresentanti a livello di cluster. Questo approccio sfrutta dimensioni di campionamento aggregate più ampie pur limitando l'errore introdotto dall'eterogeneità intra-cluster.

Risultati Teorici

Il documento fornisce limiti di subottimalità a campioni finiti per l'algoritmo proposto sotto un'assunzione di copertura parziale robusta.

• Decomposizione della Subottimalità: La subottimalità è scomposta in correlazione spuria, incertezza intrinseca ed errore di ottimizzazione.
• Tasso di Convergenza: Sotto l'assunto che le matrici di covarianza empiriche specifiche per sito dominino i secondi momenti della distribuzione di visita della politica ottimale robusta, la subottimalità della politica appresa $\hat{\pi}$ è limitata da:
  $$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$$
  dove $N_{\min}$ è la dimensione minima del campione tra i siti, $d$ è la dimensione delle caratteristiche, $H$ è l'orizzonte e $K$ è il numero di siti.
• Limite a Livello di Cluster: Per l'algoritmo a livello di cluster, il limite include un termine di bias aggiuntivo proporzionale alla discrepanza dei parametri intra-cluster ($\Delta_h$), dimostrando che l'unione dei dati è vantaggiosa finché l'eterogeneità all'interno dei cluster è controllata.

Risultati Sperimentali

Gli autori validano il loro approccio attraverso simulazioni su MDP lineari episodici con $K=3$ o $4$ siti.

• Confronto: L'algoritmo proposto "Sitewise" viene confrontato con:
  • Unione Naive (Naive Pooling): Aggregazione di tutti i dati e applicazione della standard Pessimistic Value Iteration (PEVI).
  • PEVI Per-Sito (Average-Q): Media delle funzioni Q da esecuzioni PEVI indipendenti per sito.
  • PEVI Per-Sito (Min-Q): Calcolo del minimo puntuale delle funzioni Q specifiche per sito.
• Performance: L'algoritmo proposto raggiunge costantemente una subottimalità robusta significativamente inferiore rispetto a tutti i benchmark.
  • L'Unione Naive fallisce nel rispondere agli spostamenti distribuzionali specifici del sito, ottimizzando per la performance media piuttosto che per il caso peggiore.
  • I metodi Per-Sito soffrono di alta varianza a causa delle limitate dimensioni dei campioni locali e della mancanza di condivisione delle informazioni.
• Convergenza: Le leggi di scala empiriche confermano il tasso di convergenza teorico $O(N_{\min}^{-1/2})$.
• Necessità del Pessimismo: Gli esperimenti mostrano che rimuovere la penalità di pessimismo (impostando la costante di scala $c=0$) porta a un fallimento della convergenza efficiente, poiché lo stimatore greedy si adatta eccessivamente al rumore del campione finito, specialmente in scenari con copertura sbilanciata dei dati.

Significato e Rivendicazioni

L'articolo sostiene di fornire un approccio principato alla pianificazione robusta in contesti di RL offline multi-sito senza fare affidamento su forti assunti di rettangolarità stato-azione.

• Trattabilità vs. Robustezza: Introducendo l'insieme di incertezza $d$-rettangolare, gli autori colmano il divario tra l'intratabilità degli inviluppi convessi generali tra i siti e l'eccessiva conservatività dei classici MDP robusti $(s, a)$-rettangolari.
• Privacy ed Efficienza: L'algoritmo comunica solo statistiche riassuntive aggregate a livello di sito (coefficienti di regressione ridge e diagonali di covarianza) anziché le traiettorie grezze, riducendo i costi di comunicazione dei dati e migliorando la privacy.
• Gestione dell'Eterogeneità: Il framework modella esplicitamente e sfrutta l'eterogeneità tra i siti per garantire che la politica appresa sia robusta alla peggiore configurazione di sito, affrontando una limitazione fondamentale del RL offline standard quando applicato a dati provenienti da molteplici fonti.

Gli autori riconoscono che il loro metodo si basa su una struttura lineare all'interno dei siti e che l'approssimazione $d$-rettangolare può portare a stime conservative. Suggeriscono che il lavoro futuro potrebbe esplorare approssimazioni più strette e l'integrazione dell'apprendimento delle rappresentazioni per gestire mappature di caratteristiche non lineari.