Sintesi Tecnica: Processo Decisionale di Markov Generalizzato (GRASP-MDP)

1. Definizione del Problema

L'apprendimento per rinforzo (RL) offline per studi longitudinali, in particolare in ambito sanitario e nelle interazioni digitali, affronta due sfide interconnesse:

1. Strutture di Ricompensa Non Lineari: Gli esiti sono spesso binari (ad esempio, ricaduta) o continui limitati (ad esempio, punteggi di disabilità su una scala 0–10), che sono naturalmente modellati da Modelli Lineari Generalizzati (GLM) piuttosto che dalle assunzioni di ricompensa lineare tipiche dei Linear MDP standard.
2. Scarsità di Dati Semi-Supervisionati: Sebbene le traiettorie stato-azione-stato successivo siano spesso registrate completamente, le corrispondenti osservazioni della ricompensa possono essere disponibili solo per un sottoinsieme di traiettorie o per specifici punti temporali. I metodi esistenti o scartano i dati relativi alle sole transizioni (perdendo informazioni sul valore di continuazione) o si affidano all'imputazione della ricompensa (introducendo assunzioni non verificate).

I metodi standard per i Linear MDP falliscono in questo caso perché una media della ricompensa non lineare interrompe la ricorsione di Bellman lineare, e gli approoli semi-supervisionati esistenti non separano esplicitamente la stima della dinamica delle transizioni dalla modellazione della ricompensa.

2. Metodologia: GRASP-MDP

Gli autori propongono GRASP-MDP (Generalized Reward And Semi-supervised Pessimism for Markov Decision Processes), un framework che disaccoppia la stima della ricompensa e della transizione mantenendo una struttura di Bellman trattabile.

2.1 Assunzioni del Modello

GRASP-MDP assume una struttura ibrida:

• Dinamiche di Transizione: Il kernel di transizione rimane lineare rispetto a una mappa di caratteristiche $\phi_p$:
  $$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$$
• Dinamiche di Ricompensa: La media condizionata della ricompensa segue un Modello Lineare Generalizzato (GLM) con una funzione di legame $g$ nota:
  $$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$$
  Qui, $\phi_r$ e $\phi_p$ sono mappe di caratteristiche distinte, permettendo alle informazioni rilevanti per la ricompensa e per la transizione di svolgere ruoli statistici differenti.

2.2 Completezza di Bellman Non Lineare-Più-Lineare

L'intuizione teorica centrale è che, sebbene la ricompensa non lineare rompa la standard classe lineare di Bellman, il modello induce una classe di funzioni non lineare-più-lineare $\mathcal{F}$:
$$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$$
Gli autori dimostrano (Proposizione 1) che il backup di Bellman di qualsiasi funzione valore limitata appartiene a questa classe $\mathcal{F}$. Nello specifico, il backup si decompone in un termine di ricompensa non lineare e un termine di continuazione lineare. Questa struttura permette una esplicita completezza di Bellman senza richiedere che la ricompensa sia lineare.

2.3 Algoritmo: Iterazione del Valore Pessimistica per Componenti

La procedura di apprendimento utilizza un'iterazione del valore pessimistica decomposta (Algoritmo 1):

1. Stima della Ricompensa: Il parametro della ricompensa $\theta_h$ è stimato utilizzando solo il sottoinsieme di dati in cui le ricompense sono osservate ($I^r_h$) tramite un GLM (ad esempio, regressione binomiale o beta).
2. Stima della Transizione: Il parametro di continuazione $\beta_h$ è stimato utilizzando tutte le transizioni stato-azione-stato successivo disponibili ($n + N$ traiettorie), indipendentemente dal fatto che la ricompensa sia stata osservata o meno. Ciò avviene tramite regressione ridge.
3. Pessimismo: L'algoritmo costruisce una funzione Q pessimistica sottraendo raggi di incertezza separati per i componenti di ricompensa e di transizione:
   $$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$$
   • $\hat{\Gamma}_{r,h}$ è derivato dalla curvatura del GLM e dalla dimensione dell'insieme delle ricompense osservate.
   • $\hat{\Gamma}_{p,h}$ è derivato dalla covarianza delle caratteristiche di transizione e dal numero totale di traiettorie.

Questo approccio garantisce che le osservazioni delle sole transizioni riducano l'errore di stima della transizione senza richiedere l'imputazione della ricompensa.

3. Contributi Chiave

1. Framework Teorico: Stabilimento della completezza di Bellman per una classe di funzioni non lineare-più-lineare indotta dalla separazione ricompensa-transizione.
2. Sviluppo dell'Algoritmo: Un algoritmo di iterazione del valore pessimistica per componenti che controlla separatamente le incertezze di ricompensa e di transizione.
3. Garanzie a Campione Finito: Limiti teorici che mostrano come la subottimalità della politica appresa sia governata da due termini distinti:
   • Un termine di ricompensa che scala con $O(\sqrt{d_r/n})$, dove $n$ è il numero di traiettorie con ricompensa osservata.
   • Un termine di transizione che scala con $O(\sqrt{d_p/(n+N)})$, dove $n+N$ è il numero totale di traiettorie.
     Ciò dimostra che i dati delle sole transizioni ($N$) migliorano l'apprendimento della politica riducendo l'incertezza della transizione, anche quando le ricompense sono mancanti.
4. Estensioni: Si mostra che il framework si estende all'osservazione della ricompensa a livello di step (dove le ricompense sono mancanti casualmente all'interno delle traiettorie) e a ricompense sub-gaussiane con range di media finiti.

4. Risultati Empirici

4.1 Simulazioni

• Setting: Gli esperimenti hanno coperto l'osservazione completa e parziale della ricompensa con ricompense binarie e continue limitate (distribuzione Beta).
• Risultati: GRASP-MDP ha costantemente superato i baseline dei Linear MDP (PEVI, Local/Global Q-learning) quando le ricompense erano non lineari. Sotto l'osservazione parziale della ricompensa, mantenere le traiettorie delle sole transizioni ha migliorato significativamente le prestazioni della politica rispetto ai metodi che le scartavano o utilizzavano solo dati etichettati.

4.2 Applicazione nel Mondo Reale: Sclerosi Multipla (MS)

• Contesto: Apprendimento di strategie di trattamento modificante la malattia (DMT) utilizzando cartelle cliniche elettroniche (EHR).
• Dati: Una coorte di 4.295 pazienti provenienti dalla Mass General Brigham EHR e dal registro CLIMB. Le ricompense si basavano sulla scala EDSS (Expanded Disability Status Scale), che è limitata (0–10) e osservata intermittentemente (mancante in circa il 40% dei periodi dei pazienti).
• Esito: La politica GRASP-MDP che utilizza i dati con ricompensa mancante (mantenendo le traiettorie delle sole transizioni) ha ottenuto stime numericamente favorevoli per la EDSS media e i mesi con EDSS $\le$ 4 rispetto ai metodi che utilizzano solo dati etichettati o baseline lineari standard. Ciò ha dimostrato il beneficio pratico del leverage delle informazioni delle sole transizioni in contesti clinici con segnalazione sparsa degli esiti.

5. Significato e Rivendicazioni

Il paper afferma che GRASP-MDP fornisce una soluzione rigorosa per l'RL offline in contesti con esiti strutturati e osservati in modo intermittente. La sua importanza risiede nel:

• Preservare la Trattabilità: Mantiene la trattabilità computazionale e statistica dei Linear MDP pur accogliendo le strutture di ricompensa non lineari comuni nei dati reali.
• Efficienza nell'Utilizzo dei Dati: Giustifica formalmente l'uso delle osservazioni delle sole transizioni per l'apprendimento della politica senza imputare le ricompense, evitando così il bias introdotto dalle assunzioni di imputazione.
• Separazione dell'Incertezza: Controllando separatamente gli errori di ricompensa e di transizione, il metodo fornisce garanzie a campione finito che delineano chiaramente il valore dei dati di transizione aggiuntivi rispetto ai dati di ricompensa aggiuntivi.

Gli autori osservano che il metodo si basa su assunzioni standard come la mancanza casuale (missing-at-random) per le ricompense e una copertura sufficiente (positività) delle regioni stato-azione. Riconoscono che la mancanza non ignorabile e i cambiamenti di distribuzione tra le traiettorie con ricompensa etichettata e quelle delle sole transizioni rimangono sfide aperte. Si nota inoltre che il framework supporta estensioni online (GLSVI-UCB) con garanzie di regret sublineare.