Latent Utility Q-Learning for Preference-Adaptive Dynamic Treatment Regimes

Sintesi Tecnica: Q-Learning con Utilità Latente per Regimi di Trattamento Dinamici Adattivi alle Preferenze

Definizione del Problema
I Regimi di Trattamento Dinamici (DTR) sono metodi statistici progettati per ottimizzare le decisioni terapeutiche sequenziali per condizioni croniche. I metodi DTR standard tipicamente assumono un singolo esito univariato, il che non affronta la realtà secondo cui i pazienti spesso ponderano diversamente molteplici esiti competitivi (ad esempio, riduzione del dolore rispetto al miglioramento funzionale). I metodi esistenti basati sulle preferenze sono spesso limitati a contesti a due stadi, si affidano a modelli parametrici restrittivi o richiedono ai pazienti di classificare esplicitamente le traiettorie di trattamento — un compito spesso impraticabile nei trial clinici in cui i pazienti sperimentano solo una traiettoria. Inoltre, gli approoli di deep reinforcement learning generalmente richiedono campioni di grandi dimensioni incompatibili con studi clinici a campione moderato come i Sequential Multiple Assignment Randomized Trials (SMART). La sfida centrale è apprendere una policy che ottimizzi combinazioni di esiti multivariati ($Y \in \mathbb{R}^d$) pesate in base alle preferenze specifiche del paziente attraverso $K$ punti decisionali, senza richiedere classifiche esplicite degli esiti o grandi volumi di dati.

Metodologia: Q-Learning con Utilità Latente (LUQ-Learning)
Gli autori propongono il LUQ-Learning, un'estensione a variabili latenti del Q-learning che stima i DTR ottimizzando una funzione di utilità latente $U^* = E^\top Y^*$, dove $E$ è un vettore di preferenze non osservato di dimensione $(d-1)$ su un simplesso di probabilità e $Y^*$ rappresenta gli esiti potenziali.

• Framework a Variabile Latente: Le preferenze dei pazienti ($E$) non sono direttamente osservate, ma vengono inferite attraverso misurazioni indirette ($W_k$), come domande di scelta discreta, valutazioni di soddisfazione o sottoscale della qualità della vita, raccolte in varie fasi.
• Fattorizzazione della Media Condizionale: L'intuizione metodologica centrale è una fattorizzazione della media condizionale. Sotto l'ipotesi di "Indipendenza delle Preferenze Sequenziali" (Assunzione A5), l'utilità attesa può essere scomposta:
  $$E[U^* | H_k, A_k] = E[E | H_k]^\top E[Y | H_k, A_k]$$
  Questa fattorizzazione separa il problema in due componenti modulari:
  1. Stima delle Preferenze: Stima della distribuzione a posteriori delle preferenze latenti $P(E | H_k)$ basata sugli strumenti di preferenza osservati $W_k$ e sulle covariate.
  2. Regressione degli Esiti: Stima della media condizionale degli esiti $E[Y | H_k, A_k]$.
• Algoritmo: L'algoritmo procede tramite induzione a ritroso (simile allo standard Q-learning). In ogni stadio $k$, stima la media a posteriori della preferenza $\hat{E}[E | H_k]$ e la regressione dell'esito, quindi calcola il valore Q come il prodotto scalare di queste stime. Ciò riduce il problema multivariato e adattivo alle preferenze a una sequenza di problemi di Q-learning scalari.
• Varianti Consapevoli dell'Incertezza: Riconoscendo che la stima delle preferenze introduce incertezza, gli autori propongono due varianti di policy:
  • Policy Modale ($\hat{\pi}^{mod}$): Seleziona l'azione che è ottimale per la più grande proporzione della distribuzione a posteriori della preferenza.
  • Policy Robusta ($\hat{\pi}^{rob}$): Seleziona l'azione che massimizza l'utilità minima all'interno di una regione di incertezza ellissoidale definita dalla covarianza a posteriori.

Contributi Chiave

1. Garanzie Teoriche:
   • Consistenza: Gli autori stabiliscono che la funzione di valore stimata converge in probabilità al vero valore ottimale sotto deboli condizioni di regolarità sugli stimatori di preferenza e di esito. Il divario di valore è mostrato essere guidato dall'accumulo additivo dell'errore del modello di preferenza, dell'errore di regressione dell'esito e dell'errore propagato della funzione di valore.
   • $\epsilon$-Ottimalità Unificata: Il documento deriva limiti sul loss di valore della policy in termini di incertezza della preferenza a posteriori. Questi limiti forniscono criteri interpretabili e basati sui dati (ad esempio, soglie per il raggio di incertezza $\delta$ o la massa a posteriori $\alpha$) per la selezione tra policy media, modale e robusta.
2. Design Modulare e Flessibile: Il framework accoglie formati di dati di preferenza eterogenei (ad esempio, scelte binarie, classifiche, scale Likert) senza richiedere l'allineamento della scala tra gli strumenti. Non richiede che i pazienti classifichino esplicitamente gli esiti o le traiettorie.
3. Gestione dell'Incertezza: Utilizzando un framework bayesiano, il metodo propaga l'incertezza dalla stima della preferenza latente direttamente nelle raccomandazioni di trattamento e nella stima del valore, permettendo processi decisionali avversi al rischio (robusti) o orientati alla copertura (modali).

Risultati
Gli autori hanno valutato il LUQ-Learning tramite simulazioni calibrate sul trial Biomarkers for Evaluating Spine Treatments (BEST), un due-stadio SMART per il mal di schiena cronico.

• Performance: Il LUQ-Learning ha superato costantemente:
  • Q-Learning Standard: Che aggrega gli esiti multivariati tramite una semplice media.
  • Soddisfazione dell'Ultimo Report ($\hat{\pi}^{W_{last}}$): Che ottimizza basandosi esclusivamente sull'ultimo rating di soddisfazione senza dati longitudinali di preferenza.
  • Metodi di Preferenza Esistenti: Nello specifico, il metodo ha mostrato un errore di stima delle preferenze inferiore e guadagni di valore superiori rispetto all'approccio di Butler et al. (2018) in un contesto a singolo stadio.
• Stabilità: Mentre la policy "Oracle" (che conosce le vere preferenze) ha raggiunto il valore più alto, il LUQ-Learning si è avvicinato strettamente a tale performance. Al contrario, i metodi che ignorano i dati di preferenza longitudinali ($\hat{\pi}^{W_{last}}$) hanno mostrato una varianza e un'instabilità maggiori, specialmente all'aumentare della lunghezza della traiettoria ($K$).
• Lunghezza della Traiettoria: In simulazioni estese con $K \in \{2, 4, 6, 8\}$, il divario di performance tra LUQ-Learning e l'Oracle è diminuito all'aumentare di $K$, suggerendo che traiettorie più lunghe forniscono informazioni più ricche per stimare le preferenze latenti. Al contrario, i metodi che si affidano solo a proxy terminali sono deteriorati all'aumentare di $K$.

Significatività e Rivendicazioni
Il documento sostiene che il LUQ-Learning fornisce una base statisticamente fondata per il processo decisionale adattivo alle preferenze in ambienti clinici complessi e multi-esito. La sua significatività risiede in:

• Colmare il Divario: Offre una soluzione per incorporare le eterogenee preferenze dei pazienti nei DTR senza i requisiti di dati del deep reinforcement learning o i vincoli di classificazione delle traiettorie tipici del preference-based RL.
• Interpretabilità: I limiti di $\epsilon$-ottimalità derivati offrono criteri concreti e basati sui dati per la selezione della policy, aiutando clinici e regolatori a navigare i compromessi tra performance media e robustezza all'incertezza delle preferenze.
• Fondamento di Inferenza Causale: A differenza del classico reinforcement learning da feedback umano, il LUQ-Learning tratta gli strumenti di preferenza come proxy identificabili per le utilità latenti all'interno di un framework di inferenza causale (utilizzando potenziali esiti e concetti di inferenza causale prossimale), rendendolo adatto a contesti di trial randomizzati dove nessuna singola policy esperta governa l'assegnazione dei trattamenti.

Gli autori concludono che, sebbene il framework sia robusto, il suo dispiegamento efficace richiede uno studio del design attento, strumenti di preferenza validati e un allineamento tra la popolazione di sviluppo e quella target per garantire che le preferenze catturate riflettano scambi stabili a lungo termine piuttosto che una soddisfazione transitoria.