Nonparametric Estimation of Optimal Stochastic Just-In-Time Adaptive Interventions for Distal Outcomes

Sintesi Tecnica: Stima Nonparametrica di Interventi Adattivi Stocastici Just-In-Time Ottimali per Esiti Distali

Definizione del Problema
Le tecnologie mobili e indossabili facilitano gli interventi adattivi Just-In-Time (JITAI), che adattano la somministrazione del trattamento allo stato in tempo reale di un individuo. Sebbene i Micro-Randomized Trials (MRT) generino i dati longitudinali intensivi necessari per costruire questi interventi, i metodi esistenti affrontano sfide significative quando l'obiettivo sono gli esiti distali (ad esempio, gli esiti di fine studio) piuttosto che le risposte prossimali e immediate.

I metodi standard di inferenza causale longitudinale, come i Modelli Strutturali Marginali (MSM), spesso faticano in contesti con un numero elevato di punti decisionali ($T$). Nello specifico:

1. Instabilità: Gli stimatori a pesi di probabilità inversa (IPW) comportano prodotti di pesi attraverso $T$ punti temporali, portando a instabilità numerica, alta varianza e un sostanziale bias nei campioni finiti quando $T$ è grande.
2. Irregolarità: Gli stimatori doppiamente robusti richiedono la stima di una vasta collezione di termini di aumento (regressioni dell'esito indicizzate per tempo e policy) che diventa impraticabile e può portare a stimatori irregolari con tassi di convergenza lenti.
3. Limitazioni del Reinforcement Learning (RL): Sebbene l'RL sia progettato per il processo decisionale sequenziale, tipicamente ottimizza ricompense cumulative o scontate. La selezione di un tasso di sconto appropriato per gli esiti distali è spesso empiricamente non supportata, e i metodi RL possono mancare di interpretabilità.
4. Problemi di Positività: Le policy deterministiche o quasi deterministiche soffrono spesso di violazioni di positività nei campioni finiti in spazi decisionali ad alta dimensionalità, dove specifici percorsi di trattamento sono scarsamente supportati nei dati osservati.

Metodologia
Gli autori propongono un quadro unificato per stimare e ottimizzare JITAI stocastici per esiti distali utilizzando uno stimatore non parametricamente efficiente. I componenti principali sono:

1. Classe di Policy Stocastica: Gli autori si concentrano su una classe parametrica di policy stocastiche $\{q_\theta\}$, dove le probabilità di trattamento sono funzioni dello stato corrente $S_t$ (modellato tramite regressione logistica con funzioni di base). Le policy stocastiche sono preferite rispetto a quelle deterministiche per mantenere la flessibilità, incorporare vincoli non modellati e mitigare i problemi di positività.

2. Dispositivo di $\alpha$-Tilting: Per stabilizzare la stima in contesti con $T$ elevato, gli autori introducono una procedura di tilting adattiva ai dati. Questa interpola tra la policy target $q_\theta$ e il meccanismo di trattamento osservato $\pi_{t,0}$ in ogni punto decisionale $t$:
   $$q_{\theta, \alpha, t} = (t/T)^\alpha q_\theta + \{1 - (t/T)^\alpha\}\pi_{t,0}$$
   Per $\alpha > 0$, i pesi delle decisioni precoci sono ridotti verso 1, diminuendo la volatilità del prodotto dei pesi di probabilità inversa. Il parametro $\alpha$ è selezionato tramite una regola adattiva ai dati che minimizza l'errore quadratico medio (MSE) stimato della funzione valore, bilanciando bias (deriva dal target scientifico) e varianza (stabilizzazione).

3. Stimatore di Undersmoothed Inverse Probability Weighting (UIPW):

   • Invece di stimare la complessa collezione di funzioni di regressione dell'esito indicizzate per policy richieste per una stima efficiente, gli autori utilizzano l'Highly Adaptive Lasso (HAL).
   • Utilizzano l'undersmoothing (selezionando un parametro di penalità $\lambda$ più grande di quello scelto tramite cross-validazione) per garantire che i modelli di punteggio di probabilità stimati siano sufficientemente ricchi da risolvere approssimativamente le equazioni del punteggio empirico associate alla funzione di influenza efficiente.
   • Questo approccio raggiunge l'efficienza non parametrica ($\sqrt{n}$-consistenza) senza stimare esplicitamente le regressioni dell'esito con variabili di disturbo, evitando così la "maledizione della dimensionalità" associata ai termini di aumento.

4. Ottimizzazione Penalizzata: Per evitare soluzioni di confine (che possono essere numericamente instabili), il parametro della policy ottimale $\theta$ viene trovato massimizzando una funzione valore penalizzata $V_n(\theta) = \psi_n(\theta) - P(\theta)$, dove $P(\theta)$ è una penalità ridge pesata per distanza inversa che spinge l'ottimizzatore lontano dal confine dello spazio dei parametri $\Theta$.

Contributi Chiave

1. Stimatore Non Parametricamente Efficiente: Sviluppo di uno stimatore UIPW per la curva risposta-regime (esito distale atteso sotto una policy stocastica) che raggiunge il limite di efficienza non parametrica senza stimare l'intero set di regressioni dell'esito indicizzate per tempo e policy.
2. Stabilizzazione Adattiva ai Dati: Introduzione di una procedura di tilting che stabilizza la stima in contesti con $T$ elevato riducendo i pesi precoci, con garanzie teoriche che il bias introdotto dal tilting è asintoticamente trascurabile se $\alpha_n \to 0$ sufficientemente velocemente.
3. Teoria Asintotica per l'Inferenza:
   • Dimostrazione che la curva risposta-regime stimata converge debolmente a un processo gaussiano, consentendo la costruzione di bande di confidenza simultanee su tutto lo spazio dei parametri della policy.
   • Derivazione della distribuzione asintotica dell'ottimizzatore $\theta^*_n$, consentendo un'inferenza valida per la policy stocastica ottimale appresa.
4. Implementazione Pratica: Proposte per selettori adattivi ai dati per il livello di undersmoothing (basati su norme DCAR o residui del punteggio) e per il parametro di tilting $\alpha$.

Risultati
Gli autori valutano il loro metodo attraverso simulazioni numeriche che mimano trial di salute mobile (ad esempio, cessazione del fumo) con variabili dimensioni del campione ($n$), punti decisionali ($T$) e meccanismi di assegnazione del trattamento (MRT vs. osservazionale).

• Controllo del Bias: In contesti osservazionali dove il meccanismo di trattamento deve essere appreso, gli stimatori HAL standard con cross-validazione hanno mostrato un bias significativo all'aumentare di $T$. Gli stimatori UIPW con undersmoothing hanno controllato con successo questo bias.
• Stabilità e MSE: Il tilting adattivo ha ridotto l'Errore Quadratico Medio (MSE) per quasi tutti gli stimatori, particolarmente in contesti con $T$ grande dove l'accumulo di pesi causa instabilità.
• Ottimizzazione della Policy: L'approccio di tilting adattivo ha generalmente migliorato l'Errore Quadratico Medio (RMSE) della policy ottimale stimata rispetto agli stimatori non tiltati.
• Copertura: Mentre gli stimatori standard hanno mostrato una sottocopertura nelle regioni in cui la policy target differiva significativamente dalla policy osservazionale (a causa di problemi numerici di positività), i metodi proposti hanno mantenuto tassi di copertura più vicini ai livelli nominali, sebbene sia stata osservata una sovracopertura in specifici contesti.
• Performance dei Selettori: Tra i selettori di undersmoothing, il selettore basato su $L_2$ DCAR ha generalmente fornito prestazioni più stabili e un regret inferiore rispetto al selettore basato sul punteggio, che talvolta ha effettuato un eccessivo smoothing.

Significatività e Rivendicazioni
Il documento rivendica di fornire un quadro unificato per la stima, l'inferenza e l'ottimizzazione di JITAI stocastici specificamente per esiti distali.

• Colmare il Divario: Il lavoro affronta il divario metodologico tra la struttura dei dati MRT (molti punti decisionali) e gli obiettivi inferenziali (esiti distali) che definiscono il successo a lungo termine nella salute comportamentale.
• Fattibilità: Evitando la stima esplicita di regressioni dell'esito ad alta dimensionalità, il metodo rende fattibile la stima efficiente non parametrica in contesti longitudinali intensivi dove i metodi precedenti erano computazionalmente o statisticamente intrattabili.
• Robustezza: La combinazione di policy stocastiche, tilting e undersmoothing offre una soluzione robusta ai problemi di instabilità e positività inerenti ai processi decisionali ad alta frequenza.
• Inferenza: La derivazione delle proprietà asintotiche sia per la curva che per l'ottimizzatore permette ai ricercatori non solo di trovare una policy ottimale, ma anche di quantificare l'incertezza attraverso bande di confidenza simultanee e inferenza specifica per la policy, una capacità spesso assente negli approoli di RL o di apprendimento della policy correnti.

Gli autori mantengono un tono modesto, osservando che, sebbene l'undersmoothing sia teoricamente necessario per l'efficienza, le prestazioni in campioni finiti dipendono fortemente dalla selezione dei parametri di tuning. Riconoscono inoltre che i guadagni di efficienza derivanti dai metodi non parametrici possono essere minori nei contesti stocastici rispetto a quelli deterministici a causa della stabilità intrinseca dei pesi probabilistici.