Nonparametric Estimation of Optimal Stochastic Just-In-Time Adaptive Interventions for Distal Outcomes

Technische Samenvatting: Niet-parametrische Schatting van Optimale Stochastische Just-In-Time Adaptieve Interventies voor Distale Uitkomsten

Probleemstelling
Mobiele en draagbare technologieën faciliteren Just-In-Time Adaptieve Interventies (JITAIs), die de levering van behandeling aanpassen aan de realtime staat van een individu. Hoewel Micro-Gerandomiseerde Trials (MRTs) de intensieve longitudinale data genereren die nodig zijn om deze interventies te construeren, worden bestaande methoden geconfronteerd met aanzienlijke uitdagingen wanneer zij zich richten op distale uitkomsten (bijv. uitkomsten aan het einde van de studie) in plaats van proximale, onmiddellijke responsen.

Standaard longitudinale causale inferentie-methoden, zoals Marginal Structural Models (MSMs), worstelen vaak in settings met een groot aantal beslismomenten ($T$). Specifiek:

1. Instabiliteit: Inverse waarschijnlijkheidsgewichten (IPW) schatters bevatten producten van gewichten over $T$ tijdspunten, wat leidt tot numerieke instabiliteit, hoge variantie en aanzienlijke bias in eindige steekproeven wanneer $T$ groot is.
2. Onregelmatigheid: Doubly robuste schatters vereisen het schatten van een grote collectie augmentatie-termen (uitkomstregressies geïndexeerd door tijd en beleid), wat onpraktisch kan zijn en kan leiden tot onregelmatige schatters met trage convergentiesnelheden.
3. Beperkingen van Reinforcement Learning (RL): Hoewel RL is ontworig voor sequentiële besluitvorming, optimaliseert het doorgaans cumulatieve of gedisconteerde proximale beloningen. Het selecteren van een geschikte disconteringsvoet voor distale uitkomsten is vaak empirisch ononderbouwd, en RL-methoden kunnen een gebrek aan interpreteerbaarheid vertonen.
4. Positiviteitsproblemen: Deterministische of bijna-deterministische beleidsregels lijden vaak aan positiviteitsproblemen in eindige steekproeven in hoogdimensionele beslisruimtes, waar specifieke behandelpaden slecht ondersteund worden in de geobserveerde data.

Methodologie
De auteurs stellen een verenigd framework voor het schatten en optimaliseren van stochastische JITAIs voor distale uitkomsten met behulp van een niet-parametrisch efficiënte schatter. De kerncomponenten zijn:

1. Stochastische Beleidsklasse: De auteurs richten zich op een parametrische klasse van stochastische beleidsregels $\{q_\theta\}$, waarbij de behandelingskansen functies zijn van de huidige staat $S_t$ (gemodelleerd via logistische regressie met basisfuncties). Stochastische beleidsregels worden verkozen boven deterministische vanwege de grotere flexibiliteit, het incorporeren van ongemodelleerde beperkingen en het mitigeren van positiviteitsproblemen.

2. $\alpha$-Tilting Device: Om de schatting in high-$T$ settings te stabiliseren, introduceren de auteurs een data-adaptieve tilting-procedure. Deze interpoleert tussen het doelbeleid $q_\theta$ en het geobserveerde behandelingsmechanisme $\pi_{t,0}$ op elk beslismoment $t$:
   $$q_{\theta, \alpha, t} = (t/T)^\alpha q_\theta + \{1 - (t/T)^\alpha\}\pi_{t,0}$$
   Voor $\alpha > 0$ worden de gewichten van vroege beslissingen naar 1 toe gekrompen, wat de volatiliteit van het product van de inverse waarschijnlijkheidsgewichten vermindert. De parameter $\alpha$ wordt geselecteerd via een data-adaptieve regel die de geschatte gemiddelde kwadratische fout (MSE) van de waardefunctie minimaliseert, waarbij een balans wordt gezocht tussen bias (drift van het wetenschappelijke doel) en variantie (stabilisatie).

3. Undersmoothed Inverse Probability Weighting (UIPW) Schatter:

   • In plaats van het schatten van de complexe, beleids-geïndexeerde uitkomstregressiefuncties die vereist zijn voor efficiënte schatting, maken de auteurs gebruik van de Highly Adaptive Lasso (HAL).
   • Zij passen undersmoothing toe (het selecteren van een penalty parameter $\lambda$ die groter is dan degene gekozen via kruisvalidatie) om ervoor te zorgen dat de gefitte propensity score modellen rijk genoeg zijn om de empirische scorevergelijkingen van de efficiënte invloedfunctie benaderend op te lossen.
   • Deze aanpak bereikt niet-parametrische efficiëntie ($\sqrt{n}$-consistentie) zonder expliciet de hoogdimensionele augmentatie-termen (uitkomstregressies) te schatten, waardoor de "vloek van dimensionaliteit" geassocieerd met deze termen wordt vermeden.

4. Gepenaliseerde Optimalisatie: Om randoplossingen (die numeriek instabiel kunnen zijn) te vermijden, wordt de optimale beleidsparameter $\theta$ gevonden door een gepenaliseerde waardefunctie $V_n(\theta) = \psi_n(\theta) - P(\theta)$ te maximaliseren, waarbij $P(\theta)$ een inverse-afstand barrière-gewogen ridge penalty is die de optimizer wegduwt van de rand van de parameterruimte $\Theta$.

Belangrijkste Bijdragen

1. Niet-parametrisch Efficiënte Schatter: Ontwikkeling van een UIPW-schatter voor de regimen-respons curve (verwachte distale uitkomst onder een stochastisch beleid) die de niet-parametrische efficiëntiegrens bereikt zonder de volledere set van tijd- en beleids-geïndexeerde uitkomstregressies te schatten.
2. Data-Adaptieve Stabilisatie: Introductie van een tilting-procedure die de schatting in high-$T$ settings stabiliseert door vroege gewichten te krimpen, met theoretische garanties dat de door tilting geïntroduceerde bias asymptotisch verwaarloosbaar is als $\alpha_n \to 0$ voldoende snel gaat.
3. Asymptotische Theorie voor Inferentie:
   • Bewijs dat de geschatte regimen-respons curve zwak convergeert naar een Gaussisch proces, wat de constructie van gelijktijdige betrouwbaarheidsbanden over de beleidsparameterrruimte mogelijk maakt.
   • Afleiding van de asymptotische distributie van de optimizer $\theta^*_n$, wat geldige inferentie mogelijk maakt voor het geleerde optimale stochastische beleid.
4. Praktische Implementatie: Voorstellen voor data-adaptieve selectors voor het undersmoothing niveau (gebaseerd op DCAR-normen of score-residuen) en de tilting-parameter $\alpha$.

Resultaten
De auteurs evalueren hun methode via numerieke simulaties die mobiele gezondheidstests nabootsen (bijv. stoppen met roken) met variërende steekproefgroottes ($n$), beslismomenten ($T$) en behandelingsassignatiemechanismen (MRT versus observationeel).

• Bias-controle: In observationele settings waar het behandelingsmechanisme geleerd moet worden, vertoonden standaard kruis-gevalideerde HAL-schatters significante bias naarmate $T$ toenam. De UIPW-schatters met undersmoothing slaagden erin deze bias te beheersen.
• Stabiliteit en MSE: Adaptieve tilting verminderde de gemiddelde kwadratische fout (MSE) voor bijna alle schatters, met name in settings met een grote $T$ waar gewichtaccumulatie instabiliteit veroorzaakt.
• Beleidoptimalisatie: De adaptieve tilting-aanpak verbeterde over het algemeen de Root Mean Squared Error (RMSE) van de geschatte optimale beleidsregels vergeleken met niet-getilted schatters.
• Dekking: Terwijl standaard schatters onderdekking vertoonden in regio's waar het doelbeleid significant verschilde van het observationele beleid (door numerieke positiviteitsproblemen), behielden de voorgestelde methoden dekking die dichter bij de nominale niveaus lag, hoewel overdekking in specifieke settings werd waargenomen.
• Selector Prestaties: Onder de undersmoothing-selectors bood de $L_2$ DCAR-gebaseerde selector over het algemeen stabielere prestaties en een lagere regret dan de score-gebaseerde selector, die soms agressief oversmoothede.

Betekenis en Claims
Het artikel claimt een verenigd framework te bieden voor de schatting, inferentie en optimalisatie van stochastische JITAIs specifiek voor distale uitkomsten.

• Overbruggen van de Kloof: Het werk adresseert de methodologische kloof tussen de structuur van MRT-data (veel beslismomenten) en de inferentiële doelen (distale uitkomsten) die essentieel zijn voor langetermijnsucces in de gedragsgezondheidszorg.
• Haalbaarheid: Door het expliciet schatten van hoogdimensionele uitkomstregressies te vermijden, maakt de methode niet-parametrische efficiënte schatting haalbaar in intensieve longitudinale settings waar voorheen methoden computationeel of statistisch onhaalbaar waren.
• Robuustheid: De combinatie van stochastische beleidsregels, tilting en undersmoothing biedt een robuuste oplossing voor de instabiliteit en positiviteitsproblemen die inherent zijn aan hoogfrequente besluitvormingsdata.
• Inferentie: De afleiding van de asymptotische eigenschappen voor zowel de curve als de optimizer stelt onderzoekers in staat om niet alleen een optimaal beleid te vinden, maar ook onzekerheid te kwantificeren via gelijktijdige betrouwbaarheidsbanden en beleidsspecifieke inferentie, een capaciteit die vaak ontbreekt bij huidige RL- of beleidsleerbenaderingen.

De auteurs blijven bescheiden en merken op dat hoewel undersmoothing theoretisch noodzakelijk is voor efficiëntie, de prestaties in eindige steekproeven sterk afhangen van de selectie van tuningparameters. Ze erkennen ook dat de efficiëntiewinst van niet-parametrische methoden in stochastische settings kleiner kan zijn dan in deterministische settings vanwege de inherente stabiliteit van probabilistische gewichten.