Nonparametric Estimation of Optimal Stochastic Just-In-Time Adaptive Interventions for Distal Outcomes

Resumen Técnico: Estimación No Paramétrica de Intervenciones Adaptativas Justo a Tiempo Estocásticas Óptimas para Resultados Distales

Planteamiento del Problema
Las tecnologías móviles y vestibles facilitan las Intervenciones Adaptativas Justo a Tiempo (JITAI, por sus siglas en inglés), que adaptan la entrega del tratamiento al estado en tiempo real de un individuo. Si bien los Ensayos Micro-Aleatorizados (MRT) generan los datos longitudinales intensivos necesarios para construir estas intervenciones, los métodos existentes enfrentan desafíos significográficos cuando se orientan a resultados distales (por ejemplo, resultados al final del estudio) en lugar de respuestas proximales e inmediatas.

Los métodos estándar de inferencia causal longitudinal, como los Modelos Estructurales Marginales (MSM), suelen tener dificultades en entornos con un gran número de puntos de decisión ($T$). Específicamente:

1. Inestabilidad: Los estimadores de ponderación de probabilidad inversa (IPW) implican productos de pesos a través de $T$ puntos temporales, lo que conduce a inestabilidad numérica, alta varianza y un sesgo sustancial en muestras finitas cuando $T$ es grande.
2. Irregularidad: Los estimadores doblemente robustos requieren la estimación de una gran colección de términos de aumento (regresiones de resultados indexadas por tiempo y política), lo que resulta impráctico y puede conducir a estimadores irregulares con tasas de convergencia lentas.
3. Limitaciones del Aprendizaje por Refuerzo (RL): Aunque el RL está diseñado para la toma de decisiones secuenciales, típicamente optimiza recompensas acumulativas o con descuento. Seleccionar una tasa de descuento apropiada para resultados distales suele carecer de apoyo empírico, y los métodos de RL pueden carecer de interpretabilidad.
4. Problemas de Positividad: Las políticas deterministas o casi deterministas sufren de violaciones de positividad en muestras finitas en espacios de decisión de alta dimensión, donde trayectorias de tratamiento específicas están pobremente sustentadas en los datos observados.

Metodología
Los autores proponen un marco unificado para estimar y optimizar JITAIs estocásticas para resultados distales utilizando un estimador no paramétricamente eficiente. Los componentes centrales son:

1. Clase de Política Estocástica: Los autores se centran en una clase paramétrica de políticas estocásticas $\{q_\theta\}$, donde las probabilidades de tratamiento son funciones del estado actual $S_t$ (modeladas mediante regresión logística con funciones de base). Las políticas estocásticas son preferidas sobre las deterministas para mantener la flexibilidad, incorporar restricciones no modeladas y mitigar los problemas de positividad.

2. Dispositivo de Inclinación $\alpha$-Tilting: Para estabilizar la estimación en entornos de alto $T$, los autores introducen un procedimiento de inclinación adaptativo a los datos. Este interpola entre la política objetivo $q_\theta$ y el mecanismo de tratamiento observado $\pi_{t,0}$ en cada punto de decisión $t$:
   $$q_{\theta, \alpha, t} = (t/T)^\alpha q_\theta + \{1 - (t/T)^\alpha\}\pi_{t,0}$$
   Para $\alpha > 0$, los pesos de las decisiones tempranas se contraen hacia 1, reduciendo la volatilidad del producto de los pesos de probabilidad inversa. El parámetro $\alpha$ se selecciona mediante una regla adaptativa a los datos que minimiza el Error Cuadrático Medio (MSE) estimado de la función de valor, equilibrando el sesgo (desviación del objetivo científico) y la varianza (estabilización).

3. Estimador de Ponderación de Probabilidad Inversa Sub-suavizado (UIPW):

   • En lugar de estimar las complejas funciones de regresión de resultados indexadas por política requeridas para una estimación eficiente, los autores utilizan el Lasso Altamente Adaptativo (HAL).
   • Emplean un sub-suavizado (seleccionando un parámetro de penalización $\lambda$ mayor al elegido por validación cruzada) para asegurar que los modelos de puntuación de probabilidad ajustados sean lo suficientemente ricos como para resolver aproximadamente las ecuaciones de puntuación empírica asociadas con la función de influencia eficiente.
   • Este enfoque logra la eficiencia no paramétrica ($\sqrt{n}$-consistencia) sin estimar explícitamente las regresiones de resultados de alta dimensión, evitando así la "maldición de la dimensionalidad" asociada con los términos de aumento.

4. Optimización Penalizada: Para evitar soluciones de frontera (que pueden ser numéricamente inestables), el parámetro de la política óptima $\theta$ se encuentra maximizando una función de valor penalizada $V_n(\theta) = \psi_n(\theta) - P(\theta)$, donde $P(\theta)$ es una penalización de tipo ridge con peso de barrera de distancia inversa que aleja al optimizador del límite del espacio de parámetros $\Theta$.

Contribuciones Clave

1. Estimador No Paramétricamente Eficiente: Desarrollo de un estimador UIPW para la curva de respuesta de la régimen que alcanza el límite de eficiencia no paramétrica sin estimar el conjunto completo de regresiones de resultados indexadas por tiempo y política.
2. Estabilización Adaptativa a los Datos: Introducción de un procedimiento de inclinación que estabiliza la estimación en entornos de alto $T$ al contraer los pesos tempranos, con garantías teóricas de que el sesgo introducido por la inclinación es asintóticamente insignificante si $\alpha_n \to 0$ con la rapidez suficiente.
3. Teoría Asintótica para la Inferencia:
   • Prueba de que la curva de respuesta de la régimen estimada converge débilmente a un proceso gaussiano, permitiendo la construcción de bandas de confianza simultáneas sobre el espacio de parámetros de la política.
   • Derivación de la distribución asintótica del optimizador $\theta^*_n$, permitiendo una inferencia válida para la política estocástica óptima aprendida.
4. Implementación Práctica: Propuestas para selectores adaptativos a los datos del nivel de sub-suavizado (basados en normas DCAR o residuos de puntuación) y del parámetro de inclinación $\alpha$.

Resultados
Los autores evalúan su método mediante simulaciones numéricas que imitan ensayos de salud móvil (por ejemplo, cesación de fumar) con variaciones en el tamaño de la muestra ($n$) y los puntos de decisión ($T$) (mecanismo de asignación de tratamiento MRT vs. observacional).

• Control de Sesgo: En entornos observacionales donde el mecanismo de tratamiento debe ser aprendido, los estimadores HAL con validación cruzada estándar exhibieron un sesgo significativo a medida que $T$ aumentaba. Los estimadores UIPW con sub-suavizado controlaron con éxito este sesgo.
• Estabilidad y MSE: La inclinación adaptativa redujo el Error Cuadrático Medio (MSE) para la mayoría de los estimadores, particularmente en entornos con $T$ grande donde la acumulación de pesos causa inestabilidad.
• Optimización de la Política: El enfoque de inclinación adaptativa generalmente mejoró el Error Cuadrático Medio (RMSE) de la política óptima estimada en comparación con los estimadores sin inclinar.
• Cobertura: Mientras que los estimadores estándar mostraron una falta de cobertura en regiones donde la política objetivo difería significativamente de la política observacional (debido a problemas numéricos de positividad), los métodos propuestos mantuvieron tasas de cobertura más cercanas a los niveles nominales, aunque se observó cierta sobrecobertura en configuraciones específicas.
• Desempeño del Selector: Entre los selectores de sub-suavizado, el selector basado en DCAR de $L_2$ generalmente proporcionó un desempeño más estable y un menor arrepentimiento (regret) que el selector basado en puntuación, que a veces sub-suavizaba de forma demasiado agresiva.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco unificado para la estimación, inferencia y optimización de JITAIs estocásticas específicamente para resultados distales.

• Cerrando la Brecha: El trabajo aborda la brecha metodológica entre la estructura de los datos de los MRT (muchos puntos de decisión) y los objetivos inferenciales (resultados distales) que definen el éxito a largo plazo en la salud conductual.
• Factibilidad: Al evitar la estimación explícita de regresiones de resultados de alta dimensión, el método hace que la estimación eficiente no paramétrica sea factible en entornos longitudinales intensivos donde los métodos anteriores eran computacionalmente o estadísticamente intratables.
• Robustez: La combinación de políticas estocásticas, inclinación y sub-suavizado ofrece una solución robusta a los problemas de inestabilidad y positividad inherentes a la toma de decisiones de alta frecuencia.
• Inferencia: La derivación de las propiedades asintóticas tanto para la curva como para el optimizador permite a los investigadores no solo encontrar una política óptima, sino también cuantificar la incertidumbre mediante bandas de confianza simultáneas e inferencia específica de la política, una capacidad que suele faltar en los enfoques actuales de RL o aprendizaje de políticas.

Los autores mantienen la modestia, señalando que, si bien el sub-suavizado es teóricamente necesario para la eficiencia, su desempeño en muestras finitas depende fuertemente de la selección de los parámetros de ajuste. También reconocen que las ganancias de eficiencia de los métodos no paramétricos pueden ser menores en entornos estocásticos en comparación con los deterministas debido a la estabilidad inherente de los pesos probabilísticos.