Latent Utility Q-Learning for Preference-Adaptive Dynamic Treatment Regimes

Resumen Técnico: Aprendizaje de Q con Utilidad Latente para Regímenes de Tratamiento Dinámicos Adaptados a las Preferencias

Planteamiento del Problema
Los Regímenes de Tratamiento Dinámicos (DTR, por sus siglas en inglés) son métodos estadísticos diseñados para optimizar las decisiones de tratamiento secuenciales para condiciones crónicas. Los métodos DTR estándar suelen asumir un único resultado univariante, lo que no logra abordar la realidad de que los pacientes a menudo ponderan de manera distinta múltiples resultados contrapuestos (por ejemplo, la reducción del dolor frente a la mejora funcional). Los métodos existentes basados en preferencias suelen estar limitados a entornos de dos etapas, dependen de modelos paramétricos restrictivos o requieren que los pacientes clasifiquen explícitamente las trayectorias de tratamiento, una tarea que suele ser inviable en ensayos clínicos donde los pacientes experimentan solo una trayectoria. Además, los enfoques de aprendizaje por refuerzo profundo generalmente requieren grandes muestras incompatibles con estudios clínicos de muestra moderada como los Ensayos Aleatorizados de Asignación Múltiple Secuencial (SMART). El desafío central es aprender una política que optimice combinaciones de resultados multivariantes ($Y \in \mathbb{R}^d$) ponderadas por las preferencias específicas del paciente a través de $K$ puntos de decisión sin requerir clasificaciones explícitas de resultados ni datos a gran escala.

Metodología: Aprendizaje de Q con Utilidad Latente (LUQ-Learning)
Los autores proponen LUQ-Learning, una extensión de variable latente del aprendizaje de Q que estima DTRs que optimizan una función de utilidad latente $U^* = E^\top Y^*$, donde $E$ es un vector de preferencias de $(d-1)$ dimensiones sobre un simplex de probabilidad y $Y^*$ representa los resultados potenciales.

• Marco de Variables Latentes: Las preferencias de los pacientes ($E$) no se observan directamente, sino que se infieren a través de mediciones indirectas ($W_k$), tales como preguntas de elección discreta, calificaciones de satisfacción o escalas de subdimensiones de calidad de vida, recolectadas en diversas etapas.
• Factorización de la Media Condicional: La idea metodológica central es una factorización de la media condicional. Bajo un supuesto de "Independencia de Preferencia Secuencial" (Supuesto A5), la utilidad esperada puede desacoplarse:
  $$E[U^* | H_k, A_k] = E[E | H_k]^\top E[Y | H_k, A_k]$$
  Esta factorización separa el problema en dos componentes modulares:
  1. Estimación de Preferencias: Estimar la distribución posterior de las preferencias latentes $P(E | H_k)$ basándose en los instrumentos de preferencia observados $W_k$ y las covariables.
  2. Regresión de Resultados: Estimar la media condicional de los resultados $E[Y | H_k, A_k]$.
• Algoritmo: El algoritmo procede mediante inducción hacia atrás (similar al aprendizaje de Q estándar). En cada etapa $k$, estima la media posterior de la preferencia $\hat{E}[E | H_k]$ y la regresión de resultados, luego calcula el valor Q como el producto interno de estas estimaciones. Esto reduce el problema de múltiples resultados y adaptado a las preferencias a una secuencia de problemas de aprendizaje de Q escalares.
• Variantes Conscientes de la Incertidumbre: Reconociendo que la estimación de las preferencias introduce incertidumbre, los autores proponen dos variantes de política:
  • Política Modal ($\hat{\pi}^{mod}$): Selecciona la acción que es óptima para la mayor proporción de la distribución de la preferencia posterior.
  • Política Robusta ($\hat{\pi}^{rob}$): Selecciona la acción que maximiza la utilidad mínima dentro de una región de incertidumbre elipsoidal definida por la covarianza posterior.

Contribuciones Clave

1. Garantías Teóricas:
   • Consistencia: Los autores establecen que la función de valor estimada converge en probabilidad al verdadero valor óptimo bajo condiciones de regularidad débiles en los estimadores de preferencia y de resultados. Se demuestra que la brecha de valor está impulsada por la acumulación aditiva del error del modelo de preferencia, el error de regresión de resultados y el error de la función de valor propagado.
   • $\epsilon$-Optimalidad Unificada: El artículo deriva límites en la pérdida del valor de la política en términos de la incertidumbre de la preferencia posterior. Estos límites proporcionan criterios interpretables y basados en datos (por ejemplo, umbrales para el radio de incertidumbre $\delta$ o la masa posterior $\alpha$) para la selección entre políticas de media, modal y robusta.
2. Diseño Modular y Flexible: El marco admite formatos de datos de preferencia heterogéneos (por ejemplo, elecciones binarias, clasificaciones, escalas de Likert) sin requerir la alineación de escalas entre los instrumentos. No requiere que los pacientes clasifiquen explícitamente los resultados o las trayectorias.
3. Manejo de la Incertidumbre: Al utilizar un marco bayesiano, el método propaga la incertidumbre de la estimación de la preferencia latente directamente hacia las recomendaciones de tratamiento y la estimación del valor, permitiendo la toma de decisiones orientada al riesgo (robusta) o centrada en la cobertura (modal).

Resultos
Los autores evaluaron LUQ-Learning mediante simulaciones calibradas con el ensayo Biomarkers for Evaluating Spine Treatments (BEST), un SMART de dos etapas para el dolor lumbar crónico.

• Desempeño: LUQ-Learning superó consistentemente a:
  • Aprendizaje de Q Estándar: Que agrega resultados multivariantes mediante un promedio simple.
  • Satisfacción Reportada al Final ($\hat{\pi}^{W_{last}}$): Que optimiza basándose únicamente en la calificación de satisfacción final sin datos de preferencia longitudinales.
  • Métodos de Preferencia Existentes: Específicamente, el método mostró un menor error de estimación de preferencia y mayores ganancias de valor en comparación con el enfoque de Butler et al. (2018) en un entorno de una sola etapa.
• Estabilidad: Aunque la política "Oráculo" (que conoce las verdaderas preferencias) alcanzó el valor más alto, LUQ-Learning se acercó estrechamente a este desempeño. En contraste, los métodos que ignoran los datos de preferencia longitudinales ($\hat{\pi}^{W_{last}}$) exhibieron mayor varianza e inestabilidad, particularmente a medida que aumentaba la longitud de la trayectoria ($K$).
• Longitud de la Trayectoria: En simulaciones extendidas con $K \in \{2, 4, 6, 8\}$, la brecha de desempeño entre LUQ-Learning y el Oráculo disminuyó a medida que $K$ aumentaba, lo que sugiere que las trayectorias más largas proporcionan información más rica para estimar las preferencias latentes. Por el contrario, los métodos que dependen solo de indicadores terminales se deterioraron a medida que $K$ crecía.

Significancia y Reivindicaciones
El artículo sostiene que LUQ-Learning proporciona una base estadísticamente sólida para la toma de decisiones adaptada a las preferencias en entornos clínicos complejos y multivariantes. Su significancia radica en:

• Cerrar la Brecha: Ofrece una solución para incorporar las preferencias heterogéneas de los pacientes en los DTR sin los requisitos de datos del aprendizaje por refuerzo profundo o las restricciones de clasificación de trayectorias de la RL basada en preferencias.
• Interpretabilidad: Los límites de $\epsilon$-optimalidad derivados ofrecen criterios concretos y basados en datos para la selección de políticas, ayudando a clínicos y reguladores a navegar los compromisos entre el desempeño promedio y la robustez ante la incertidumbre de las preferencias.
• Fundamento de Inferencia Causal: A diferencia del aprendizaje por refuerzo estándar a partir de la retroalimentación humana, LUQ-Learning trata los instrumentos de preferencia como indicadores identificables de utilidades latentes dentro de un marco de inferencia causal (utilizando resultados potenciales y conceptos de inferencia causal proximal), lo que lo hace adecuado para entornos de ensayos aleatorizados donde ninguna política experta única gobierna las asignaciones de tratamiento.

Los autores concluyen que, si bien el marco es robusto, su implementación exitosa requiere un estudio de diseño cuidadoso, instrumentos de preferencia validados y la alineación entre la población de desarrollo y la población objetivo para asegurar que las preferencias capturadas reflejen compromisos estables y a largo plazo en lugar de una satisfacción transitoria.