Risk-inclusive Contextual Bandits for Early Phase Clinical Trials

1. Planteamiento del Problema

Los ensayos clínicos de fase temprana (especialmente los estudios de dosificación en la Fase IIb) enfrentan el desafío crítico de seleccionar la dosis óptima de un fármaco que equilibre eficacia y seguridad. Los enfoques tradicionales presentan varias limitaciones:

• Aleatorización Equitativa (ER): Expone a muchos participantes a dosis subóptimas al no considerar covariables individuales, lo que requiere tamaños de muestra más grandes y alarga el desarrollo del fármaco.
• Diseños Adaptativos Existentes: Métodos como la Aleatorización Adaptativa Respuesta (RAR) a menudo ignoran las covariables de los participantes o no integran adecuadamente las métricas de seguridad junto con la eficacia.
• Inferencia Estadística: Los enfoques tradicionales solo permiten inferencia formal al final del estudio, impidiendo el monitoreo continuo para detenciones tempranas (por eficacia o futilidad). Además, la inferencia sobre el tamaño del efecto a menudo depende de modelos paramétricos correctamente especificados, lo cual es arriesgado en fases tempranas donde el conocimiento del fármaco es limitado (riesgo de mal especificación del modelo).

El objetivo es desarrollar un marco que optimice la asignación de tratamientos basándose en datos individuales (covariables) y resultados de seguridad/eficacia, manteniendo al mismo tiempo garantías estadísticas válidas durante todo el proceso de recolección de datos.

2. Metodología Propuesta

Los autores proponen un marco de dos componentes: Optimización del Ensayo y Evaluación del Ensayo.

A. Optimización: Muestreo de Thompson Inclusivo de Riesgo (RiTS)

El problema se formula como un Brazo Contextual Multi-brazo (CMAB).

• Mecanismo: Se utilizan dos muestreadores de Thompson (TS) separados: uno para modelar la eficacia y otro para la seguridad.
• Integración de Riesgo: Se introduce un parámetro de peso $w \in (0, 1)$ para combinar las predicciones de ambos muestreadores. La utilidad para asignar el siguiente brazo $a$ a un participante con covariables $x$ se define como:
  $$\omega(x, b_0, b, g_0, g; w) = w \cdot (\text{Eficacia}) + (1-w) \cdot (\text{Seguridad})$$
  Donde $w$ permite a los investigadores priorizar la eficacia (ej. oncología) o la seguridad (ej. dermatología) según el conocimiento del dominio.
• Exploración Forzada (Clipping): Para garantizar la validez estadística posterior, se aplica un parámetro de recorte ($\delta$) que asegura que la probabilidad de asignar cualquier brazo nunca sea cero, forzando la exploración de brazos subóptimos.
• Ventaja: A diferencia del TS tradicional que ignora la seguridad, RiTS asigna dosis más seguras a más participantes sin sacrificar completamente la búsqueda de la dosis más eficaz.

B. Evaluación: Inferencia Válida en Cualquier Momento con AsympCS

Para la evaluación de los tamaños del efecto ($\Delta(a)$), se extiende el método de Secuencias de Confianza Asintóticas (AsympCS) al contexto de brazos adaptativos.

• Enfoque Model-Assisted (Asistido por Modelo):
  • Se utiliza un modelo paramétrico (regresión lineal ponderada) para la optimización y la estimación inicial.
  • Sin embargo, la inferencia final es robusta a la mal especificación del modelo.
• Técnica de Pseudo-Resultados (AIPW): Se utilizan resultados pseudo-aumentados con ponderación inversa de propensión (AIPW) para corregir el sesgo introducido por la aleatorización adaptativa.
• Cross-fitting: Los datos se dividen en conjuntos de entrenamiento y evaluación (índices pares e impares) para estimar los residuos y construir las secuencias de confianza.
• Garantía: La secuencia de confianza $\{C_n^{(\alpha)}(a)\}$ ofrece una cobertura uniforme en el tiempo (time-uniform coverage). Esto permite detener el ensayo en cualquier momento $n$ si la secuencia de confianza cruza un umbral de significancia clínica, manteniendo la tasa de error controlada.

3. Contribuciones Clave

1. Algoritmo RiTS: Primer enfoque que combina explícitamente la seguridad y la eficacia en un diseño de banda contextual para ensayos clínicos, utilizando un parámetro de peso ajustable.
2. Inferencia Robusta y Secuencial: Extensión de AsympCS a entornos de CMAB con modelos potencialmente mal especificados. Esto permite inferencia causal válida sin depender de que el modelo de regresión sea perfecto.
3. Validación Teórica: Demostración teórica (Teorema 1) de que, bajo condiciones de consistencia uniforme del estimador de regresión y recorte de propensión, las secuencias de confianza mantienen la cobertura nominal incluso con datos adaptativos.
4. Aplicación Real: Validación del método utilizando datos reales de un ensayo de Fase IIb para el tratamiento de la alopecia areata.

4. Resultados Empíricos

Los autores realizaron simulaciones extensas (1000 repeticiones) y un estudio de caso con datos reales.

• Comparación de Regret (Arrepentimiento):
  • RiTS logra el menor arrepentimiento acumulado en seguridad y un arrepentimiento de utilidad comparable al TS tradicional, mientras que el TS tradicional (que ignora la seguridad) tiene un arrepentimiento de seguridad muy alto.
  • La aleatorización equitativa (Rand) tiene el mayor arrepentimiento en todos los criterios.
• Identificación de la Dosis Ganadora:
  • RiTS identifica correctamente la dosis más eficaz (Arm 4 en simulaciones, Arm 6 en datos reales) con una frecuencia similar o superior a los métodos tradicionales, pero con un perfil de seguridad mucho mejor.
  • En el estudio de alopecia areata, RiTS asignó más participantes a la dosis 4 (que tenía el mejor balance seguridad/eficacia) en comparación con el TS, que se inclinó agresivamente hacia la dosis 6 (más eficaz pero menos segura).
• Calidad de la Inferencia:
  • Los métodos basados en AsympCS (RiTS-AIPW, TS-AIPW) controlan la tasa de cobertura acumulada (miscoverage) en el nivel nominal (5%), incluso con modelos mal especificados, siempre que se elijan bien los hiperparámetros de "burn-in" ($m$) y recorte ($\delta$).
  • Los intervalos de confianza de RiTS son ligeramente más anchos que los de la aleatorización equitativa (debido a la exploración forzada), pero mucho más estrechos que los del TS tradicional en dosis subóptimas.
• Robustez: El método mantiene su validez incluso cuando los modelos de generación de datos son mal especificados (lineal vs. no lineal), demostrando su naturaleza "asistida por modelo".

5. Significado e Impacto

Este trabajo representa un avance significativo en la estadística de ensayos clínicos y el aprendizaje por refuerzo:

• Equilibrio Ético y Científico: Proporciona una solución práctica al dilema ético de los ensayos clínicos: maximizar la información científica (eficacia) minimizando el daño a los pacientes (seguridad).
• Flexibilidad Operativa: Permite el monitoreo continuo y la detención temprana del ensayo con garantías estadísticas rigurosas, lo que puede acelerar el desarrollo de fármacos y reducir costos.
• Resiliencia a la Incertidumbre: Al ser robusto a la mal especificación del modelo, es ideal para fases tempranas donde la relación dosis-respuesta es desconocida.
• Recomendación Práctica: Los autores sugieren que, aunque RiTS puede requerir un tamaño de muestra ligeramente mayor (debido a la exploración forzada para la inferencia) en comparación con diseños puramente deterministas, es la opción más segura y eficiente para ensayos donde la seguridad del paciente es prioritaria.

En resumen, el artículo propone un marco unificado que integra el aprendizaje por refuerzo moderno con la inferencia estadística causal clásica, ofreciendo una herramienta poderosa para diseñar ensayos clínicos más inteligentes, seguros y eficientes.