Adaptive discovery of effect modification in matched observational studies

Resumen Técnico: Descubrimiento Adaptativo de la Modificación del Efecto en Estudios Observacionales Emparejados

Planteamiento del Problema
El artículo aborda el desafío de descubrir la modificación del efecto: identificar subpoblaciones donde los efectos del tratamiento varían, en estudios observacionales emparejados. Un objetivo principal es determinar qué subgrupos se benefician de un tratamiento (por ejemplo, los retornos económicos de la educación universitaria) manteniendo una validez estadística rigurosa.

Los autores destacan tres desafíos específicos en este contexto:

1. Confusión No Medida: Las estimaciones observacionales son susceptibles a sesgos por confusores no medidos. La inferencia válida requiere un análisis de sensibilidad (específicamente el modelo de sensibilidad $\Gamma$ de Rosenbaum), lo que convierte a la hipótesis nula en compuesta en lugar de nítida.
2. Sesgo de Selección Adaptativa: Los subgrupos a menudo se definen de manera adaptativa a los datos (por ejemplo, mediante árboles de decisión) basándose en covariables observadas. Reutilizar los mismos datos tanto para la definición del subgrupo como para la inferencia, sin un ajuste cuidadoso, conduce a tasas de error inválidas.
3. Múltiples Controles: Aunque emparejar unidades tratadas con múltiples controles es común para mejorar la sensibilidad del diseño, los métodos existentes para la selección de subgrupos a menudo no aprovechan esta estructura de manera efectiva, resultando a veces en una pérdida de potencia estadística a medida que aumenta el número de controles.

Metodología
Los autores proponen un procedimiento válido para muestras finitas para seleccionar subgrupos interpretables en covariables con efectos del tratamiento significativos, controlando la Tasa de Falsos Descubrimientos (FDR) a nivel de subgrupo. El método opera dentro de un marco de pruebas múltiples adaptativo.

• Modelo de Sensibilidad: El procedimiento tiene en cuenta la confusión no medida utilizando el modelo de sensibilidad $\Gamma$ de Rosenbaum, donde la razón de probabilidades de la asignación del tratamiento dentro de un conjunto emparejado está acotada por $\Gamma$.
• Construcción de Estadísticos de Prueba:
  • Estadístico de Signo ($L_g$): Para cada subgrupo, se construye un estadístico de signo para capturar la dirección del efecto del tratamiento. Crucialmente, este estadístico está diseñado para satisfacer una condición de asimetría acotada por $\kappa$ bajo la nula compuesta. Esta condición asegura que la probabilidad de un signo positivo esté acotada en relación con un signo negativo, permitiendo una estimación válida del error incluso cuando la nula no es nítida.
  • Estadístico de Magnitud ($W_g$): Para mejorar la potencia, los autores introducen un estadístico de "rango enmascarado". En lugar de utilizar diferencias de resultados crudas o brechas simples (que pueden diluir las señales con múltiples controles), utilizan el rango del resultado de la unidad tratada en relación con los controles, enmascarado para ocultar el signo. Bajo un modelo gaussiano, se demuestra que un estadístico de magnitud basado en la razón de verosimilitud ($W^{NP}$) es óptimo para distinguir grupos nulos de no nulos.
• Procedimiento de Detección Adaptativa:
  • El método emplea un proceso de detección secuencial donde los subgrupos se ordenan según su probabilidad predicha de tener un efecto positivo.
  • Enmascaramiento: Durante la detección, los signos verdaderos de los estadísticos se ocultan (enmascaran). El algoritmo utiliza aprendizaje semi-supervisado para predecir signos basándose en covariables y los estadísticos de magnitud enmascarados.
  • Estimación de FDR: La Proporción de Falsos Descubrimientos (FDP) se estima utilizando la relación entre los signos negativos predichos y los positivos entre los candidatos restantes, ajustada por el parámetro de asimetría $\kappa$.
  • Regla de Parada: El procedimiento se detiene cuando la FDP estimada cae por debajo del nivel objetivo $\alpha$.
• Calibración Condicional: Para abordar el "efecto umbral" (donde los métodos carecen de potencia cuando pocos subgrupos son no nulos), los autores incorporan una técnica de calibración condicional. Este ajuste post-hoc aumenta la potencia en regímenes dispersos mientras mantiene el control de la FDR.

Contribuciones Clave

1. Marco Adaptativo para Nulas Compuestas: El artículo desarrolla un marco que controla la FDR bajo el modelo de sensibilidad de Rosenbaum. A diferencia de los métodos existentes que dependen de nulas nítidas o suposiciones específicas de densidad sobre los valores p, este enfoque se dirige directamente a nulas compuestas sin imponer condiciones de densidad no decreciente sobre los valores p.
2. Aprovechamiento de Múltiples Controles: Los autores demuestran que las generalizaciones estándar de los métodos de emparejamiento por pares a múltiples controles pueden conducir a una pérdida de potencia. Proponen un nuevo estadístico de magnitud basado en rangos enmascarados que utiliza eficazmente la información de múltiples controles, mostrando que la potencia aumenta (en lugar de disminuir) a medida que crece el número de controles.
3. Validez para Muestras Finitas: El procedimiento proporciona un control exacto de la FDR en muestras finitas, condicionado a los subgrupos identificados impulsados por los datos.
4. Calibración Condicional para la Selección de Subgrupos: El artículo introduce una instancia novedosa de calibración condicional adaptada a nulas compuestas en la selección de subgrupos, abordando el problema de la baja potencia cuando el número de subgrupos no nulos es pequeño.

Resultados

• Simulaciones: Estudios de simulación extensos comparan el método propuesto (Ours-NP) con líneas base, incluido el procedimiento de Benjamini-Hochberg (BH) aplicado a valores p de subgrupos y el método interactivo de detección P (Duan et al., 2024).
  • El método propuesto mantiene el control de la FDR por debajo del nivel nominal ($\alpha=0.1$) en diversos escenarios.
  • Demuestra una potencia estadística significativamente mayor que las líneas base, particularmente en escenarios con tamaños de subgrupos pequeños y múltiples controles.
  • El método que utiliza el estadístico de magnitud basado en NP supera consistentemente a las variantes que utilizan estadísticos Max, TopGap o MedSplit, especialmente a medida que aumenta el número de controles.
• Aplicación en el Mundo Real: El método se aplica al Estudio Longitudinal de Wisconsin (WLS) para examinar los retornos económicos de la educación universitaria.
  • El análisis identifica 25 subgrupos impulsados por los datos con retornos positivos hasta un parámetro de sensibilidad de $\Gamma=2.5$, mientras que el método de línea base BH identifica solo 10 en $\Gamma=2$ y ninguno más allá.
  • Los subgrupos seleccionados proporcionan evidencia que respalda la teoría de la "selección negativa" en sociología, sugiriendo que los individuos menos propensos a asistir a la universidad (por ejemplo, aquellos con ingresos familiares más bajos o antecedentes educativos específicos) pueden obtener el mayor beneficio económico de ella.

Significado y Afirmaciones
El artículo afirma que su método ofrece un enfoque disciplinado para descubrir la modificación del efecto en estudios observacionales sin depender de fuertes suposiciones paramétricas ni sacrificar el tamaño de la muestra mediante la división de datos. Al manejar explícitamente la confusión no medida y aprovechar múltiples controles, el método proporciona conocimientos más robustos y potentes sobre los efectos heterogéneos del tratamiento. Los autores enfatizan que su enfoque permite la selección de subgrupos interpretables con un control válido de la tasa de error, un requisito crítico para la formulación de políticas y la inferencia científica en entornos observacionales. El trabajo también contribuye al campo más amplio de las pruebas múltiples adaptativas al extender técnicas para manejar nulas compuestas y múltiples unidades de control.