A simple strategy for valid inference in target trial emulations

Aquí se presenta un resumen técnico detallado del artículo "Una estrategia simple para inferencia válida en emulaciones de ensayos objetivo" de Mats J. Stensrud.

1. Planteamiento del Problema

La emulación de ensayos objetivo es un marco estructurado para la inferencia causal utilizando datos observacionales, donde los investigadores especifican un ensayo aleatorizado hipotético (el "ensayo objetivo") e intentan replicar su protocolo utilizando datos del mundo real. Aunque este enfoque clarifica las preguntas causales y reduce sesgos (por ejemplo, el sesgo de tiempo inmortal), enfrenta un desafío estadístico crítico: la naturaleza iterativa de la especificación del protocolo.

En la práctica, los investigadores rara vez definen el protocolo del ensayo objetivo a priori. En su lugar, refinan iterativamente el protocolo (criterios de elegibilidad, estrategias de tratamiento, resultados y modelos estadísticos) después de inspeccionar los datos observacionales para garantizar la viabilidad y la identificabilidad. Esto genera dos amenazas principales para la validez estadística:

1. Búsqueda de Datos/Inferencia Selectiva: Cuando el mismo conjunto de datos se utiliza tanto para seleccionar el protocolo (por ejemplo, elegir una comparación de tratamientos o un resultado específico basado en tamaños de efecto preliminares) como para estimar el efecto, los intervalos de confianza convencionales pierden sus garantías de cobertura nominal. La inferencia se vuelve sesgada porque el modelo fue "ajustado" al ruido específico de ese conjunto de datos.
2. Tasas de Cobertura Inválidas: La teoría estadística estándar asume que el plan de análisis se fija antes de la inspección de los datos. El refinamiento iterativo basado en características de los datos (por ejemplo, eliminar covariables debido a problemas de convergencia, excluir subgrupos con tratamientos raros o seleccionar resultados con efectos observados más grandes) infla las tasas de error Tipo I e invalida los valores p y los intervalos de confianza.

2. Metodología: Divulgación de Muestras

El artículo propone un procedimiento de divulgación de muestras (sample splitting) para desacoplar la selección del protocolo de la estimación del efecto, garantizando una inferencia estadística válida incluso cuando el protocolo es impulsado por los datos.

El Procedimiento:

1. División Aleatoria: Antes de cualquier análisis, el conjunto de datos se divide aleatoriamente en dos muestras independientes:
   • La Muestra de Especificación: Utilizada para el análisis exploratorio.
   • La Muestra de Emulación: Utilizada para la estimación final y la inferencia.
2. Fase 1 (Especificación): Los investigadores utilizan la Muestra de Especificación para:
   • Evaluar la disponibilidad de datos y las definiciones de variables.
   • Determinar la identificabilidad (por ejemplo, verificar la presencia de confusores no medidos).
   • Evaluar la viabilidad (por ejemplo, verificar tamaños de muestra para tratamientos raros).
   • Seleccionar el protocolo final del ensayo objetivo (elegibilidad, estrategias de tratamiento, resultados) y el estimador o modelo estadístico específico.
   • Críticamente, todas las decisiones relativas al estimando causal y al plan de análisis se finalizan aquí.
3. Fase 2 (Emulación): El protocolo finalizado se aplica a la Muestra de Emulación (que nunca fue vista durante la fase de selección).
   • La estimación del efecto y los intervalos de confianza se calculan estrictamente en esta segunda muestra.
   • Dado que el protocolo es fijo con respecto a la Muestra de Emulación, la inferencia estadística estándar (por ejemplo, intervalos de confianza del 95%) mantiene sus garantías de cobertura nominal.

Analogía: Los autores lo comparan con el pipeline de desarrollo de fármacos clínicos, donde los estudios piloto o de fase temprana (Muestra de Especificación) informan el diseño de un ensayo de Fase 3 (Muestra de Emulación), el cual luego se analiza de forma independiente.

3. Contribuciones Clave

• Resolución del Sesgo Iterativo: El artículo proporciona una solución simple y práctica al problema de la "selección de protocolos dependiente de los datos". Demuestra que es posible una inferencia válida incluso cuando los investigadores utilizan los datos para refinar la elegibilidad, las definiciones de tratamiento y las especificaciones del modelo, siempre que la estimación final ocurra en una muestra retenida.
• Distinción de Divisiones de Aprendizaje Automático: Los autores aclaran que este enfoque difiere de la validación cruzada estándar o de las divisiones entrenamiento/validación/prueba en el aprendizaje automático. En la emulación de ensayos objetivo, la primera división se utiliza para elegir el estimando y la propia estructura del protocolo, no solo para ajustar hiperparámetros del modelo. Por lo tanto, la validación cruzada estándar (que asume que la estructura del modelo es fija) no es aplicable.
• Abordaje del Reporte Selectivo: El método mitiga el riesgo de "elección de estimandos" (seleccionar el protocolo que produce los resultados más prometedores). Incluso si los investigadores exploran múltiples protocolos en la Muestra de Especificación y eligen aquel con el efecto más grande, la inferencia final en la Muestra de Emulación permanece libre de sesgos respecto a esa elección específica.
• Clarificación de Limitaciones: El artículo señala explícitamente que, aunque la divulgación de muestras corrige la validez estadística (cobertura), no corrige la validez clínica. Si el protocolo se revisa hacia una población que es más fácil de analizar pero menos clínicamente relevante, el resultado sigue siendo válido para esa población específica, pero puede no responder a la pregunta clínica original.

4. Resultados y Justificación Teórica

El artículo argumenta teóricamente que la divulgación de muestras restaura la validez de los intervalos de confianza en cuatro escenarios específicos donde la inferencia convencional con muestra completa falla:

1. Restricciones de Viabilidad: Cuando los protocolos se revisan basándose en la disponibilidad de variables (por ejemplo, eliminar un resultado no registrado en la base de datos).
2. Restricciones de Identificabilidad: Cuando los protocolos se revisan porque faltan confusores clave (por ejemplo, cambiar a una comparación de tratamientos donde el confusión está mejor controlado).
3. Restricciones de Precisión/Viabilidad: Cuando se excluyen subgrupos debido a tratamientos raros o cuando los problemas de convergencia del modelo fuerzan un cambio a supuestos paramétricos.
4. Reporte Selectivo: Cuando los investigadores exploran múltiples variaciones de protocolo y reportan solo las más "interesantes".

En todos estos casos, dado que el proceso de selección se confina a la Muestra de Especificación, la Muestra de Estimación actúa como un conjunto de datos "fresco" donde el protocolo está efectivamente preespecificado. Por lo tanto, la probabilidad de cobertura de los intervalos de confianza se mantiene en el nivel nominal (por ejemplo, 95%).

5. Significado y Limitaciones

Significado:

• Puente entre Práctica y Teoría: Alinea la realidad de la investigación observacional (que es inherentemente iterativa) con los requisitos rigurosos de la inferencia estadística.
• Transparencia: Fomenta un flujo de trabajo transparente donde los investigadores deben documentar los hallazgos exploratorios y las decisiones tomadas en la Muestra de Especificación, similar a informar los resultados de un estudio piloto.
• Accesibilidad: A diferencia de los métodos complejos de inferencia adaptativa (por ejemplo, privacidad diferencial o algoritmos de inferencia selectiva), la divulgación de muestras es conceptualmente simple y fácil de implementar utilizando software estadístico estándar.

Limitaciones:

• Pérdida de Potencia: La principal desventaja es que solo una fracción de los datos (por ejemplo, 80-90%) se utiliza para la estimación final, reduciendo la potencia estadística. Los autores sugieren que una Muestra de Especificación pequeña (10-20%) suele ser suficiente para el diseño del protocolo.
• Sin Validación Cruzada: No se puede utilizar la validación cruzada estándar porque el "modelo" que se selecciona es todo el protocolo causal, no solo un parámetro de incómodo.
• Sesgo de Conocimiento Previo: El método no protege completamente contra el sesgo si los investigadores tienen conocimiento previo de los datos de análisis anteriores (por ejemplo, emulaciones anteriores de ensayos similares), ya que los datos "no vistos" no son realmente invisibles para la intuición del investigador. Sin embargo, los autores argumentan que este sesgo es probablemente menor que el sesgo derivado de utilizar los mismos datos dos veces para la selección y la estimación.

Conclusión:
El artículo concluye que la divulgación de muestras es una estrategia robusta y simple para garantizar que las emulaciones de ensayos objetivo produzcan inferencias estadísticas válidas, incluso cuando el protocolo se refina basándose en la inspección de datos. Refleja el estándar de oro del desarrollo de ensayos aleatorizados (de piloto a Fase 3) y debería adoptarse para prevenir la inflación de las tasas de falsos positivos en la investigación de efectividad comparativa.