📊 statistics

Treatment effect estimation by comparing observed and predicted outcomes: conditions for valid inference and practical illustration

Este artículo utiliza el marco de resultados potenciales y un estudio de caso práctico para esclarecer las condiciones necesarias para una estimación válida del efecto promedio del tratamiento al comparar los resultados observados bajo un nuevo tratamiento con los resultados predichos de modelos preexistentes, un método comúnmente utilizado en la evaluación clínica basada en modelos en radioterapia.

Autores originales: Lotta M. Meijerink, Artuur M. Leeuwenberg, Jungyeon Choi, Bas B. L. Penning de Vries, Johannes A. Langendijk, Judith G. M. van Loon, Remi A. Nout, Karel G. M. Moons, Ewoud Schuit

Publicado 2026-07-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lotta M. Meijerink, Artuur M. Leeuwenberg, Jungyeon Choi, Bas B. L. Penning de Vries, Johannes A. Langendijk, Judith G. M. van Loon, Remi A. Nout, Karel G. M. Moons, Ewoud Schuit

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero tienes una regla muy extraña: solo puedes entrevistar a los sospechosos que se encuentran actualmente en la sala, y se te prohíbe hablar con las personas que se quedaron en casa. Este es el lucha diaria de los investigadores médicos cuando quieren saber si un tratamiento nuevo y reluciente realmente funciona. Por lo general, el estándar de oro para resolver este misterio es un "Ensayo Controlado Aleatorizado", donde los médicos lanzan una moneda para decidir quién recibe la nueva medicina y quién la antigua. Pero a veces, lanzar una moneda no es posible, ético o lo suficientemente rápido. Tal vez una nueva tecnología es demasiado costosa para probarla en todos, o la enfermedad es demasiado urgente como para esperar a un estudio largo.

Así, los investigadores intentan un truco ingenioso llamado "predicción contrafactual". Es como construir una máquina del tiempo, pero en lugar de enviar a una persona al pasado, envían una predicción al pasado. Toman a un grupo de pacientes que recibieron el nuevo tratamiento y preguntan: "¿Qué le habría pasado a estas personas específicas si hubieran recibido el tratamiento antiguo en su lugar?". Para responder a esto, utilizan un "modelo": una receta matemática construida a partir de datos antiguos de personas que solo recibieron el tratamiento estándar. Introducen los detalles de los nuevos pacientes en esta receta para generar un "resultado fantasma", una predicción de cómo sería su salud bajo el sistema antiguo. Luego, comparan los resultados reales del nuevo tratamiento contra estas predicciones fantasmales. Si el nuevo tratamiento parece mejor, ¡genial! Pero aquí está el truco: este método solo funciona si la receta es perfecta, si la máquina del tiempo no tiene fallos y si los "fantasmas" son verdaderamente idénticos a las personas reales. Si cualquiera de estas condiciones es inestable, todo el misterio podría ser una pista falsa.

Este artículo, escrito por un equipo de investigadores de los Países Bajos, interviene para poner orden en el kit de herramientas del detective. Toman este método intuitivo —comparar los resultados reales de un nuevo tratamiento contra los resultados predichos de uno antiguo— y le dan un tratamiento matemático riguroso. No se limitan a decir "funciona si tienes cuidado"; establecen exactamente qué significa "tener cuidado". Los autores formalizan el enfoque utilizando un marco llamado "resultados potenciales", que es solo una forma elegante de decir "lo que podría haber pasado". Identifican cinco condiciones específicas que deben cumplirse para que la comparación sea justa y los resultados sean dignos de confianza.

Piensa en estas cinco condiciones como las cinco reglas de un truco de magia. Si rompes incluso una, el conejo podría no aparecer, o peor aún, podrías sacar un pato y afirmar que es un conejo. La primera regla es la Transportabilidad: la "receta" (el modelo) debe funcionar tan bien en el nuevo grupo de pacientes como lo hizo en el grupo anterior. Si los nuevos pacientes son secretamente diferentes de una manera que la receta no conoce (como un ingrediente oculto), la prediccción será errónea. La segunda regla es la Ignorabilidad de la Asignación del Tratamiento: la razón por la cual un paciente recibió el nuevo tratamiento no debe estar vinculada a qué tan enfermo habría estado con el tratamiento antiguo, una vez que se tiene en cuenta lo que se sabe sobre ellos. Si los médicos solo dieron el nuevo tratamiento a los pacientes "afortunados" que ya estaban destinados a mejorar, el modelo se confundirá. La tercera regla es la Consistencia: el tratamiento debe significar lo mismo en cada ocasión. Si la "Terapia de Protones" significa algo ligeramente diferente en el nuevo hospital de lo que significaba en los datos antiguos, la comparación es comparar manzanas con naranjas. La cuarta regla es la Positividad: los nuevos pacientes deben parecerse a personas que el modelo ya ha visto antes. No puedes usar una receta diseñada para adultos para predecir el resultado de un niño pequeño si el modelo nunca ha visto a un niño pequeño. La quinta regla es la Especificación Correcta del Modelo: la receta matemática misma debe tener la forma correcta. Si la relación entre la edad de un paciente y su salud es curva, pero la receta asume que es una línea recta, la predicción será errónea.

Los autores ilustran estas reglas con un ejemplo del mundo real que involucra a pacientes con cáncer de cabeza y cuello. Observaron a un grupo de personas que recibieron un nuevo tratamiento de radiación de alta tecnología llamado terapia de protones para ver si reducía las dificultades de deglución (disfagia) en comparación con la terapia de fotones estándar. Utilizaron datos de 750 pacientes tratados con fotones entre 2007 y 2017 para construir su modelo de predicción. Luego, aplicaron este modelo a 93 pacientes tratados con terapia de protones en 2018 y 2019. Los resultados sugirieron que la terapia de protones redujo el riesgo de problemas de deglución en aproximadamente un 22% (una diferencia de -0.22) en comparación con lo que habría sucedido con la terapia de fotones. Sin embargo, el artículo enfatiza que este número solo es confiable si se siguieron las cinco reglas.

Los investigadores también muestran cómo verificar si las reglas se cumplieron. Por ejemplo, observaron a los pacientes del nuevo grupo que sí recibieron la terapia de fotones estándar y verificaron si el modelo predijo sus resultados correctamente. Si el modelo acertó para ellos, les dio más confianza de que las "predicciones fantasma" para el grupo de protones también eran precisas. En su ejemplo, el modelo fue muy bueno prediciendo el grupo de fotones (una diferencia de 0.0), lo cual era una buena señal.

En última instancia, el artículo concluye que, si bien este método es una herramienta poderosa para la toma de decisiones cuando no podemos realizar un ensayo perfecto, no es una varita mágica. Requiere una verificación sistemática de las cinco condiciones, respaldada por expertos en la materia y datos del mundo real. Los autores advierten que si estas condiciones se violan, los resultados podrían estar sesgados, haciendo que un tratamiento parezca mejor o peor de lo que realmente es. Sugieren que los investigadores deben ser transparentes sobre estas suposiciones y utilizar datos adicionales para probarlas siempre que sea posible. Es un recordatorio de que, en la ciencia, incluso los atajos más elegantes requieren un fundamento sólido sobre el cual sostenerse.

Resumen Técnico: Estimación del Efecto del Tratamiento mediante la Comparación de Resultados Observados y Predichos

Planteamiento del Problema
Los nuevos tratamientos médicos a menudo requieren una evaluación de su eficacia y seguridad antes de que se disponga de evidencia de Ensayos Controlados Aleatorizados (ECA) o de que sea factible obtenerla. Si bien existen métodos no aleatorizados como el ajuste por regresión o los puntajes de propensión, ha surgido un enfoque específico en campos como la radioterapia: la estimación del Efecto Promedio del Tratamiento entre los Tratados (ATT, por sus siglas en inglés) mediante la comparación de los resultados observados bajo un nuevo tratamiento frente a los resultados contrafácticos predichos bajo un tratamiento estándar. Estas predicciones se generan utilizando un modelo desarrollado con datos históricos o externos donde solo se administró el tratamiento estándar. Aunque se aplica de forma intuitiva y se reconoce como una forma de estandarización, controles virtuales o un método g, las condiciones teóricas requeridas para que este enfoque produzca estimaciones causales insesgadas no han sido descritas formalmente. Este artículo aborda la brecha entre la aplicación práctica y la teoría formal de la inferencia causal.

Metodología
Los autores formalizan este enfoque de estimación dentro del marco de los resultados potenciales para la inferencia causal. El estimando central es el ATT: la diferencia promedio entre el resultado observado bajo el nuevo tratamiento ( $T=1$ ) y el resultado potencial bajo el tratamiento estándar ( $T=0$ ) para la población que actualmente recibe el nuevo tratamiento.

El procedimiento de estimación consiste en:

Desarrollo del Modelo: Ajustar un modelo de predicción ( $m_{pre}$ ) en una cohorte previa a la introducción donde todos los pacientes recibieron el tratamiento estándar ( $T=0$ ). Este modelo predice el riesgo del desenlace basándose en las características del paciente ( $X$ ) y en variables del plan de tratamiento específicas del tratamiento estándar ( $Z^{(0)}$ ).
Predicción Contrafáctica: Aplicar el modelo ajustado a una cohorte posterior a la introducción de pacientes tratados con la nueva terapia ( $T=1$ ). Para estos pacientes, el modelo predice qué habría ocurrido con su resultado si hubieran recibido el tratamiento estándar, utilizando sus características de paciente específicas y las variables hipotéticas del plan de tratamiento estándar (que a menudo están disponibles durante el proceso de selección para el nuevo tratamiento).
Cálculo del Efecto: El ATT se estima como la diferencia promedio entre los resultados observados en el grupo del nuevo tratamiento y los resultados contrafácticos predichos.

Para ilustrar la metodología y sus condiciones, los autores utilizan un estudio de caso que involucra a pacientes con cáncer de cabeza y cuello en los Países Bajos. El estudio estima el beneficio de la protonterapia (nuevo tratamiento) frente a la fototerapia (tratamiento estándar) en la reducción de la disfagia a los 6 meses. El modelo fue entrenado con 750 pacientes tratados con fototerapia (2007–2017) y aplicado a 93 pacientes seleccionados para protonterapia (2018–2019) basándose en un algoritmo de selección basado en modelos.

Condiciones Clave para una Inferencia Válida
El artículo identifica cinco condiciones suficientes necesarias para que la estimación del ATT sea insesgada. Aunque son mayoritariamente imposibles de probar directamente, los autores discuten sus implicaciones y proporcionan ejemplos de violaciones:

Transportabilidad: La relación entre las covariables y el resultado bajo el tratamiento estándar debe ser idéntica en la población previa a la introducción (desarrollo del modelo) y en la población objetivo (post-introducción). Las violaciones ocurren si los confundidores no medidos (por ejemplo, el estado de tabaquismo o cambios en los protocolos concurrentes) difieren entre las poblaciones o si las estrategias de optimización de dosis evolucionan con el tiempo.
Ignorabilidad de la Asignación del Tratamiento: Dentro de la población posterior a la introducción, el resultado potencial bajo el tratamiento estándar debe ser independiente del tratamiento recibido realmente, condicionada a las covariables incluidas en el modelo. Esto se viola si la selección del tratamiento depende de factores no medidos que también influyen en el resultado (por ejemplo, características tumorales específicas o la calidad de vida del paciente que no se capturan en el modelo).
Consistencia: El resultado observado para un paciente que recibe un tratamiento específico debe coincidir con su resultado potencial bajo dicho tratamiento. Esto asume que el tratamiento está bien definido y que las variaciones en la ejecución (por ejemplo, la habilidad del clínico o diferencias en el equipo) no alteran el resultado de formas no capturadas por las covariables del modelo.
Positividad: El soporte de las covariables en la población objetivo (aquellos que reciben el nuevo tratamiento) debe estar contenido dentro del soporte de las covariables en la población de desarrollo del modelo. Las violaciones ocurren si el modelo debe extrapolar a perfiles de pacientes o combinaciones de planes de tratamiento nunca vistos durante el desarrollo.
Especificación Correcta del Modelo: La forma funcional del modelo de predicción debe capturar correctamente la probabilidad condicional del resultado dado las covariables. La especificación errónea (por ejemplo, ignorar no linealidades o interacciones) conduce a predicciones sesgadas y, por consiguiente, a estimaciones del ATT sesgadas.

Resultados y Estrategias de Validación
Utilizando los datos sintéticos del estudio de caso, los autores demuestran el cálculo del ATT. El efecto estimado mostró una reducción del riesgo de disfagia de 0.22 (IC 95%: -0.31, -0.13) para la protonterapia en comparación con los resultados predichos de la fototerapia.

Crucialmente, el artículo describe métodos para reunir evidencia de apoyo sobre la validez de estas condiciones, reconociendo que no pueden probarse directamente:

Calibración en el Grande (CITL): Si un subconjunto de la población posterior a la introducción recibió el tratamiento estándar, las predicciones del modelo pueden compararse con sus resultados observados. Una diferencia cercana a cero respalda la plausibilidad de las condiciones.
Poblaciones de Control Negativo: Aplicar el procedimiento de estimación a grupos donde se espera que el efecto del tratamiento sea cero.
Validación Cruzada en Grupos Tratados: En el contexto de la radioterapia, si la relación entre la dosis y el resultado se asume constante entre tipos de tratamiento, el rendimiento del modelo puede evaluarse indirectamente en el grupo tratado con protones comparando los resultados predichos de fotones con los resultados observados de protones (con las salvedades pertinentes respecto al supuesto de equivalencia dosis-resultado).

Significancia y Contribuciones
Los autores reclaman tres contribuciones primarias:

Formalización: Este es el primer trabajo que describe formalmente esta estrategia específica de "evaluación clínica basada en modelos" dentro del marco de los resultados potenciales, aclarando el conjunto de condiciones suficientes requeridas para una inferencia causal válida.
Distinción de Métodos Existentes: Aunque es similar a los controles históricos, la estandarización basada en modelos y los métodos g, este enfoque es distinto porque depende explícitamente de un modelo estimado en una población previa a la introducción (lo que introduce un componente de transportabilidad) e incorpora información individualizada del plan de tratamiento disponible antes del tratamiento.
Guía Práctica: Al combinar condiciones teóricas con un caso de estudio realista y proporcionar código en R para la implementación y el análisis de sensibilidad, el artículo ofrece orientación práctica para investigadores y clínicos.

El artículo concluye que, si bien este enfoque ofrece ventajas prácticas —como no requerir el acceso a datos individuales de la población previa a la introducción y flexibilidad en las medidas de efecto—, es susceptible de sesgo si las condiciones identificadas se violan. Por lo tanto, los autores recomiendan una evaluación sistemática de estas condiciones, informada por la experiencia en el dominio y la evidencia empírica, para asegurar la credibilidad de las estimaciones del efecto del tratamiento en entornos no aleatorizados.

Más como este