The fundamental problem of risk prediction for individuals: health AI, uncertainty, and personalized medicine

Resumen Técnico: El Problema Fundamental de la Predicción de Riesgo para Individuos

Planteamiento del Problema
Los modelos de predicción clínica, cada vez más impulsados por la inteligencia artificial (IA), se evalúan rutinariamente basándose en su rendimiento a nivel poblacional (por ejemplo, discriminación, calibración y utilidad clínica). Sin embargo, las decisiones clínicas se toman para individuos. Existe una brecha crítica en la cuantificación y comprensión de la incertidumbre respecto a las estimaciones de riesgo para pacientes individuales. Mientras que los enfoques estadísticos tradicionales se centran en la incertidumbre de estimación (variabilidad debida al tamaño de la muestra), a menudo pasan por alto la incertidumbre del modelo (variabilidad derivada de las elecciones de modelado) y la incertidumbre de aplicabilidad (variabilidad debida a diferencias en los procedimientos de medición y en las características de la población). El artículo argumenta que las estimaciones de riesgo individual son mucho más inciertas de lo que se supone comúnmente, y que confiar en un único modelo de un único estudio crea una falsa sensación de precisión.

Metodología
Para ilustrar empíricamente la magnitud de estas incertidumbres, los autores realizaron un estudio de caso sobre la predicción del riesgo de cáncer de ovario maligno en pacientes que presentan un tumor ovárico.

• Fuentes de Datos: El estudio utilizó datos retrospectivos del mundo real de los Hospitales Universitarios de Lovaina (1,122 pacientes, 1999–2015) y datos sintéticos generados para explorar los efectos del tamaño de la muestra. Se utilizó un conjunto de prueba fijo de 100 pacientes reales de Lovaina para evaluar la variabilidad en las estimaciones de riesgo.
• Marco de Modelado: Los autores descompusieron la incertidumbre epistémica en tres categorías:
  1. Incertidumbre de Estimación: Variabilidad en las estimaciones de los parámetros debido a diferentes muestras de entrenamiento.
  2. Incertidumbre del Modelo: Variabilidad debida a las elecciones de la clase de modelo (regresión logística, bosques aleatorios, XGBoost), el manejo de variables continuas (splines u otros), la selección de variables, la penalización y el ajuste de hiperparámetros.
  3. Incertidumbre de Aplicabilidad: Variabilidad debida a las definiciones de los datos (por ejemplo, la medición del tamaño del tumor), el manejo de datos faltantes y las diferencias poblacionales (datos de Lovaina, Roma y Malmö).
• Diseño Experimental: Los autores entrenaron un enorme conjunto de 59,400 modelos. Esto se logró mediante:
  • La creación de 594 escenarios de modelado distintos (variaciones en las tres categorías de incertidumbre).
  • La repetición de cada escenario con 100 muestras de entrenamiento extraídas aleatoriamente (bootstrapping) para capturar la incertidumbre de estimación.
  • La prueba de tamaños de muestra de $N=400$, $N=2,000$ y $N=10,000$.
• Métricas:
  • Nivel Poblacional: Área bajo la curva ROC (AUROC), Índice de Calibración Estimado (ECI) y Utilidad Relativa (RU).
  • Nivel Individual: El rango del 95% de las estimaciones de riesgo (la diferencia entre los percentiles 97.5 y 2.5) e Incertidumbre de Decisión (DU). La DU mide la proporción de modelos que producirían una decisión clínica diferente (por ejemplo, una recomendación de cirugía) basada en un umbral de riesgo de 0.1.

Resultos Clave

• Dominio de la No-Incertidumbre de Estimación: Si bien la incertidumbre de estimación disminuyó significativamente a medida que aumentaba el tamaño de la muestra de entrenamiento (el rango del 95% medio cayó de 0.22 en $N=400$ a 0.04 en $N=10,000$), la incertidumbre del modelo y de la aplicabilidad permanecieron grandes y fueron en gran medida ajenas al tamaño de la muestra.
• Variabilidad del Riesgo Individual: Incluso con un gran conjunto de entrenamiento de 10,000 pacientes, el rango promedio del 95% de las estimaciones de riesgo para un solo paciente a través de todos los 59,400 modelos fue de 0.39 (oscilando entre 0.05 y 0.99). Para algunos pacientes, el rango cubría casi todo el espectro de probabilidad (0 a 1).
• Incertidumbre de Decisión: Al considerar únicamente la incertidumbre de estimación, aumentar el tamaño de la muestra a 10,000 redujo la incertidumbre de decisión (modelos que sugieren una acción diferente a la de la mayoría) al 1%. Sin embargo, cuando se incluyeron las incertidumbres del modelo y de la aplicabilidad, la incertidumbre de decisión se mantuvo alta en un 11%, incluso con $N=10,000$.
• Rendimiento Poblacional vs. Individual: Los modelos mantuvieron un alto rendimiento a nivel poblacional (AUROC 0.92–0.93, buena calibración, utilidad relativa positiva) en todos los escenarios. Esto demuestra que un modelo puede ser altamente útil para guiar estrategias a nivel poblacional mientras proporciona estimaciones de riesgo altamente inciertas y potencialmente contradictorias para el individuo.

Contribuciones Clave

1. Marco para la Incertidumbre: El artículo introduce un marco estructurado que distingue entre la incertidumbre de estimación, de modelo y de aplicabilidad, destacando que las evaluaciones tradicionales suelen ocultar estas dos últimas.
2. Evidencia Empírica: Proporciona evidencia empírica de que simplemente aumentar el tamaño del conjunto de datos no resuelve la incertidumbre en las predicciones de riesgo individual, ya que la especificación del modelo y las diferencias de datos/población dominan la varianza del error.
3. Cuantificación de la Incertidumbre de Decisión: El estudio cuantifica con qué frecuencia diferentes elecciones de modelado válidas conducen a decisiones clínicas contradictorias para el mismo paciente, desafiando la noción de una única estimación de riesgo "verdadera".

Significado y Reivindicaciones
Los autores concluyen que las estimaciones de riesgo individual son inherentemente inciertas, a menudo a un grado que excede lo sugerido por los intervalos de confianza clásicos o las métricas de tamaño de muestra efectivo. Argumentan que esta incertidumbre no invalida la utilidad clínica de los modelos de predicción a nivel poblacional, sino que requiere un cambio en la forma en que estas herramientas se aplican en la práctica:

• La IA como Informante, no como Dictador: Los algoritmos predictivos deben informar, no dictar, la atención médica. La incertidumbre implica que los resultados de la IA no deben confiar plenamente como respuestas definitivas para pacientes individuales.
• Toma de Decisiones Compartida: La verdadera medicina personalizada requiere la interacción humana. Los clínicos deben reconocer la incertidumbre en los resultados de los modelos e integrar estas estimaciones en un proceso de toma de decisiones compartidas con el paciente, en lugar de depender de un único resultado algorítmico.
• Modestia en la Personalización: El artículo insta a la humildad respecto a las promesas de la medicina personalizada. Si bien la IA puede proporcionar estimaciones de grupo basadas en datos de entrenamiento, la naturaleza "personalizada" de la estimación de riesgo está limitada por la incertidumbre epistémica. El valor reside en el proceso de toma de decisiones compartidas apoyado por estas estimaciones, no en que las estimaciones mismas sean perfectamente precisas.