When high AUROC does not travel: internal-to-external performance differences in machine-learning models for antimicrobial resistance

En la batalla contra las superbacterias, los médicos y científicos recurren cada vez más a las computadoras para predecir qué bacterias serán resistentes a qué antibióticos. Estos programas informáticos, construidos mediante el aprendizaje automático, actúan como expertos en el reconocimiento de patrones altamente capacitados. Escanean vastas cantidades de datos médicos —como registros de pacientes, resultados de pruebas de laboratorio y secuencias genéticas— para adivinar si una infección específica sobrevivirá a un tratamiento farmacológico estándar. Cuando estos programas se prueban en el hospital donde fueron creados, a menudo parecen milagros de la medicina moderna, identificando correctamente las bacterias resistentes con una alta precisión. Este éxito da esperanza a investigadores y clínicos de que estas herramientas puedan implementarse pronto a nivel mundial para guiar decisiones de tratamiento que salvan vidas.

Sin embargo, un programa informático que aprende de los datos de un hospital no sabe automáticamente cómo leer los datos de otro hospital. Así como una persona que aprende a conducir en las calles tranquilas de un pequeño pueblo podría tener dificultades en las caóticas autopistas de una gran ciudad, estos modelos enfrentan un desafío oculto cuando abandonan su entorno de origen. Los datos que encuentran en un país diferente, en un período de tiempo distinto o incluso en una ciudad vecina pueden verse sutilmente diferentes debido a variaciones en las cepas bacterianas locales, el equipo de laboratorio o las poblaciones de pacientes. La pregunta crítica para el futuro de la IA médica no es solo qué tan bien se desempeñan estos modelos en casa, sino cuánto cae su precisión cuando se envían al mundo real a trabajar en nuevos lugares.

Un nuevo estudio se propuso medir exactamente esta caída en el rendimiento. El investigador, Dripto Roy, recopiló una colección de estudios de aprendizaje automático publicados que habían realizado la ardua tarea de probar sus modelos en dos lugares: primero en el hospital donde se construyó el modelo, y luego nuevamente en un hospital o conjunto de datos completamente independiente. El objetivo era simple pero vital: ver la diferencia entre la confianza del modelo en casa y su desempeño real en el extranjero. Al comparar las puntuaciones de estas pruebas emparejadas, el estudio pretendía determinar si las altas tasas de éxito reportadas en los artículos científicos son una promesa fiable de éxito futuro, o si son a menudo una ilusión que se desvanece cuando el modelo viaja.

La investigación se centró en un grupo específico de estudios que reportaban tanto una puntuación interna como una puntuación externa para el mismo modelo y la misma tarea de predicción. En total, el investigador analizó cuarenta y siete comparaciones distintas extraídas de ocho artículos de investigación independientes. Estas comparaciones cubrieron una amplia gama de escenarios, incluyendo predicciones para bacterias peligrosas como el MRSA y la neumonía resistente a fármacos, utilizando datos de registros de salud electrónicos, secuenciación de genoma completo e informes de laboratorios clínicos. El investigador calculó la diferencia entre la puntuación interna y la puntuación externa para cada una de las comparaciones para ver cuánto cambió el rendimiento.

Los resultados revelaron un patrón claro, aunque matizado. En la gran mayoría de las comparaciones individuales —treinta y seis de cuarenta y siete—, el modelo funcionó peor cuando se probó con datos externos nuevos que con los datos con los que fue entrenado. En promedio, la caída en la precisión fue notable, con la puntuación externa situándose por debajo de la puntucción interna por un margen mensurable. Esto confirmó que el "optimismo" de ver una puntuación alta en un entorno de desarrollo es un fenómeno real; los modelos tienden a perder algo de su agudeza cuando dejan su entorno de origen.

Sin embargo, la historia se vuelve más compleja cuando se observa el panorama general. El investigador se dio cuenta de que contar simplemente cada comparación como una evidencia igualitaria era engañoso. Algunos artículos de investigación reportaban docenas de diferentes variaciones de modelos o objetivos de antibióticos, todos derivados exactamente del mismo grupo de pacientes y de los mismos pasos de procesamiento de datos. Si estos muchos resultados de un solo artículo se contaran todos por igual, abrumarían los resultados de otros artículos que solo reportaban una o dos comparaciones. Cuando el investigador ajustó el análisis para tratar cada artículo de investigación como una unidad de evidencia, dando a cada artículo una voz igual independientemente de cuántos números contenía, la imagen cambió significablemente.

Bajo esta visión más equilibrada, la caída promedio en el rendimiento se redujo considerablemente. Aunque los modelos generalmente funcionaban peor fuera de su entorno de origen, la brecha era mucho menor de lo que la cuenta inicial sugería. De hecho, al observar los ocho estudios en su conjunto, la diferencia promedio era tan pequeña que fácilmente podría ser cero. Esto significa que, si bien algunos modelos sufren una pérdida significativa de precisión al ser transportados, otros permanecen sorprendentemente robustos, y el campo en general no sufre una penalización universal. El tamaño de la caída depende enteramente del estudio específico, los datos utilizados y cómo se cuenten los resultados.

El estudio también destacó lo que falta en el panorama actual de la IA médica. Si bien la mayoría de los artículos revisados intentaron probar sus modelos en nuevos entornos, muy pocos fueron más allá para verificar si los modelos estaban bien calibrados. La calibración es un concepto crucial que va más allá de la simple precisión; pregunta si los números de probabilidad que emite el modelo realmente coinciden con el riesgo del mundo real. Por ejemplo, si un modelo predice que un paciente tiene un 20% de probabilidad de resistencia, ¿tiene ese paciente resistencia aproximadamente una de cada cinco veces? La revisión encontró que este control vital rara vez se reportaba. Además, muy pocos estudios probaron sus modelos a través del tiempo para ver si seguían siendo precisos a medida que las bacterias evolucionaban, o los probaron de una manera prospectiva hacia adelante, donde el modelo predice resultados para los pacientes a medida que llegan al hospital.

Los hallazgos sirven como una advertencia sobre cómo interpretar el éxito de la IA médica. El estudio argumenta que no podemos simplemente tomar una puntuación de precisión alta de un artículo y asumir que se mantendrá verdadera en todas partes. La aparente magnitud de la brecha de rendimiento es altamente sensible a cómo se cuenta la evidencia. Si contamos cada variación de modelo en un artículo como un hecho separado, exageramos el problema. Si tratamos cada artículo como una historia única, el problema parece menor, pero sigue siendo real. La investigación concle que no existe una solución matemática simple o un factor de corrección universal que se pueda aplicar a todas las puntuaciones publicadas para predecir su desempeño en el mundo real.

En cambio, el camino a seguir requiere mayor transparencia y rigor. Los investigadores deben ser explícitos sobre cómo dividen sus datos para asegurar que no haya filtración de información desde la fase de prueba hacia la fase de entrenamiento. Deben reportar no solo qué tan bien un modelo clasifica a los pacientes, sino qué tan bien sus estimaciones de probabilidad coinciden con la realidad. Lo más importante es que deben validar sus modelos en entornos verdaderamente independientes, reportando los números específicos de pacientes y la prevalencia de resistencia tanto en el entorno de origen como en el nuevo entorno. Hasta que estos estándares no se conviertan en la norma, las altas puntuaciones reportadas en la literatura seguirán siendo una promesa que aún no se cumple plenamente, y el viaje desde un modelo informático exitoso hasta una herramienta confiable para los médicos seguirá siendo un trabajo en progreso.