Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

Cuando un médico sospecha de neumonía, el primer paso suele ser una radiografía de tórax, una imagen sencilla que revela el paisaje oculto de los pulmones. Durante décadas, la interpretación de estas imágenes ha dependido de los ojos humanos, una habilidad que varía incluso entre especialistas. En años recientes, programas informáticos entrenados en vastas bibliotecas de imágenes médicas han prometido automatizar esta tarea, actuando como un segundo par de ojos que nunca se cansa. Estos sistemas de inteligencia artificial aprenden a detectar patrones asociados con la infección, con el objetivo de proporcionar diagnósticos rápidos y consistentes. Sin embargo, una pregunta crítica ha permanecido en el trasfondo de este apresuramiento tecnológico: si una computadora aprende a reconocer la neumonía en radiografías de un hospital, ¿puede realmente comprender la enfermedad cuando ve radiografías de un hospital completamente diferente, o de un niño en lugar de un adulto? La capacidad de estos programas para distinguir entre un pulmón enfermo y uno sano es solo parte de la historia; la verdadera prueba reside en si las reglas específicas que utilizan para realizar un diagnóstico y la confianza que expresan en sus respuestas se mantienen cuando el mundo a su alrededor cambia.

Un equipo de investigadores se propuso responder a esta pregunta construyendo y probando una amplia variedad de estos modelos computacionales. Comenzaron con una colección masiva de más de 18,000 radiografías de tórax de adultos, dividiendo cuidadosamente los datos para que los modelos pudieran aprender con algunas imágenes y ser probados con otras que nunca habían visto antes. Entrenaron quince tipos diferentes de redes neuronales, que son los cerebros digitales detrás de los sistemas, utilizando diversos métodos para ver cuáles funcionaban mejor. Algunas de estas redes fueron construidas desde cero, mientras que otras fueron adaptadas de sistemas que ya habían aprendido a reconocer objetos en fotos cotidianas. Los investigadores estaban particularmente interesados en un tipo más nuevo de red llamado "transformer", que procesa imágenes de una manera que imita cómo los humanos podrían escanear una escena, observando la imagen completa y sus partes simultáneamente. Tras el entrenamiento, seleccionaron el modelo con mejor desempeño y también crearon un equipo de cinco de los mejores modelos que votaban juntos, con la esperanza de que una decisión grupal fuera más fiable que una opinión individual.

La verdadera prueba llegó cuando estos modelos congelados, que ya no podían aprender ni cambiar, se enfrentaron a radiografías de dos grupos de personas completamente diferentes. El primer grupo consistía en miles de imágenes de niños, una población con pulmones más pequeños y patrones de enfermedad distintos. El segundo grupo era una colección de radiografías de adultos de un país diferente, que representaba una población hospitalaria general con una tasa de neumonía mucho menor que la de los datos de entrenamiento originales. Los resultados revelaron una división fascinante en cómo se comporta la tecnología. Los modelos demostraron ser notablemente buenos para simplemente distinguir entre un pulmón sano y uno enfermo, independientemente de si el paciente era un niño o un adulto. En el grupo de niños, los modelos alcanzaron un AUC de 0.925, y en el grupo de adultos, alcanzaron un AUC de 0.888. Esta capacidad de distinguir entre clases, conocida como discriminación, se transfirió bien a través de las diferentes poblaciones.

Sin embargo, la historia cambió drásticamente cuando los investigadores observaron cómo tomaban sus decisiones los modelos. Un modelo computacional no solo dice "enfermo" o "sano"; calcula una probabilidad, un número que representa qué tan probable cree que sea que el paciente esté enfermo. Para convertir este número en un diagnóstico, un humano debe establecer un umbral, un punto de corte donde cualquier valor por encima de este se denomina neumonía. Los investigadores descubrieron que el umbral que funcionó perfectamente para los datos originales de adultos falló estrepitosamente cuando se aplicó a los nuevos grupos. La misma regla que detectó el 84% de los casos de neumonía en el grupo original, detectó solo el 59% de los casos en niños y apenas un 39% en el nuevo grupo de adultos. Los modelos seguían viendo la enfermedad, pero eran demasiado cautelosos para señalarla. Cuando los investigadores tomaron una pequeña muestra de los nuevos datos para reajustar el punto de corte, los modelos se volvieron precisos de inmediato, logrando un AUC de 0.83 en niños y de 0.79 en adultos. Esto demostró que la lógica interna de los modelos era sólida, pero sus reglas de toma de decisiones eran rígidas y estaban ligadas al entorno específico donde fueron entrenados por primera vez.

Otra capa de complejidad surgió cuando los investigadores examinaron la confianza que los modelos expresaban en sus respuestas. En los datos de entrenamiento originales, los modelos estaban calibrados para dar puntuaciones de probabilidad que coincidían con la frecuencia real de la enfermedad. Pero al enfrentarse a los nuevos grupos, esta calibración se rompió. En el grupo de niños, donde la neumonía era extremadamente común, los modelos subestimaron drásticamente el riesgo, prediciendo una probabilidad de enfermedad mucho menor de la que realmente existía. En el nuevo grupo de adultos, donde la enfermedad era rara, las estimaciones de probabilidad de los modelos se mantuvieron sorprendentemente precisas. Esto sugiere que, si bien los modelos pueden aprender las características visuales de la neumonía, su comprensión de qué tan común es la enfermedad en un entorno específico es frágil y se ve fácilmente alterada por cambios en la población de pacientes.

El estudio también reveló que los modelos eran sensibles a la forma en que se tomaban las radiografías. En los datos originales, las imágenes tomadas con la máquina de rayos X frente al paciente, conocidas como proyecciones anteroposteriores, tenían mucha más probabilidad de mostrar neumonía que las imágenes tomadas desde atrás, conocidas como posteroanteriores. Los modelos aprendieron a usar esta pista, desempeñándose peor en las imágenes frontales porque eran más difíciles de leer, no porque los modelos estuvieran confundidos. Cuando los investigadores intentaron obligar a los modelos a ignorar esta pista durante el entrenamiento, los modelos en realidad empeoraron en su labor, lo que sugiere que la dificultad era real e inherente al tipo de imagen, no solo un método que los modelos estaban explotando. Además, los investigadores encontraron que el mejor modelo para adultos no era necesariamente el mejor para niños. El ranking de qué cerebro computacional era superior cambió dependiendo de la edad del paciente, lo que significa que un modelo elegido para hospitales de adultos podría no ser la opción adecuada para una sala de pediatría.

En última instancia, la investigación demuestra que, si bien la inteligencia artificial puede aprender a ver la neumonía con un alto grado de habilidad que viaja a través de diferentes poblaciones, las herramientas prácticas necesarias para usar esa habilidad en un hospital no viajan con tanta facilidad. La capacidad de distinguir la enfermedad es robusta, pero las reglas específicas para realizar un diagnóstico y la forma en que el sistema expresa su confianza están profundamente ligadas al contexto local. Para que estos sistemas sean útiles en el mundo real, no pueden simplemente descargarse y usarse tal cual. Requieren un proceso de ajuste local, donde las reglas de decisión se ajusten para coincidir con la mezcla específica de pacientes y la prevalencia de la enfermedad en cada nuevo hospital. El estudio concluye que, para que estas tecnologías sean confiables, los informes futuros deben ir más allá de simplemente declarar qué tan bien un modelo puede distinguir entre enfermo y sano; deben también mostrar qué tan bien se desempeña el modelo en los puntos de decisión específicos utilizados en la práctica, y cómo su confianza se mantiene cuando el mundo cambia.