Identical runs disagree more than different models: reproducibility limits in deep learning for brain-tumour MRI classification

En el mundo de alto riesgo de las imágenes médicas, se le pide cada vez más a las computadoras que observen imágenes del cerebro humano y detecten tumores. Estas imágenes, llamadas exploraciones de RM, son complejas y detalladas, y el software utilizado para analizarlas depende de un tipo de inteligencia artificial conocida como aprendizaje profundo. Para entrenar estos sistemas, los investigadores les suministran miles de imágenes y dejan que la computadora aprenda patrones por sí misma, ajustando sus configuraciones internas millones de veces hasta que mejora en la identificación de enfermedades. El objetivo es crear una herramienta en la que los médicos puedan confiar para ayudar a diagnosticar afecciones como los tumores cerebrales. Sin embargo, para que esta tecnología sea segura y útil, los resultados deben ser consistentes. Si se le muestra a una computadora los mismos datos dos veces, idealmente debería dar la misma respuesta. Cuando los científicos comparan dos modelos de computadora diferentes para ver cuál es mejor, a menudo buscan diferencias muy pequeñas en la precisión, a veces de apenas una fracción de un porcentaje, para decidir qué modelo debe avanzar hacia las pruebas en el mundo real.

Un investigador de la Universidad del Golfo de San Francisco se propuso probar una idea específica: si añadir un tipo especial de razonamiento a un modelo de computación estándar de imágenes cerebrales lo haría mejor para detectar tumores. El modelo estándar observa la imagen directamente, mientras que la nueva versión intentaba comprender las relaciones entre las diferentes partes de la imagen, de forma similar a cómo un humano podría conectar los puntos entre características. El investigador construyó un experimento riguroso para probar esto, ejecutando los modelos de computadora una y otra vez para ver si el nuevo enfoque ofrecía realmente una ventaja. Lo que encontró, sin embargo, no fue un gran avance en la detección de tumores, sino un descubrimiento sorprendente sobre la confiabilidad del propio proceso de prueba. Descubrió que el propio proceso de entrenamiento de la computadora era tan inestable que dos ejecuciones idénticas del mismo modelo podían producir resultados diferentes que eran mayores que las diminutas diferencias que intentaba medir entre los dos modelos distintos.

El estudio comenzó con una gran colección de cortes de RM de cientos de pacientes, dividida cuidadosamente para que ningún paciente individual apareciera tanto en el grupo de entrenamiento como en el de prueba. Esto era crucial porque si la computadora veía el tumor del mismo paciente en ambos grupos, simplemente memorizaría a esa persona específica en lugar de aprender a reconocer la enfermedad de manera general. El investigador entrenó un modelo estándar y una versión más compleja que incluía la capa de razonamiento adicional. Ejecutó cada versión varias veces, cambiando un número inicial aleatorio, conocido como semilla, para ver cómo variaban los resultados. En el mundo de la informática, esta semilla se supone que garantiza que, si se comienza con el mismo número, la computadora haga exactamente lo mismo cada vez. La expectativa era que el modelo complejo fuera ligeramente mejor o ligeramente peor que el simple, y que ejecutar la prueba tres veces diera un promedio claro.

En cambio, los resultados mostraron un patrón caótico. Cuando el investigador ejecutó la configuración exacta del mismo modelo dos veces con el mismo número inicial, las puntuaciones de precisión diferían en más de dos puntos porcentuales en promedio. Esta variación fue tan grande que eclipsó por completo las pequeñas diferencias entre los dos modelos diferentes que estaba comparando. De hecho, la diferencia entre las dos ejecuciones idénticas fue más del doble de la diferencia entre el modelo simple y el complejo. Esto significaba que el experimento estaba midiendo esencialmente ruido en lugar de una señal. El investigador se dio cuenta de que la computadora no se estaba comportando como un instrumento confiable; era como si una báscula utilizada para pesar monedas de oro diera una lectura diferente cada vez que te subías a ella, incluso si te parabas exactamente en el mismo lugar.

Indagando más a fondo, el investigador encontró dos razones principales para esta falta de confiabilidad. Primero, la computadora estaba siendo configurada incorrectamente. El número inicial aleatorio se estaba aplicando después de que el modelo ya había sido construido, lo que significaba que la configuración inicial del modelo seguía siendo aleatoria y no controlada. Incluso después de corregir este error y aplicar el número inicial antes de construir el modelo, los resultados aún no eran perfectamente idénticos. El segundo problema estaba oculto en lo profundo del motor matemático de la computadora. Aunque el software afirmaba estar funcionando en un modo perfectamente determinista, una parte específica del cálculo utilizada para enseñar al modelo producía resultados ligeramente diferentes cada vez. Este fallo oculto era invisible para los controles estándar que los investigadores utilizan para asegurar que sus experimentos sean reproducibles.

El estudio también reveló que la forma en que se divide la información puede cambiar drásticamente el resultado. Cuando el investigador dividió los datos por cortes de RM individuales en lugar de por paciente, la precisión de la computadora aumentó casi cinco puntos porcentuales. Esto sucedió porque la computadora estaba reconociendo patrones del mismo paciente tanto en el conjunto de entrenamiento como en el de prueba, permitiéndole reconocer al paciente en lugar del tumor. Esta puntuación inflada era una ilusión, que enmascaraba la verdadera capacidad del modelo. Además, cuando el investigador probó qué tan bien manejaban los modelos las imágenes distorsionadas o con ruido, una sola ejecución de la prueba sugería que un modelo era más robusto, pero cuando se repitió la prueba, el resultado se invirtió, mostrando que el otro modelo era mejor. Esta reversión demostró que un solo experimento no es suficiente para extraer una conclusión.

La conclusión final del trabajo fue que la capa de razonamiento adicional no mejoró la capacidad de detectar tumores cerebrales. El modelo complejo no era mejor y, en algunos aspectos, era más lento y menos confiable. Más importante aún, el estudio destacó un fallo crítico en la forma en que se realizan muchos estudios de IA médica. Las diferencias que los investigadores suelen afirmar encontrar son más pequeñas que la variación natural del propio proceso de prueba. El investigador argumentó que, antes de que los científicos puedan confiar en un nuevo modelo, primero deben verificar que su configuración de prueba sea lo suficientemente estable como para detectar cambios pequeños. Esto implica verificar que los números iniciales aleatorios se apliquen correctamente y ejecutar la misma prueba dos veces para medir la variación natural. Estos controles cuestan muy poco tiempo y esfuerzo, pero a menudo se omiten. Sin ellos, el campo corre el riesgo de construir herramientas médicas sobre cimientos que son demasiado inestables para soportar el peso de las decisiones clínicas. El artículo sirve como un recordatorio de que, en la búsqueda de una mejor tecnología médica, asegurar que la herramienta de medición sea precisa es tan importante como la herramienta misma.