⚡ electrical engineering

Robustness of transferability estimation metrics for medical imaging

Este artículo investiga la robustez de las métricas de estimación de la transferibilidad en el diagnóstico por imágenes médicas, revelando que su rendimiento es altamente sensible a las variaciones en la composición del conjunto de datos objetivo y en las métricas de evaluación, lo que resulta finalmente en una baja concordancia entre los rankings predichos y los reales de los modelos.

Autores originales: Niclas Claßen, Théo Sourget, Dovile Juodelyte, Rob van der Goot, Veronika Cheplygina

Publicado 2026-08-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Niclas Claßen, Théo Sourget, Dovile Juodelyte, Rob van der Goot, Veronika Cheplygina

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer diferentes tipos de frutas. Tienes un robot superinteligente que ya sabe clasificar manzanas, naranjas y plátanos de una enorme biblioteca de fotos. Esto se llama Aprendizaje por Transferencia (Transfer Learning): tomas un modelo entrenado para una gran tarea (la "fuente") y tratas de reutilizarlo para una nueva tarea más pequeña (el "objetivo"), como clasificar frutas tropicales raras y de formas extrañas. Esto ahorra tiempo y energía porque no tienes que enseñarle al robot desde cero.

Pero aquí está la parte difícil: tienes un estante lleno de diferentes robots preentrenados. Uno fue entrenado con frutas, otro con coches y un tercero con arte abstracto. ¿Cuál deberías elegir para ayudarte a clasificar tus frutas tropicales? Para responder a esto, los científicos inventaron las métricas de Estimación de Transferibilidad (TE metrics). Piensa en estas métricas como "bolas de cristal" o "probadores de compatibilidad". Intentan predecir, sin realizar el trabajo duro de reentrenamiento, qué robot preentrenado funcionará mejor en tu nueva tarea. El objetivo es ahorrar tiempo y dinero eligiendo al ganador antes de empezar la carrera.

Sin embargo, en el mundo de las imágenes médicas —donde usamos IA para detectar enfermedades en radiografías o escaneos de la piel— las cosas se complican. Los datos médicos suelen ser escasos y desequilibrados (hay muchísimos más escaneos sanos que enfermos). Los investigadores han estado usando estas "bolas de cristal" para elegir la mejor IA médica, pero han notado algo extraño: a veces la bola de cristal dice que el Robot A es el mejor, y otras veces dice que es el Robot B. Este artículo plantea una pregunta simple y persistente: ¿Son estas bolas de cristal realmente fiables, o solo están reaccionando a cambios diminutos y aleatorios en los datos?

La Gran Prueba de la Bola de Cristal

En este estudio, los autores decidieron someter a estos "probadores de compatibilidad" a una rigurosa prueba de estrés. Trataron el problema como un juego de las sillas musicales, pero en lugar de sillas, utilizaban diferentes porciones de datos de imágenes médicas.

La Configuración: Poblaciones en Miniatura
Imagina que tienes un frasco gigante de gominolas mezcladas que representa un conjunto de datos médicos (como una colección de radiografías de tórax). Normalmente, los investigadores podrían tomar un puñado de gominolas para probar sus teorías. Pero, ¿y si ese puñado tuviera mayoritariamente gominolas rojas, mientras que el siguiente tuviera mayoritariamente azules? Los resultados se verían totalmente diferentes, aunque el frasco sea el mismo.

Para probar esto, los investigadores crearon "poblaciones en miniatura". Tomaron sus conjuntos de datos médicos y los dividieron en diferentes tamaños (5%, 10%, 25%, hasta el 100%). Crucialmente, no tomaron solo una porción; tomaron cinco porciones diferentes del mismo tamaño utilizando diferentes semillas aleatorias (como agitar el frasco de forma distinta cada vez). Luego se preguntaron: "Si ejecutamos nuestras pruebas de bola de cristal en estas diferentes porciones, ¿obtenemos el mismo ganador?".

Los Hallazgos: Las Bolas de Cristal son Inestables
Los resultados fueron reveladores. Los autores descubrieron que las clasificaciones producidas por estas métricas de TE eran increíblemente sensibles a cambios mínimos.

El efecto de la "Semilla": Si cambiaban la semilla aleatoria solo un poco, el orden de los mejores modelos se alteraba. Un modelo que ocupaba el puesto #1 en una porción podía caer al puesto #5 en otra porción del mismo tamaño.
El Tamaño Importa: Cuanto más pequeña era la porción de datos (menos gominolas en el puñado), más caóticas se volvían las clasificaciones. Para conjuntos de datos muy pequeños, las "bolas de cristal" no lograban ponerse de acuerdo en nada.
La Trampa de la Métrica: Los investigadores también probaron qué sucede si juzgas al "ganador" utilizando diferentes reglas. En las imágenes médicas, a menudo nos importa el AUROC (una puntuación que maneja bien las clases desiguales) en lugar de solo la Exactitud (Accuracy) (obtener la mayor cantidad de respuestas correctas). Descubrieron que si cambiaban de juzgar por Exactitud a juzgar por AUROC, todo el ranking de los modelos cambiaba. Un modelo que era el #2 bajo una regla podría ser el #11 bajo la otra.

El Veredicto: Sin un Ganador Claro
Cuando los investigadores compararon las predicciones de las métricas de TE contra el rendimiento real de los modelos (el "ranking de referencia"), la concordancia fue sorprendentemente baja. Incluso cuando utilizaron el conjunto de datos completo (100% de los datos), las métricas de TE no eligieron consistentemente los modelos correctos.

El artículo sugiere que el problema no es solo que los datos médicos sean difíciles; es que las herramientas que usamos para predecir el éxito son frágiles. Cambian de opinión basándose en:

Cuántos datos les entregas.
Qué porción aleatoria de datos elijas.
Qué regla de puntuación (Exactitud vs. AUROC) utilices para decidir quién ganó.

Lo Que Esto Significa para el Futuro
Los autores no están diciendo que estas métricas sean inútiles, sino que nos advierten que no podemos confiar en ellas ciegamente. Si un investigador elige una sola porción aleatoria de datos y una sola regla de puntuación para declarar un "mejor" modelo, podría estar viendo un error fortuito en lugar de una verdad. El estudio concluye que, para las imágenes médicas, debemos ser mucho más cuidadosos. No podemos limitarnos a mirar una sola ejecución de la prueba; necesitamos entender que estas "bolas de cristal" son sensibles a los detalles minúsculos de cómo configuramos nuestros experimentos. Hasta que no arreglemos esta sensibilidad, elegir el modelo preentrenado adecuado para la IA médica sigue siendo un tanto parecido a una apuesta.

Resumen Técnico: Robustez de las métricas de estimación de la transferibilidad en imágenes médicas

Definición del problema
El aprendizaje por transferencia (TL) es un paradigma estándar en la clasificación de imágenes médicas debido a la escasez de datos; sin embargo, seleccionar el modelo preentrenado óptimo para una tarea específica de destino sigue siendo un desafío significativo. Aunque las métricas de Estimación de Transferibilidad (TE) pretenden predecir el mejor modelo de origen sin el coste computacional de ajustar todos los candidatos, su fiabilidad es cuestionable. Investigaciones previas han reportado desempeños contradictorios de las métricas TE, a menudo atribuidos a variaciones en los entornos experimentales. Además, la mayoría de las métricas TE están diseñadas y evaluadas en imágenes naturales (por ejemplo, ImageNet) utilizando la precisión (accuracy) como métrica principal. En contraste, las imágenes médicas suelen requerir robustez ante el desequilibrio de clases, medido típicamente mediante el Área Bajo la Curva Característica Operativa del Receptor (AUROC). La literatura actual carece de una investigación sistemática sobre cómo se comportan las méticas TE cuando la representación del conjunto de datos de destino varía (por ejemplo, tamaño de la muestra, semilla aleatoria) y cómo la elección de la métrica de evaluación para el ranking de referencia influye en la evaluación de la métrica TE.

Metodología
Los autores realizaron un estudio sistemático utilizando la colección de conjuntos de datos MedMNIST v2 (que comprende conjuntos de datos de imágenes biomédicas en 2D) e ImageNet como grupo de origen. El estudio se divide en dos experimentos primarios:

Impacto de la representación del conjunto de datos de destino (Ex1):
- Poblaciones en miniatura: Los autores construyeron "poblaciones en miniatura" a partir de ocho conjuntos de datos de destino mediante el muestreo del 5%, 10%, 25%, 50% y 75% de los datos de entrenamiento. Estos subconjuntos fueron estratificados por etiqueta de clase para mantener la distribución y se generaron utilizando cinco semillas aleatorias diferentes para probar la estabilidad.
- Métricas evaluadas: Se probaron siete métricas TE existentes: H-score, LEEP, NLEEP, LogME, NCTI, PARC y SFDA.
- Medidas de estabilidad: El estudio midió la estabilidad intra-métrica (acuerdo de los rankings entre diferentes semillas aleatorias para el mismo tamaño de subconjunto), la estabilidad de referencia (acuerdo entre los rankings de los subconjuntos y el ranking del conjunto de datos completo) y la estabilidad inter-métrica (acuerdo entre diferentes métricas TE).
- Coeficientes de correlación: Para evitar el sesgo de una sola métrica, los autores utilizaron el coeficiente de correlación de Spearman ( $\rho$ ), el Tau de Kendall ( $\tau$ ) y el Tau de Kendall ponderado ( $\tau_w$ ).
Influencia de la métrica de evaluación para el ranking de referencia (Ex2):
- Rankings de referencia: Los modelos de origen se ajustaron (fine-tuned) en los conjuntos de entrenamiento completos de destino. El desempeño resultante se clasificó dos veces: una optimizando la Precisión (Accuracy) y otra optimizando el AUROC.
- Comparación: Los rankings generados por las métricas TE se compararon contra estos dos rankings de referencia distintos para determinar si las métricas TE son robustas ante la elección de la métrica de desempeño de la verdad de campo (ground-truth).

Contribuciones clave
El artículo presenta tres contribuciones principales:

Sensibilidad a las variaciones del conjunto de datos: El estudio demuestra que las métricas TE son altamente sensibles a pequeñas variaciones en el conjunto de datos de destino, incluyendo cambios en el tamaño de la muestra y en las semillas aleatorias. Los rankings de los modelos de origen fluctúan significativamente incluso dentro del mismo conjunto de datos al utilizar diferentes semillas aleatorias.
Impacto de la métrica de evaluación: Los autores muestran que la elección de la métrica de evaluación (Precisión vs. AUROC) altera fundamentalmente el ranking de referencia de los modelos de origen. Por consiguiente, la evaluación de qué métrica TE es la "mejor" depende fuertemente de qué ranking de referencia se utilice.
Benchmarking: El trabajo proporciona resultados de referencia para MedMNIST, destacando que las métricas TE actuales muestran un bajo acuerdo con los rankings de referencia en contextos de imágenes médicas, independientemente de la métrica de evaluación utilizada.

Resultados

Inestabilidad: Los rankings de las métricas TE no son estables a través de diferentes semillas aleatorias o tamaños de subconjunto. Por ejemplo, un modelo de origen puede ser clasificado en primer lugar en una semilla aleatoria y en quinto lugar en otra para el mismo conjunto de datos de destino (por ejemplo, Breast).
Comportamiento específico de la métrica: Mientras que LEEP mostró una consistencia relativamente mayor en conjuntos de datos más pequeños, el H-score exhibió la menor estabilidad. Algunas métricas (NLEEP, SFDA) produjeron valores NaN o no lograron diferenciar modelos en conjuntos de datos específicos debido a limitaciones matemáticas (por ejemplo, matrices de covarianza mal condicionadas o matrices de dispersión con rango deficiente).
Bajo acuerdo: Existe un acuerdo consistentemente bajo entre los rankings producidos por las métricas TE y los rankings de referencia (tanto de Precisión como de AUROC). Este bajo acuerdo persiste incluso al utilizar el 100% de los datos de entrenamiento, lo que sugiere que el problema no es meramente un problema de escasez de datos, sino una limitación específica del dominio.
Dependencia de la métrica de evaluación: El propio ranking de referencia es inestable; los modelos clasificados con alta puntuación por Precisión son a menudo clasificados de forma distinta por AUROC. Dado que las métricas TE se optimizan típicamente para rankings basados en la precisión, fallan al predecir de manera fiable el desempeño cuando el AUROC es el objetivo.

Significancia y afirmaciones
Los autores afirman que la baja fiabilidad de las métricas TE en imágenes médicas no se debe únicamente a la elección de la métrica de evaluación, sino que es un problema más amplio y específico del dominio. El estudio cuestiona la práctica actual de confiar en experimentos de una sola semilla aleatoria o en una sola métrica de evaluación para validar los métodos TE. Los hallazgos sugieren que las métricas TE existentes, desarrolladas mayoritariamente para imágenes naturales, no se generalizan de forma robusta a las tareas de imágenes médicas donde los datos son escasos y el desequilibrio de clases es prevalente. El artículo concluye que el trabajo futuro debe considerar la inestabilidad de las representaciones de los conjuntos de datos de destino y la sensibilidad de los rankings de referencia antes de que las métricas TE puedan ser consideradas herramientas fiables para la selección de modelos de origen en aplicaciones médicas.

La Gran Prueba de la Bola de Cristal

Más como este