💻 computer science

Label-Free Foundational Model Selection for Medical Image Classification under Distribution Shift via Pseudo Label Discrepancy

Este artículo propone AURCC, un criterio de selección sin etiquetas basado en la discrepancia de pseudo-etiquetas que clasifica eficazmente modelos fundacionales para la clasificación de imágenes médicas bajo cambio de distribución sin requerir anotaciones del dominio objetivo ni ajuste fino.

Autores originales: Juan Iñaki Larrea, Lucas Mansilla, Enzo Ferrante

Publicado 2026-08-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Juan Iñaki Larrea, Lucas Mansilla, Enzo Ferrante

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de las imágenes médicas, las computadoras se han vuelto notablemente hábiles para leer radiografías, a menudo igualando el desempeño de los especialistas humanos. Estos sistemas son entrenados con vastas bibliotecas de imágenes, aprendiendo a detectar signos de enfermedades como la neumonía. Sin embargo, surge un problema significativo cuando estos sistemas entrenados se trasladan de un hospital a otro. Así como un conductor acostumbrado a las carreteras anchas y soleadas de un país podría tener dificultades en las calles estrechas y lluviosas de otro, un modelo de inteligencia artificial entrenado con datos de un hospital suele fallar cuando se enfrenta a los diferentes escáneres, poblaciones de pacientes o protocolos de imagen de una nueva instalación. Este cambio en las condiciones se conoce como un cambio de distribución, y puede causar que la precisión de un modelo caiga drásticamente. El dilema central para los médicos y administradores de hospitales es este: si tienen varios modelos de IA potentes y preentrenados disponibles, ¿cómo saben cuál funcionará mejor en su hospital específico antes de probarlo realmente? La forma habitual de encontrar la respuesta requiere probar los modelos con nuevas imágenes y verificar los resultados frente a etiquetas humanas expertas, pero obtener esas etiquetas es costoso, consume mucho tiempo y, a menudo, es imposible en los mismos entornos que más necesitan la tecnología.

Un equipo de investigadores de Argentina ha propuesto una nueva forma de resolver este rompecabezas de selección sin necesidad de nuevas etiquetas humanas. Se centraron en un desafío específico: elegir el mejor modelo de radiografía de tórax para un nuevo hospital cuando los únicos datos disponibles de ese hospital son imágenes sin etiquetar. Los investigadores construyeron su método basándose en un marco llamado SUDO, que actúa como un control de calidad para los sistemas de IA. En lugar de preguntar "¿Es este diagnóstico correcto?", lo cual requiere que un humano diga "sí" o "no", su método hace una pregunta diferente: "¿Coincide la confianza del modelo en sus propias predicciones con la realidad de los datos que está viendo?". Para hacer esto, el sistema toma las imágenes sin etiquetar del nuevo hospital y las agrupa según qué tan seguro está la IA de sus predicciones. Por ejemplo, podría agrupar todas las imágenes donde la IA está muy segura de que ve neumonía, y otro grupo donde está muy segura de que no la ve.

Luego, los investigadores ejecutan una prueba interna ingeniosa sobre estos grupos. Pretenden, por un momento, que las imágenes en un grupo específico son en realidad lo opuesto de lo que el modelo piensa, y comprueban si la lógica del modelo se mantiene. Si el modelo es verdaderamente confiable, su lógica interna debería romperse al verse forzado a aceptar una suposición falsa sobre un grupo de imágenes. Si la lógica se mantiene con demasiada facilidad, sugiere que el grupo está "contaminado" con tipos mixtos de imágenes que el modelo no puede distinguir bien. Al medir cuánto se tambalea la lógica del modelo a través de todos estos diferentes grupos de confianza, los investigadores calculan una puntuación única que refleja la confiabilidad del modelo. Llaman a esta puntuación el Área Bajo la Curva de Confiabilidad-Completitud (Area Under the Reliability-Completeness Curve), un número que les indica qué tan bien es probable que el modelo se desempeñe sin haber visto jamás una sola etiqueta verificada por un humano del nuevo hospital.

Para probar esta idea, los investigadores reunieron seis modelos avanzados de IA diseñados para imágenes médicas. Simularon un escenario del mundo real donde estos modelos fueron entrenados con datos de tres hospitales grandes y distintos, y luego se les pidió predecir la neumonía en un cuarto hospital, distinto, donde no había etiquetas disponibles. Compararon su nuevo método de puntuación contra el enfoque tradicional, que simplemente clasifica los modelos basándose en qué tan bien funcionaron en una pequeña muestra de datos etiquetados de los hospitales originales de entrenamiento. Los resultados mostraron que su nuevo método fue altamente efectivo. Cuando la cantidad de datos etiquetados de los hospitales originales era grande, el método tradicional funcionaba bien, como era de esperar. Sin embargo, en la situación más difícil y común donde los datos etiquetados eran escasos —representando la realidad de muchos hospitales con recursos limitados—, el nuevo método superó consistentemente al enfoque tradicional. En estos escenarios de pocos datos, el nuevo puntaje identificó correctamente el modelo con mejor desempeño con un alto grado de precisión, igualando casi perfectamente las clasificaciones de desempeño real.

El estudio destaca una visión crucial para el futuro de la IA médica: la mejor manera de elegir un modelo para un nuevo entorno no es siempre mirar hacia atrás a cómo funcionó en datos antiguos, sino mirar hacia adelante a cómo se comporta en los nuevos datos sin etiquetar. Al analizar la estructura de los nuevos datos y cómo el modelo interactúa con ellos, los investigadores encontraron una forma de predecir el éxito donde los métodos tradicionales fallan. Este enfoque es particularmente valioso porque es ligero y no requiere computadoras potentes; todo el proceso puede ejecutarse en hardware estándar utilizando solo las representaciones matemáticas de las imágenes. Aunque el estudio se centró específicamente en la detección de neumonía y radiografías de tórax, el principio subyacente ofrece un camino prometedor para que los hospitales adopten herramientas de IA de manera segura y eficiente, asegurando que la tecnología adecuada se despliegue en el lugar adecuado, incluso cuando los expertos necesarios para verificarla no están disponibles.

Resumen Técnico: Selección de Modelos Fundacionales Libre de Etiquetas para la Clasificación de Imágenes Médicas bajo Desplazamiento de Distribución

1. Planteamiento del Problema

El despliegue de modelos fundacionales (específicamente modelos de visión y lenguaje como CLIP y sus variantes biomédicas) en el ámbito de las imágenes médicas enfrenta un cuello de botella crítico: el desplazamiento de distribución (distribution shift). Las imágenes clínicas suelen originarse en diferentes instituciones, escáneres o poblaciones de pacientes distintos a los de los datos de entrenamiento, lo que conduce a una degradación impredecible del rendimiento.

Convencionalmente, la selección del mejor modelo para un nuevo dominio no etiquetado requiere anotaciones de verdad fundamental (ground-truth) para evaluar las métricas de rendimiento (p. ej., AUC). Sin embargo, obtener tales anotaciones en entornos de despliegue es costoso y a menudo inviable debido a la necesidad del tiempo de radiólogos expertos. Esto crea un dilema práctico: dado un conjunto de datos de origen etiquetado y un dominio objetivo no etiquetado, ¿cómo se pueden clasificar los modelos fundacionales candidatos según su rendimiento esperado en el objetivo sin tener acceso a etiquetas del mismo?

2. Metodología

Los autores proponen un criterio de selección libre de etiquetas basado en el marco SUDO, adaptado aquí para clasificar múltiples modelos candidatos. La métrica central es el Área Bajo la Curva de Fiabilidad-Completitud (AURCC).

El Procedimiento SUDO:

Partición: Para un modelo candidato $\phi_m$ , los datos objetivo no etiquetados se particionan en $K$ contenedores de cuantiles basados en las probabilidades de la clase positiva predichas por el modelo.
Discrepancia de Pseudo-etiquetas: Para cada contenedor $b$ $b$ , el método construye dos conjuntos de entrenamiento auxiliares binarios:
- Conjunto 1: A las muestras del contenedor se les asigna una etiqueta de pseudo-negativo, combinada con muestras positivas de verdad fundamental del conjunto de entrenamiento de origen.
- Conjunto 2: A las muestras del contenedor se les asigna una etiqueta de pseudo-positivo, combinada con muestras negativas de verdad fundamental del conjunto de entrenamiento de origen.
Evaluación Auxiliar: Se entrena un clasificador de regresión logística en cada conjunto y se evalúa en una división de origen retenida (held-out). El puntaje SUDO para el contenedor es la diferencia en el AUC entre las suposiciones negativa y positiva: $SUDO_b = s_0(b) - s_1(b)$ $S U D O_{b} = s_{0} (b) - s_{1} (b)$ .
- Un valor absoluto grande indica que el contenedor está dominado por una sola clase (alta fiabilidad).
- Un valor cercano a cero indica contaminación de clases (baja fiabilidad).
Agregación: El procedimiento se repite durante 300 ejecuciones estocásticas y se promedia. La AURCC se calcula mediante el barrido de umbrales de cuantiles simétricos desde los extremos de la distribución hacia el centro, trazando la fiabilidad (media de $|SUDO|$ ) frente a la completitud (fracción de muestras cubiertas). El área bajo esta curva sirve como la puntuación de clasificación final.

Regímenes Experimentales:
El método se evalúa bajo dos estrategias de adaptación utilizando únicamente etiquetas de origen:

Zero-Shot (ZS): Sin entrenamiento específico de la tarea. Las probabilidades se derivan mediante el ensamblaje de prompts de texto y similitud de imagen-texto.
MLP-Probe (MP): Se entrena un Perceptrón Multicapa (MLP) superficial sobre embeddings de origen congelados para crear un límite de decisión específico de la tarea. El procedimiento SUDO opera entonces sobre las probabilidades generadas por este probe.

3. Contribuciones Clave

Marco de Clasificación Libre de Etiquetas: El artículo adapta SUDO de ser una herramienta para evaluar un único sistema desplegado a un mecanismo para la selección de modelos entre múltiples modelos fundacionales sin etiquetas de objetivo.
Benchmarking Sistemático: Los autores evalúan seis modelos fundacionales de radiografías de tórax (BioMedCLIP, CXR-CLIP, CheXzero, MedCLIP, MedImageInsight y CLIP-base) a través de tres escenarios de desplazamiento de distribución inter-hospitalarios (MIMIC-CXR, NIH ChestX-ray14 y CheXpert como fuentes; PadChest como el objetivo).
Análisis de Recursos Limitados: El estudio investiga explícitamente el rendimiento del criterio de clasificación a medida que disminuye el tamaño del conjunto de datos de origen etiquetado, simulando entornos de recursos limitados (RCS).

4. Resultados

Correlación con la Verdad Fundamental: La clasificación por AURCC correlaciona fuertemente con el rendimiento real del objetivo (AUC $_{target}$ ). En el régimen de MLP-Probe, la correlación de Spearman ( $\rho$ ) alcanza 0.943 ( $p < 0.05$ ) en todos los escenarios y conteos de contenedores ( $K \in \{5, 10, 20\}$ ).
Comparación con el Baseline: El baseline natural de clasificar modelos por su precisión en los datos de origen retenidos (AUC $_{source}$ ) funciona bien cuando el conjunto de datos de origen es grande (p. ej., $\rho = 1.000$ para MIMIC). Sin embargo, a medida que el tamaño de la fuente disminuye, el baseline se degrada.
Ventaja en Escenarios de Pocas Fuentes:
- Para el conjunto de datos NIH ( $N \approx 954$ ) y CheXpert ( $N \approx 113$ ), AURCC supera consistentemente al baseline de AUC de origen.
- En la reducción extrema de $N=50$ muestras de origen retenidas, AURCC proporciona una clasificación más precisa que el baseline de origen en los tres escenarios.
- En el régimen Zero-Shot, AURCC se desempeña de manera comparable al baseline de origen, lo que sugiere que la ventaja de AURCC es más pronunciada cuando la adaptación específica de la tarea (vía el probe MLP) permite explotar la información estructural en la distribución de destino que un simple métrica de origen no puede capturar.

5. Significado y Reivindicaciones

El artículo afirma que la AURCC ofrece una solución práctica para el "probleo de la clasificación libre de etiquetas" en el despliegue de IA médica. Su principal significancia radica en los entornos de recursos limitados donde:

No hay etiquetas de objetivo disponibles: El método no requiere verdad fundamental del dominio objetivo.
Las etiquetas de origen son escasas: A diferencia de la evaluación tradicional basada en el origen, que falla cuando el conjunto de origen es pequeño, la AURCC aprovecha la estructura de los datos no etiquetados del objetivo para mantener la calidad de la clasificación.
Eficiencia Computacional: Todo el flujo de trabajo opera sobre embeddings y se ejecuta en CPU, lo que permite a las instituciones clasificar modelos localmente en hardware comercial sin necesidad de un ajuste fino (fine-tuning) costoso o transferencia de datos.

Los autores señalan que, aunque la evaluación se limita a una tarea de clasificación binaria de neumonía y un único dominio objetivo (PadChest), los resultados sugieren que la AURCC captura información estructural sobre la distribución del objetivo que va más allá de las simples métricas agregadas de origen, convirtiéndola en una herramienta robusta para seleccionar modelos fundacionales bajo un desplazamiento de distribución.