🤖 AI

Benchmarking the Robustness of Foundation Models for Mammography under Domain Shift

Este artículo evalúa la robustez de 15 modelos fundacionales para mamografía ante cambios de dominio, revelando que, si bien los modelos de visión y lenguaje específicos para mamografía logran el mejor rendimiento fuera de la distribución, la generalización no está garantizada únicamente por el preentrenamiento específico del dominio y requiere una evaluación rigurosa a nivel de conjunto de datos.

Autores originales: Giang Nguyen, Raghav Mehta, Emma A. M. Stanley, Tian Xia, Thi Hao Nguyen, Hieu Pham, Ben Glocker

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Giang Nguyen, Raghav Mehta, Emma A. M. Stanley, Tian Xia, Thi Hao Nguyen, Hieu Pham, Ben Glocker

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un ojo de robot superinteligente que ha sido entrenado para mirar millones de fotos de todo el mundo: gatos, coches, atardeceres y hasta radiografías comunes. Quieres usar este robot para detectar el cáncer de mama en mamografías (radiografías especiales de la mama). La gran pregunta es: si tomas este robot, que aprendió de imágenes "generales", y lo sueltas en un hospital completamente nuevo con diferentes máquinas y diferentes pacientes, ¿seguirá funcionando? ¿O se confundirá y empezará a ver cosas que no existen?

Este artículo es como una "prueba de esfuerzo" gigante y rigurosa para 15 versiones de estos ojos de robot. Los investigadores no solo comprobaron si los robots eran buenos en la tarea para la que estudiaron; los lanzaron a 12 países diferentes, 15 conjuntos de datos distintos y 3 tareas médicas complicas para ver cómo manejaban lo inesperado.

La Gran Sorpresa: "Especializado" no siempre significa "Más Fuerte"

Podrías pensar que un robot entrenado solo en mamografías sería el campeón definitivo. Después de todo, es como un estudiante que solo estudió para el examen final, ¿verdad?

El artículo en realidad argumenta en contra de esta idea. Encontraron que el hecho de que un modelo haya sido entrenado específicamente en mamografías no significa que sea robusto cuando los datos cambian. De hecho, algunos modelos que fueron "adaptados" a las mamografías funcionaron peor que los modelos que fueron entrenados en imágenes naturales generales o radiología general. Es como un estudiante que memorizó las respuestas de un examen específico pero fracasa cuando el profesor cambia el formato de la pregunta, mientras que un estudiante que aprendió a pensar sobre las imágenes en general lo hace sorprendentemente bien.

Los Verdaderos Campeones: Los "Habladores" vs. Los "Miradores"

Entonces, ¿quién ganó la prueba de esfuerzo? El artículo sugiere que los ganadores son un grupo especial llamado Modelos de Visión-Lenguaje (VLM).

Piensa en estos modelos como robots que no solo miran la radiografía, sino que también leen las notas del médico adjuntas a ella.

MaMA y Mammo-FM (los dos principales contendientes) son como detectives que miran la imagen y leen el expediente del caso al mismo tiempo. Lograron el rendimiento promedio más sólido en todos los ámbitos.
Mammo-FM fue el mejor prediciendo la gravedad de la condición (BI-RADS), obteniendo un 0.688 ± 0.016 en promedio en las pruebas fuera de la distribución (out-of-distribution).
MaMA fue el mejor detectando la densidad mamaria y el estado de cáncer, obteniendo un 0.865 ± 0.006 para la densidad y 0.718 ± 0.014 para el cáncer.

¡Sin embargo, hay un giro! El artículo midió que incluso los mejores modelos no son perfectos. Cuando pasaron de los datos de entrenamiento a datos nuevos y no vistos (Fuera de la Distribución o OOD), el rendimiento cayó. Por ejemplo, en la tarea de "BI-RADS", la caída promedio fue de -0.092. Esto significa que incluso el robot más inteligente pierde un poco de confianza cuando sale de su zona de confort.

El "Generalista" que no puede ser ignorado

Esta es la parte más juguetona de la historia: un modelo llamado DINOv3, que fue entrenado con imágenes naturales (como fotos de paisajes y animales) y que nunca vio una mamografía durante su entrenamiento, resultó ser un competidor feroz.

DINOv3 es como un artista generalista que nunca ha visto un escaneo médico, pero tiene un ojo tan bueno para las formas y texturas que aún puede adivinar los detalles médicos mejor que algunos especialistas.

En la tarea de cáncer, DINOv3 obtuvo 0.677 ± 0.015, lo cual está muy cerca de los modelos especializados.
En la densidad, obtuvo 0.848 ± 0.006.

El artículo sugiere que tener un cerebro de "imagen natural" es en realidad una base muy fuerte, y que a veces es difícil de superar incluso con entrenamiento médico adicional.

El Mito del "Talla Única para Todos" se ha Rompido

Los investigadores también observaron cómo se comportaban estos modelos en diferentes lugares. Encontraron que un modelo que es excelente en un hospital puede ser terrible en otro.

Mammo-FM fue increíble manejando máquinas de rayos X extrañas o no estándar (como las que escanean película o usan contraste), pero MaMA fue consistentemente mejor detectando la densidad mamaria en todos los conjuntos de datos.
¿Por qué? El artículo sugiere que se trata de cómo fueron enseñados. MaMA fue entrenado usando informes de texto que mencionaban explícitamente la densidad (como una receta que enumera los ingredientes), por lo que aprendió la densidad muy bien. Mammo-FM fue entrenado con informes clínicos reales que se centraban más en el diagnóstico final (cáncer o no cáncer), por lo que se volvió mejor detectando el "panorama general" en lugar de la textura específica del tejido.

La Conclusión Principal

La idea principal es que no puedes asumir que un modelo es bueno solo porque es "especializado" o porque obtuvo una puntuación alta en los datos de entrenamiento.

El artículo demuestra que:

La robustez es complicada: Un modelo que funciona de maravilla con los datos con los que fue entrenado a menudo tiene dificultades cuando ve datos nuevos de diferentes países o máquinas.
El lenguaje ayuda: Los modelos que pueden leer informes médicos (VLM) generalmente lo hacen mejor que los modelos que solo miran imágenes, pero depende de la tarea específica.
El contexto importa: El mejor modelo para un trabajo (como revisar la densidad) puede ser el peor para otro (como revisar la gravedad del cáncer).

Los autores midieron estos resultados utilizando un método estricto donde congelaron el cerebro del robot y solo entrenaron una pequeña "cabeza" para tomar la decisión final. Sugieren que para saber realmente si una IA médica está lista para el mundo real, necesitamos probarla en muchos conjuntos de datos externos diferentes, no solo en el que aprendió. Hasta que no hagamos eso, no podremos estar seguros de si el robot es un genio o simplemente alguien con mucha suerte.

Resumen Técnico: Evaluación de la Robustez de los Modelos Fundacionales para Mamografía bajo Desplazamiento de Dominio

Declaración del Problema

Los modelos fundacionales (FMs) se están adoptando cada vez más como extractores de características de imágenes para mamografía, típicamente mediante un flujo de trabajo donde un backbone preentrenado se mantiene congelado y se entrena una cabeza de clasificación ligera en un conjunto de datos de origen etiquetado. Sin embargo, la robustez de estas representaciones bajo desplazamientos de dominio externos sigue siendo incierta. Investigaciones previas indican que el preentrenamiento a gran escala o específico de una modalidad no garantiza inherentemente una generalización robusta fuera de la distribución (OOD). Este desafío se ve exacerbado en la mamografía debido a etiquetas clínicas heterogéneas (densidad mamaria, severidad BI-RADS y estado de cáncer) que varían en granularidad, prevalencia y protocolos de anotación entre diferentes conjuntos de datos. En consecuencia, el alto rendimiento en la distribución (ID) a menudo no se traduce en la generalización OOD, lo que requiere un benchmark sistemático para evaluar si las representaciones de la mamografía se generalizan más allá de sus datos de origen.

Metodología

Construcción del Benchmark

Los autores construyeron un benchmark armonizado que comprende 15 conjuntos de datos de mamografía públicos que abarcan 12 países/regiones (Norteamérica, Europa, Asia, Oriente Medio, África y Oceanía). El benchmark cubre tres tareas clínicas distintas:

Densidad Mamaria: Evaluada a nivel de imagen (A, B, C, D).
Evaluación BI-RADS: Evaluada a nivel de examen (1–5).
Estado de Cáncer: Evaluada a nivel de examen (Binario: Cáncer/No cáncer).

Las etiquetas fueron armonizadas para asegurar la compatibilidad de las tareas. Para cada tarea, un conjunto de datos de origen específico sirvió como base de entrenamiento para el clasificador lineal:

BI-RADS: VinDr-Mammo (Origen)
Densidad: EMBED (Origen)
Estado de Cáncer: RSNA-site2 (Origen)

Familias de Modelos

El estudio evaluó 15 backbones de modelos fundacionales agrupados en cuatro familias no superpuestas:

SSL de Imágenes Naturales: DINOv2, DINOv3.
SSL de Radiología General: RAD-DINO, RayDINO.
SSL Adaptado a la Mamografía: DINOv2-EMBED, DINOv3-EMBED, MAE-EMBED, VersaMammo (preentrenado adicionalmente en EMBED).
Modelos de Visión-Lenguaje (VLMs):
- Médicos Generales: BioMedCLIP, UniMedCLIP, MedSigLIP.
- Específicos de Mamografía: MaMA, GLAM, Mammo-CLIP, Mammo-FM.

Protocolo de Evaluación

Sonda Lineal de Backbone Congelado: Todos los modelos fueron evaluados como codificadores de imagen congelados. Se entrenó un clasificador lineal específico para la tarea en el conjunto de datos de origen y se evaluó en conjuntos de prueba ID retenidos y 12 conjuntos de datos OOD compatibles con la tarea.
Preprocesamiento: Canal de preprocesamiento unificado con imágenes redimensionadas a 1024 × 768.
Agregación: Para las tareas a nivel de examen (BI-RADS, Cáncer), las probabilidades a nivel de imagen se agregaron mediante max pooling por clase y renormalización.
Métricas: AUROC macro-promedio uno-contra-todos para BI-RADS y Densidad; AUROC binario para Cáncer. Los intervalos de confianza del 95% se calcularon mediante bootstrapping.

Contribuciones Clave

Benchmark Armonizado: Creación de un benchmark unificado que abarca 15 conjuntos de datos y 12 regiones, cubriendo tres tareas clínicamente distintas con etiquetas armonizadas.
Evaluación Unificada: Una comparación sistemática de 15 modelos fundacionales a través de tres tareas utilizando un protocolo consistente de sonda lineal de backbone congelado.
Análisis Multidimensional: Un análisis del comportamiento OOD que se extiende más allá de las puntuaciones agregadas para incluir comparaciones de familias de modelos, evaluación por conjunto de datos e inspección del espacio de características (UMAP).

Resultados

Alineación de Rendimiento ID–OOD

BI-RADS: Fuerte alineación de rango entre el rendimiento ID y OOD ( $\rho = 0.89$ ), pero con una brecha media OOD de $-0.092$.
Densidad: Techo ID alto (0.93–0.95) pero con una brecha OOD similar ($-0.092$) y una correlación de rango menor ( $\rho = 0.76$ ).
Estado de Cáncer: La relación de rango ID/OOD más débil ( $\rho = 0.61$ ) con una brecha media ligeramente positiva ( $+0.017$ ), atribuida al ruido en las definiciones de las etiquetas entre los conjuntos de datos.

Rendimiento a Nivel de Modelo

VLMs Específicos de Mamografía: Lograron el mejor rendimiento medio OOD general.
- Mammo-FM: El mejor para BI-RADS ( $0.688 \pm 0.016$ ).
- MaMA: El mejor para Densidad ( $0.865 \pm 0.006$ ) y Estado de Cáncer ( $0.718 \pm 0.014$ ).
Baselines de Solo Visión: DINOv3 emergió como el modelo de solo visión más competitivo, superando a varios modelos adaptados a la mamografía a pesar de carecer de preentrenamiento específico de mamografía (por ejemplo, $0.635$ en BI-RADS frente a $0.646$ para MaMA).
Adaptación a la Mamografía: El preentrenamiento continuo en un solo conjunto de datos de mamografía (por ejemplo, EMBED) no mejoró consistentemente la generalización OOD. En algunos casos (por ejemplo, DINOv3-EMBED), resultó en una degradación del rendimiento en comparación con el baseline de imagen natural.

Factores de Preentrenamiento

VLM vs. Solo Visión: Los VLMs generalmente lograron AUROCs medios OOD más altos que los modelos de solo visión en todas las tareas.
Alineación de Dominio: Los VLMs específicos de mamografía superaron a los VLMs médicos generales, lo que sugiere que la alineación con el lenguaje de la mamografía es más crítica que la exposición visual por sí sola.
Dependencia de la Tarea: El modelo líder depende de la tarea y no es universal. Por ejemplo, el preentrenamiento de densidad de MaMA (usando metadatos tabulares) se correlacionó con un rendimiento superior en densidad, mientras que el preentrenamiento basado en informes de Mammo-FM se correlacionó con un mejor rendimiento de estado de cáncer en conjuntos de datos con resultados a nivel de examen.

Heterogeneidad de los Conjuntos de Datos

Un fuerte rendimiento promedio OOD no implica un comportamiento uniforme en todos los conjuntos de datos externos.
Variabilidad de Adquisición: Mammo-FM mostró una superior generalización a modalidades no estándar (por ejemplo, contraste realzado y película escaneada) en comparación con MaMA.
Espacio de Características: El análisis UMAP reveló que las representaciones útiles preservan las señales clínicas (por ejemplo, densidad, BI-RADS) mientras retienen las estructuras de los conjuntos de datos y la adquisición (por ejemplo, fabricante, vista). Una fuerte generalización externa no requiere una invarianza de dominio completa.

Significado y Reivindicaciones

El artículo afirma que el preentrenamiento de mamografía por sí solo es insuficiente para una generalización OOD robusta. En su lugar, la generalización depende de la interacción entre el objetivo de preentrenamiento, el tipo de modelo (visión solamente vs. visión-lenguaje) y la diversidad de los conjuntos de datos de preentrenamiento.

Las conclusiones clave incluyen:

Superioridad de los VLM: Los VLMs específicos de mamografía (MaMA, Mammo-FM) proporcionan el rendimiento OOD más fuerte, pero sus ventajas dependen de la tarea y del conjunto de datos.
Baselines Robustos: DINOv3 sigue siendo un baseline de solo visión altamente competitivo, desafiando la suposición de que el preentrenamiento específico de la modalidad es siempre necesario.
Estándar de Evaluación: La evaluación OOD a nivel de conjunto de datos es un criterio central para evaluar la utilidad clínica de las representaciones de los FMs en mamografía, ya que el rendimiento ID es un mal indicador de la robustez externa.
Limitaciones: El estudio utiliza un protocolo de sonda lineal para medir la calidad de la representación, no el mejor rendimiento absoluto alcanzable (que podría lograrse mediante el ajuste fino completo o full fine-tuning). Se sugiere como trabajo futuro explorar el fine-tuning completo, la estimación de la incertidumbre y la calibración de la confianza.