Mammo-FM: Breast-specific foundational model for Integrated Mammographic Diagnosis, Prognosis, and Reporting

1. El Problema

El cáncer de mama es una de las principales causas de muerte en mujeres a nivel mundial. Aunque la inteligencia artificial (IA) ha mostrado promesas en la ayuda al diagnóstico, los sistemas actuales presentan limitaciones críticas:

• Falta de especificidad de dominio: Los modelos de fundación (Foundation Models - FM) generales o entrenados en otras modalidades (como radiografía de tórax) no operan nativamente en la resolución de alta fidelidad requerida para la mamografía, perdiendo hallazgos sutiles pero críticos como microcalcificaciones.
• Ineficiencia y fragmentación: Desarrollar modelos separados para cada tarea (diagnóstico, pronóstico, generación de informes) es ineficiente y reduce la generalización.
• Falta de interpretabilidad: Los modelos existentes a menudo funcionan como "cajas negras", lo que dificulta la auditoría clínica y la confianza de los radiólogos.
• Escasez de datos anotados: Obtener etiquetas detalladas por expertos es costoso, limitando el entrenamiento de modelos supervisados tradicionales.

2. Metodología: Mammo-FM

Los autores proponen Mammo-FM, el primer modelo fundacional específico para mamografía, diseñado bajo un marco unificado de visión y lenguaje.

A. Datos y Pre-entrenamiento

• Dataset Masivo: Se entrenó sobre el conjunto de datos más grande y diverso hasta la fecha, compuesto por 140,677 pacientes (821,326 mamografías) de cuatro instituciones de EE. UU.: Mayo Clinic, UPMC, Boston University (BU) y EMBED.
• Enfoque Federado: Se utilizó un protocolo de entrenamiento descentralizado para preservar la privacidad de los datos, alternando épocas entre un servidor central y el sitio de Mayo Clinic sin transferir datos crudos.
• Datos de Entrenamiento: Incluye mamografías de cribado (BI-RADS 0, 1, 2) y sus informes radiológicos asociados. También se sintetizaron informes a partir de atributos estructurados para aumentar el volumen de datos.

B. Arquitectura

• Codificador de Visión: Utiliza EfficientNet-B5 (30M de parámetros), inicializado con ImageNet. Opera directamente en imágenes de alta resolución (1520 × 912 píxeles), preservando detalles finos que los modelos generales (que suelen usar 224x224 o 448x448) pierden.
• Codificador de Texto: Utiliza ModernBERT, finetuneado en ~200k informes de TC torácico para mejorar la comprensión del vocabulario médico. Procesa las secciones "Hallazgos" (Findings) e "Impresión" (Impression) de los informes.
• Objetivo de Entrenamiento: Se emplea una pérdida de contraste multivista (Multi-View Contrastive Loss). El modelo alinea las representaciones de imágenes y texto en un espacio de incrustación compartido, utilizando vistas aumentadas (CC, MLO) y aumentos de texto (traducción inversa, reordenamiento de secciones) para aprender representaciones robustas.

C. Aplicaciones Derivadas

1. MIRAI/AsymMIRAI w/ Mammo-FM (Pronóstico de Riesgo): Se integra el codificador de visión de Mammo-FM en arquitecturas de predicción de riesgo existentes. Se utiliza distilación de conocimiento desde el modelo MIRAI original y un Autoencoder Escaso Matryoshka (SAE) para lograr interpretabilidad a nivel de neuronas, vinculando activaciones visuales con frases específicas de los informes radiológicos.
2. Mammo-GRG (Generador de Informos): Un generador de informes radiológicos multi-vista que combina el codificador de Mammo-FM con un LLM (Llama-3.1-8B). Utiliza un entrenamiento en dos etapas: alineación de conceptos médicos y ajuste fino por instrucciones (instruction tuning) con 359,746 pares de preguntas-respuestas. Incluye una etapa de "anclaje" (grounding) donde Mammo-FM verifica los hallazgos generados para asegurar la consistencia factual.

3. Resultados Clave

El modelo fue evaluado en conjuntos de datos in-distribution (EMBED) y out-of-distribution (VinDr, RSNA) en múltiples tareas:

• Diagnóstico (Cero-shot, Linear Probe, Fine-tuning):

  • Mammo-FM superó consistentemente a modelos generales (MedGemma/MedSigLIP) y modelos de rayos X (CXR-CLIP).
  • En clasificación zero-shot de cáncer, logró un AUROC de 0.75 (RSNA) y 0.83 (VinDr), superando a MedSigLIP en un ~22-25%.
  • En tareas de localización de patologías (masas, calcificaciones), logró un mAP de 0.58, superando a las variantes de un solo centro y modelos generales.
  • Eficiencia de Datos: Entrenado con solo el 25% de los datos, superó a MedSigLIP entrenado con el 80% de los datos, demostrando una gran capacidad de aprendizaje con muestras limitadas.

• Pronóstico de Riesgo:

  • Los predictores basados en Mammo-FM mantuvieron la precisión predictiva del MIRAI original (AUROC ~0.80-0.85) mientras añadían interpretabilidad textual, permitiendo a los clínicos ver qué frases del informe justifican el riesgo calculado.

• Generación de Informes (Mammo-GRG):

  • Superó a modelos generales (MedGemma, LLaVA-Med) en todas las métricas.
  • Logró una mejora del 62% en la puntuación GREEN (métrica clínica adaptada) sobre MedGemma finetuneado.
  • Mostró una mayor precisión en la recuperación de hallazgos críticos (masas, calcificaciones) y una robustez superior en datos out-of-distribution.

4. Contribuciones Principales

1. Primer Modelo Fundacional Específico para Mamografía: Un modelo diseñado desde cero para la resolución nativa y las particularidades lingüísticas de la mamografía, superando la transferencia de modelos generales.
2. Dataset de Pre-entrenamiento sin Precedentes: El uso de 140k pacientes de múltiples instituciones, lo que permite una generalización robusta a través de diferentes demografías y equipos de escaneo.
3. Interpretabilidad Dual (Visión-Lenguaje): Capacidad única para vincular activaciones visuales en la imagen con frases específicas en los informes clínicos, facilitando la auditoría y la confianza clínica.
4. Pipeline Unificado: Un solo marco que aborda diagnóstico, pronóstico de riesgo y generación de informes, reduciendo la complejidad operativa en entornos clínicos.
5. Evaluación Rigurosa: Introducción de métricas clínicas específicas (como la adaptación de GREEN) y evaluaciones exhaustivas en escenarios out-of-distribution.

5. Significado e Impacto

Este trabajo demuestra que los modelos de fundación específicos de dominio superan significativamente a los modelos generalistas en tareas médicas críticas. Mammo-FM no solo mejora la precisión diagnóstica, sino que aborda la barrera de la "caja negra" mediante la interpretabilidad basada en lenguaje natural, un requisito fundamental para la adopción clínica real.

La capacidad de operar en alta resolución y generalizar a nuevas instituciones con pocos datos de entrenamiento sugiere que este enfoque es escalable y viable para la implementación en sistemas de salud reales, potencialmente reduciendo la carga de trabajo de los radiólogos y mejorando la detección temprana del cáncer de mama. El código y los checkpoints están disponibles públicamente, fomentando la investigación futura en IA para la salud.