Mammo-FM: Breast-specific foundational model for Integrated Mammographic Diagnosis, Prognosis, and Reporting

Resumo Técnico: Mammo-FM

1. O Problema

O câncer de mama é uma das principais causas de morte entre mulheres globalmente. A detecção precoce é crucial, mas a triagem em larga escala sobrecarrega os radiologistas e pode aumentar erros diagnósticos. Embora a Inteligência Artificial (IA) tenha mostrado promessa, as abordagens atuais enfrentam limitações significativas:

• Modelos Genéricos: Modelos de Fundação (Foundation Models - FMs) gerais ou treinados em outras modalidades (como raios-X de tórax) não operam na resolução nativa das mamografias, perdendo achados sutis e críticos, como microcalcificações.
• Falta de Especificidade: Modelos treinados em dados heterogêneos carecem da especificidade de domínio necessária para tarefas de alta fidelidade em imagens de mama.
• Fragmentação: Desenvolver modelos separados para diagnóstico, prognóstico e geração de relatórios é ineficiente e reduz a generalização.
• Interpretabilidade: Muitos modelos de "caixa preta" dificultam a auditoria clínica e a confiança, pois não alinham evidências visuais com descrições textuais.

2. Metodologia

Os autores propõem o Mammo-FM, o primeiro modelo de fundação específico para mamografia, projetado para unificar diagnóstico, prognóstico e geração de relatórios em um único framework.

• Dados de Pré-treinamento:

  • O modelo foi pré-treinado no maior e mais diversificado conjunto de dados de mamografia até a data: 140.677 pacientes (821.326 mamografias) de quatro instituições nos EUA (UPMC, Boston University, EMBED e Mayo Clinic).
  • O dataset inclui exames de triagem (BI-RADS 0-2) com vistas Craniocaudal (CC) e Medioloateral Oblíqua (MLO).
  • A privacidade dos dados foi preservada através de um protocolo de aprendizado federado simples, alternando épocas de treinamento entre servidores centrais e o site do Mayo Clinic.

• Arquitetura:

  • Codificador de Imagem: Utiliza um EfficientNet-B5 (30M parâmetros), inicializado com pesos do ImageNet, capaz de processar mamografias em alta resolução nativa (1520 × 912 pixels). Isso preserva detalhes finos essenciais que modelos que redimensionam para 224x224 ou 448x448 perdem.
  • Codificador de Texto: Utiliza o ModernBERT, refinado em ~200k relatórios de TC de tórax para melhorar a representação de terminologia médica.
  • Alinhamento Multimodal: O modelo emprega uma estratégia de Contraste Multi-Visão (Multi-View Contrastive Learning). Ele alinha representações de imagens e textos (relatórios radiológicos) em um espaço de incorporação compartilhado. Utiliza aumentos de dados tanto na imagem (transformações geométricas/elásticas) quanto no texto (tradução reversa) para robustez.

• Aplicações de Downstream (Tarefas Derivadas):

  1. Diagnóstico e Localização: Avaliação em cenários zero-shot, linear probing e fine-tuning completo para detectar câncer, massas, calcificações e distorção arquitetural. Integração com detectores de objetos (RetinaNet) para localização precisa.
  2. Prognóstico Interpretável: Integração do codificador visual do Mammo-FM em modelos de risco existentes (MIRAI e AsymMIRAI). Utiliza um Sparse Autoencoder (SAE) e valores de Shapley para mapear neurônios ativados em regiões específicas da imagem e, crucialmente, em frases específicas do relatório radiológico, permitindo explicabilidade baseada em texto.
  3. Geração de Relatórios (Mammo-GRG): Um gerador de relatórios de mamografia de múltiplas vistas baseado em LLM (Llama 3.1-8B).
     • Estratégia de 2 Estágios: (1) Alinhamento de conceitos médicos; (2) Ajuste fino por instrução (Instruction Tuning) com 359.746 pares de perguntas e respostas.
     • Grounding Clínico: Um estágio final onde o modelo usa o Mammo-FM em modo zero-shot para verificar fatos estruturados (ex: presença de massa, calcificação) e garantir que o relatório gerado seja factualmente consistente com a imagem.

3. Principais Contribuições

1. Primeiro Modelo de Fundação Específico para Mamografia: Diferente de modelos genéricos, o Mammo-FM é treinado exclusivamente em mamografias de alta resolução e relatórios associados, superando limitações de resolução e domínio.
2. Unificação de Tarefas Clínicas: O mesmo modelo base suporta diagnóstico, prognóstico de risco e geração de relatórios, eliminando a necessidade de múltiplos modelos especializados.
3. Interpretabilidade Texto-Imagem: Pela primeira vez, o prognóstico de risco de câncer de mama é vinculado a descrições textuais específicas dos relatórios radiológicos, permitindo que os clínicos auditem por que um risco foi atribuído.
4. Métricas de Avaliação Avançadas: Adaptação da métrica GREEN (usando GPT-4o-mini como juiz) para avaliar a correção clínica e factual de relatórios gerados, superando métricas linguísticas tradicionais (BLEU/ROUGE) que falham em capturar erros clínicos críticos.

4. Resultados

O Mammo-FM foi rigorosamente avaliado em conjuntos de dados in-distribution (ID) e out-of-distribution (OOD), superando consistentemente modelos de ponta (baselines):

• Desempenho Diagnóstico:

  • No cenário zero-shot (sem treinamento específico na tarefa), o Mammo-FM superou o MedSigLIP (encoder do MedGemma) em 13–38% de AUROC em todas as tarefas.
  • Para classificação de câncer em dados OOD (VinDr e RSNA), alcançou AUROCs de 0.83 e 0.75, respectivamente, superando o MedSigLIP em ~22-25%.
  • Eficiência de Dados: Treinado com apenas 25% dos dados de treino, o Mammo-FM superou o MedSigLIP treinado com 80% dos dados, demonstrando superioridade na extração de características.
  • O modelo multi-institucional superou sua variante treinada apenas em um único hospital (UPMC) em 13-15% de AUROC, validando a importância da diversidade de dados.

• Prognóstico Interpretável:

  • Os modelos de risco integrados (MIRAI w/ Mammo-FM) mantiveram a precisão preditiva do MIRAI original (redução mínima de AUROC) enquanto adicionaram capacidade de explicar visualmente e textualmente as decisões.
  • O SAE preservou a fidelidade discriminativa das características originais, permitindo a localização precisa de achados de alto risco.

• Geração de Relatórios (Mammo-GRG):

  • Superou modelos genéricos (MedGemma, LLaVA-Med) em todas as métricas.
  • Na métrica GREEN (correção clínica), alcançou 0.42 no dataset UPMC, uma melhoria de 62% sobre o MedGemma ajustado e um aumento de 6x sobre o LLaVA-Med.
  • Demonstrou maior recall na identificação de achados críticos (massas, calcificações) em dados OOD, mantendo consistência anatômica e clínica.

5. Significado e Impacto

O trabalho estabelece que modelos de fundação específicos de domínio, treinados em grandes conjuntos de dados multimodais reais e operando em resolução nativa, são superiores aos modelos generalistas para aplicações médicas críticas.

• Confiança Clínica: Ao alinhar visualmente e textualmente as previsões, o Mammo-FM aborda a "caixa preta" da IA, facilitando a adoção clínica e a auditoria.
• Eficiência: Demonstra que é possível obter desempenho de ponta com arquiteturas menores (30M vs 400M parâmetros) quando o pré-treinamento é altamente especializado.
• Caminho Futuro: O framework sugere que a integração de representações visuais e linguísticas é essencial para sistemas de apoio à decisão clínica que são não apenas precisos, mas também explicáveis e confiáveis.

O código e os checkpoints do modelo estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço contínuo na IA para radiologia mamária.