🤖 AI

Benchmarking the Robustness of Foundation Models for Mammography under Domain Shift

Este artigo avalia o desempenho de 15 modelos de fundação para mamografia sob mudanças de domínio, revelando que, embora os modelos de visão-linguagem específicos para mamografia alcancem o melhor desempenho fora de distribuição, a generalização não é garantida apenas pelo pré-treinamento específico de domínio e requer uma avaliação rigorosa ao nível do conjunto de dados.

Autores originais: Giang Nguyen, Raghav Mehta, Emma A. M. Stanley, Tian Xia, Thi Hao Nguyen, Hieu Pham, Ben Glocker

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Giang Nguyen, Raghav Mehta, Emma A. M. Stanley, Tian Xia, Thi Hao Nguyen, Hieu Pham, Ben Glocker

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um olho de robô superinteligente que foi treinado para olhar milhões de fotos de tudo no mundo — gatos, carros, pores do sol e até raios X comuns. Você quer usar esse robô para detectar câncer de mama em mamografias (raios X especiais da mama). A grande questão é: se você pegar esse robô, que aprendeu com imagens "gerais", e o soltar em um hospital totalmente novo, com máquinas e pacientes diferentes, ele ainda funcionará? Ou ele ficará confuso e começará a ver coisas que não existem?

Este artigo é como um "teste de estresse" gigante e rigoroso para 15 versões desses olhos de robô. Os pesquisadores não apenas verificaram se os robôs eram bons na lição de casa para a qual estudaram; eles os lançaram em 12 países diferentes, 15 conjuntos de dados diferentes e 3 tarefas médicas complicadas para ver como eles lidariam com o inesperado.

A Grande Surpresa: "Especializado" nem sempre é "Mais Forte"

Você poderia pensar que um robô treinado apenas em mamografias seria o campeão supremo. Afinal, é como um aluno que estudou apenas para o exame final, certo?

O artigo na verdade argumenta contra essa ideia. Eles descobriram que o fato de um modelo ter sido treinado especificamente em mamografias não significa que ele será robusto quando os dados mudarem. Na verdade, alguns modelos que foram "adaptados" para mamografias tiveram um desempenho pior do que modelos treinados em imagens naturais gerais ou radiologia geral. É como um aluno que memorizou as respostas de um teste específico, mas falha quando o professor muda o formato da pergunta, enquanto um aluno que aprendeu a pensar sobre imagens em geral se sai surpreendentemente bem.

Os Verdadeiros Campeões: Os "Falantes" vs. Os "Olhadores"

Então, quem venceu o teste de estresse? O artigo sugere que os vencedores são um grupo especial chamado Modelos de Visão-Linguagem (VLMs).

Pense nesses modelos como robôs que não apenas olham para o raio X; eles também leem as notas do médico anexadas a ele.

MaMA e Mammo-FM (os dois principais concorrentes) são como detetives que olham a foto e leem o prontuário juntos. Eles alcançaram o desempenho médio mais forte em todos os aspectos.
O Mammo-FM foi o melhor em prever a gravidade da condição (BI-RADS), pontuando 0.688 ± 0.016 em média para testes fora da distribuição (out-of-distribution).
O MaMA foi o melhor em detectar a densidade mamária e o status de câncer, pontuando 0.865 ± 0.006 para densidade e 0.718 ± 0.014 para câncer.

No entanto, há uma reviravolta! O artigo mediu que, mesmo os melhores modelos, não são perfeitos. Quando eles saíram dos dados de treinamento para novos dados não vistos (Fora da Distribuição ou OOD), o desempenho caiu. Por exemplo, na tarefa "BI-RADS", a queda média foi de -0.092. Isso significa que mesmo o robô mais inteligente fica um pouco menos confiante quando sai de sua zona de conforto.

O "Generalista" que não pode ser ignorado

Aqui está a parte mais lúdica da história: um modelo chamado DINOv3, que foi treinado em imagens naturais (como fotos de paisagens e animais) e nunca viu uma mamografia durante seu treinamento, revelou-se um competidor feroz.

O DINOv3 é como um artista generalista que nunca viu um exame médico, mas tem um olhar tão bom para formas e texturas que ainda consegue adivinhar detalhes médicos melhor do que alguns especialistas.

Na tarefa de câncer, o DINOv3 pontuou 0.677 ± 0.015, o que é muito próximo dos modelos especializados.
Na densidade, pontuou 0.848 ± 0.006.

O artigo sugere que ter um cérebro de "imagem natural" é, na verdade, uma base muito forte, e às vezes é difícil superá-lo mesmo com treinamento médico adicional.

O Mito do "Tamanho Único" foi Quebrado

Os pesquisadores também observaram como esses modelos se comportaram em diferentes lugares. Eles descobriram que um modelo que é ótimo em um hospital pode ser terrível em outro.

O Mammo-FM foi incrível ao lidar com máquinas de raio X estranhas e não padronizadas (como aquelas que escaneiam filmes ou usam contraste), mas o MaMA foi consistentemente melhor em detectar a densidade mamária em todos os conjuntos de dados.
Por quê? O artigo sugere que é sobre como eles foram ensinados. O MaMA foi treinado usando relatórios de texto que mencionavam explicitamente a densidade (como uma receita listando ingredientes), então ele aprendeu densidade muito bem. O Mammo-FM foi treinado em relatórios clínicos reais que focavam mais no diagnóstico final (câncer ou não câncer), então ele se tornou melhor em detectar os resultados do "quadro geral" em vez da textura específica do tecido.

A Conclusão

A principal lição é que você não pode simplesmente assumir que um modelo é bom porque é "especializado" ou porque obteve uma pontuação alta nos dados de treinamento.

O artigo prova que:

A robustez é complicada: Um modelo que funciona muito bem nos dados para os quais foi treinado frequentemente tem dificuldades quando encontra novos dados de diferentes países ou máquinas.
A linguagem ajuda: Modelos que conseguem ler relatórios médicos (VLMs) geralmente performam melhor do que modelos que apenas olham para imagens, mas isso depende da tarefa específica.
O contexto importa: O melhor modelo para um trabalho (como verificar a densidade) pode ser o pior para outro (como verificar a gravidade do câncer).

Os autores mediram esses resultados usando um método rigoroso onde congelaram o cérebro do robô e treinaram apenas uma pequena "cabeça" para tomar a decisão final. Eles sugerem que, para saber verdadeiramente se uma IA médica está pronta para o mundo real, precisamos testá-la em muitos diferentes conjuntos de dados externos, não apenas naquele do qual ela aprendeu. Até que façamos isso, não podemos ter certeza se o robô é um gênio ou apenas um sortudo que deu um palpite certeiro.

Resumo Técnico: Avaliação de Referência da Robustez de Modelos de Fundação para Mamografia sob Mudança de Domínio

Declaração do Problema

Modelos de fundação (FMs) estão sendo cada vez mais adotados como extratores de características de imagem para mamografia, tipicamente através de um fluxo de trabalho onde um backbone pré-treinado é congelado e uma cabeça de classificação leve é treinada em um conjunto de dados de origem rotulado. No entanto, a robustez de suas representações sob mudanças de domínio externas permanece incerta. Pesquisas anteriores indicam que o pré-treinamento em larga escala ou específico de uma modalidade não garante inerentemente uma generalização robusta fora da distribuição (OOD - out-of-distribution). Este desafio é exacerbado na mamografia devido a rótulos clínicos heterogêneos (densidade mamária, severidade BI-RADS e status de câncer) que variam em granularidade, prevalência e protocolos de anotação entre diferentes conjuntos de dados. Consequentemente, o alto desempenho em distribuição (ID - in-distribution) frequentemente falha em se traduzir para a generalização OOD, necessitando de um benchmark sistemático para avaliar se as representações de mamografia se generalizam além de seus dados de origem.

Metodologia

Construção do Benchmark

Os autores construíram um benchmark harmonizado compreendendo 15 conjuntos de dados de mamografia públicos abrangendo 12 países/regiões (América do Norte, Europa, Ásia, Oriente Médio, África e Oceania). O benchmark cobre três tarefas clínicas distintas:

Densidade Mamária: Avaliada ao nível da imagem (A, B, C, D).
Avaliação BI-RADS: Avaliada ao nível do exame (1–5).
Status de Câncer: Avaliado ao nível do exame (Binário: Câncer/Não-câncer).

Os rótulos foram harmonizados para garantir a compatibilidade das tarefas. Para cada tarefa, um conjunto de dados de origem específico serviu como base de treinamento para o classificador linear:

BI-RADS: VinDr-Mammo (Origem)
Densidade: EMBED (Origem)
Status de Câncer: RSNA-site2 (Origem)

Famílias de Modelos

O estudo avaliou 15 backbones de modelos de fundação agrupados em quatro famílias não sobrepostas:

SSL de Imagem Natural: DINOv2, DINOv3.
SSL de Radiologia Geral: RAD-DINO, RayDINO.
SSL Adaptado para Mamografia: DINOv2-EMBED, DINOv3-EMBED, MAE-EMBED, VersaMammo (pré-treinado adicionalmente no EMBED).
Modelos de Visão-Linguagem (VLMs):
- Médico Geral: BioMedCLIP, UniMedCLIP, MedSigLIP.
- Específicos de Mamografia: MaMA, GLAM, Mammo-CLIP, Mammo-FM.

Protocolo de Avaliação

Sonda Linear de Backbone Congelado (Frozen-Backbone Linear Probe): Todos os modelos foram avaliados como codificadores de imagem congelados. Um classificador linear específico para a tarefa foi treinado no conjunto de dados de origem e avaliado em conjuntos de teste ID mantidos e 12 conjuntos de dados OOD compatíveis com a tarefa.
Pré-processamento: Fluxo de pré-processamento unificado com imagens redimensionadas para 1024 × 768.
Agregação: Para tarefas ao nível do exame (BI-RADS, Câncer), as probabilidades ao nível da imagem foram agregadas via max pooling por classe e renormalização.
Métricas: AUROC macro-média one-vs-rest para BI-RADS e Densidade; AUROC binária para Câncer. Intervalos de confiança de 95% foram calculados via bootstrapping.

Principais Contribuições

Benchmark Harmonizado: Criação de um benchmark unificado abrangendo 15 conjuntos de dados e 12 regiões, cobrindo três tarefas clinicamente distintas com rótulos harmonizados.
Avaliação Unificada: Uma comparação sistemática de 15 modelos de fundação através de três tarefas usando um protocolo consistente de sonda linear de backbone congelado.
Análise Multidimensional: Uma análise do comportamento OOD que se estende além dos escores agregados para incluir comparações de famílias de modelos, avaliação por conjunto de dados e inspeção do espaço de características (UMAP).

Resultados

Alinhamento de Desempenho ID–OOD

BI-RADS: Forte alinhamento de ranking entre o desempenho ID e OOD ( $\rho = 0,89$ ), mas com uma lacuna média OOD de $-0,092$.
Densidade: Teto ID alto (0,93–0,95), mas com lacuna OOD semelhante ($-0,092$) e correlação de ranking inferior ( $\rho = 0,76$ ).
Status de Câncer: Relacionamento de ranking ID/OOD mais fraco ( $\rho = 0,61$ ) com uma lacuna média ligeiramente positiva ( $+0,017$ ), atribuída ao ruído nas definições de rótulos entre os conjuntos de dados.

Desempenho por Modelo

VLMs Específicos de Mamografia: Alcançaram o melhor desempenho médio OOD geral.
- Mammo-FM: Melhor para BI-RADS ( $0,688 \pm 0,016$ ).
- MaMA: Melhor para Densidade ( $0,865 \pm 0,006$ ) e Status de Câncer ( $0,718 \pm 0,014$ ).
Baselines de Visão Apenas: DINOv3 emergiu como o modelo de visão apenas mais competitivo, superando vários modelos adaptados para mamografia, apesar de carecer de pré-treinamento específico de mamografia (ex: $0,635$ em BI-RADS contra $0,646$ para MaMA).
Adaptação para Mamografia: O pré-treinamento contínuo em um único conjunto de dados de mamografia (ex: EMBED) não melhorou consistentemente a generalização OOD. Em alguns casos (ex: DINOv3-EMBED), resultou em degradação do desempenho em comparação com o baseline de imagem natural.

Fatores de Pré-treinamento

VLM vs. Visão Apenas: Os VLMs geralmente alcançaram AUROCs médios OOD mais altos do que os modelos de visão apenas em todas as tarefas.
Alinhamento de Domínio: VLMs específicos de mamografia superaram os VLMs médicos gerais, sugerindo que o alinhamento com a linguagem da mamografia é mais crítico do que a exposição visual isolada.
Dependência de Tarefa: O modelo líder é dependente da tarefa, não universal. Por exemplo, o pré-treinamento de densidade do MaMA (usando metadados tabulares) correlacionou-se com um desempenho superior em densidade, enquanto o pré-treinamento baseado em relatórios do Mammo-FM correlacionou-se com melhor desempenho de status de câncer em conjuntos de dados com desfechos ao nível do exame.

Heterogeneidade de Conjuntos de Dados

Um forte desempenho médio OOD não implica comportamento uniforme em todos os conjuntos de dados externos.
Variabilidade de Aquisição: O Mammo-FM mostrou superioridade na generalização para modalidades não padronizadas (ex: contraste realçado e filmes digitalizados) em comparação ao MaMA.
Espaço de Características: A análise UMAP revelou que representações úteis preservam sinais clínicos (ex: densidade, BI-RADS) enquanto retêm estruturas de conjunto de dados e aquisição (ex: fabricante, incidência). A forte generalização externa não requer invariância total de domínio.

Significância e Alegações

O artigo alega que o pré-treinamento de mamografia sozinho é insuficiente para uma generalização OOD robusta. Em vez disso, a generalização depende da interação entre o objetivo de pré-treinamento, o tipo de modelo (visão apenas vs. visão-linguagem) e a diversidade dos conjuntos de dados de pré-treinamento.

As principais conclusões incluem:

Superioridade dos VLMs: VLMs específicos de mamografia (MaMA, Mammo-FM) fornecem o desempenho OOD mais forte, mas suas vantagens são dependentes da tarefa e do conjunto de dados.
Baselines Robustos: O DINOv3 permanece como um baseline de visão apenas altamente competitivo, desafiando a suposição de que o pré-treinamento específico de modalidade é sempre necessário.
Padrão de Avaliação: A avaliação de OOD ao nível do conjunto de dados é um critério central para avaliar a utilidade clínica das representações de FMs em mamografia, já que o desempenho ID é um indicador pobre de robustez externa.
Limitações: O estudo utiliza um protocolo de sonda linear para medir a qualidade da representação, não o melhor desempenho absoluto possível (que poderia ser alcançado via ajuste fino completo). Sugere-se que trabalhos futuros explorem o ajuste fino completo, estimativa de incerteza e calibração de confiança.