💻 computer science

Benchmarking Deep Learning and Vision Foundation Models for Atypical vs. Normal Mitosis Classification with Cross-Dataset Evaluation

Este artigo apresenta uma avaliação abrangente de modelos de aprendizado profundo e modelos fundamentais de visão para classificar mitoses atípicas versus normais no câncer de mama, demonstrando que técnicas de aprendizado por transferência e ajuste fino abordam efetivamente os desafios de classificação em conjuntos de dados tanto dentro do domínio quanto em novos conjuntos de dados fora do domínio introduzidos.

Autores originais: Sweta Banerjee, Viktoria Weiss, Taryn A. Donovan, Rutger H. J. Fick, Thomas Conrad, Jonas Ammeling, Nils Porsche, Robert Klopfleisch, Christopher Kaltenecker, Katharina Breininger, Marc Aubreville, Ch

Publicado 2026-04-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sweta Banerjee, Viktoria Weiss, Taryn A. Donovan, Rutger H. J. Fick, Thomas Conrad, Jonas Ammeling, Nils Porsche, Robert Klopfleisch, Christopher Kaltenecker, Katharina Breininger, Marc Aubreville, Christof A. Bertram

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma célula a dividir-se como um padeiro a amassar massa e a dividi-la em dois pães perfeitos e idênticos. Isto é uma mitose normal. Mas, por vezes, o padeiro torna-se desajeitado, a massa rasga-se ou os pães saem desiguais. Isto é uma mitose atípica. No mundo do cancro, detetar estes "padeiros desajeitados" é uma pista enorme de que um tumor pode ser agressivo e perigoso.

No entanto, encontrar estes padeiros desajeitados é incrivelmente difícil para os patologistas humanos (os médicos que observam lâminas ao microscópio). São raros, parecem-se muito com os normais e, mesmo os especialistas, muitas vezes discordam sobre o que veem. É como tentar encontrar uma agulha específica e ligeiramente torta num palheiro gigantesco, onde o feno continua a mudar de cor.

Este artigo é uma corrida para ver qual o programa informático que é melhor a detetar estes "padeiros desajeitados".

Os Concorrentes: Três Estratégias Diferentes

Os investigadores organizaram uma competição com três tipos diferentes de "detetives" (modelos de IA) para ver quem conseguiria resolver este enigma melhor:

Os Detetives "Começo do Zero" (Modelos End-to-End): Estes são como contratar um estagiário inteligente e ensiná-lo tudo desde o zero, usando um livro didático específico. Eles aprendem as regras da divisão celular inteiramente a partir dos dados fornecidos.
- Os Modelos: EfficientNet, Vision Transformer (ViT) e Swin Transformer.
Os "Bibliotecários Especializados" (Modelos de Base com Sondagem Linear): Imagine um bibliotecário que leu milhões de livros sobre biologia, mas nunca lhe foi pedido para detetar padeiros desajeitados. Você pede-lhe para olhar para uma imagem e apenas desenhar uma linha simples para dizer "sim" ou "não". Eles usam o seu vasto conhecimento geral, mas não alteram o seu cérebro; apenas adicionam um filtro pequeno e simples por cima.
- Os Modelos: Modelos pré-treinados gigantes como UNI, Virchow e H-Optimus.
Os "Aprendizes Especializados" (Modelos de Base com LoRA): Este é o mesmo bibliotecário, mas em vez de apenas desenhar uma linha, você dá-lhe um pequeno caderno especializado (chamado LoRA) para escrever regras específicas para este trabalho. Eles mantêm o seu vasto conhecimento geral, mas aprendem apenas o suficiente de novos truques para se tornarem especialistas em detetar padeiros desajeitados, sem necessidade de reescrever todo o seu cérebro.

O Teste de Condução: Três Cursos Diferentes

Para ver quem era realmente o melhor, os investigadores não os testaram apenas no mesmo trabalho de casa que estudaram. Deram-lhes três exames diferentes:

O Exame de Prática (AMi-Br): Este foi o conjunto de dados principal utilizado para o treino. Continha milhares de imagens de células de cancro da mama humana.
O Exame "Mesma Cidade, Bairro Diferente" (AtNorM-Br): Este utilizou imagens de uma fonte diferente (TCGA). Era como testar os detetives no mesmo tipo de cidade, mas com sinais de trânsito e iluminação diferentes.
O Exame "País Estrangeiro" (AtNorM-MD): Este foi o teste mais difícil. Incluiu não apenas cancro da mama humano, mas também tumores de cães e outros cancros humanos. Era como enviar os detetives para um país completamente diferente, com línguas e costumes distintos, para ver se conseguiam ainda encontrar os padeiros desajeitados.

Os Resultados: Quem Ganhou?

1. Os "Aprendizes Especializados" (LoRA) foram os claros vencedores.
Quando os modelos de base (os bibliotecários) receberam aquele pequeno caderno especializado (LoRA), desempenharam-se incrivelmente bem. O modelo Virchow2 com LoRA foi o campeão, alcançando a maior precisão no exame de prática. Provou que pegar numa IA massiva e geral e dar-lhe um pequeno ajuste específico é uma estratégia muito poderosa.

2. Os Detetives "Começo do Zero" foram fortes vice-campeões.
Os modelos treinados do zero (End-to-End) desempenharam-se muito bem, especialmente no exame "País Estrangeiro". O Swin Transformer foi o melhor nisso, mostrando que, por vezes, uma equipa dedicada treinada especificamente para o trabalho consegue lidar com situações novas e estranhas melhor do que um generalista.

3. Os "Bibliotecários Especializados" (Sondagem Linear) lutaram.
Quando os bibliotecários tentaram fazer o trabalho sem o caderno especializado (apenas usando uma linha simples), desempenharam-se mal. Acontece que o seu vasto conhecimento geral não foi suficiente para detetar estes erros específicos e subtis sem algum treino extra.

A Grande Conclusão

O artigo conclui que, embora detetar estas divisões celulares anormais seja um trabalho difícil, a IA consegue fazê-lo eficazmente.

A lição mais importante é que como você treina a IA importa mais do que apenas ter uma IA grande.

Pedir simplesmente a um modelo pré-treinado gigante para adivinhar (Sondagem Linear) não é suficiente.
Dar a esse modelo gigante uma forma pequena e eficiente de aprender a tarefa específica (LoRA) funciona maravilhas.
Por vezes, treinar um modelo do zero nos dados específicos continua a ser uma estratégia muito competitiva.

Os investigadores também divulgaram todos os seus dados e código, essencialmente entregando as "perguntas do exame" e as "chaves de resposta" ao resto da comunidade científica, para que todos possam continuar a melhorar estes detetives. Notaram que, embora os modelos sejam bons, ainda lutam quando o "país estrangeiro" (diferentes tipos de tecido ou scanners) é demasiado diferente, sugerindo que ainda precisamos de dados mais diversos para tornar estas ferramentas perfeitas para cada situação.

1. Declaração do Problema

O artigo aborda o desafio crítico de classificar Figuras Mitóticas Atípicas (AMFs) versus Figuras Mitóticas Normais (MFs) em histopatologia.

Significado Clínico: As AMFs representam divisão celular anormal e servem como um marcador prognóstico independente para malignidade tumoral e sobrevivência do paciente. A quantificação da razão de AMFs é essencial para avaliar a agressividade do tumor.
Desafios:
- Baixa Prevalência: As AMFs são raras em comparação com as MFs normais, levando a um desequilíbrio de classes severo.
- Subtileza Morfológica: As diferenças visuais entre figuras normais e atípicas são frequentemente sutis, com características sobrepostas.
- Variabilidade de Anotação: Há baixa concordância interavaliador entre patologistas, tornando a geração de verdade de referência difícil.
- Desvio de Domínio: Modelos treinados em conjuntos de dados específicos frequentemente falham em generalizar para dados de diferentes instituições, scanners ou espécies devido a variações na coloração e preparação de tecidos.
Lacuna: Embora a aprendizagem profunda tenha melhorado a detecção de MFs, há uma falta de benchmarks padronizados e avaliações abrangentes de Modelos de Fundação (pré-treinados em conjuntos de dados massivos) especificamente para a classificação binária de AMF vs. MF Normal.

2. Metodologia

2.1 Conjuntos de Dados

Os autores introduzem e utilizam três conjuntos de dados distintos para garantir uma avaliação rigorosa:

AMi-Br (Treinamento e Teste In-Domain): O maior conjunto de dados contendo 3.720 MFs de câncer de mama humano (fontes TUPAC16 e MIDOG21). As anotações baseiam-se em um voto majoritário de 3 especialistas.
- Equilíbrio de Classes: ~22,4% Atípicas, ~77,6% Normais.
AtNorM-Br (Teste Out-of-Domain): Contém 746 MFs da coorte de câncer de mama TCGA.
- Anotação: Único especialista (altamente experiente).
- Propósito: Testa a generalização para uma fonte de dados diferente (TCGA) com viés de rótulo potencial.
AtNorM-MD (Teste Out-of-Domain/Multi-Domain): Contém 2.107 MFs de um subconjunto do conjunto de dados MIDOG++, cobrindo seis domínios (tumores humanos e caninos, incluindo pulmão, linfoma, melanoma, etc.).
- Anotação: Voto majoritário de 5 especialistas.
- Propósito: Testa a generalização entre espécies e tipos de tecidos (desvio de domínio significativo).

2.2 Arquiteturas de Modelo e Estratégias

O estudo avalia três estratégias de aprendizagem distintas:

A. Baselines Ajustadas de Ponta a Ponta (End-to-End Fine-Tuned):
- Três arquiteturas treinadas do zero (usando pesos ImageNet) no conjunto de dados AMi-Br: EfficientNetV2, Vision Transformer (ViT) e Swin Transformer.
- Ajuste fino completo de todas as camadas.
B. Modelos de Fundação com Sondagem Linear (Linear Probing):
- Oito Modelos de Fundação de Visão de última geração (pré-treinados em milhões de tiles de histopatologia usando aprendizagem auto-supervisionada/DINOv2): UNI, UNI2-h, Virchow, Virchow2, Prov-Gigapath, H-Optimus-0, H-Optimus-1 e H0-mini.
- Estratégia: A base (backbone) é congelada; apenas um classificador linear leve é treinado sobre os embeddings extraídos.
C. Modelos de Fundação com LoRA (Adaptação de Baixo Rank):
- Os mesmos oito modelos de Fundação são adaptados usando LoRA, uma técnica de Ajuste Fino Eficiente em Parâmetros (PEFT).
- Estratégia: Os pesos originais são congelados; pequenas matrizes de baixo rank treináveis são injetadas nas camadas de atenção (Query, Key, Value) e componentes MLP. Isso permite adaptação com custo computacional mínimo, mantendo o conhecimento pré-treinado do modelo.

2.3 Configuração Experimental

Treinamento: Todos os modelos treinados exclusivamente no conjunto de dados AMi-Br.
Validação: Validação cruzada de 5 dobras com estratificação ao nível do paciente para evitar vazamento de dados.
Métricas: Acurácia Balanceada (métrica principal devido ao desequilíbrio de classes) e AUROC.
Pré-processamento: Redimensionamento de imagem para 224x224, aumentações padrão (reflexão, rotação, jitter de cor) e normalização específica do modelo.

3. Contribuições Principais

Novos Benchmarks: Introdução de dois novos conjuntos de dados retidos (AtNorM-Br e AtNorM-MD) especificamente projetados para avaliar a generalização entre conjuntos de dados e entre domínios para classificação de AMF.
Benchmarking Abrangente: A primeira comparação em grande escala de ajuste fino de ponta a ponta, sondagem linear e ajuste fino com LoRA para a tarefa específica de classificação de mitose atípica versus normal.
Lançamento de Código e Dados: Disponibilidade pública de todo o código, dados e modelos treinados através de um repositório GitHub para facilitar pesquisas futuras.

4. Resultados

Resumo de Desempenho (Acurácia Balanceada)

In-Domain (AMi-Br):
- Melhor Modelo: Virchow2 (LoRA) alcançou a maior acurácia balanceada de 0,8135.
- Baselines: O Swin Transformer (ponta a ponta) teve o melhor desempenho entre as baselines (0,8052), superando EfficientNetV2 e ViT.
- Sondagem Linear: Modelos de Fundação com apenas sondagem linear performaram mal (0,60–0,65), indicando que características congeladas foram insuficientes para esta tarefa específica.
Out-of-Domain (AtNorM-Br):
- Melhor Modelo: ViT (Ponta a Ponta) liderou com 0,7788.
- Desempenho LoRA: Virchow (LoRA) seguiu de perto (0,7696). Modelos LoRA consistentemente superaram seus pares de sondagem linear.
Multi-Domain (AtNorM-MD):
- Melhor Modelo: Swin Transformer (Ponta a Ponta) alcançou 0,7723.
- Desempenho LoRA: Virchow (LoRA) foi o principal modelo de Fundação (0,7705).
- Lacuna de Generalização: Todos os modelos mostraram uma queda de desempenho em comparação com AMi-Br, destacando a dificuldade dos desvios de domínio (espécies/tecidos diferentes).

Significância Estatística

LoRA vs. Sondagem Linear: LoRA superou significativamente a sondagem linear em todos os conjuntos de dados ( $p \ll 0,001$ ).
Baselines vs. Sondagem Linear: Baselines de ponta a ponta superaram significativamente a sondagem linear ( $p \ll 0,0001$ ).
Baselines vs. LoRA: A diferença entre baselines completas de ponta a ponta e modelos de Fundação ajustados com LoRA não foi estatisticamente significativa na maioria dos casos (ex: $p=0,73$ para AMi-Br), sugerindo que LoRA permite que modelos de Fundação atinjam o nível de desempenho de modelos treinados do zero, mas o ajuste fino completo ainda mantém uma ligeira vantagem em alguns cenários de domínio cruzado.

5. Significado e Discussão

Eficácia da Adaptação: O estudo demonstra que, embora modelos de Fundação possuam características generalizáveis, o ajuste fino é essencial para a tarefa nuances de classificação de AMF. A sondagem linear é insuficiente, mas o LoRA fornece uma alternativa altamente eficiente ao ajuste fino completo, alcançando desempenho comparável com menos parâmetros atualizados.
Desafios de Desvio de Domínio: Os resultados confirmam que desvios de domínio (diferentes scanners, protocolos de coloração e espécies) degradam significativamente o desempenho. A inclusão de dados multi-domínio (AtNorM-MD) revela que modelos treinados exclusivamente em câncer de mama humano lutam para generalizar para outros tecidos sem adaptação específica.
Direções Futuras: Os autores notam que a limitação atual é o treinamento apenas em câncer de mama humano. Trabalhos futuros devem integrar esses classificadores em um pipeline de detecção de dois estágios e expandir os dados de treinamento para incluir tipos de tecidos e espécies diversos para melhorar a robustez.
Impacto Clínico: Ao automatizar a quantificação das razões de AMF, esta tecnologia pode apoiar uma graduação tumoral mais objetiva, reprodutível e eficiente, potencialmente melhorando o planejamento de tratamento e avaliações prognósticas em ambientes clínicos.

Em conclusão, o artigo estabelece que modelos de Fundação ajustados com LoRA (especificamente Virchow2) e Swin Transformers ajustados de ponta a ponta representam o estado da arte para classificação de AMF, superando significativamente a sondagem linear simples e oferecendo um caminho viável para análise histopatológica automatizada e robusta.