Resumo Técnico: Avaliação de Desempenho de Modelos de Fundação para Classificação de Figuras Mitóticas

Declaração do Problema

Na patologia computacional, o desempenho dos modelos de aprendizagem profunda é fortemente limitado pela escassez de conjuntos de dados de alta qualidade e anotados por especialistas. A anotação de Imagens de Lâminas Inteiras (WSIs) é laboriosa, propensa à variabilidade interobservador e complicada por mudanças de domínio decorrentes de diferenças em protocolos de coloração e dispositivos de digitalização. Embora o aprendizado autossupervisionado (SSL) tenha permitido o treinamento de "modelos de fundação" em larga escala em vastos conjuntos de dados não rotulados, há uma falta de análise aprofundada sobre como esses modelos performam em tarefas específicas e detalhadas, como a classificação de figuras mitóticas, sob diferentes regimes de dados. Especificamente, permanece incerto como diferentes estratégias de adaptação (por exemplo, linear probing vs. ajuste fino de parâmetros eficientes) escalam com a disponibilidade de dados e quão robustos esses modelos são quando aplicados a domínios tumorais não vistos (fora da distribuição).

Metodologia

Os autores conduziram um estudo sistemático de avaliação comparativa avaliando seis modelos de fundação específicos para patologia contra baselines tradicionais.

Conjuntos de Dados

Dois conjuntos de dados publicamente disponíveis foram utilizados:

1. CCMCT: Um conjunto de dados de domínio único em larga escala de mastocitomas cutâneos caninos (32 WSIs, ~45 mil figuras mitóticas). Utilizado para experimentos de escalonamento de dados.
2. MIDOG 2022: Um conjunto de dados altamente diverso e multidomínio abrangendo cinco tipos de tumores (caninos e humanos), múltiplas espécies e vários scanners. Utilizado para experimentos de robustez cross-domain.

Modelos Avaliados

O estudo comparou seis modelos de fundação de patologia (Phikon, UNI, Virchow, Virchow2, H-optimus-0, Prov-GigaPath) e um Vision Transformer de propósito geral (ViT-S DINOv3) contra baselines tradicionais (ResNet50, ViT-S/B/H). Os modelos de fundação variaram em tamanho de backbone (ViT-B a ViT-G), algoritmos de pré-treinamento (iBOT, DINOv2) e escala de dados de pré-treinamento (até 2 bilhões de tiles).

Estratégias de Adaptação

Três abordagens primárias de adaptação foram testadas:

1. Linear Probing: O backbone é congelado e apenas um classificador linear é treinado sobre as características extraídas.
2. Low-Rank Adaptation (LoRA): Uma técnica de ajuste fino de parâmetros eficientes onde matrizes de baixo posto são injetadas nas camadas de atenção e MLP, permitindo o ajuste fino seletivo com um número mínimo de parâmetros treináveis.
3. End-to-End Fine-Tuning: Treinamento supervisionado tradicional de todo o modelo (usado para baselines e comparação).

Desenho Experimental

• Escalonamento de Dados: Os modelos foram treinados em 0,1%, 1%, 10% e 100% dos dados de treinamento para avaliar o desempenho em cenários de escassez e abundância de dados.
• Cross-Domain: Usando o MIDOG 2022, os modelos foram treinados em um domínio tumoral e testados em todos os outros para avaliar a generalização para distribuições não vistas.
• Métricas: O desempenho foi avaliado usando Acurácia Balanceada, F1 Ponderado e AUROC, com significância estatística testada via testes de postos sinalizados de Wilcoxon.

Principais Contribuições

1. Avaliação Sistemática: O artigo fornece uma avaliação abrangente dos atuais modelos de fundação de patologia especificamente para a tarefa de classificação de figuras mitóticas, um marcador prognóstico crítico.
2. Comparação de Estratégias de Adaptação: Ele compara rigorosamente o linear probing contra o LoRA, demonstrando que o LoRA supera consistentemente o linear probing, particularmente em regimes de baixos dados.
3. Leis de Escalonamento de Dados: O estudo quantifica a relação entre o tamanho dos dados de treinamento e o desempenho do modelo, mostrando que modelos adaptados com LoRA podem atingir o desempenho próximo ao de dados totais usando apenas 10% dos dados de treinamento.
4. Robustez Cross-Domain: O trabalho avalia a capacidade desses modelos de generalizar entre diferentes tipos de tumores e espécies, destacando a eficácia do LoRA em fechar a lacuna de desempenho entre cenários in-domain e out-of-domain.

Resultados

• Superioridade do LoRA: Em ambos os conjuntos de dados e em todas as escalas de dados, os modelos de fundação adaptados com LoRA superaram significativamente aqueles que utilizam linear probing. No conjunto de dados CCMCT, os modelos adaptados com LoRA atingiram níveis de desempenho comparáveis à disponibilidade de 100% dos dados usando apenas 10% deles.
• Superando Baselines: Na escala total de dados, os modelos de fundação adaptados com LoRA (especificamente Virchow2 e H-optimus-0) igualaram ou excederam o desempenho das arquiteturas tradicionais totalmente ajustadas (ResNet50). No entanto, o linear probing sozinho geralmente apresentou desempenho inferior aos baselines treinados de ponta a ponta.
• Generalização Cross-Domain: No experimento cross-domain, os modelos adaptados com LoRA demonstraram uma robustez notável. Modelos como H-optimus-0 e Virchow2 alcançaram escores de AUROC out-of-domain de 0,88 e 0,87 respectivamente, quase fechando a lacuna com seu desempenho in-domain. Em contraste, os baselines tradicionais e as abordagens de linear probing mostraram quedas significativas de desempenho em domínios não vistos.
• Especificidades do Modelo: Os modelos de fundação mais recentes e maiores (Virchow2, H-optimus-0) geralmente produziram os melhores resultados. O modelo de propósito geral ViT-S DINOv3 teve desempenho inferior aos modelos de fundação específicos de patologia, indicando que o pré-treinamento específico de domínio é crucial.

Significância e Alegações

Os autores alegam que seu trabalho demonstra o valor prático de estratégias de adaptação de parâmetros eficientes (LoRA) para aplicações clínicas onde os dados anotados são escassos e heterogêneos. Os achados sugerem que:

• Modelos de fundação, quando adaptados via LoRA, oferecem um compromisso superior entre custo computacional e desempenho, permitindo soluções robustas que se generalizam através de diversos contextos clínicos.
• As "leis de escalonamento de dados" observadas indicam que a classificação de figuras mitóticas de alto desempenho é alcançável com significativamente menos dados rotulados do que o anteriormente considerado necessário para o aprendizado supervisionado tradicional.
• Embora as arquiteturas tradicionais com ajuste fino total permaneçam competitivas quando há abundância de dados, os modelos de fundação adaptados com LoRA fornecem uma abordagem mais escalável e robusta para implantação no mundo real, onde as mudanças de domínio são comuns.

O artigo conclui que, embora os modelos de fundação estejam posicionados para transformar a patologia computacional, trabalhos futuros devem abordar sua integração em pipelines completos de detecção e explorar ainda mais a otimização de hiperparâmetros para métodos de parâmetros eficientes.