Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

Resumo Técnico: Além da Classificação: Modelos de Fundação de Patologia como Codificadores de Detecção para Figuras Mitóticas

Problema
Os Modelos de Fundação (FMs) de patologia, como o UNI, Virchow e H-Optimus, demonstraram um forte desempenho em tarefas de classificação de nível de imagem e de patch ao alavancar o aprendizado autossupervisionado em vastos conjuntos de dados de histopatologia não rotulados. No entanto, sua utilidade em tarefas de detecção de objetos densos permanece incerta. Especificamente, não se sabe se os espaços latentes desses FMs — treinados primariamente em autossupressão de nível de imagem — contêm características suficientemente discriminativas e espacialmente resolvidas para servir como backbones para a detecção de figuras mitóticas (MFs). A detecção de MFs é uma tarefa crítica em oncologia para estratificação prognóstica, mas exige localização espacial fina em vez de sumarização semântica. Tentativas anteriores de integrar FMs em pipelines de nível celular (ex: CellViT++) mostraram que representações de classificação fortes não se transferem automaticamente para detecção, muitas vezes subperformando em comparação com modelos treinados do zero. Este estudo investiga se backbones de FMs congelados podem competir com baselines convolucionais totalmente treinados de ponta a ponta para a detecção de MFs.

Metodologia
Os autores conduziram uma avaliação sistemática comparando FMs de patologia congelados contra um baseline convolucional convencional no dataset multi-domínio MIDOG++ e no dataset fora do domínio (OOD) TUPAC16.

• Backbones: Seis FMs baseados em ViT foram avaliados como extratores de características estritamente congelados: UNI, UNI2-h, Virchow, Virchow2, H-Optimus-0 e H-Optimus-1. Estes foram comparados contra dois baselines ResNet-50: um totalmente ajustado (fine-tuned) de ponta a ponta e um congelado.
• Cabeças de Detecção: Cada backbone foi emparelhado com três arquiteturas de detecção distintas representando diferentes paradigmas:
  • Single-stage: RetinaNet
  • Two-stage: Faster R-CNN
  • Predição de conjunto baseada em Transformer: Deformable DETR
• Adaptação de Arquitetura: Como os backbones ViT produzem mapas de características de escala única enquanto os detectores requerem hierarquias multi-escala, um pescoço (neck) de Pirâmide de Características leve (baseado no design ViTDet) foi inserido entre o backbone congelado e a cabeça de detecção. Este neck era o único componente treinável nas configurações de backbone congelado, responsável por adaptar representações de escala única para predição densa multi-escala.
• Protocolo de Treinamento: Todos os modelos foram treinados usando o framework MMDetection com aumento de dados idêntico (flips, transformações afins, jittering de corante) e configurações de otimização (AdamW, cronogramas de taxa de aprendizado cosine/step). A avaliação incluiu F1 média micro, precisão, recall e a Área Sob a Curva de Característica Operacional de Faixa Livre (FROC-AUC).

Principais Resultados
O estudo gerou as seguintes características de desempenho no conjunto de teste MIDOG++ e no conjunto OOD TUPAC16:

1. Competitividade dos FMs Congelados: A melhor configuração de FM congelado (H-Optimus-0 com RetinaNet) alcançou um F1 score de 0,7718 no MIDOG++, aproximando-se do baseline ResNet-50 totalmente ajustado (F1 0,7917). Notavelmente, os FMs congelados superaram significativamente o baseline ResNet-50 congelado (melhor F1 0,7498), indicando que a vantagem advém do pré-treinamento específico de patologia e não do mero ato de congelar um backbone.
2. Impacto das Cabeças de Detecção: O desempenho variou significativamente com base na cabeça de detecção. A RetinaNet foi a cabeça mais confiável, alcançando os maiores F1 scores para o baseline ResNet-50, H-Optimus-0 e Virchow. O Faster R-CNN e o Deformable DETR mostraram resultados mais variáveis dependendo do backbone.
3. Robustez Fora do Domínio (Out-of-Domain): No dataset TUPAC16, a ordem de desempenho se inverteu. O melhor F1 score geral (0,7349) foi alcançado por um FM congelado (H-Optimus-0 com RetinaNet), superando a melhor configuração ResNet-50 (0,7193). Isso sugere que as características de FMs congelados podem ser ligeiramente mais robustas a mudanças de domínio do que redes convolucionais totalmente ajustadas treinadas no domínio de origem.
4. Ranking de Backbones: Entre os FMs, os modelos de patologia específica H-Optimus (0 e 1) geralmente lideraram o desempenho, seguidos de perto pela família Virchow. O UNI e o UNI2-h ficaram atrás.

Significância e Alegações
O artigo conclui que os espaços latentes congelados dos atuais FMs de patologia são suficientemente ricos e espacialmente resolvidos para suportar a detecção densa de figuras mitóticas sem qualquer adaptação específica da tarefa dos pesos do backbone. Os autores alegam que:

• A Informação Espacial está Presente: Apesar de terem sido treinados puramente em autossupressão de nível de imagem, esses modelos codificam a informação espacial necessária para localizar pequenos objetos como figuras mitóticas, recuperável por um neck e uma cabeça leves.
• Robustez: FMs congelados demonstram um grau de robustez a mudanças de domínio que excede o das baselines totalmente ajustadas neste cenário específico de detecção.
• Implicações de Design: O estudo destaca que a escolha da cabeça e do neck de detecção é crítica, frequentemente superando as diferenças entre modelos de fundação específicos.

Os autores permanecem cautelosos, observando que estes resultados caracterizam a informação presente nas representações congeladas. Eles sugerem que o ajuste fino de parâmetros eficientes (ex: LoRA) poderia potencialmente fechar a lacuna restante em relação aos modelos treinados de ponta a ponta, embora permaneça uma questão aberta se tal adaptação preservaria a observada robustez fora do domínio. O trabalho estabelece que os modelos de fundação são backbones viáveis para tarefas de detecção densa em patologia, indo além de seu papel estabelecido na classificação.