Revisiting foundation models for cell instance segmentation

Título: Revisitação de Modelos de Fundação para Segmentação de Instâncias Celulares

Autores: Anwai Archit e Constantin Pape (Universidade de Göttingen)
Publicação: MIDL 2026 (Proceedings of Machine Learning Research)

---

1. Problema e Contexto

A segmentação de instâncias celulares é uma tarefa fundamental na análise de imagens de microscopia, essencial para aplicações como triagem de drogas de alto conteúdo, análise de embriogênese e estudos de histopatologia. Embora existam muitas ferramentas dedicadas baseadas em aprendizado profundo (como CellPose, CellViT, etc.), a grande variedade de modelos e a falta de pré-treinamento para tarefas específicas sobrecarregam os usuários.

Recentemente, surgiram Modelos de Fundação de Visão (VFMs), como o Segment Anything Model (SAM) e suas evoluções (SAM2 e SAM3), projetados para segmentação de propósito geral. No entanto, surgem questões críticas:

1. Qual é a melhor estratégia para adaptar modelos estilo SAM para dados de microscopia?
2. Modelos específicos para microscopia ainda são necessários, ou modelos gerais (como o SAM3) os tornam obsoletos?
3. Qual é a influência dos dados de treinamento (modalidade, tamanho, diversidade) no desempenho?

O artigo observa que, embora o SAM funcione bem em tarefas fáceis, ele falha em tarefas complexas de microscopia (células sobrepostas, morfologias complexas) quando usado em seu modo automático padrão.

2. Metodologia

2.1. Avaliação Comparativa de Modelos

Os autores realizaram um benchmark extensivo comparando modelos de propósito geral e modelos específicos para microscopia em 36 conjuntos de dados abrangendo quatro domínios:

• Segmentação de células em microscopia de fluorescência.
• Segmentação de células em microscopia sem marcação (label-free).
• Segmentação de núcleos em microscopia de fluorescência.
• Segmentação de núcleos em histopatologia.

Modelos avaliados:

• Propósito Geral: SAM (com Geração Automática de Máscaras - AMG), SAM2 (não avaliado devido a desempenho inferior neste contexto), SAM3.
• Específicos para Microscopia: CellPoseSAM, CellSAM, µSAM (e sua extensão PathoSAM para histopatologia).

2.2. Nova Estratégia: Geração Automática de Prompts (APG)

O principal contributo metodológico é a introdução da Geração Automática de Prompts (Automatic Prompt Generation - APG).

• Conceito: O APG é uma estratégia de pós-processamento que opera sobre modelos SAM já ajustados (como o µSAM), sem necessidade de re-treinamento.
• Funcionamento:
  1. O modelo de segmentação (ex: µSAM) gera probabilidades de foreground e distâncias normalizadas para fronteiras e centros.
  2. Aplica-se limiares para criar máscaras binárias e extrai-se componentes conectados.
  3. Para cada componente, deriva-se um ponto de prompt (baseado no máximo da distância transformada).
  4. Esses pontos são enviados ao codificador de prompts e ao decodificador de máscaras do SAM para gerar previsões refinadas.
  5. As máscaras preditas são filtradas e fundidas usando Supressão de Máxima Não-Máxima (NMS) baseada na Interseção sobre União (IoU) prevista.
• Vantagem: Diferente de métodos anteriores que tentavam derivar exatamente um prompt por objeto (o que falhava em objetos complexos), o APG permite múltiplos prompts por objeto, filtrando-os posteriormente. Isso combina a força do decodificador personalizado (µSAM) com a capacidade de refino baseada em prompts do SAM.

3. Resultados Principais

3.1. Desempenho do APG

• O APG melhorou consistentemente o desempenho do modelo base µSAM em todos os casos de microscopia sem marcação (label-free), com ganhos substanciais em conjuntos de dados complexos como o TOIAM.
• Em fluorescência e histopatologia, o APG superou o método anterior de segmentação automática (AIS) na maioria dos conjuntos de dados (7/9 em núcleos de fluorescência e 7/9 em histopatologia).
• O APG (sobre µSAM) e o CellPoseSAM foram consistentemente os dois melhores métodos, ocupando os top-3 em todas as quatro modalidades.

3.2. Modelos de Propósito Geral vs. Específicos

• SAM3: Embora tenha sido treinado com alguns dados de microscopia, o SAM3 (usando prompts de texto como "cell" ou "nucleus") não foi competitivo com os modelos específicos de domínio.
  • O SAM3 mostrou-se sensível à escolha do prompt de texto; termos biológicos corretos nem sempre funcionaram melhor do que descrições de forma (ex: "blob", "dot").
  • O modelo falhou em reconhecer termos biológicos específicos como "núcleo" em alguns contextos.
• Conclusão: Modelos de fundação específicos para microscopia (como CellPoseSAM e µSAM+APG) ainda são superiores aos modelos gerais, mesmo com o avanço do SAM3.

3.3. Impacto dos Dados de Treinamento

• O desempenho dos modelos correlacionou-se fortemente com o tamanho e a diversidade dos dados de treinamento específicos do domínio.
• Modelos treinados em grandes conjuntos de dados de microscopia (CellPose e µSAM) superaram os modelos treinados apenas em imagens naturais ou com poucos dados de microscopia.
• A adaptação (fine-tuning) em pequenos conjuntos de dados específicos continua sendo relevante e eficaz.

4. Contribuições Chave

1. Benchmark Abrangente: A primeira avaliação completa e comparativa dos modelos SAM, SAM2, SAM3 e modelos especializados (CellPoseSAM, µSAM, etc.) em um conjunto diversificado de 36 datasets de microscopia.
2. Método APG: Proposição de uma nova estratégia de segmentação de instâncias que não requer re-treinamento, mas sim uma reutilização inteligente das previsões do decodificador para gerar prompts, melhorando significativamente a robustez em morfologias complexas.
3. Diretrizes de Adaptação: Evidência de que, para microscopia, a combinação de um decodificador especializado com uma estratégia de prompts automatizada (APG) supera tanto a segmentação puramente automática quanto o uso de modelos gerais de propósito geral.

5. Significado e Conclusão

O trabalho demonstra que, embora os modelos de fundação gerais (como SAM3) sejam poderosos, eles ainda não substituem modelos treinados especificamente para microscopia. A chave para o sucesso não é apenas o modelo base, mas a estratégia de adaptação.

A introdução do APG oferece um caminho prático para melhorar modelos existentes sem custo computacional de treinamento adicional, estabelecendo um novo padrão de desempenho competitivo com o estado da arte (CellPoseSAM). O estudo reforça que a qualidade e a quantidade dos dados de treinamento específicos do domínio são fatores determinantes, e que a combinação de decodificadores especializados com mecanismos de prompts inteligentes é a estratégia mais promissora para a criação de futuros modelos de fundação em bioimagem.

Limitações: O estudo focou na avaliação 2D, mesmo para datasets 3D (amostrando fatias), e não testou a segmentação por exemplo (few-shot) com imagens anotadas no SAM3, o que poderia ser um foco futuro.