PlankFormer: Robust Plankton Instance Segmentation via MAE-Pretrained Vision Transformers and Pseudo Community Image Generation

Título: PlankFormer: Segmentação de Instância de Plâncton Robusta via Vision Transformers Pré-treinados com MAE e Geração de Imagens de Comunidade Pseudo

1. Problema e Contexto

O monitoramento de ecossistemas aquáticos é vital para a saúde ambiental, e o zooplâncton serve como um indicador crucial devido à sua sensibilidade às mudanças ambientais. No entanto, a análise tradicional depende de especialistas usando microscopia óptica, um processo manual, demorado e que enfrenta escassez de mão de obra qualificada.

A automação desse processo enfrenta dois desafios principais:

1. Escassez de Dados Anotados: A falta de conjuntos de dados públicos com anotações em nível de pixel para imagens de "comunidade" (imagens densas contendo múltiplos indivíduos de plâncton e detritos). A anotação manual de cada indivíduo nessas imagens é proibitivamente cara.
2. Dificuldade de Segmentação: As imagens reais contêm plâncton de tamanhos variados (de ~100 µm a ~1 mm), sobreposição de indivíduos e uma alta diversidade de formas devido a oclusões por detritos ou outros organismos. Métodos convencionais baseados em CNNs (Redes Neurais Convolucionais) falham frequentemente nesses cenários porque dependem excessivamente de características locais, não conseguindo capturar o contexto global necessário para separar indivíduos sobrepostos ou identificar formas distorcidas.

2. Metodologia Proposta (PlankFormer)

Os autores propõem o PlankFormer, um novo framework que combina geração de dados sintéticos e uma arquitetura baseada em Vision Transformer (ViT) com pré-treinamento auto-supervisionado.

A. Geração de Imagens de Comunidade Pseudo (PCI)

Para resolver a falta de dados anotados, o método sintetiza automaticamente imagens de treinamento rotuladas:

• Composição: Imagens individuais de plâncton (com rótulos de pixel) são sintetizadas sobre imagens de fundo.
• Diversidade de Fundo: Os fundos são extraídos de imagens reais de comunidade (regiões sem plâncton) e também gerados por modelos generativos (StyleGAN3 e DDPM), que são fine-tuned em fundos reais.
• Variações: Aplica-se rotação, espelhamento, redimensionamento aleatório e desfoque (filtro Gaussiano) às imagens individuais e de fundo para simular condições de microscopia variadas (foco, orientação).
• Rótulos: As máscaras de segmentação são geradas automaticamente aplicando as mesmas transformações geométricas às máscaras dos indivíduos originais. Os rótulos de classe são definidos no nível taxonômico de "Família" para equilibrar a granularidade e a capacidade de aprendizado de formas globais.

B. Arquitetura da Rede (PlankFormer)

O modelo de segmentação utiliza uma abordagem baseada em Transformers:

• Codificador (Encoder): Utiliza um ViT-Large (Vision Transformer).
• Decodificador: Utiliza o decodificador Mask2Former, que é eficaz para segmentação de instâncias.
• Pré-treinamento com MAE: A inovação central é o uso de um Masked Autoencoder (MAE) para pré-treinar o codificador ViT em um grande conjunto de imagens individuais de plâncton não rotuladas.
  • Objetivo: O MAE aprende a reconstruir partes ocultas da imagem, forçando o modelo a aprender características estruturais e de forma robustas. Isso é crucial para lidar com oclusões e detritos nas imagens de comunidade reais, onde partes do organismo podem estar escondidas.

3. Contribuições Chave

1. Pipeline de Geração de Dados (PCI): Um método eficaz para criar conjuntos de dados de treinamento sintéticos e rotulados a partir de poucas imagens individuais, utilizando modelos generativos para aumentar a diversidade de fundos e reduzir a dependência de anotação manual massiva.
2. Arquitetura ViT + MAE: A aplicação bem-sucedida de Vision Transformers pré-treinados com MAE para a tarefa de segmentação de plâncton, demonstrando superioridade em capturar características globais em comparação com CNNs.
3. Robustez a Oclusões: A combinação de pré-treinamento auto-supervisionado e dados sintéticos diversificados permite que o modelo generalize melhor para ambientes com alta densidade de detritos e sobreposição de organismos.

4. Resultados Experimentais

Os experimentos foram realizados em dois conjuntos de dados reais de lagos japoneses:

• Biwako: Imagens complexas com muitos detritos e indivíduos pequenos (cenário desafiador).
• Tsuruike: Imagens claras com indivíduos grandes e poucos detritos.

Principais achados:

• Desempenho Superior: O PlankFormer superou consistentemente métodos de referência como Mask R-CNN e Mask2Former (com backbone ResNet-50) em métricas de precisão média (mAP) e AP50, especialmente no conjunto de dados Biwako.
• Impacto do Pré-treinamento MAE: O uso do pré-treinamento MAE resultou em ganhos significativos de mAP em comparação com o treinamento a partir do zero ou com outros métodos de pré-treinamento (como UrFound, MoCo ou classificação supervisionada).
• Detecção de Pequenos Objetos: O modelo proposto demonstrou uma capacidade superior de detectar indivíduos pequenos e parcialmente ocluídos (APs - Average Precision for Small objects), atribuído à capacidade do ViT de capturar contexto global.
• Estudo Ablativo: A combinação de fundos gerados e processamento de desfoque (blur) provou ser essencial para a robustez em ambientes reais, embora possa introduzir um leve gap de domínio em imagens muito claras (Tsuruike).

5. Significância e Conclusão

O trabalho demonstra que é possível automatizar o monitoramento de plâncton com alta precisão sem a necessidade de anotações manuais extensas em nível de pixel para imagens de comunidade.

• Viabilidade Prática: A estratégia de síntese de dados (PCI) reduz drasticamente o custo de criação de conjuntos de dados.
• Avanço Técnico: A integração de MAE e ViT resolve limitações fundamentais dos métodos baseados em CNNs para objetos biológicos com alta variabilidade morfológica e oclusão.
• Futuro: O método abre caminho para sistemas de monitoramento sustentável e de alta precisão, embora trabalhos futuros devam focar em reduzir o gap de domínio em imagens muito claras e estender a classificação para níveis taxonômicos mais detalhados.

Em resumo, o PlankFormer estabelece um novo estado da arte para a segmentação de instância de plâncton, provando que a combinação de geração de dados sintéticos inteligentes e arquiteturas de Transformers pré-treinadas é a chave para superar os desafios de dados e complexidade visual nesse domínio.