Cross-modal learning for plankton recognition

1. Problema e Motivação

O reconhecimento automático de plâncton é fundamental para o monitoramento de ecossistemas aquáticos e a compreensão das mudanças climáticas. No entanto, existem desafios significativos:

• Dependência de Dados Rotulados: Os métodos atuais baseiam-se principalmente em abordagens supervisionadas que exigem grandes conjuntos de dados rotulados manualmente por especialistas, um processo caro e demorado.
• Subutilização de Dados Multimodais: Instrumentos modernos de imageamento de plâncton (como o CytoSense) capturam não apenas imagens, mas também perfis ópticos (espalhamento e fluorescência). Embora esses dados complementares existam, eles raramente são utilizados em modelos de reconhecimento, que focam quase exclusivamente nas imagens.
• Generalização: Modelos treinados em dados de laboratório frequentemente falham ao generalizar para dados coletados in situ (no ambiente natural) devido a variações nas condições e na composição das espécies.

O objetivo deste trabalho é explorar o aprendizado cross-modal auto-supervisionado para criar modelos de reconhecimento que utilizem tanto imagens quanto perfis ópticos, reduzindo a necessidade de anotação manual e melhorando a robustez.

2. Metodologia

A proposta adapta o conceito de Contrastive Language-Image Pre-training (CLIP) para o domínio do plâncton, substituindo o texto pelos perfis ópticos. O pipeline divide-se em duas etapas principais:

A. Pré-treinamento Contrastivo (Cross-Modal)

• Alinhamento de Modalidades: O modelo utiliza dois codificadores (encoders) distintos: um para imagens (bright-field) e outro para perfis ópticos (sequências de sinais de espalhamento e fluorescência).
• Objetivo: Aprender um espaço de incorporação (embedding) compartilhado onde pares correspondentes (imagem e perfil do mesmo partícula) estejam próximos, e pares não correspondentes estejam distantes.
• Funções de Perda: Foram testadas duas abordagens de perda contrastiva:
  1. InfoNCE: Perda de entropia cruzada simétrica padrão.
  2. Sigmoid Loss (SigLIP): Substitui a normalização softmax por classificação binária independente para todos os pares, demonstrando maior estabilidade e desempenho em regimes de poucos dados.
• Dados de Treinamento: O método utiliza grandes volumes de dados não rotulados (apenas indicando se um par imagem-perfil pertence à mesma partícula), eliminando a necessidade de rótulos de espécie durante o pré-treinamento.

B. Classificação por Vizinhança Mais Próxima (k-NN)

• Após o pré-treinamento, os codificadores são congelados.
• Um "galeria" pequena e rotulada de espécies conhecidas é criada no espaço de incorporação.
• Para classificar uma nova amostra, o sistema calcula a distância cosseno entre a amostra de teste (que pode ser apenas imagem, apenas perfil ou ambos) e a galeria.
• A classificação final é feita através de votação majoritária dos $k$ vizinhos mais próximos.

3. Contribuições Principais

1. Framework Multimodal: Proposição de um sistema de reconhecimento de plâncton que integra nativamente imagens de campo brilhante e perfis ópticos, permitindo inferência unimodal ou multimodal.
2. Novo Conjunto de Dados: Lançamento do conjunto de dados público SYKE-plankton_CytoSense_2025, contendo dados multimodais (imagens e perfis) de três fontes: laboratório (LAB), mar Báltico (SEA) e estação de pesquisa (UTO).
3. Estratégia de Aprendizado sem Rótulos: Demonstração de que a coordenação de representações cross-modal pode ser realizada apenas com dados não rotulados, alcançando alta precisão com um número mínimo de imagens rotuladas para a fase de classificação.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando os datasets LAB, SEA e UTO, avaliando desempenho in-domain (mesmo dataset) e cross-domain (treino em um, teste em outro).

• Desempenho In-Domain: O modelo alcançou uma precisão média de 96,01% no dataset LAB quando ambas as modalidades estavam presentes na galeria e no teste. A perda InfoNCE superou consistentemente a perda Sigmoid em configurações de baixo volume de dados.
• Generalização Cross-Domain: Modelos pré-treinados no dataset UTO (dados brutos in situ não rotulados) generalizaram melhor para o dataset SEA do que modelos treinados apenas em dados de laboratório (LAB). Isso indica que dados não rotulados do mundo real capturam melhor a heterogeneidade natural.
• Comparação com Baselines: O modelo multimodal superou consistentemente o baseline de aprendizado auto-supervisionado apenas com imagens (DINO), mesmo quando testado apenas com imagens. Isso sugere que o pré-treinamento multimodal enriquece a representação visual.
• Arquiteturas: Entre os codificadores de perfil, CNNs 1D e Transformers mostraram-se superiores aos LSTMs. Para imagens, arquiteturas leves como ViT-Tiny e ConvNeXt Femto foram eficazes.
• Robustez: O sistema manteve alta precisão mesmo quando a galeria e o teste usavam modalidades diferentes (ex: galeria com imagens, teste com perfis), demonstrando um alinhamento efetivo entre os espaços de características.

5. Significado e Conclusão

Este trabalho demonstra que o aprendizado cross-modal auto-supervisionado é uma estratégia viável e poderosa para o reconhecimento de plâncton. Ao alinhar imagens e perfis ópticos em um espaço compartilhado, o método:

• Reduz drasticamente a dependência de anotação manual especializada.
• Melhora a robustez e a generalização para ambientes naturais variáveis.
• Permite o uso flexível de dados (imagens, perfis ou ambos) durante a inferência.

A disponibilidade pública dos dados e do código (GitHub) estabelece uma nova base para pesquisas futuras em monitoramento ambiental automatizado e aprendizado multimodal em biologia.