Tighnari v2: Mitigating Label Noise and Distribution Shift in Multimodal Plant Distribution Prediction via Mixture of Experts and Weakly Supervised Learning

Resumo Técnico: Tighnari v2 – Mitigação de Ruído de Rótulos e Desvio de Distribuição na Predição Multimodal de Distribuição de Plantas

1. O Problema

A predição da distribuição de espécies vegetais é fundamental para a conservação da biodiversidade, mas enfrenta dois obstáculos principais relacionados aos dados de observação:

• Dados de Presença-Ausência (PA): São precisos e livres de ruído, mas caros de obter e escassos em volume.
• Dados de Presença-Apenas (PO): São abundantes e cobrem grandes áreas temporais e espaciais (geralmente via ciência cidadã), mas sofrem de severo ruído de rótulo. Em dados PO, amostras rotuladas como "ausentes" podem, na verdade, conter a espécie, mas o observador apenas não a registrou.
• Desvio de Distribuição (Distribution Shift): Existe uma discrepância geográfica entre os dados de treinamento e os de teste (ex: treinamento em Europa Ocidental e teste na Europa Oriental), o que degrada o desempenho de modelos tradicionais.

2. Metodologia Proposta

Os autores propõem o Tighnari v2, um framework de fusão multimodal que utiliza uma abordagem de aprendizado fracamente supervisionado e uma arquitetura de "Mistura de Especialistas" (Mixture of Experts - MoE).

A. Estratégia de Pseudo-rotulagem (Weakly Supervised Learning):
Para mitigar o ruído nos dados PO, os autores criaram uma regra de agregação baseada na cobertura geográfica das imagens de satélite. Eles agregam rótulos de amostras PO dentro de um patch de imagem de 640m x 640m. Isso transforma o conjunto PO em algo mais próximo de um levantamento de quadrantes profissional, reduzindo o ruído de "ausência" sem introduzir ruído de "presença".

B. Arquitetura de Rede Multimodal:
O modelo utiliza quatro modalidades de entrada:

1. Imagens de Satélite (Sentinel): Processadas por um Swin Transformer Base.
2. Séries Temporais (Landsat/Bioclim): Processadas por um Temporal Swin Transformer.
3. Dados Tabulares (Climáticos/Ambientais): Processados pela rede TabM (baseada em BatchEnsemble).
4. Agregação de Rótulos de Vizinhança: Uma modalidade opcional usada apenas com dados PA para evitar a propagação de ruído.

C. Fusão de Modalidades (Stackable Serial Tri-modal Cross-Attention):
Em vez de uma concatenação simples, os autores desenvolveram um mecanismo de atenção cruzada serial. As modalidades atualizam umas às outras de forma ordenada (A atualiza B e C; depois B atualiza A e C, etc.), permitindo que a modalidade dominante guie a extração de características de ordem superior.

D. Função de Perda (Asymmetric Loss - ASL):
Para lidar com o desequilíbrio de classes (muito mais espécies ausentes do que presentes) e o ruído nos rótulos negativos, utilizaram a Asymmetric Loss. A ASL aplica pesos diferentes para exemplos positivos e negativos e utiliza um limiar de clipping para suprimir a perda de amostras negativas que o modelo prevê com alta probabilidade de presença, mitigando o impacto de rótulos incorretos.

E. Abordagem Mixture of Experts (MoE):
Para resolver o desvio de distribuição geográfica, o modelo divide o problema em dois "especialistas":

• Modelo In-Distribution: Treinado para amostras geograficamente próximas aos dados PA de treinamento.
• Modelo Out-of-Distribution (OOD): Treinado com uma estratégia de dois estágios (pré-treino com dados PO pseudo-rotulados e ajuste fino com dados PA limpos) para lidar com regiões novas.

3. Principais Contribuições

1. Nova regra de pseudo-rotulagem baseada em geografia que reduz o ruído de rótulos negativos.
2. Módulo de atenção cruzada serial empilhável que melhora a fusão de dados heterogêneos.
3. Estratégia de treinamento em dois estágios para equilibrar o aprendizado de espécies raras (via PO) com a precisão de espécies comuns (via PA).
4. Implementação de um paradigma MoE para lidar com a mudança de distribuição geográfica entre treino e teste.

4. Resultados e Significância

• Desempenho Superior: O modelo alcançou o 3º lugar no GeoLifeCLEF 2025, destacando-se especialmente em cenários de distribuição geográfica fora do padrão (OOD).
• Superação de Benchmarks: O Tighnari v2 superou a pontuação do 2º colocado no desafio de 2024, mesmo quando os dados de 2024 eram mais "fáceis" (distribuição idêntica entre treino e teste).
• Significância: O trabalho demonstra que é possível integrar dados de ciência cidadã (sujos, mas volumosos) com dados científicos (limpos, mas escassos) de forma eficaz, criando modelos de predição de biodiversidade muito mais robustos para aplicações reais de conservação em escala global.