A drone-based framework for coral habitat mapping via weakly supervised segmentation

Resumo Técnico: Uma Framework Baseada em Drones para Mapeamento de Habitats de Corais via Segmentação Fracamente Supervisionada

Declaração do Problema
A implementação de aprendizado de máquina para monitoramento ecológico em grande escala é dificultada pelo gargalo na obtenção de anotações em nível de pixel, que são trabalhosas e custosas de produzir para extensas áreas de recifes. Embora Veículos Aéreos Não Tripulados (VANTs) ofereçam cobertura aérea escalável, suas imagens frequentemente carecem da resolução necessária para distinguir morfotipos de corais em escala fina em comparação com observações subaquáticas. Por outro lado, Veículos de Superfície Autônomos (ASVs) fornecem dados subaquáticos de alta resolução, mas cobrem extensões espaciais limitadas. Métodos existentes de Segmentação Semântica Fracamente Supervisionada (WSSS) geralmente operam dentro de uma única modalidade ou escala espacial, falhando em abordar o desafio de transferir conhecimento entre modalidades distintas (subaquático para aéreo) e alinhar previsões esparsas, ponto a ponto, com ortofotos de alta resolução.

Metodologia
Os autores propõem uma framework WSSS multi-escala que conecta observações subaquáticas em escala fina com mapeamento aéreo em grande escala. O fluxo de trabalho consiste em seis etapas-chave:

1. Aquisição e Classificação de Dados Subaquáticos: Imagens georreferenciadas de alta densidade são coletadas por meio de transectos de ASV (espaçados de 0,5 a 1 metro). Um modelo "professor" de aprendizado profundo (DinoVDeau) classifica morfotipos de corais nessas imagens, gerando previsões de probabilidade ponto a ponto.
2. Interpolação e Rasterização: As previsões ponto a ponto são interpoladas linearmente para criar rasters de probabilidade contínuos. Para lidar com desequilíbrio de classes e níveis variados de confiança, uma normalização por quantis específica de classe é aplicada aos mapas de probabilidade antes de atribuir o rótulo de classe final a cada pixel (argmax das probabilidades normalizadas).
3. Aquisição de Dados Aéreos: Ortofotos de VANT de alta resolução são geradas usando Estrutura a partir de Movimento (SfM) e refinadas com Pontos de Controle de Solo (GCPs) para georreferenciamento preciso.
4. Construção do Conjunto de Dados: Os rasters interpolados do ASV são alinhados com as ortofotos do VANT e amostrados para cima (upsampled) para criar máscaras de segmentação fracas. O conjunto de dados é dividido em blocos (512×512 pixels), com foco em reter classes distinguíveis em imagens aéreas (por exemplo, Acropora Ramificada, Acropora Tabular, Massiva Não-Acropora, Outros Corais e Areia).
5. Treinamento do Modelo Aluno: Um modelo de segmentação semântica baseado em transformadores (SegFormer) é treinado nas imagens do VANT usando as máscaras fracas derivadas do ASV. Os autores empregam uma função de perda Dice baseada em regiões para mitigar os efeitos de ruído nos rótulos e desequilíbrio de classes.
6. Refinamento de Máscara e Auto-Distilação: As previsões iniciais do modelo são refinadas usando SAMRefiner (adaptando o Segment Anything Model para refinamento de máscaras). Essas máscaras refinadas servem como pseudo-rótulos para re-treinar o modelo SegFormer (Auto-Distilação de Conhecimento), melhorando ainda mais a precisão espacial sem novas anotações manuais.

Contribuições Principais

• WSSS Cross-Modal: A framework transfere com sucesso informações em escala fina das imagens do ASV para modelos de segmentação de VANT, efetivamente fechando a lacuna entre classificação subaquática e segmentação aérea.
• Eficiência de Anotação: O método elimina a necessidade de rotulagem manual em nível de pixel de imagens aéreas, reduzindo a carga de anotação para a tarefa mais simples de classificar imagens subaquáticas.
• Pipeline de Refinamento: A integração do SAMRefiner e da auto-distilação aprimora significativamente a precisão espacial das máscaras de segmentação derivadas de rótulos fracos grosseiros.
• Extensibilidade: A abordagem demonstra flexibilidade na incorporação de novas classes (por exemplo, pepinos-do-mar) via anotação manual limitada ou sessões adicionais de ASV, e pode adaptar-se a diferentes arquiteturas de classificação subaquática.

Resultados
A framework foi avaliada em duas zonas distintas de recifes na Ilha da Reunião (lagunas Trou d'eau e Saint-Leu) usando verdadeiras de referência anotadas manualmente para validação.

• Desempenho: O modelo final (SegFormer B2 com pipeline completo de refinamento) alcançou 86,07% de precisão de pixel e 52,23% de Interseção sobre União Média (mIoU) nas zonas de teste.
• Análise de Componentes: Estudos de ablação confirmaram que o pipeline completo (Grosso + Refinado + Destilado) superou variantes usando apenas rótulos grosseiros ou refinamento de etapa única, oferecendo o melhor equilíbrio entre precisão e resolução espacial.
• Desempenho por Classe: O modelo performou robustamente em classes dominantes como Areia (95,5% de recall) e Acropora Ramificada. O desempenho foi menor para classes visualmente complexas ou raras (por exemplo, Outros Corais com mIoU ~31,6%), atribuído à variabilidade intra-classe e ambiguidade espectral em vistas aéreas.
• Estudos de Caso:
  • Impacto de Ciclone: O modelo quantificou com sucesso a perda de corais após o Ciclone Garance, identificando uma perda de 89,70% de colônias de Massiva Não-Acropora em uma zona específica ao comparar ortofotos pré e pós-ciclone.
  • Integração de Nova Classe: A framework integrou com sucesso uma classe "Pepino-do-mar" usando apenas 338 instâncias anotadas manualmente, demonstrando a capacidade de aprender a partir de novos dados esparsos enquanto mantém desempenho razoável em classes existentes.

Significado e Afirmações
O artigo afirma que esta framework fornece uma solução eficiente e escalável para implantar modelos de segmentação em contextos ecológicos onde anotações em nível de pixel estão indisponíveis. Ao aproveitar a supervisão fraca de levantamentos subaquáticos densos, o método permite a segmentação de grandes áreas de morfotipos de corais com detalhes de alta resolução. Os autores posicionam isso como uma ferramenta prática para monitoramento de conservação, capaz de detectar mudanças ecológicas (como aquelas causadas por ciclones) e apoiar a avaliação da biodiversidade sem os custos proibitivos de anotação manual. O estudo enfatiza que, embora a implementação atual foque em classes específicas, a metodologia é genérica e pode ser estendida para outras classes bentônicas ou escalada para imagens de satélite, oferecendo um caminho para sensoriamento remoto hierárquico na ecologia marinha.