BAWSeg: A UAV Multispectral Benchmark for Barley Weed Segmentation

1. Problema e Motivação

O mapeamento preciso de ervas daninhas em campos de cereais (especificamente cevada) é crucial para a gestão agrícola de precisão, visando reduzir perdas de rendimento e o uso excessivo de herbicidas. No entanto, existem desafios significativos nas abordagens atuais:

• Fragilidade de Índices de Vegetação: Pipelines tradicionais baseadas em índices de vegetação (como NDVI) com limiares fixos são sensíveis a deriva radiométrica e falham em pixels mistos (onde a cultura e a erva daninha se sobrepõem).
• Limitações de Redes Neurais Atuais: Arquiteturas de segmentação semântica convencionais (CNNs e Transformers) que ingerem bandas empilhadas e índices como um único fluxo de dados frequentemente sofrem com interferência entre pistas de radiação e pistas de índice normalizado. Isso reduz a sensibilidade a pequenos aglomerados de ervas daninhas embutidos na copa da cultura.
• Falta de Benchmarks Realistas: A maioria dos conjuntos de dados públicos foca em imagens de curto alcance ou em reconhecimento de nível de imagem, carecendo de ortomosaicos multiespectrais calibrados com máscaras de segmentação pixel a pixel que suportem validação sob deslocamento de domínio espacial e temporal (entre diferentes campos e anos).

2. Metodologia

O artigo propõe duas contribuições principais: um novo modelo de rede neural (VISA) e um novo conjunto de dados de benchmark (BAWSeg).

A. O Modelo VISA (Vegetation Index and Spectral Attention)

O VISA é uma arquitetura de segmentação de dois fluxos (two-stream) projetada para desacoplar e fundir pistas radiométricas e de índice de vegetação na resolução nativa:

1. Fluxo de Radiância (Spectral Residual Attention Branch - SRAB):

   • Processa diretamente as cinco bandas de reflectância calibrada (Azul, Verde, Vermelho, Red Edge, NIR).
   • Utiliza convoluções residuais locais, recalibração de canais (SE) e gateamento espacial (CBAM) para preservar texturas finas, limites de fileiras e estruturas pequenas de ervas daninhas que seriam atenuadas por compressão baseada em razões (índices).
   • Utiliza um decodificador conectado por skip-connections para manter a precisão de borda.

2. Fluxo de Índice de Vegetação (Vegetation-Index Branch):

   • Opera em mapas de cinco índices derivados (NDVI, GNDVI, EVI, SAVI, MSAVI).
   • Utiliza Atenção Auto-organizada em Janela (Windowed Self-Attention) para modelar estrutura local eficientemente.
   • Incorpora camadas de Estado-Espaço (Mamba) para propagar contexto em escala de campo sem o custo quadrático da atenção global.
   • Emprega Slot Attention para agrupar tokens em descritores de região estáveis, melhorando a discriminação de ervas daninhas esparsas sob mistura de copa.
   • Inclui um mecanismo de broadcast de slot médio para injetar um prior global na grade espacial.

3. Fusão e Predição:

   • Os mapas de características de ambos os fluxos (na resolução nativa de 256x256) são concatenados e processados por um cabeçalho de fusão leve para gerar logits por pixel.
   • A função de perda combina entropia cruzada balanceada por classe, perda Dice (para bordas finas) e perda de borda (edge-aware).

B. O Dataset BAWSeg

• Coleta: Dados coletados ao longo de quatro anos (2020–2023) em dois campos comerciais de cevada em Kondinin, Austrália Ocidental.
• Plataforma: UAV DJI Phantom 4 Multispectral com sensor de irradiância e posicionamento RTK.
• Dados: Ortomosaicos multiespectrais calibrados radiometricamente (5 bandas) e 5 índices de vegetação derivados.
• Anotação: Máscaras densas de pixel para "Cultura", "Erva Daninha" (principalmente Lolium rigidum e Raphanus raphanistrum) e "Outros" (solo, trilhas).
• Protocolos de Avaliação: O dataset utiliza divisões de blocos espaciais sem vazamento de dados (leakage-free) para três protocolos:
  1. Within-plot: Treino e teste no mesmo campo.
  2. Cross-plot: Treino em um campo, teste no outro.
  3. Cross-year: Treino em anos anteriores, teste em um ano posterior (desafio de deslocamento temporal).

3. Resultados Principais

O modelo VISA foi avaliado no BAWSeg e comparado com baselines clássicos (Random Forest) e modernos (U-Net, DeepLab, SegFormer).

• Desempenho Geral (Within-plot):
  • mIoU (Mean Intersection over Union): 75,6% (superando o baseline SegFormer-B1 multiespectral em +1,2%).
  • IoU de Erva Daninha: 63,5% (superando o baseline em +1,9%).
  • Parâmetros: 22,8 M (eficiente comparado a modelos maiores como HRNet ou DeepLab).
• Generalização (Cross-plot e Cross-year):
  • O modelo manteve um mIoU de 71,2% na transferência entre campos e 69,2% na transferência entre anos.
  • A degradação de desempenho concentrou-se principalmente na classe de "Erva Daninha", enquanto a precisão da cultura permaneceu estável (>83% de IoU), indicando que o modelo lida bem com a variabilidade da cultura, mas ainda enfrenta desafios com a morfologia e densidade variáveis das ervas daninhas entre anos.
• Estudo de Ablação:
  • A remoção do fluxo de índice de vegetação causou a maior queda de desempenho (mIoU caiu de 0,756 para 0,731), provando que o raciocínio baseado em índices complementa essencialmente as bandas calibradas.
  • A remoção das camadas Mamba e do Slot Attention também resultou em quedas significativas, validando a importância do contexto de longo alcance e do agrupamento de regiões.

4. Contribuições Chave

1. Arquitetura VISA: Uma rede inovadora que desacopla o aprendizado de radiação bruta do raciocínio baseado em índices, fundindo-os na resolução nativa para superar a interferência de sinais e melhorar a detecção de ervas daninhas pequenas e mistas.
2. Benchmark BAWSeg: O primeiro conjunto de dados de referência de longo prazo (4 anos) para segmentação de ervas daninhas em cevada, com ortomosaicos multiespectrais calibrados, anotações densas e protocolos de avaliação rigorosos que simulam cenários reais de implantação (deslocamento espacial e temporal).
3. Protocolos de Avaliação Realistas: A introdução de divisões de blocos espaciais e testes cruzados entre campos e anos fornece uma métrica mais honesta da capacidade de generalização do modelo do que a divisão aleatória de pixels tradicional.

5. Significância e Impacto

Este trabalho é significativo para a agricultura de precisão e a visão computacional em sensoriamento remoto por:

• Validar a necessidade de arquiteturas híbridas: Demonstra que combinar pistas espectrais brutas com índices de vegetação normalizados em fluxos separados é superior a abordagens de fluxo único para cenários complexos de mistura de copas.
• Estabelecer um novo padrão de benchmark: O BAWSeg preenche uma lacuna crítica na literatura, oferecendo dados que permitem avaliar a robustez de modelos sob mudanças de domínio, algo essencial para a adoção prática em diferentes fazendas e estações.
• Viabilidade Operacional: O modelo atinge um equilíbrio entre alta precisão e eficiência computacional (78 FPS em RTX 4090), tornando-o viável para processamento pós-voo em estações de trabalho padrão, permitindo mapeamento de ervas daninhas no mesmo ciclo para aplicação de herbicidas de taxa variável.

O artigo conclui que, embora existam desafios remanescentes na generalização temporal extrema (devido a mudanças na morfologia das ervas daninhas), a abordagem VISA combinada com o dataset BAWSeg fornece uma base robusta e reprodutível para o desenvolvimento futuro de sistemas de detecção de ervas daninhas escaláveis.