Space2Ground 2.0: A Multi-Source Dataset and Framework for Agricultural Monitoring through Fusion of Street-Level and Satellite Imagery

Resumo Técnico: Space2Ground 2.0

Definição do Problema
O monitoramento agrícola preciso, escalável e ao nível de parcela enfrenta limitações significativas quando depende exclusivamente da Observação da Terra (EO) via satélite. Sensores ópticos (ex: Sentinel-2) são prejudicados pela cobertura de nuvens e condições atmosféricas, enquanto os dados de Radar de Abertura Sintética (SAR) (ex: Sentinel-1), embora funcionem em qualquer condição climática, são complexos de interpretar e menos diretamente ligados a características específicas das culturas. Além disso, a resolução espacial dos sistemas de satélite padrão frequentemente mostra-se insuficiente para campos pequenos ou heterogêneos. Embora imagens de satélites comerciais de Altíssima Resolução (VHR) e imagens aéreas ofereçam detalhes mais finos, seus altos custos e frequências de revisita limitadas restringem o uso operacional em larga escala. Por outro lado, os levantamentos de campo tradicionais in-situ são caros demais e demandam muita mão de obra para fornecer os dados contínuos e escaláveis de verdade de campo (ground-truth) exigidos pelas políticas agrícolas modernas baseadas em dados, como a Política Agrícola Comum (PAC). Embora as imagens de nível de rua obtidas via crowdsourcing ofereçam uma alternativa promissora e de baixo custo, sua integração em fluxos de trabalho operacionais é dificultada por condições de aquisição heterogêneas, cobertura esparsa, conteúdo ruidoso e a falta de anotações diretas ao nível de parcela.

Metodologia
O artigo apresenta o Space2Ground 2.0, um framework automatizado de ponta a ponta projetado para transformar imagens de nível de rua coletadas via crowdsourcing em dados prontos para análise e vinculados a parcelas, fundindo-os com séries temporais de Sentinel-1 e Sentinel-2. A metodologia foi aplicada à temporada de cultivo de 2022 em Chipre, utilizando um conjunto de dados de referência de 325.673 parcelas agrícolas da aplicação nacional de auxílio geoespacial (GSAA).

O pipeline de processamento consiste em quatro estágios principais:

1. Aquisição e Recuperação de Dados: O framework ingere mais de 900.000 imagens georreferenciadas coletadas via câmeras montadas em veículos (GoPro e smartphones) e carregadas na plataforma Mapillary. Metadados (carimbos de tempo, coordenadas, orientação) e produtos de visão computacional (detecção de objetos, segmentação semântica) são recuperados via API do Mapillary.
2. Filtragem Semântica: Para remover conteúdos não agrícolas (estradas, edifícios), o pipeline utiliza os resultados de segmentação semântica do Mapillary. Imagens onde a vegetação e o solo ocupam menos de 20% da cena visível são descartadas, reduzindo o conjunto de dados para aproximadamente 506.000 imagens.
3. Avaliação de Qualidade de Imagem (NR-IQA): Uma avaliação de qualidade de imagem sem referência utiliza quatro modelos de aprendizado profundo (MANIQA, HyperIQA, CLIP-IQA, TReS). Imagens que caem nos 5% inferiores das pontuações de qualidade em pelo menos três modelos são removidas, refinando ainda mais a coleção para cerca de 472.000 imagens.
4. Associação e Refinamento de Parcelas:
   • Projeção de Ponto de Vista: Utilizando a localização e orientação da câmera (ou o vetor de direção reconstruído do veículo), um ponto de vista é projetado 10 metros à frente para identificar a parcela agrícola observada. Isso simplifica o processo de associação em comparação com abordagens anteriores de câmeras voltadas para a frente.
   • Atribuição de Rótulo: As imagens recebem o rótulo do tipo de cultura da parcela intersectada do banco de dados GSAA.
   • Agrupamento e Curadoria: Características visuais profundas (VGG-16) são reduzidas via PCA e agrupadas (k-means). Clusters dominados por ruído ou associações incorretas são inspecionados manualmente e descartados.
   • Saída Final: O pipeline gera um conjunto de dados curado de 46.050 imagens de nível de rua anotadas vinculadas a 8.581 parcelas agrícolas através de 14 classes de culturas.

Principais Contribuições
O artigo descreve três contribuições principais:

1. Metodologia Automatizada: Um pipeline escalável para converter imagens brutas e oportunistas de crowdsourcing em conjuntos de dados estruturados e vinculados a parcelas através de filtragem semântica, controle de qualidade e associação espacial.
2. Framework Multifonte: Um fluxo de trabalho reproduzível para integrar séries temporais de EO de satélite com imagens de nível de rua para apoiar o monitoramento agrícola, verificação visual e resolução de disputas (ex: verificações do Sistema de Monitoramento de Área).
3. Conjunto de Dados de Referência Aberto: O lançamento do conjunto de dados Space2Ground 2.0, acompanhado de avaliações de linha de base de aprendizado de máquina/aprendizado profundo para classificação de culturas multimodal, facilitando a pesquisa reproduzível.

Resultados Experimentais
A utilidade do conjunto de dados foi avaliada através de experimentos de classificação de culturas ao nível de parcela comparando abordagens de apenas satélite, apenas nível de rua e fusão multimodal.

• Apenas Satélite: As séries temporais de Sentinel-1 e Sentinel-2 provaram ser a modalidade única mais forte. O modelo XGBoost alcançou a maior acurácia geral (78,90%) e F1-score (69,09%) entre as linhas de base de modalidade única.
• Apenas Nível de Rua: O desempenho isolado foi inferior (ViT-B/16 alcançou 70,17% de acurácia), atribuído à natureza oportunista dos dados (cobertura temporal limitada por parcela) e incertezas de aquisição (oclusões, erros de GPS).
• Fusão Multimodal: A integração de ambas as modalidades gerou melhorias significativas.
  • Fusão Precoce (Nível de Característica): A concatenação de embeddings VGG-16 com características de satélite melhorou a acurácia para 82,65%.
  • Fusão Tardia (Nível de Decisão): A combinação de previsões de um modelo de satélite XGBoost e um modelo de nível de rua ViT-B/16 alcançou o melhor desempenho: 84,12% de acurácia geral e 82,78% de F1-score.
  • Conclusão: Os resultados demonstram que as imagens de nível de rua fornecem informações visuais complementares de escala fina (estrutura da cultura, aparência do dossel) que aumentam a classificação quando fundidas com séries temporais de satélite, melhorando particularmente o desempenho equilibrado entre classes (F1-score).

Significância e Alegações
Os autores posicionam o Space2Ground 2.0 como uma solução prática para preencher a lacuna entre a crescente disponibilidade de dados de sensoriamento remoto heterogêneos e sua aplicação no monitoramento agrícola escalável. O framework oferece um caminho para:

• Aumentar a precisão do monitoramento ao nível de parcela e apoiar as verificações "no local na mesa" (OTSC) sob as regulamentações evolutivas da PAC.
• Reduzir a dependissão de inspeções de campo físicas, caras e que demandam muita mão de obra.
• Fornecer uma metodologia reproduzível para gerar conjuntos de dados vinculados a parcelas que possam ser transferidos para outras regiões com disponibilidade de dados semelhante.

O artigo reconhece modestamente as limitações, incluindo restrições de acessibilidade rodoviária, potenciais oclusões, imprecisões de GPS e o ruído inerente nos rótulos de referência declarados pelos agricultores (GSAA). No entanto, afirma que o pipeline proposto, que inclui refinamento humano leve, transforma efetivamente dados de crowdsourcing fracamente estruturados em um recurso confiável para aplicações de IA agrícola multimodal.