Weakly Supervised Spatio-Temporal Candidate Discovery of Dairy Farm Sites from Seasonal Satellite Imagery

Resumo Técnico: Descoberta Fracamente Supervisionada de Candidatos a Sítios de Explorações Leiteiras

Definição do Problema
A descoberta de explorações leiteiras a partir de imagens de satélite é um problema de raciocínio espaço-temporal fracamente supervisionado e desafiador. As explorações raramente são objetos visuais isolados; em vez disso, manifestam-se como configurações espaciais complexas de pastagens, limites de campos, estradas, edifícios e padrões de vegetação sazonal. Estes indícios podem abranger centenas de metros e assemelhar-se a aldeias, complexos industriais ou outros usos do solo agrícola. A deteção totalmente supervisionada é difícil porque os rótulos diretos das explorações são frequentemente incompletos, os limites não estão disponíveis e os rótulos específicos de tipo são escassos ou ruidosos. Embora existam benchmarks de aprendizagem profunda para o uso do solo e compreensão de cenas, estes tipicamente assumem rótulos explícitos ou anotações densas, que são inexistentes para a descoberta de candidatos a explorações.

Metodologia
O artigo propõe um pipeline fracamente supervisionado concebido para classificar agrupamentos espaciais que provavelmente correspondam a sítios associados a explorações, em vez de produzir um inventário definitivo de explorações. O framework integra indícios de sensoriamento remoto sazonal, priors geográficos fracos, aprendizagem de representação auto-supervisionada e raciocínio espacial baseado em grafos.

1. Dados e Entrada: O método utiliza imagens multiespectrais alinhadas de primavera, verão e outono do Condado de Cork, Irlanda. Cada tile (128×128 pixels) contém 36 canais: seis bandas espectrais do Sentinel (B2, B3, B4, B8, B11, B12) e seis índices derivados (NDVI, NDWI, NDBI, NDRE, EVI e um canal de pastagem) através de três estações.
2. Embeddings Auto-Supervisionados: Um codificador ResNet-18 é treinado utilizando o objetivo Barlow Twins em tiles multiestacionais sem rótulos de exploração. Isto aprende representações visuais que capturam estruturas temporais e espectrais. A cabeça de projeção é descartada, e a saída do codificador serve como embeddings dos tiles.
3. Configuração de Supervisão Fraca: Características relacionadas a explorações do OpenStreetMap (OSM) (explorações, quintais de exploração, celeiros) são divididas em dois conjuntos disjuntos: um conjunto de prior ($O_{prior}$) e um conjunto retido ($O_{heldout}$). O conjunto de prior fornece pistas de proximidade fracas durante a pontuação, enquanto o conjunto retido é reservado exclusivamente para avaliação por proxy.
4. Pontuação de Candidatos: Cada tile recebe uma pontuação baseada em regras ($f_i$) que combina três fluxos de evidência:
   • Proximidade Fraca ($q_i$): Distância normalizada até à característica mais próxima em $O_{prior}$.
   • Evidência de Pastagem ($p_i$): Um resumo da evidência de pastagem através das estações.
   • Verdor de Verão ($v_i$): NDVI de verão normalizado.
     A pontuação primária é calculada como $f_i = 0.40q_i + 0.35p_i + 0.25v_i$.
5. Suavização por Grafo e Agrupamento: As pontuações são refinadas utilizando um grafo de representação espacial. Os tiles são conectados aos seus 8 vizinhos geográficos mais próximos. Uma pontuação suavizada ($f^G_i$) é computada através da propagação de pontuações baseada na proximidade geográfica e semelhança de embedding. A pontuação final é uma combinação ponderada: $\tilde{f}_i = 0.85f_i + 0.15f^G_i$.
6. Formação de Clusters: Tiles acima do percentil 92 da pontuação final são selecionados e agrupados em componentes conexos baseados em adjacência de grelha. Estes formam candidatos a clusters classificados.

Principais Contribuições

1. Pipeline de Supervisão Fraca: O artigo apresenta um pipeline para a descoberta de candidatos a explorações leiteiras que opera sem rótulos diretos de exploração, dependendo em vez disso de imagens de satélite sazonais e priors de mapas abertos.
2. Framework Integrado: Combina de forma única a dinâmica de pastagem sazonal, o verdor de verão, a proximidade fraca de explorações, embeddings de tiles auto-supervisionados, suavização baseada em grafos e agrupamento espacial.
3. Protocolo de Avaliação por Proxy: Os autores introduzem um protocolo que divide as características de exploração do OSM em conjuntos de prior e retidos. Isto permite a avaliação contra evidências de mapa não utilizadas como priors, enquanto reconhece explicitamente que as métricas medem a classificação de candidatos contra evidência de mapa ruidosa, em vez de uma precisão de deteção de exploração definitiva.

Resultados
O framework foi avaliado em 26.722 tiles multiestacionais válidos do Condado de Cork.

• Seleção: A execução principal reduziu o dataset para 535 tiles de alta confiança, formando 71 clusters de candidatos.
• Precisão: Quando classificados pelo score do método suavizado:
  • Os 5 melhores clusters alcançaram 0.60 de precisão dentro de 500 m e 0.80 de precisão dentro de 1000 m das características de exploração do OSM retidas.
  • Os 10 melhores clusters alcançaram 0.40 de precisão dentro de 500 m e 0.80 de precisão dentro de 1000 m.
• Alinhamento Espacial: Através dos 71 clusters, 19 estavam dentro de 500 m e 46 dentro de 1000 m de uma característica retida, com uma distância mediana de 744.3 m.
• Estudos de Ablação: Variantes usando apenas NDVI, apenas pastagem, apenas características de verão ou apenas priors do OSM tiveram um desempenho significativamente inferior. A variante "Apenas regra" (sem suavização de grafo) alcançou uma precisão nos top-5 semelhante, mas teve uma distância mediana maior (784.6 m vs. 744.3 m), indicando que a suavização por grafo melhora a consistência espacial e reduz a distância mediana enquanto preserva a precisão dos rankings superiores.

Significância e Alegações
O artigo afirma que a aprendizagem de representação sazonal e os priors geográficos fracos podem reduzir eficazmente grandes coleções de imagens de satélite em conjuntos compactos e classificados de candidatos adequados para revisão humana. Os resultados demonstram que o framework captura uma estrutura espacial significativa associada a explorações sob supervisão fraca.

Os autores enfatizam que este é um trabalho de descoberta de candidatos, não um censo completo de explorações. Consequentemente, o recall é baixo (uma vez que o método prioriza clusters de alta confiança sobre um inventário exaustivo), tornando a precisão-no-ranking a métrica mais relevante. A avaliação baseia-se em métricas de proxy; como as características do OSM são incompletas e espacialmente ruidosas, a proximidade de características retidas não é tratada como verdade absoluta (ground truth). O artigo conclui que a supervisão fraca, a aprendizagem auto-supervisionada e o raciocínio baseado em grafos oferecem um caminho viável para descobrir candidatos agrícolas a partir de imagens de grande escala onde rótulos diretos não estão disponíveis.