Predicting Viticulture Potential through an Ensemble of U-Net and a Geospatial Foundation Model

Resumo Técnico: Predição de Potencial Vitícola através de um Ensemble de U-Net e um Modelo de Fundação Geoespacial

Definição do Problema
O artigo aborda o desafio de prever a adequação agrícola, especificamente para a viticultura, utilizando dados de sensoriamento remoto. Os métodos tradicionais para determinar a adequação do solo envolvem levantamentos físicos dispendiosos e demorados que exigem reavaliações frequentes para contabilizar as mudanças nas condições ambientais e nas mudanças climáticas. Os autores focam no ImageCLEF AI4Agri 2026: Subtask 1, que utiliza o dataset AgriPotential para classificar imagens multiespectrais Sentinel-2. O objetivo é atribuir uma pontuação de adequação agrícola ao nível de pixel de 1 a 5 para a viticultura no sul da França. O conjunto de dados apresenta desafios específicos, incluindo uma alta proporção de pixels não rotulados (aproximadamente 50% entre as divisões), um grande volume de dados (~200GB) e a necessidade de modelar a dinâmica temporal ao longo de 34 passos temporais (2017–2019).

Metodologia
A equipe DS@GT ARC propôs um ensemble ponderado de dois modelos distintos de aprendizagem profunda, ambos treinados independentemente e combinados no momento da inferência.

1. Arquitetura U-Net (Empilhamento Temporal):

   • Estratégia de Entrada: Em vez de uma modelagem temporal explícita, os autores trataram os 34 passos temporais e os 15 canais (10 bandas brutas do Sentinel-2 + 5 índices espectrais incluindo NDVI, NDMI, NDWI, NDRE e NBR) como um único tensor de entrada de $34 \times 15 = 510$ canais.
   • Arquitetura: Uma U-Net padrão estendida com conexões residuais, uma dimensão de canal base de 128 e uma profundidade de 3.
   • Função de Perda: O modelo emprega uma perda de entropia cruzada binária ordinal, que considera a natureza ordenada das classes de adequação (1–5). Pixels não rotulados são excluídos do cálculo da perda.
   • Saída: Uma saída de canal único passada por uma camada ordinal com 4 limiares aprendíveis (soma cumulativa de valores transformados por softplus) para gerar fronteiras de decisão binárias.

2. Modelo de Fundação Prithvi-EO-2.0 (Agregação Sazonal):

   • Estratégia de Entrada: Para alinhar-se com a configuração de pré-treinamento do modelo Prithvi-EO-2.0, os 34 passos temporais foram agregados em quatro médias sazonais. Apenas as seis bandas espectrais utilizadas durante o pré-treinamento do Prithvi (Azul, Verde, Vermelho, NIR, SWIR-1, SWIR-2) foram utilizadas.
   • Arquitetura: O modelo faz o ajuste fino (fine-tuning) do backbone prithvi_eo_v2_100_tl (100 milhões de parâmetros) com um Pescoço de Pirâmide de Características (Feature Pyramid Neck) e um decodificador UperNet. Incorpora codificações de localização e temporais.
   • Estratégia de Treinamento: O codificador foi congelado durante os primeiros 7 épocas. O modelo utiliza uma abordagem de rotulagem pseudo-label de professor-aluno: a U-Net treinada atua como um professor fixo, gerando pseudo-rótulos para pixels não rotulados quando a confiança excede 0,7. Esses rótulos são incorporados à perda do aluno com um peso de $\lambda=0,3$.
   • Inicialização: Os limiares ordinais foram inicializados a partir dos valores da U-Net treinada para garantir uma convergência estável.

3. Estratégia de Ensemble:

   • A predição final é um ensemble de logits ponderado: $z = 0,65 \cdot z_{\text{U-Net}} + 0,35 \cdot z_{\text{Prithvi}}$.
   • Aumento de Dados (Data Augmentation): Rotações e inversões foram aplicadas para reduzir a lacuna de generalização entre os conjuntos de validação e teste.
   • Normalização: A U-Net utilizou divisão por 10.000, enquanto o Prithvi utilizou normalização Z-score por divisão de dataset para manter a consistência com as distribuições de pré-treinamento.

Principais Resultados

• Desempenho: O ensemble alcançou uma acurácia de teste $\pm 1$ de 68,32%, classificando-se em 2º lugar entre 7 equipes no leaderboard público.
• Comparação de Modelos: O ensemble superou seus componentes individuais:
  • U-Net: 66,25%
  • Prithvi: 65,51%
  • Outras arquiteturas de transformer (TSViT, U-TAE, Swin-V2, Presto) produziram acurácias de teste menores (variando de 49% a 64%).
• Observações:
  • A U-Net produziu predições mais ruidosas, mas capturou padrões espaciais mais finos.
  • O Prithvi gerou saídas mais suaves e espacialmente coerentes, mas teve dificuldades com fronteiras complexas.
  • Uma lacuna de generalização consistente foi observada entre os conjuntos de validação e teste em todos os modelos, sugerindo um potencial desvio de distribuição entre treino e teste ou overfitting.

Principais Contribuições e Alegações

• Eficácia do Ensemble: A principal contribuição é demonstrar que a combinação de uma abordagem convolucional (U-Net com canais temporais empilhados) e um modelo de fundação geoespacial (Prithvi com agregação sazonal) produz um desempenho superior ao de qualquer modelo isolado ou outras arquiteturas temporais complexas.
• Insight de Modelagem Temporal: Contrariando a hipótese inicial de que a modelagem temporal explícita (ex: via Transformers) produziria os melhores resultados, o artigo afirma que empilhar os quadros temporais como canais de entrada (tratando-os como observações distintas para o mesmo pixel) foi mais eficaz para esta tarefa específica. Os autores sugerem que a segmentação semântica é realizada através dos quadros temporais, em vez de para cada quadro temporal neste contexto.
• Adaptação de Modelo de Fundação: O trabalho demonstra a viabilidade de adaptar um modelo de fundação geoespacial de grande escala (Prithvi-EO-2.0) para uma tarefa agrícola específica usando agregação sazonal e rotulagem pseudo-label semi-supervisionada para lidar com dados não rotulados.
• Aprendizagem Semi-Supervisionada: O artigo destaca a utilidade de usar uma U-Net como professor para gerar pseudo-rótulos para pixels não rotulados no modelo aluno Prithvi, proporcionando um efeito de regularização.

Significância
O artigo apresenta uma abordagem prática e de alto desempenho para prever o potencial vitícola a partir de imagens de satélite multitemporais. Ele desafia a suposição de que arquiteturas temporais complexas são sempre necessárias para tarefas de sensoriamento remoto de séries temporais, sugerindo que, para segmentação de tempo de quadro fixo, o empilhamento de canais pode ser uma linha de base (baseline) robusta. O trabalho também enfatiza a importância de abordar a lacuna de generalização em aplicações de sensoriamento remoto, onde desvios de distribuição entre os conjuntos de validação e teste continuam sendo um desafio significativo. A implementação é disponibilizada publicamente para apoiar pesquisas futuras no mapeamento de potencial agrícola.