Multi-Year Geospatial Reasoning using Interannually-Consistent Historical Predictions as a Free Input Modality

Resumo Técnico: Raciocínio Geoespacial Multianual utilizando Predições Históricas Interanualmente Consistentes

1. Definição do Problema

Sistemas operacionais de Observação da Terra (EO), como o produto Croplands High Resolution Layer (HRL) do Serviço de Monitoramento de Terras da Copernicus (CLMS), tipicamente geram mapas anuais de cobertura do solo utilizando modelos de aprendizagem profunda que processam séries temporais de satélite (Sentinel-1/2, meteorologia) ano a ano. Apesar de acumularem um arquivo denso e multianual de suas próprias predições e utilizarem dados auxiliares (como a Base Vegetation Layer, BVL) durante o pós-processamento, esses sistemas sofrem de duas limitações críticas:

1. Falta de Feedback Temporal: O modelo para um determinado ano (ex: 2024) não tem acesso às suas próprias predições passadas (ex: 2017–2023). Consequentemente, ele não consegue aproveitar a estabilidade temporal de culturas perenes (ex: oliveiras) ou a lógica de rotações de culturas, tratando cada ano como uma tarefa de classificação isolada.
2. Integração de Sinais Inconsistente: Sinais auxiliares, como a máscara BVL que identifica áreas sem cultivo, são aplicados como etapas de pós-processamento baseadas em regras fora da rede neural. Isso cria uma lacuna de representação onde o modelo não consegue "ler" pixels mascarados em seus próprios dados históricos, tratando-os como indefinidos em vez de um sinal específico (mascarado vs. dado ausente).

Os autores postulam que modelos recorrentes de EO devem tratar seu próprio histórico de predição e camadas auxiliares externas como modalidades de entrada livres para permitir o raciocínio geoespacial multianual diretamente dentro do modelo, em vez de depender de pós-processamentos baseados em regras frágeis.

2. Metodologia

A abordagem proposta modifica uma arquitetica de Transformer baseada em pixels já existente para ingerir predições históricas e representações de máscara consistentes como novos canais de entrada.

A. Modalidades de Entrada e Arquitetura

• Linha de Base (Baseline): Um codificador Transformer de múltiplas fontes processa séries temporais de 24 passos (decadais) de bandas ópticas Sentinel-2, retroespalhamento SAR Sentinel-1, índices derivados e meteorologia AgERA5. Escalares de terreno estáticos são processados via um codificador denso.
• Entrada de Predição Histórica (CTY History): O modelo ingere duas sequências alinhadas para cada pixel: os códigos de classe preditos e seus respectivos escores de confiança (probabilidade da classe vencedora) de anos anteriores (2017–2029).
  • Codificador de Embedding CTY: Em vez de tratar os códigos de classe como inteiros brutos ou escalares simples, os autores introduzem um codificador de embedding aprendível. Cada código de classe passado $c_t$ é mapeado para um vetor aprendível e escalonado por sua confiança $p_t$ ($\mathbf{e}_t = \text{Embed}(c_t) \cdot p_t$).
  • Posicionamento Temporal: Embeddings de posição senoidais aprendíveis são adicionados para preservar a ordem dos anos.
  • Token Mascarado: Um token aprendível específico (índice 1) é reservado para observações "externamente mascaradas" (BVL), distinguindo-as de dados "sem dados" (padding) e classes de cultivo válidas.
• Escalares Auxiliares: Dois escalares simples, criados manualmente a partir do histórico, são adicionados: "estabilidade da cultura" (fração de anos passados que coincidem com a cultura atual) e "anos desde a mudança".
• Fusão: A saída do Codificador de Embedding CTY é concatenada com os embeddings ópticos/SAR/meteo antes da cabeça de classificação MLP final.

B. Estratégia de Treinamento

• Treinamento de Ponta a Ponta (End-to-End): Ao contrário de abordagens que realizam o ajuste fino (fine-tuning) de grandes modelos de fundação geoespaciais, os autores treinam um modelo compacto e de ponta a ponta (2,6M de parâmetros) porque seu conjunto de dados é grande (5,4M de pixels rotulados). Isso permite que o modelo aprenda conjuntamente o peso dos sinais fenológicos em relação às predições históricas.
• Função de Perda: A perda primária é a entropia cruzada focal (focal cross-entropy). Uma perda de consistência autossupervisionada suave é adicionada como um termo auxiliar, onde uma pequena cabeça linear prediz os logits da classe a partir apenas do embedding do histórico, treinada para concordar com o alvo principal com um peso baixo ($\lambda=0,1$). Isso incentiva o modelo a usar o histórico como um prior suave sem depender excessivamente dele.
• Tratamento de Desbalanceamento: O desbalanceamento de classes é gerenciado via amostragem de lote balanceada (equalizando as frequências de classe por lote). Os autores descobriram explicitamente que adicionar o peso de perda por frequência inversa sobre esta amostragem causou um colapso no desempenho devido à dupla compensação.

C. Representação de Observações Mascaradas
O estudo investiga como o modelo deve interpretar pixels mascarados pela BVL tanto no ano alvo quanto no histórico. A estratégia ideal envolve:

1. Utilizar o token "mascarado" dedicado na sequência do histórico.
2. Ou dobrar as observações mascaradas na classe "sem cultura" ou atribuir a elas uma classe dedicada no ano alvo, desde que o histórico seja consistentemente remapeado.

3. Principais Contribuições

1. Modalidade de Entrada Livre: Demonstrar que o próprio histórico de predição interanual de um modelo, quando codificado como tokens ordenados no tempo e escalonados por confiança, serve como uma poderosa entrada livre de rótulos que melhora significamente a classificação.
2. Codificador de Embedding CTY: Um componente arquitetônico inovador que transforma o histórico de predição categórico em uma representação aprendível e ponderada por confiança, permitindo que o modelo preste atenção ao longo do eixo temporal.
3. Representação de Sinal Consistente: Mostrar que representar as máscaras externas (BVL) consistentemente dentro do espaço de entrada do modelo (distinguindo mascarado de dados ausentes) melhora o desempenho da classificação de culturas sem alterar a máscara externa em si.
4. Correção do Perfil de Erro: Ir além de métricas simples de acurácia para demonstrar que o raciocínio histórico corrige um perfil de erro "enviesado para o recall", reduzindo a superpredição enquanto mantém o alto recall.

4. Resultados

Avaliado em um conjunto de dados pan-europeu de ~5,4M de pixels rotulados (18 classes de culturas + sem cultura):

• Desempenho Geral: Adicionar o histórico de predição aumentou o F1 score de apenas culturas em 1,6 pontos percentuais (pp) (de 0,787 para 0,803).
• Culturas Perenes e Árvores: Os ganhos foram mais pronunciados para culturas com históricos multianuais estáveis:
  • Oliveiras: +4,6 pp
  • Frutas: +3,7 pp
  • Nozes/Castanhas: +3,2 pp
  • Leguminosas secas: +2,9 pp
• Representação Consistente de Máscara: Representar a máscara BVL consistentemente tanto no histórico quanto nos anos alvo adicionou aproximadamente 2,5 pp ao F1 score de apenas culturas.
• Equilíbrio Precisão-Recall: O modelo de linha de base era enviesado para o recall (Precisão 0,769 vs. Recall 0,810), indicando superpredição. O modelo consciente do histórico reequilibrou isso (Precisão 0,806 vs. Recall 0,803), aproximando 13 de 18 classes de culturas da diagonal precisão-recall.
• Achados de Ablação:
  • Codificações de histórico como escalares brutos ou séries temporais forneceram ganhos negligenciáveis.
  • Aumentar o tamanho do modelo para 12M de parâmetros levou ao overfitting.
  • O peso de perda por frequência inversa combinado com a amostragem balanceada causou uma queda catastrófica no desempenho (F1 caiu para 0,64).

5. Significância e Alegações

O artigo alega que esta abordagem oferece uma receita de baixo custo para melhorar qualquer modelo de fundação ou geoespacial recorrente que emita mapas de classes. Ao alimentar o modelo com seu próprio histórico "interanual-fixo", o sistema efetivamente destila a lógica dos pós-processadores de regras legados (que corrigem anomalias e impõem consistência) e aprende a melhorar sobre eles diretamente.

Os autores argumentam que isso desloca o paradigma de "classificação de ano único + correção baseada em regras" para "raciocínio geoespacial multianual". O modelo aprende a "gramática temporal" do uso da terra (rotações, persistência, mudança gradual) diretamente de seus resultados. A abordagem é apresentada como modular e aplicável a qualquer produto de EO operacional que seja atualizado anualmente, potencialmente aprimorando modelos de fundação geoespaciais sem a necessidade de novos dados rotulados. Os resultados sugerem que o modelo pode alcançar mapas mais limpos, com menos inversões anuais espúrias e interiores de campos mais suaves, reduzindo a necessidade de peneiramento (sieving) e sobreposições interanuais.