Leveraging Multi-Temporal Sentinel 1 and 2 Satellite Data for Leaf Area Index Estimation With Deep Learning

Resumo Técnico: Aproveitamento de Dados Multi-Temporais do Sentinel-1 e Sentinel-2 para Estimativa do Índice de Área Foliar

Declaração do Problema
O Índice de Área Foliar (IAF) é uma métrica fundamental para avaliar a saúde do ecossistema, a produtividade vegetal e os ciclos de carbono. Embora os métodos tradicionais baseados em solo (amostragem destrutiva, equações alométricas) forneçam dados locais precisos, eles carecem de cobertura espacial. O sensoriamento remoto por satélite oferece uma solução para monitoramento regional a global; no entanto, dados ópticos (por exemplo, Sentinel-2) são frequentemente comprometidos pela cobertura de nuvens, o que obstrui medições diretas e reduz a disponibilidade de dados. Abordagens existentes de aprendizado profundo para previsão de IAF frequentemente dependem de carimbos de data e hora únicos, tipos únicos de sensores (óptico ou radar) ou tratam pixels independentemente, ignorando assim informações contextuais valiosas de pixels vizinhos e a natureza complementar de dados de múltiplos sensores.

Metodologia
Os autores propõem uma nova estrutura de aprendizado profundo para previsão de IAF pixel a pixel que integra dados multi-temporais dos satélites Sentinel-1 (radar) e Sentinel-2 (multiespectral). O núcleo da metodologia envolve uma arquitetura personalizada de rede neural profunda projetada para lidar com modalidades de entrada heterogêneas e dependências temporais.

• Construção do Conjunto de Dados: O estudo utiliza dados publicamente disponíveis do Sentinel-1 e Sentinel-2 de várias localizações europeias. As amostras consistem em três carimbos de data e hora consecutivos ($T \in \{t-2, t-1, t\}$) separados por no máximo uma semana. As entradas incluem:

  • Dados de radar do Sentinel-1 (polarizações VH e VV).
  • Mapas de IAF derivados do Sentinel-2 (para carimbos de data e hora anteriores) e máscaras semânticas (identificando nuvens, água, terra, etc., geradas via processador Sen2Cor).
  • Informações de sazonalidade codificadas como valores de seno e cosseno representando o dia do ano.
  • A verdade de base é o mapa de IAF no carimbo de data e hora $t$.
  • O conjunto de dados é dividido em áreas "sem nuvens", "com nuvens" e "áreas únicas" (República Tcheca e Itália) para testar a generalização.

• Arquitetura: O modelo apresenta dois codificadores paralelos e um único decodificador (Figura 1):

  1. Codificador 1: Processa dados de radar do Sentinel-1, máscaras semânticas e sazonalidade.
  2. Codificador 2: Processa valores históricos de IAF do Sentinel-2 ($t-2, t-1$), máscaras e sazonalidade.
  3. Decodificador: Uma estrutura U-Net que concatena os mapas de características de ambos os codificadores para produzir a previsão final de IAF pixel a pixel. O design prioriza o encolhimento precoce de dados multi-temporais para reduzir redundância.

• Estratégia de Treinamento: Devido à complexidade da arquitetura, uma abordagem de treinamento em duas etapas é empregada:

  1. Pré-treinamento: Cada codificador é treinado separadamente com uma camada de convolução pixel a pixel para prever IAF, otimizando o Erro Quadrático Médio (MSE).
  2. Ajuste Fino de Ponta a Ponta: Os pesos pré-treinados são integrados à rede completa. O modelo é otimizado usando supervisão intermediária, onde a função de perda combina o MSE da saída final do decodificador com as saídas dos estágios intermediários do codificador. A função de perda é definida como:
     $$Loss = MSE(IAF_{gt}, IAF_{dec}) + \alpha \cdot MSE(IAF_{gt}, IAF_{enc1}) + \beta \cdot MSE(IAF_{gt}, IAF_{enc2})$$
     onde $\alpha$ e $\beta$ são hiperparâmetros (definidos como 0,1 e 0,15, respectivamente) para ponderar a importância dos estágios intermediários. O cálculo da perda exclui explicitamente pixels cobertos por nuvens.

Principais Resultados
O método proposto foi avaliado em um conjunto de teste de seções de imagem de 256x256.

• Desempenho: O modelo completo alcançou um RMSE de 0,058 e uma pontuação $R^2$ de 0,930 em dados sem nuvens.
• Estudos de Ablação:
  • O uso de apenas dados do Sentinel-1 produziu resultados pobres ($R^2 = 0,434$).
  • O uso de apenas dados do Sentinel-2 (com máscaras e sazonalidade) performou bem ($R^2 = 0,903$), mas mostrou degradação significativa em dados com nuvens ($R^2 = -0,294$).
  • A abordagem combinada (Todas as entradas) manteve desempenho robusto em todos os conjuntos de dados, embora o desempenho em "áreas únicas" (localizações não vistas) tenha mostrado taxas de erro mais altas, sugerindo algum viés específico de localização.
• Comparação: A abordagem de aprendizado profundo superou significativamente as bases tradicionais pixel a pixel, como Regressão Multi-Linear ($R^2 = -0,0445$) e Random Forest ($R^2 = -0,0166$), quando testada em dados de pixel único sem contexto espacial.

Significado e Alegações
O artigo alega apresentar uma investigação pioneira na previsão de IAF pixel a pixel que aproveita efetivamente a informação combinada e multi-temporal dos dados do Sentinel-1 e Sentinel-2 por meio de uma rede neural profunda. As principais contribuições incluem:

1. Arquitetura Inovadora: O uso de codificadores paralelos duplos adaptados a modalidades específicas de sensores, unificados por um decodificador que leva em conta sazonalidade e contexto espacial.
2. Gerenciamento de Complexidade: A implementação de supervisão intermediária e pré-treinamento para gerenciar a complexidade de entradas multi-modais e garantir representação de características eficaz.
3. Consciência Contextual: Avançar além da previsão de pixels independentes para aproveitar o contexto global e informações de pixels vizinhos, abordando uma limitação frequente em trabalhos anteriores.
4. Contribuição Aberta: Os autores disponibilizaram seu código e contribuições para facilitar melhorias futuras no campo.

Os autores observam modestamente que, embora o método performe bem, desafios permanecem quanto ao desequilíbrio de dados (especificamente a escassez de amostras de treinamento com nuvens) e à generalização para localizações geográficas inteiramente novas. Eles sugerem que trabalhos futuros poderiam se beneficiar da atribuição de pesos mais altos às funções de perda para entradas com nuvens e da incorporação de metadados adicionais, como dados de terreno ou meteorológicos.