Densification and forecasting of Sentinel-2 time series from multimodal SAR and Optical satellite data using deep generative models

Este artigo propõe um framework de aprendizado profundo probabilístico que aproveita dados multimodais do Sentinel-1 SAR e do Sentinel-2 óptico para gerar imagens de satélite ópticas em datas arbitrárias do passado ou do futuro, abordando efetivamente tanto a densificação temporal de observações obscurecidas por nuvens quanto a previsão futura, enquanto modela explicitamente a incerteza de geração.

O essencial

Imagine que você está tentando assistir a um filme sobre um campo de agricultor mudando ao longo das estações, mas o projetor está quebrado. Às vezes, o filme pula; às vezes, está coberto por estática (nuvens); e às vezes, os rolos estão inteiramente faltando. Você tem dois tipos de tiras de filme:

1. Filme Óptico (Sentinel-2): Imagens bonitas e coloridas do campo, mas que só funcionam quando o céu está limpo. Se estiver nublado, a imagem fica branca e inútil.
2. Filme de Radar (Sentinel-1): Imagens em preto e branco, granuladas, que conseguem "ver" através de nuvens e chuva, mas não mostram as cores vibrantes das culturas.

O Problema:
Cientistas desejam um filme perfeito, contínuo e colorido da Terra. Mas, devido às nuvens, há enormes lacunas no filme óptico. Ferramentas existentes podem tentar "preencher as lacunas" entre duas imagens conhecidas (como adivinhar o que aconteceu no meio de uma cena pulada), mas não conseguem adivinhar o que acontece depois que o filme termina, nem podem dizer o quão confiantes estão em suas suposições.

A Solução:
Os autores construíram um "Diretor" de IA inteligente que age como um editor mestre. Ele pega o filme óptico quebrado e o filme de radar granulados e os une para criar um filme suave, contínuo e colorido para qualquer data — seja essa data no passado (preenchendo lacunas) ou no futuro (prevendo o que vem a seguir).

Veja como o Diretor de IA funciona, usando analogias simples:

1. Os Dois Olhos Especializados

A IA possui dois "olhos" separados para observar os dados.

• O Olho Óptico olha para as imagens coloridas.
• O Olho de Radar olha para as imagens em preto e branco.
  Em vez de forçar ambos os olhos a ver da mesma maneira, a IA permite que eles aprendam sua própria linguagem primeiro. Isso é como ter um pintor e um escultor trabalhando separadamente antes de colaborar; o pintor entende cor, e o escultor entende forma e estrutura.

2. O Calendário de "Viagem no Tempo"

A IA não olha apenas para as imagens; ela sabe quando elas foram tiradas. Ela usa um especial "Calendário de Viagem no Tempo".

• Se a IA precisa prever uma imagem para a próxima terça-feira, ela pergunta: "Como era o campo na segunda-feira passada? E há três semanas?"
• Ela calcula a distância entre o "agora" e o "então". Isso ajuda a entender que um campo parece muito diferente na primavera do que no outono, mesmo que as imagens estejam borradas.

3. O Holofote Inteligente (Atenção Cruzada)

Este é o truque mais inteligente da IA. Imagine um holofote em um palco com muitos atores (as diferentes imagens de satélite). A IA precisa decidir quais atores ouvir para a cena final.

• Cenário A (Céu Limpo Perto): Se houver uma imagem colorida e clara de ontem, o holofote brilha intensamente sobre ela. A IA ignora as imagens de radar porque não precisa delas; a cor já está lá.
• Cenário B (Nuvens Pesadas): Se as últimas imagens coloridas estiverem cobertas por nuvens (estática branca), a IA percebe: "Não posso usar estas!" Ela imediatamente direciona o holofote para as imagens de Radar. Mesmo sendo em preto e branco, elas mostram a forma das culturas, ajudando a IA a adivinhar quais cores deveriam estar lá.
• Cenário C (A Armadilha Nublada): Se uma imagem foi tirada ontem, mas está coberta por nuvens, a IA aprende a ignorá-la completamente, mesmo que esteja "perto" no tempo. Ela sabe que uma imagem nublada é pior do que uma imagem clara de uma semana atrás.

4. O "Medidor de Confiança" (Incerteza)

A maioria das ferramentas de IA apenas entrega uma imagem e espera pelo melhor. Esta IA é diferente: ela também entrega a você um "Medidor de Confiança" (um mapa de incerteza).

• Se a IA está adivinhando com base em uma imagem clara de ontem, o medidor diz: "Tenho 100% de certeza."
• Se a IA precisa adivinhar como o campo parecerá daqui a dois meses, ou se está adivinhando através de uma tempestade forte, o medidor diz: "Não tenho tanta certeza sobre esta parte."
• Por que isso importa: É como um meteorologista dizendo: "Choverá, mas tenho apenas 60% de certeza", em vez de apenas dizer "Choverá". Isso ajuda os usuários a saber quando confiar na imagem e quando ter cautela.

5. Os Resultados

O artigo testou este "Diretor" em dados reais de terras agrícolas:

• Preenchendo Lacunas: Ele reconstruiu com sucesso dias ausentes no filme, especialmente para culturas que mudam rapidamente (como trigo em crescimento), fazendo um trabalho melhor do que truques matemáticos simples ou modelos de IA mais antigos.
• Prevendo o Futuro: Ele conseguiu adivinhar como o campo pareceria semanas após a última foto ter sido tirada. Não foi perfeito (quanto mais para frente adivinhava, mais borrada ficava a imagem), mas manteve as cores e formas gerais corretas.
• O Erro da "Neve": Os autores admitem que a IA fica confusa com neve. Como foi treinada em nuvens, às vezes ela pensa que a neve é apenas outro tipo de nuvem e tenta "apagá-la" para mostrar o solo abaixo, o que está errado. Ela também fica confusa com luzes de cidades muito brilhantes.

Resumo

Este artigo apresenta uma nova maneira de assistir à história da Terra sem perder um só batimento. Ao combinar câmeras de "cor" (que são bloqueadas por nuvens) com câmeras de "forma" (que veem através de nuvens), e ao ensinar a IA a saber quando confiar em qual câmera, eles criaram um sistema que pode preencher cenas de filme ausentes e prever cenas futuras. Crucialmente, ele também diz o quanto confia em suas próprias previsões, agindo como um editor responsável que admite: "Estou adivinhando aqui."

Resumo técnico

Resumo Técnico: Densificação e Previsão de Séries Temporais Sentinel-2 a partir de Dados Multimodais SAR e Ópticos

Declaração do Problema

Séries temporais de imagens de satélite ópticas (SITS) são críticas para aplicações de observação da Terra, como agricultura, monitoramento climático e análise da superfície terrestre. No entanto, sua utilidade é severamente restringida por lacunas de aquisição e amostragem irregular causadas por cobertura de nuvens e bordas de faixa. Embora abordagens existentes de aprendizado profundo tenham abordado com sucesso a remoção de nuvens e a densificação temporal (interpolação) dentro da janela de tempo observada, elas enfrentam duas limitações primárias:

1. Falta de Capacidade de Previsão: A maioria dos métodos restringe-se a reconstruir lacunas dentro da extensão temporal dos dados disponíveis e não consegue prever observações futuras (extrapolação).
2. Ausência de Quantificação de Incerteza: Modelos existentes tipicamente fornecem estimativas pontuais sem quantificar explicitamente a confiabilidade ou confiança de suas previsões, o que é crucial para a tomada de decisões a jusante.
3. Restrições de Dados: Muitas abordagens dependem de entradas multimodais alinhadas temporalmente ou de máscaras de nuvens explícitas, limitando sua robustez em cenários do mundo real, esparsos e irregulares.

Metodologia

Os autores propõem uma estrutura de aprendizado profundo probabilística projetada para gerar imagens ópticas em datas arbitrárias passadas (interpolação) ou futuras (extrapolação) a partir de séries temporais esparsas, irregulares e multimodais (Óptico Sentinel-2 e SAR Sentinel-1). A abordagem é formulada como um problema de geração de imagem condicionada ao alvo.

Visão Geral da Arquitetura

O modelo consiste em três componentes primários:

1. Extração de Características Espaciais:

   • Codificadores convolucionais 2D separados processam dados Sentinel-2 (RGB-NIR) e Sentinel-1 (VV/VH) independentemente para capturar padrões espaciais específicos de cada modalidade.
   • Um mecanismo de Agrupamento de Pirâmide Espacial (SPP) é empregado para agregar informações contextuais multiescala, preservando detalhes espaciais de alta granularidade e prevenindo o suavização excessiva.
   • Sequências de entrada são reformatadas para processar cada aquisição independentemente na dimensão espacial antes da modelagem temporal.

2. Codificação Temporal e Atenção Cruzada:

   • Codificação Temporal: O modelo codifica explicitamente o tempo para lidar com amostragem irregular.
     • A data alvo ($d_{target}$) é codificada usando uma representação contínua baseada no dia do ano (DOY) para capturar sazonalidade.
     • Datas de aquisição de entrada ($d_i$) são codificadas em relação à data alvo ($\Delta d = d_i - d_{target}$), capturando tanto a distância temporal quanto a direção (passado/futuro).
   • Mecanismo de Atenção Cruzada: A codificação temporal da data alvo serve como consulta, enquanto os tokens espaço-temporais de todas as aquisições disponíveis Sentinel-1 e Sentinel-2 servem como chaves e valores.
   • Este mecanismo permite que o modelo agregue seletivamente informações das observações temporalmente mais relevantes sem exigir máscaras de nuvens explícitas ou entradas alinhadas temporalmente. O modelo aprende de ponta a ponta para ponderar observações confiáveis e ignorar as não confiáveis (por exemplo, pixels nublados).

3. Decodificador Probabilístico:

   • Em vez de prever uma única imagem determinística, o decodificador prevê os parâmetros de uma distribuição Laplace pixel a pixel (média $\mu$ e escala $b$) para cada banda espectral.
   • A distribuição Laplace é escolhida por suas caudas mais pesadas, que são mais robustas a grandes erros de previsão e reduzem o suavização excessiva em comparação com suposições Gaussianas.
   • O modelo gera tanto a imagem óptica reconstruída ($\mu$) quanto um mapa de incerteza (derivado do parâmetro de escala $b$).
   • O treinamento é realizado minimizando a verossimilhança negativa da distribuição Laplace.

Contribuições Principais

1. Interpolação e Extrapolação Unificadas: Ao contrário de trabalhos anteriores limitados ao preenchimento de lacunas, esta estrutura gera imagens em datas alvo arbitrárias, suportando tanto a reconstrução dentro da janela de observação quanto a previsão além dela.
2. Modelagem Explícita de Incerteza: A formulação probabilística fornece estimativas de incerteza pixel a pixel bem calibradas, oferecendo uma medida de confiabilidade da previsão que aumenta quando os dados são esparsos ou temporalmente distantes.
3. Fusão Multimodal Robusta: A abordagem explora conjuntamente dados SAR Sentinel-1 e ópticos Sentinel-2 sem depender de máscaras de nuvens externas ou alinhamento temporal estrito. O mecanismo de atenção cruzada aproveita adaptativamente dados SAR quando observações ópticas estão ausentes ou contaminadas.
4. Aprendizado de Ponta a Ponta: O modelo aprende a lidar com amostragem irregular e contaminação por nuvens implicitamente, removendo a necessidade de etapas de pré-processamento como mascaramento de nuvens.

Resultados Experimentais

O método foi avaliado em um conjunto de dados de patches Sentinel-1 e Sentinel-2 (96x96 pixels) cobrindo paisagens diversas, com foco em áreas agrícolas.

Desempenho de Interpolação

• Métricas Quantitativas: O modelo proposto superou tanto uma linha de base de interpolação linear quanto o modelo U-TILISE (sequência-para-sequência apenas óptico) em todos os tipos de cobertura terrestre (Urbano, Floresta, Cultivo) em termos de MAE, RMSE e PSNR.
• Regiões Dinâmicas: A diferença de desempenho foi mais significativa em áreas de cultivo, onde o modelo capturou com sucesso dinâmicas sazonais complexas e não lineares que a interpolação linear e modelos apenas ópticos falharam em modelar com precisão.
• Análise Qualitativa: Em cenários com grandes lacunas temporais, o modelo produziu reconstruções mais nítidas que as linhas de base. Crucialmente, regiões com alta dificuldade de reconstrução (por exemplo, grandes lacunas) exibiram maior incerteza prevista, demonstrando estimativa de incerteza coerente.

Desempenho de Extrapolação

• O modelo gerou com sucesso observações futuras plausíveis, mantendo consistência radiométrica apesar da dificuldade inerente da extrapolação.
• Embora os erros fossem maiores do que na interpolação, o modelo preservou as principais dinâmicas de vegetação (por exemplo, evolução do NDVI) ao longo de lacunas longas (por exemplo, 1 mês e 20 dias).
• Mapas de incerteza destacaram corretamente áreas de menor confiança durante a extrapolação.

Estudos de Ablação

• Multimodal vs. Apenas Óptico: A inclusão de dados SAR Sentinel-1 melhorou consistentemente o desempenho (menor MAE/RMSE, maior PSNR) em comparação com uma variante apenas óptica, confirmando o valor da informação estrutural do SAR em condições nubladas ou esparsas.
• Codificação Temporal: O uso de codificação temporal relativa ($\Delta d$) superou significativamente a codificação de data absoluta, sugerendo que informar explicitamente a rede sobre o deslocamento temporal até a data alvo é crítico para o desempenho.
• Análise de Atenção: A visualização dos pesos de atenção revelou que o modelo muda adaptativamente o foco: depende fortemente de dados ópticos temporalmente próximos quando disponíveis, mas aumenta significativamente a atenção para a aquisição SAR mais próxima quando dados ópticos estão ausentes ou fortemente nublados.

Significado e Limitações

Significado:
O artigo afirma que esta estrutura representa um avanço na geração de séries temporais ópticas contínuas e confiáveis ao abordar os desafios duplos de previsão e quantificação de incerteza. A capacidade de fornecer estimativas de incerteza bem calibradas é destacada como uma contribuição chave para aplicações que exigem suporte à decisão, análise de cenários e avaliação de riscos. A fusão adaptativa de dados SAR e ópticos sem mascaramento manual demonstra uma abordagem robusta para irregularidades de dados do mundo real.

Limitações:
Os autores reconhecem várias limitações:

• Refletância Extrema: O modelo tende a subestimar valores de refletância muito altos (por exemplo, superfícies artificiais, culturas brilhantes) devido à regularização da distribuição de treinamento.
• Neve e Montanhas: O modelo carece de treinamento em regiões montanhosas ou cobertas de neve. Frequentemente confunde neve com nuvens, tentando reconstruir a superfície subjacente (por exemplo, solo) em vez de preservar o sinal de neve, levando a previsões fisicamente incorretas.
• Fora da Distribuição: O modelo mostra robustez reduzida em condições não presentes no conjunto de treinamento (por exemplo, neve), embora a alta incerteza associada sirva como um indicador de alerta.

Os autores concluem que, embora a estrutura seja eficaz para monitoramento geral da superfície terrestre, trabalhos futuros devem focar na expansão dos conjuntos de dados de treinamento para incluir condições ambientais diversas (neve, montanhas) e potencialmente incorporar bandas espectrais adicionais para melhor discriminar entre superfícies altamente reflexivas.