From Surface Forecasting to Observability Forecasting: A Latent World Model for Cloud-Aware EO Monitoring

Resumo Técnico: Da Previsão de Superfície para a Previsão de Observabilidade

Definição do Problema
O artigo aborda um gargalo crítico no processamento de Observação da Terra (EO): a chegada de novas imagens não garante sua usabilidade. Nuvens, névoa e pixels ausentes frequentemente tornam as observações inutilizáveis por dias ou semanas. Enquanto a pesquisa tradicional em EO foca na reconstrução de futuras imagens de superfície (previsão de pixels) ou na previsão de índices de superfície, este trabalho reformula o problema como previsão de observabilidade. A questão central não é "como a superfície parecerá?", mas sim:

1. A próxima aquisição será utilizável?
2. Se não, uma observação utilizável retornará dentro de um horizonte específico?
3. Exatamente quando retornará a primeira observação utilizável?

Os autores utilizam o conjunto de dados EarthNet2021, que fornece imagens multiespectrais do Sentinel-2 pareadas com drivers meteorológicos de mesoescala, para treinar um modelo que prevê a qualidade da observação sob oclusão de nuvens.

Metodologia
O estudo adapta o LeWorldModel (LeWM), um Modelo de Mundo de Arquitetura de Embedding Conjunto (JEPA), para o domínio de EO. Ao contrário dos modelos generativos que reconstroem pixels, o LeWM aprende uma representação de estado latente que evolui ao longo do tempo com base em observações passadas e covariáveis exógenas.

• Pipeline de Dados: Os "minicubes" brutos do EarthNet2021 são convertidos em sequências HDF5 episódicas. Cada observação $x_t$ consiste em cinco canais (Azul, Verde, Vermelho, NIR e uma máscara de nuvens binária). As covariáveis $u_t$ incluem deltas de tempo, características cíclicas de dia do ano e estatísticas meteorológicas agregadas (precipitação, pressão, temperatura) entre os quadros. Crucialmente, os quadros nublados não são descartados; eles são preservados com valores espectrais zerados e uma máscara de nuvens ativa para manter o alinhamento temporal.
• Arquitetura do Modelo: O LeWM adaptado contém 18,0 milhões de parâmetros treináveis. Ele apresenta:
  • Um adaptador de canais que mapeia 5 canais de EO para uma entrada de codificador ViT-tiny de 3 canais.
  • Um codificador ViT-tiny (tamanho de patch 16) que produz um estado latente $z_t$ de 192 dimensões.
  • Um codificador de ação que mapeia covariáveis meteorológicas de 8 dimensões para a mesma largura latente.
  • Um preditor transformer autorregressivo condicional de 6 camadas que prevê estados latentes futuros $(\hat{z}_{t+1}, \dots)$ dado o histórico de latentes e covariáveis.
• Objetivo de Treinamento: O modelo é treinado do zero usando uma perda de força de professor (teacher-forced loss) sobre um histórico de 10 passos para prever os próximos 10 estados latentes. O objetivo combina uma perda de previsão latente ($L_{pred}$) com um regularizador gaussiano isotrópico ($R_{sig}$) para impor uma geometria latente estável.
• Protocolo de Avaliação: Um protocolo "bloqueado" (locked) é empregado para garantir um teste de generalização rigoroso. As cabeças de sondagem linear e os limiares de calibração são ajustados apenas no conjunto de validação interna (valsplit). Essas cabeças são então congeladas e avaliadas em quatro divisões distintas: valsplit, IID (Independente e Identicamente Distribuído), OOD (Fora da Distribuição) e Extreme (sequências mais longas e com mais nuvens).

Principais Contribuições

1. Reformulação do Problema: Os autores deslocam o benchmark EarthNet2021 de uma previsão de superfície genérica para a previsão de observabilidade, definindo alvos explícitos para usabilidade no próximo passo, usabilidade baseada em horizonte e tempo exato de recuperação.
2. Pipeline Reproduzível: Um pipeline completo de adaptação é fornecido, incluindo conversão de dados consciente de nuvens, tratamento explícito de máscara de nuvens e normalização específica do conjunto de dados.
3. Avaliação Rigorosa: O artigo estabelece um protocolo de avaliação bloqueado que separa o treinamento, o ajuste de sondagem e o teste através de múltiplas divisões para distinguir a verdadeira generalização da adaptação específica da divisão.
4. Descobertas Empíricas: O estudo demonstra que o LeWM é mais eficaz não como um preditor espacial de vídeo, mas como um previsor de observabilidade latente. Ele supera significativamente as linhas de base de persistência e oferece vantagens distintas sobre as bases tabulares (LightGBM) em tarefas temporais específicas.

Resultos
O modelo foi avaliado contra duas linhas de base: Persistência (copiando o último estado observado) e uma linha de base LightGBM congelada treinada em históricos de qualidade explícitos e covariáveis meteorológicas.

• Previsão Latente: O LeWM supera consistentemente a persistência na previsão de estados latentes do próximo passo e em rollouts de seis passos em todas as divisões, confirmando que aprende dinâmicas temporais não triviais.
• Usabilidade no Próximo Passo (Binária): O LeWM alcança uma acurácia balanceada variando de 0,769 a 0,887, superando significativamente a persistência (0,493–0,556). Contra o LightGBM, o LeWM tem melhor desempenho nas divisões valsplit e Extreme, mas é ligeiramente superado no OOD e empata no IID.
• Tempo Exato de Recuperação: É aqui que o LeWM mostra sua maior vantagem. Para prever o horizonte exato da primeira observação utilizável, o LeWM alcança acurácias de 0,602 a 0,806, vastamente superior à persistência (0,120–0,369) e geralmente melhor que o LightGBM nas divisões valsplit, IID e Extreme.
• Regressão de Qualidade Contínua: O LeWM fornece RMSE menor para regressão de fração de céu limpo/nuvens na maioria das divisões em comparação ao LightGBM, exceto na divisão OOD, onde o LightGBM é ligeiramente mais robusto.
• Detecção de Anomalias: O modelo produz sinais fortes de classificação para inconsistências temporais sintéticas (ex: quadros futuros embaralhados), servindo como um verificador de consistência temporal.

Significância e Alegações
O artigo alega modestamente que o valor do LeWorldModel neste contexto não é como um preditor espacial ou um sistema de planejamento, mas especificamente como um previsor de observabilidade latente para monitoramento consciente de nuvens.

• Especialização de Tarefa: Os resultados revelam uma divisão clara de tarefas: o LightGBM se destaca em decisões binárias simples ("Haverá alguma observação utilizável nos próximos 6 passos?", provavelmente porque históricos de qualidade explícitos contêm sinal suficiente para isso). O LeWM, no entanto, é superior para regressão de qualidade contínua e previsão de tempo exato, sugerindo que sua representação latente captura uma evolução de estado temporal mais rica que os modelos tabulares perdem.
• Limitações: Os autores reconhecem que o desempenho OOD continua sendo um ponto fraco, onde a distribuição latente sofre um desvio significativo do regime de treinamento. Além disso, o modelo depende de covariáveis meteorológicas futuras conhecidas (forçamento exógeno) e não realiza previsão meteorológica ou otimização de política.
• Conclusão: A principal contribuição é demonstrar que um modelo de mundo baseado em JEPA pode rastrear efetivamente a evolução oculta da visibilidade da cena. Ele fornece uma ferramenta prática para pipelines de EO determinarem quando esperar dados utilizáveis, em vez de apenas tentar reconstruir superfícies obscurecidas.