HighFM: Towards a Foundation Model for Learning Representations from High-Frequency Earth Observation Data

1. O Problema

O aumento da frequência e severidade de desastres relacionados ao clima (como incêndios florestais, inundações e tempestades) exige sistemas de Observação da Terra (OT) capazes de monitoramento em tempo real e tomada de decisão rápida.

• Limitação dos Modelos Atuais: A maioria dos Modelos de Fundação (Foundation Models - FMs) existentes para OT foi treinada em imagens de satélite de alta resolução espacial, mas com baixa taxa de revisita (ex: Sentinel-2, Landsat). Esses modelos são eficazes para fenômenos estáticos ou de evolução lenta (como uso do solo), mas são inadequados para fenômenos de rápida evolução que exigem monitoramento contínuo.
• Necessidade: Há uma lacuna na aplicação de FMs em dados de satélites geoestacionários, que oferecem alta resolução temporal (revisita a cada 5-15 minutos), embora com resolução espacial mais baixa.

2. Metodologia

Os autores propõem o HighFM, uma abordagem pioneira para um Modelo de Fundação projetado especificamente para dados de OT de alta frequência e multiespectrais.

• Dados de Pré-treinamento:
  • Utilização de mais de 2 TB de imagens SEVIRI (do satélite Meteosat Second Generation - MSG), cobrindo a região do Mediterrâneo entre 2014 e 2019.
  • Dados com cadência de 15 minutos, utilizando 11 bandas espectrais.
  • A estratégia de pré-treinamento é auto-supervisionada (Self-Supervised Learning), utilizando o paradigma de Masked Autoencoding (MAE), onde o modelo aprende a reconstruir partes mascaradas da imagem, o que é naturalmente alinhado com a presença de nuvens e ruído em dados de OT.
• Arquitetura Adaptada (SatMAE):
  • Baseada no framework SatMAE (Vision Transformer - ViT), mas com adaptações críticas.
  • Codificação Temporal de Alta Granularidade: Diferente de modelos anteriores que ignoram detalhes temporais finos (minutos/segundos) por assumirem fenômenos lentos, o HighFM mantém essas informações. Isso é crucial para capturar a variabilidade de curto prazo em eventos como incêndios.
  • Configurações de Entrada: Foram treinadas duas variantes:
    1. Single-timestep: Uma única aquisição temporal.
    2. Multi-timestep: Três aquisições da mesma região dentro da mesma hora, permitindo ao modelo aprender a variabilidade intra-hora.
• Ajuste Fino (Fine-tuning):
  • Os modelos pré-treinados foram ajustados para duas tarefas de segmentação semântica binária: Detecção de Incêndios Ativos e Segmentação de Nuvens.
  • Foram utilizados conjuntos de dados curados (2020-2024) com máscaras de referência (MODIS para nuvens, FIRMS/EFFIS para fogo).
  • Objetivos de Treinamento: Dois cenários de uso foram testados para atender a diferentes necessidades operacionais:
    1. Alta Recall (Cross-Entropy): Prioriza capturar todos os eventos positivos (ideal para alertas precoces), tolerando falsos positivos.
    2. Alta Precisão (Dice Loss): Prioriza a localização espacial precisa e máscaras de alta confiança (ideal para intervenção e planejamento).

3. Contribuições Principais

1. Primeiro FM para Dados de Alta Frequência: Introdução de um modelo de fundação especificamente tailored para dados geoestacionários de alta taxa de revisita, preenchendo uma lacuna na literatura de OT.
2. Arquitetura com Codificação Temporal Refinada: Adaptação do SatMAE para reter e utilizar informações temporais de curto prazo (minutos), essenciais para fenômenos dinâmicos.
3. Dataset em Grande Escala: Criação e disponibilização de um dataset de pré-treinamento massivo (2 TB) de imagens SEVIRI, além de datasets curados para ajuste fino em nuvens e incêndios.
4. Benchmarks Abrangentes: Avaliação rigorosa contra bases de estado da arte (UNet, ViT do zero, ViT ImageNet, Copernicus-FM e Panopticon), demonstrando superioridade consistente.

4. Resultados

Os modelos HighFM (especialmente a variante multi-temporal, HighFMMT) superaram consistentemente todas as linhas de base em ambas as tarefas:

• Segmentação de Nuvens:
  • O HighFMMT alcançou a maior Acurácia Balanceada (0.831) e os melhores valores de IoU tanto para céu limpo quanto para nuvens.
  • Superou modelos genéricos e outros FMs de OT (como Copernicus-FM), provando que o pré-treinamento específico no domínio de alta frequência é mais eficaz.
• Detecção de Incêndios:
  • O HighFMMT obteve a maior Acurácia Balanceada (0.925) e Recall de Fogo (0.890) no cenário de alta recall.
  • No cenário de alta precisão (Dice Loss), alcançou o maior IoU de Fogo (0.352) e recall de fogo (0.497), superando o melhor baseline (ViT-B/4 ImageNet) em +0.039 de IoU.
  • Qualitativamente: O modelo demonstrou capacidade de detectar sinais de incêndio sutis com menos falsos positivos e melhor delimitação espacial em comparação aos baselines, que tendiam a super-segmentar ou ativar regiões irrelevantes.

5. Significado e Impacto

• Monitoramento em Tempo Real: O trabalho valida a viabilidade de usar dados geoestacionários (tradicionalmente de baixa resolução espacial) para tarefas críticas de OT em tempo real, desde que a alta densidade temporal seja explorada corretamente.
• Aplicações Operacionais: O modelo foi desenvolvido em colaboração com partes interessadas operacionais (bombeiros, proteção civil, institutos meteorológicos), garantindo que o equilíbrio entre recall e precisão atenda às necessidades reais de alerta precoce e resposta a desastres.
• Escalabilidade: A abordagem proposta é escalável e pode ser estendida para outras tarefas de monitoramento contínuo, como nowcasting de tempestades severas e previsão de energia solar.
• Futuro: Embora o estudo atual foque em um único sensor (SEVIRI), a metodologia abre caminho para futuros modelos multimodais que integrem dados de diferentes sensores (ex: MODIS, VIIRS) para criar um framework de monitoramento global mais robusto.

Em resumo, o HighFM estabelece um novo padrão para modelos de fundação em observação da terra, demonstrando que a adaptação arquitetural para dados temporais densos é fundamental para a detecção e rastreamento eficaz de desastres naturais em evolução rápida.