ChronoEarth-492K: A Large Scale and Long Horizon Spatiotemporal Hyperspectral Earth Observation Dataset and Benchmark

Resumo Técnico do ChronoEarth-492K: Um Conjunto de Dados e Benchmark de Observação Terrestre Hiperespectral Espaço-Temporal de Grande Escala e Longo Horizonte

Declaração do Problema
A imageamento hiperespectral (HSI) oferece informações espectrais densas (centenas de bandas contíguas) essenciais para a caracterização em nível de material da superfície terrestre, superando as capacidades dos sensores multiespectrais. Embora avanços recentes em aprendizado auto-supervisionado (SSL) tenham aproveitado o HSI para representação espacial estática, os conjuntos de dados em grande escala existentes permanecem "temporalmente rasos". Eles são predominantemente projetados para compreensão de cenas estáticas, carecendo da cobertura temporal contínua e de longo prazo necessária para modelar dinâmicas de superfície, como desmatamento, transições de uso da terra e mudanças nos ecossistemas. Consequentemente, o desenvolvimento e a avaliação sistemática de modelos fundamentais hiperespectrais espaço-temporais de longo horizonte estão atualmente impedidos pela falta de dados adequados e benchmarks padronizados.

Metodologia
Os autores abordam essa lacuna por meio da construção do ChronoEarth-492K e do ChronoEarth-Benchmark.

• Fonte de Dados e Curadoria: O ChronoEarth-492K é construído sobre a missão EO-1 Hyperion da NASA (2001–2017), o maior arquivo hiperespectral espacial contínuo do mundo. Os autores curaram 492.354 patches harmonizados radiometricamente em 185.398 locais globais.
• Pré-processamento:
  • Harmonização Espectral: Das 242 bandas originais, bandas instáveis e de baixo sinal (por exemplo, regiões de absorção de água) foram removidas, retendo 155 bandas espectralmente consistentes alinhadas a uma grade de comprimento de onda unificada.
  • Fragmentação Global: As cenas foram reamostradas para uma resolução uniforme de 30m e divididas em patches não sobrepostos de $128 \times 128$ pixels. Um sistema de grade global determinístico baseado em zonas UTM foi utilizado para atribuir identificadores de localização únicos (UIDs) a cada patch.
  • Alinhamento Espaço-Temporal: Patches compartilhando o mesmo UID em diferentes carimbos de tempo foram agregados para formar sequências temporais. O conjunto de dados inclui 28.786 locais com sequências multi-temporais (≥3 observações), permitindo análises de curto e longo horizonte.
• Construção do Benchmark: O ChronoEarth-Benchmark integra seis produtos geoespaciais de código aberto (cobrindo cobertura do solo, tipos de culturas, dinâmicas florestais e propriedades do solo) alinhados às observações hiperespectrais. Ele define três categorias de tarefas:
  1. Tarefas Estáticas: Previsão de rótulos a partir de uma única observação hiperespectral.
  2. Tarefas de Curto Horizonte (SH): Agregação de observações temporalmente adjacentes (por exemplo, $T \le 4$) para previsão.
  3. Tarefas de Longo Horizonte (LH): Previsão de estados futuros (por exemplo, ano $n+1$) com base em sequências históricas (por exemplo, anos de 2001 a $n$).
  • Configurações de Generalização: O benchmark inclui divisões de generalização espaço-temporal e continental para avaliar a robustez do modelo sob deslocamentos de domínio (por exemplo, treinamento na Europa/América do Norte e teste na África/América Latina).
• Protocolo Experimental: Os autores avaliaram modelos fundamentais hiperespectrais de última geração (por exemplo, SpectralViT, LESSViT, DOFA, HyperSigma). Para lidar com entradas temporais, eles empregaram uma abordagem em duas etapas: (1) pré-treinamento estático no conjunto de dados completo e (2) pré-treinamento temporal na segunda etapa em sequências multi-temporais usando um objetivo de mascaramento causal (prever o próximo quadro). Estratégias de adaptação temporal incluíram pooling máximo, agregação baseada em atenção e ajuste fino com SSL temporal.

Principais Contribuições

1. ChronoEarth-492K: O primeiro conjunto de dados SSL hiperespectral de grande escala e calibrado temporalmente, oferecendo 17 anos de observações globais com 492.354 patches e 28.786 sequências multi-temporais.
2. ChronoEarth-Benchmark: Uma suíte unificada de avaliação abrangendo tarefas temporais estáticas, de curto horizonte e de longo horizonte, juntamente com configurações controladas de generalização espacial e temporal.
3. Baselines Empíricas: Avaliações extensas de modelos fundamentais hiperespectrais, estabelecendo baselines de referência e demonstrando a eficácia do pré-treinamento e modelagem temporais sob diversas configurações.

Resultados

• Desempenho Estático: O pré-treinamento auto-supervisionado no ChronoEarth melhorou consistentemente o desempenho downstream em comparação com o treinamento supervisionado a partir de inicialização aleatória. Arquiteturas que modelam explicitamente interações espaço-espectrais (por exemplo, LESSViT) geralmente superaram as outras em tarefas estáticas.
• Generalização: Os modelos exibiram degradação de desempenho sob deslocamentos de distribuição espacial e temporal, com variabilidade geográfica identificada como um fator dominante limitando a generalização. No entanto, modelos pré-treinados no ChronoEarth demonstraram transferência cruzada eficaz entre satélites para conjuntos de dados baseados no EnMAP, apesar das diferenças espectrais entre o EO-1 Hyperion e o EnMAP.
• Modelagem Temporal:
  • Curto Horizonte: A incorporação de observações temporais adicionais geralmente melhorou o desempenho. Modelos pré-treinados temporalmente (usando SSL da segunda etapa) superaram tanto as variantes de pooling máximo quanto as baseadas em atenção supervisionada, indicando que a agregação temporal aprendida é superior ao pooling ingênuo.
  • Longo Horizonte: Estender o histórico temporal geralmente melhorou o desempenho em tarefas de transição de cobertura do solo (CLCD, NLCD-S). O modelo pré-treinado temporalmente superou consistentemente outras estratégias, confirmando a necessidade de modelagem temporal aprendida para capturar dependências estendidas. No entanto, para alvos sensíveis ao tempo, como tipo de cultura (CDL), o desempenho tornou-se instável com horizontes muito longos ($T \le 8$), sugerindo que um contexto histórico mais longo pode introduzir ruído para certas tarefas.

Significado
O artigo afirma que o ChronoEarth e seu benchmark fornecem a primeira plataforma de grande escala e fundamentada temporalmente para aprendizado de representação hiperespectral espaço-temporal sistemática. Ao ir além da compreensão de cenas estáticas, este trabalho permite o estudo de dinâmicas ambientais de longo prazo e estabelece uma estrutura padronizada para avaliar generalização temporal e capacidades de previsão. Os autores observam que, embora sua abordagem atual estenda backbones estáticos com módulos temporais, pesquisas futuras devem focar no desenvolvimento de modelos fundamentais espaço-temporais nativos que integrem aprendizado espacial, espectral e temporal em uma arquitetura unificada para lidar melhor com observações de longo prazo e irregularmente amostradas.