ChronoEarth-492K: A Large Scale and Long Horizon Spatiotemporal Hyperspectral Earth Observation Dataset and Benchmark

Resumen Técnico de ChronoEarth-492K: Un Conjunto de Datos y un Punto de Referencia para la Observación Terrestre Hiperespectral Espaciotemporal a Gran Escala y de Largo Alcance

Enunciado del Problema
La imagenología hiperespectral (HSI) ofrece información espectral densa (cientos de bandas contiguas) esencial para la caracterización a nivel de material de la superficie terrestre, superando las capacidades de los sensores multiespectrales. Si bien los avances recientes en aprendizaje auto-supervisado (SSL) han aprovechado la HSI para la representación espacial estática, los conjuntos de datos a gran escala existentes siguen siendo "temporalmente superficiales". Están predominantemente diseñados para la comprensión de escenas estáticas, careciendo de la cobertura temporal continua y a largo plazo necesaria para modelar la dinámica superficial, como la deforestación, las transiciones de uso del suelo y los cambios en los ecosistemas. En consecuencia, el desarrollo y la evaluación sistemática de modelos fundamentales hiperespectrales espaciotemporales de largo alcance se ven actualmente obstaculizados por la falta de datos adecuados y puntos de referencia estandarizados.

Metodología
Los autores abordan esta brecha mediante la construcción de ChronoEarth-492K y el ChronoEarth-Benchmark.

• Fuente de Datos y Curación: ChronoEarth-492K se basa en la misión EO-1 Hyperion de la NASA (2001–2017), el archivo hiperespectral espacial continuo más largo del mundo. Los autores curaron 492.354 parches armonizados radiométricamente en 185.398 ubicaciones globales.
• Preprocesamiento:
  • Armonización Espectral: De las 242 bandas originales, se eliminaron las bandas inestables y de bajo señal (por ejemplo, regiones de absorción de agua), reteniendo 155 bandas espectralmente consistentes alineadas a una cuadrícula de longitud de onda unificada.
  • Parcheo Global: Las escenas se re-muestrearon a una resolución uniforme de 30 m y se dividieron en parches de $128 \times 128$ píxeles sin superposición. Se utilizó un sistema de cuadrícula global determinista basado en zonas UTM para asignar identificadores de ubicación únicos (UID) a cada parche.
  • Alineación Espaciotemporal: Los parches que comparten el mismo UID en diferentes marcas de tiempo se agregaron para formar secuencias temporales. El conjunto de datos incluye 28.786 ubicaciones con secuencias multitemporales (≥3 observaciones), lo que permite tanto el análisis de corto como de largo alcance.
• Construcción del Punto de Referencia: El ChronoEarth-Benchmark integra seis productos geoespaciales de código abierto (que cubren cobertura terrestre, tipos de cultivos, dinámica forestal y propiedades del suelo) alineados con las observaciones hiperespectrales. Define tres categorías de tareas:
  1. Tareas Estáticas: Predicción de etiquetas a partir de una sola observación hiperespectral.
  2. Tareas de Corto Alcance (SH): Agregación de observaciones temporalmente adyacentes (por ejemplo, $T \le 4$) para la predicción.
  3. Tareas de Largo Alcance (LH): Predicción de estados futuros (por ejemplo, año $n+1$) basándose en secuencias históricas (por ejemplo, años 2001 a $n$).
  • Configuraciones de Generalización: El punto de referencia incluye divisiones de generalización espacio-temporal y continental para evaluar la robustez del modelo bajo desplazamientos de dominio (por ejemplo, entrenamiento en Europa/América del Norte y prueba en África/América Latina).
• Protocolo Experimental: Los autores evaluaron modelos fundamentales hiperespectrales de última generación (por ejemplo, SpectralViT, LESSViT, DOFA, HyperSigma). Para manejar las entradas temporales, emplearon un enfoque de dos etapas: (1) preentrenamiento estático en el conjunto de datos completo, y (2) preentrenamiento temporal de segunda etapa en secuencias multitemporales utilizando un objetivo de enmascaramiento causal (predecir el siguiente cuadro). Las estrategias de adaptación temporal incluyeron agrupación máxima (max pooling), agregación basada en atención y ajuste fino con SSL temporal.

Contribuciones Clave

1. ChronoEarth-492K: El primer conjunto de datos SSL hiperespectral a gran escala y calibrado temporalmente, que ofrece 17 años de observaciones globales con 492.354 parches y 28.786 secuencias multitemporales.
2. ChronoEarth-Benchmark: Una suite unificada de evaluación que abarca tareas temporales estáticas, de corto alcance y de largo alcance, junto con configuraciones controladas de generalización espacial y temporal.
3. Líneas Base Empíricas: Evaluaciones extensas de modelos fundamentales hiperespectrales, estableciendo líneas base de referencia y demostrando la eficacia del preentrenamiento y modelado temporal en diversos entornos.

Resultados

• Rendimiento Estático: El preentrenamiento auto-supervisado en ChronoEarth mejoró consistentemente el rendimiento aguas abajo en comparación con el entrenamiento supervisado desde una inicialización aleatoria. Las arquitecturas que modelan explícitamente las interacciones espaciales-espectrales (por ejemplo, LESSViT) generalmente superaron a las demás en tareas estáticas.
• Generalización: Los modelos exhibieron degradación del rendimiento bajo desplazamientos de distribución espacial y temporal, identificándose la variabilidad geográfica como un factor dominante que limita la generalización. Sin embargo, los modelos preentrenados en ChronoEarth demostraron una transferencia efectiva entre satélites a conjuntos de datos basados en EnMAP, a pesar de las diferencias espectrales entre EO-1 Hyperion y EnMAP.
• Modelado Temporal:
  • Corto Alcance: Incorporar observaciones temporales adicionales generalmente mejoró el rendimiento. Los modelos preentrenados temporalmente (usando SSL de segunda etapa) superaron tanto a las variantes de agrupación máxima como a las basadas en atención supervisada, lo que indica que la agregación temporal aprendida es superior a la agrupación ingenua.
  • Largo Alcance: Extender la historia temporal generalmente mejoró el rendimiento en tareas de transición de cobertura terrestre (CLCD, NLCD-S). El modelo preentrenado temporalmente superó consistentemente a otras estrategias, confirmando la necesidad de un modelado temporal aprendido para capturar dependencias extendidas. Sin embargo, para objetivos sensibles al tiempo como el tipo de cultivo (CDL), el rendimiento se volvió inestable con horizontes muy largos ($T \le 8$), lo que sugiere que un contexto histórico más largo puede introducir ruido para ciertas tareas.

Significado
El artículo afirma que ChronoEarth y su punto de referencia proporcionan la primera plataforma a gran escala y fundamentada temporalmente para el aprendizaje sistemático de representaciones hiperespectrales espaciotemporales. Al ir más allá de la comprensión de escenas estáticas, este trabajo permite el estudio de la dinámica ambiental a largo plazo y establece un marco estandarizado para evaluar la generalización temporal y las capacidades de pronóstico. Los autores señalan que, si bien su enfoque actual extiende las columnas vertebrales estáticas con módulos temporales, la investigación futura debería centrarse en desarrollar modelos fundamentales espaciotemporales nativos que integren el aprendizaje espacial, espectral y temporal en una arquitectura unificada para manejar mejor las observaciones a largo plazo y muestreadas de manera irregular.