🤖 machine learning

SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal Earth Observation Pretraining

El artículo introduce SpectralEarth-FM, un modelo transformador jerárquico y su conjunto de datos SpectralEarth-MM de 40 TB, que permiten un preentrenamiento conjunto de vanguardia de imágenes hiperespectrales con datos de observación terrestre multiespectrales, SAR y térmicos para superar las limitaciones de los modelos fundacionales de un solo sensor o de una sola modalidad.

Autores originales: Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina la Tierra como un rompecabezas gigante y complejo. Durante años, los científicos que intentan comprender este rompecabezas han utilizado diferentes tipos de "lentes" para observarlo. Algunos lentes ven el mundo con trazos amplios y coloridos (como las fotografías satelitales estándar), mientras que otros lo ven en radar en blanco y negro o en mapas térmicos.

Durante mucho tiempo, existió un lente muy especial y de gran potencia llamado Imágenes Hiperespectrales (HSI). Este lente no solo ve colores; ve cientos de tonos diminutos y específicos de luz, lo que le permite identificar exactamente qué materiales hay en el suelo (como distinguir entre dos tipos de trigo o detectar un mineral específico). Sin embargo, este lente especial se utilizaba principalmente de forma aislada. Los científicos tenían modelos potentes para los lentes "amplios" y modelos separados para el lente "especial", pero rara vez les enseñaban a trabajar juntos.

SpectralEarth-FM es el nuevo sistema diseñado para solucionar esto. Así es como funciona, desglosado en conceptos simples:

1. La Biblioteca Masiva (SpectralEarth-MM)

Antes de que un estudiante pueda aprender, necesita una biblioteca de libros. Los autores construyeron una biblioteca digital masiva llamada SpectralEarth-MM.

La Colección: Contiene más de 40 Terabytes de datos, suficiente para llenar miles de discos duros.
La Mezcla: No solo tiene las fotos hiperespectrales "especiales". Las empareja con fotos estándar, imágenes de radar y mapas térmicos, todos tomados exactamente en el mismo lugar de la Tierra al mismo tiempo.
La Escala: Cubre aproximadamente 2 millones de ubicaciones diferentes en todo el mundo, creando 25 millones de conjuntos de imágenes coincidentes. Piensa en ello como un álbum de fotos global donde cada página tiene una foto en color de alta definición, un escaneo de radar y un mapa térmico del mismo patio trasero, todos perfectamente alineados.

2. El Traductor Inteligente (La Arquitectura)

El problema es que estos diferentes "lentes" hablan idiomas distintos. La cámara hiperespectral habla en cientos de palabras de frecuencia diminutas, mientras que la cámara de radar habla en pocas palabras fuertes y amplias. Si intentas alimentarlas en un cerebro estándar, se confunde.

SpectralEarth-FM actúa como un traductor brillante con una estructura cerebral única:

Asistentes Especializados: Tiene diferentes "asistentes" (ramas) para cada tipo de cámara. El asistente para la cámara hiperespectral está entrenado para comprender patrones espectrales complejos y detallados. El asistente para la cámara de radar está entrenado para comprender la textura y la forma.
La Mesa de Fusión: Una vez que cada asistente comprende su propia pieza del rompecabezas, traen sus notas a una mesa central. Aquí, un "módulo de fusión" combina sus ideas en una comprensión única y unificada.
El Cerebro Compartido: Finalmente, esta comprensión combinada se pasa a un "cerebro" compartido (un codificador jerárquico) que aprende el panorama general, permitiendo que el sistema responda preguntas sobre la Tierra utilizando cualquier combinación de estos sensores.

3. El Método de Aprendizaje (Preentrenamiento JEPA)

¿Cómo se enseña a un modelo esto sin un maestro que le dé las respuestas? Los autores utilizaron un juego llamado JEPA (Arquitectura de Incrustación Conjunta Predictiva).

Imagina que estás mirando un paisaje.

El Maestro: El "Maestro" mira todo el paisaje utilizando todos los sensores disponibles (la imagen completa) y forma una idea profunda y abstracta de lo que hay allí.
El Estudiante: Al "Estudiante" se le da un pequeño recorte borroso del paisaje utilizando solo un sensor (por ejemplo, solo el radar o solo la vista hiperespectral).
El Reto: El Estudiante debe adivinar la idea profunda del Maestro basándose en esa vista diminuta de un solo sensor.
El Resultado: Al jugar este juego millones de veces, el modelo aprende a comprender la esencia de la Tierra. Aprende que una textura de radar específica combinada con una firma térmica específica generalmente significa "bosque", incluso si aún no ha visto la foto completa en color. Aprende a predecir el "significado" de una escena en lugar de simplemente copiar los píxeles.

4. Los Resultados

Los autores probaron este nuevo sistema en dos tipos de desafíos:

Tareas Hiperespectrales: ¿Puede identificar minerales específicos o tipos de cultivos utilizando el lente de alto detalle? Sí. Superó a todos los modelos anteriores que fueron entrenados solo con datos hiperespectrales.
Tareas Generales de la Tierra: ¿Puede manejar tareas estándar como el monitoreo de inundaciones o la clasificación de cobertura terrestre utilizando la mezcla de sensores? Sí. Rindió tan bien como, o mejor que, los mejores modelos existentes que utilizan datos satelitales estándar.

La Conclusión

SpectralEarth-FM es un nuevo tipo de "cerebro terrestre" que finalmente aprende a leer la Tierra utilizando todos sus sentidos a la vez. Al combinar la visión ultra detallada de las cámaras hiperespectrales con la visión robusta y de todo clima del radar y las cámaras estándar, crea una comprensión más completa y precisa de nuestro planeta que nunca antes. Los autores también han prometido liberar la biblioteca masiva y el código del cerebro al público para que otros puedan seguir construyendo sobre esta base.

Resumen Técnico: SpectralEarth-FM

Declaración del Problema

Los modelos fundacionales (FM) de Observación de la Tierra (EO) han adoptado cada vez más el preentrenamiento multisenor, integrando imágenes multiespectrales (MSI), radar de apertura sintética (SAR) y capas geoespaciales derivadas. Sin embargo, la imagen hiperespectral (HSI), que ofrece mediciones de alta dimensión y contiguas espectralmente (ancho de banda ~10 nm), sigue estando subrepresentada en estos marcos multimodales. Por el contrario, los modelos fundacionales de HSI existentes suelen entrenarse únicamente con datos de HSI, dejando sin explorar el preentrenamiento conjunto y la fusión de HSI con observaciones MSI, SAR y térmicas co-localizadas.

Los enfoques de modelado actuales enfrentan desafíos específicos al integrar HSI:

Complejidad Espectral: La HSI contiene fuertes correlaciones interbanda y ruido dependiente del sensor, lo que requiere un procesamiento espectral-espacial explícito en lugar de una simple proyección de parches.
Heterogeneidad: Integrar HSI con sensores de menor número de canales (MSI, SAR, Temperatura de la Superficie Terrestre) requiere una arquitectura que preserve el procesamiento espectral de alta resolución mientras soporta entradas ópticas de banda ancha.
Escasez de Datos: Existe una falta de conjuntos de datos a gran escala y espacialmente alineados que emparejen HSI espacial con otras modalidades principales de EO (Sentinel-2, Landsat, Sentinel-1) sobre huellas geográficas comunes.

Metodología

1. Conjunto de Datos: SpectralEarth-MM

Para habilitar el preentrenamiento a gran escala, los autores curaron SpectralEarth-MM, un conjunto de datos multisenor centrado en misiones de HSI espacial.

Fuentes: El conjunto de datos se ancla en HSI de tres sensores: EnMAP, EMIT y DESIS.
Co-localización: Estos se alinean espacialmente con Sentinel-2, Landsat-8/9 (MSI y Temperatura de la Superficie Terrestre) y Sentinel-1 (SAR).
Escala: El conjunto de datos cubre aproximadamente 2 millones de ubicaciones distribuidas globalmente, comprendiendo 25 millones de parches georreferenciados y más de 40 TB de datos.
Construcción: El pipeline implica control de calidad específico del sensor (filtrado de nubes, verificaciones de georreferenciación), extracción de parches en huellas no superpuestas de $(3.84 \text{ km})^2$ y reequilibrio jerárquico utilizando incrustaciones de AlphaEarth para reducir la redundancia espacial y semántica mientras se preservan configuraciones de sensores raras.

2. Arquitectura: SpectralEarth-FM

Los autores proponen SpectralEarth-FM, un transformador jerárquico diseñado para dimensionalidad espectral heterogénea. La arquitectura consta de cuatro componentes principales:

Tokenización Espectral (HSI): A diferencia de las proyecciones de parches estándar, las entradas de HSI pasan por un tokenizador espectral específico del sensor. Las bandas dentro de un parche espacial se dividen en grupos contiguos, se incrustan mediante proyecciones dedicadas y se procesan mediante un Transformador Espectral (SpecTr). Codificaciones de posición espectral aprendibles inyectan información de orden. Los tokens de grupo resultantes se agregan en un único token espacial.
Ramas Locales Específicas del Sensor: Los sensores de menor dimensión (MSI, SAR, LST) utilizan proyecciones de parches convolucionales estándar. Todas las ramas pasan luego a través de Bloques Locales Jerárquicos (LHB) basados en el diseño Hiera. Estas ramas operan de forma independiente para manejar estadísticas específicas del sensor antes de la fusión.
Fusión Transversal de Sensores: Después de la codificación local, las incrustaciones de las ramas se fusionan en cada posición espacial. Una consulta aprendida atiende sobre los tokens de sensor proyectados (aumentados con incrustaciones específicas del sensor) para producir una única cuadrícula de tokens fusionados.
Codificador Jerárquico Compartido: Los tokens fusionados se pasan a un codificador Hiera compartido para producir la representación final $Z$ .

3. Estrategia de Preentrenamiento

El modelo se preentrena utilizando un objetivo estilo Arquitectura Predictiva de Incrustación Conjunta (JEPA), adaptado para la fusión multimodal de EO.

Objetivo: En lugar de reconstruir píxeles crudos (lo cual es difícil entre modalidades con características de ruido diferentes), el modelo aprende a igualar representaciones entre vistas globales y vistas locales de un solo sensor de la misma ubicación.
Diseño Maestro-Alumno: Se utiliza una configuración asimétrica donde un maestro con Promedio Móvil Exponencial (EMA) procesa solo vistas globales (que contienen múltiples modalidades) para definir un objetivo estable. El alumno procesa vistas globales, locales y con sensores omitidos para predecir este objetivo.
Función de Pérdida: El objetivo combina una pérdida de invarianza (MSE entre las proyecciones del alumno y el maestro) con una penalización SIGReg para evitar el colapso de la representación.

Contribuciones Clave

SpectralEarth-MM: Un corpus globalmente equilibrado y multitemporal de más de 40 TB que abarca HSI, MSI, SAR y LST, diseñado específicamente para cerrar la brecha entre la EO hiperespectral y multisenor.
SpectralEarth-FM: Una arquitectura novedosa de modelo fundacional que presenta tokenización espectral explícita para HSI, ramas locales específicas del sensor y un módulo de fusión transversal de sensores dentro de un marco de transformador jerárquico.
Preentrenamiento Multimodal JEPA: Una estrategia de preentrenamiento adaptada que evita la reconstrucción directa de píxeles entre sensores heterogéneos, enfocándose en cambio en alinear representaciones latentes entre vistas globales y locales.
Evaluación Exhaustiva: Amplia evaluación comparativa en diez tareas posteriores hiperespectrales y el conjunto estándar de benchmarks de EO PANGAEA.

Resultados

El artículo evalúa SpectralEarth-FM bajo dos configuraciones: enrutamiento de rama única (enrutando las entradas a la rama espectral más cercana) y enrutamiento de múltiples ramas (concatenando características de múltiples ramas).

Benchmarks Hiperespectrales: En diez tareas posteriores (incluyendo CDL, BD-Foret, EuroCrops y OxHyperMinerals), SpectralEarth-FM-a (múltiples ramas) logró el mejor rango promedio general (1.4), superando a modelos de última generación como HyperSIGMA, Panopticon y CARL. Mostró una fuerza particular en tareas basadas en EnMAP y demostró una transferencia exitosa a sensores no vistos (por ejemplo, EO-1 Hyperion, GF-5) mediante interpolación espectral.
Benchmarks Generales de EO (PANGAEA): Evaluado en siete tareas (por ejemplo, HLS Burns, Sen1Floods11, AI4Farms), SpectralEarth-FM-a logró un rango promedio de 3.43, colocándolo entre los modelos de mejor rendimiento (superando a TerraMind, CROMA y Prithvi en la comparación).
Estudios de Ablación:
- Selección de Rama: La rama EnMAP generalmente arrojó el rendimiento más alto en tareas de HSI, mientras que combinar todas las ramas de HSI mejoró aún más los resultados.
- Fusión de Sensores: Fusionar EnMAP con Sentinel-2 o Landsat OLI proporcionó información complementaria, generando ganancias significativas (por ejemplo, +3.4 mIoU en EuroCrops) en comparación con entradas de un solo sensor.

Significado y Afirmaciones

Los autores afirman que SpectralEarth-FM representa un paso significativo hacia adelante en la integración de datos hiperespectrales en el ecosistema más amplio de modelos fundacionales de Observación de la Tierra. Al abordar explícitamente la alta dimensionalidad espectral de la HSI mediante mecanismos de tokenización y fusión dedicados, el modelo logra un rendimiento de última generación en tareas hiperespectrales mientras mantiene un rendimiento competitivo en benchmarks multisenor estándar.

El trabajo destaca que:

El preentrenamiento conjunto de HSI con MSI, SAR y LST es viable y beneficioso, permitiendo que los modelos aprendan representaciones que se generalizan entre sensores.
El objetivo propuesto estilo JEPA maneja eficazmente la heterogeneidad del ruido del sensor y la resolución espectral sin requerir reconstrucción a nivel de píxel.
La publicación de SpectralEarth-MM y SpectralEarth-FM proporciona un recurso necesario para la investigación futura en EO multimodal, abordando la brecha histórica donde la HSI estaba aislada o excluida de los modelos fundacionales a gran escala.

El artículo concluye con modestia, señalando que, aunque el modelo logra un fuerte rendimiento dentro de la distribución, la interacción compleja de características espaciales y espectrales en las representaciones fusionadas merece una mayor investigación en cuanto a la explicabilidad. Además, el marco actual está dedicado a sensores de preentrenamiento específicos, intercambiando la flexibilidad lista para usar por representaciones espectrales más fuertes, un compromiso que los autores reconocen para trabajos futuros.