🤖 machine learning

Now We Know? A Systematic Comparison of TerraMind and THOR

Este artículo presenta una comparación sistemática de dos Modelos Fundacionales Geoespaciales de la Agencia Espacial Europea, THOR y TerraMind, a través de diez casos de uso diversos para demostrar que las elecciones de diseño arquitectónico —específicamente el tamaño del parche y la complejidad del decodificador— explican más la varianza del rendimiento que la identidad del modelo, revelando estrategias de inversión complementarias y estableciendo una metodología diagnóstica para la futura evaluación de los GFM.

Autores originales: Frederick Schindlegger, Kenzo Bounegta, Eva Gmelich Meijling, Johannes Jakubik, Arnt-Børre Salberg, Theodor Forgaard, Nicolas Longepe, Valerio Marsocci

Publicado 2026-07-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Frederick Schindlegger, Kenzo Bounegta, Eva Gmelich Meijling, Johannes Jakubik, Arnt-Børre Salberg, Theodor Forgaard, Nicolas Longepe, Valerio Marsocci

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a una computadora a entender la Tierra desde el espacio. Durante años, los científicos han estado construyendo "Modelos Fundacionales Geoespaciales" (GFM, por sus siglas en inglés). Piensa en estos modelos como cerebros superinteligentes y preentrenados que ya han visto miles de millones de fotos satelitales. Son como un estudiante que ha leído todos los libros de texto de geografía en la biblioteca antes de presentarse a un examen específico. Debido a que han visto tanto, pueden aprender nuevas tareas —como encontrar inundaciones o rastrear icebergs— mucho más rápido que un modelo que comienza desde cero. Pero aquí está la parte difícil: tenemos muchos de estos "supercerebros", y todos obtienen puntuaciones diferentes en los exámenes. A veces, uno es mejor encontrando inundaciones y otro es mejor detectando incendios. La gran pregunta es: ¿Por qué? ¿Es un modelo simplemente más inteligente debido a la arquitectura de su cerebro? ¿Es porque tiene un mejor "decodificador" (la parte que traduce las señales cerebrales en un mapa)? ¿O es simplemente cuestión de suerte con las imágenes específicas con las que fue probado? Hasta ahora, la mayoría de las veces solo hemos mirado la puntuación final, como una tabla de clasificación deportiva, sin comprender la mecánica detrás de la victoria.

Este artículo, titulado "¿Ahora lo sabemos?", es como una historia de detectives donde dos detectives rivales, THOR y TerraMind, son sometidos a una serie de experimentos controlados para ver qué es lo que realmente los hace funcionar. Ambos fueron construidos por equipos financiados por la Agencia Espacial Europea, pero tienen filosofías muy diferentes. THOR es el "camaleón": puede cambiar su "tamaño de parche" (cómo divide una imagen) sobre la marcha, intercambiando potencia de cómputo por detalles más nítidos cuando lo necesita. TerraMind es el "artista generativo": fue entrenado para imaginar piezas faltantes de un rompecabezas, lo que le permite llenar huecos o cambiar entre diferentes tipos de sensores (como convertir una imagen de radar en una óptica) usando un truco llamado "Pensar en Modalidades".

Los investigadores no se limitaron a dejar que pelearan en una tabla de clasificación. En su lugar, realizaron un "estudio de ablación" masivo, que es una forma elegante de decir que desarmaron los modelos pieza por pieza y los reensamblaron para ver qué parte importaba más. Probaron estos modelos en diez misiones del mundo real, desde el rastreo de fugas de metano hasta el mapeo de la cubierta de nieve.

Esto es lo que encontraron, y es un poco un giro en la trama. Primero, descubrieron que la puntuación de la "tabla de clasificación" a menudo es una mentirosa. El factor determinante de quién gana no es necesariamente qué modelo eliges (THOR o TerraMind), sino cómo cortas la imagen y qué tan complejo es tu decodificador. Si cortas una imagen en trozos diminutos (tamaño de parche pequeño), THOR se vuelve increíblemente poderoso, especialmente para detectar cosas pequeñas y complicadas como icebergs o zonas de inundación, porque ve los detalles finos. Sin embargo, esto tiene un alto costo: requiere mucha potencia de cómputo. TerraMind, por otro lado, utiliza un tamaño de corte fijo. Brilla cuando necesitas procesar imágenes ópticas (como fotos estándar) de manera eficiente, pero le cuesta un poco más con los datos de solo radar, a menos que le des un decodificador muy potente.

El estudio también descartó algunas suposiciones comunes. Por ejemplo, mucha gente pensaba que simplemente fusionar datos de dos satélites diferentes (como combinar radar y óptica) siempre haría al modelo más inteligente. Los investigadores descubrieron que, con conjuntos de datos completos, esto no siempre era cierto; a veces, usar solo los datos ópticos era mejor porque el método de fusión que utilizaron era demasiado simple para manejar el ruido adicional. También descubrieron que "congelar" el cerebro del modelo (no dejar que aprenda cosas nuevas durante la prueba) funcionó sorprendentemente bien para TerraMind en tareas ópticas, pero THOR a menudo necesitaba estar totalmente "descongelado" (permitiéndole aprender) para alcanzar su pleno potencial, especialmente en tareas de radar.

En última instancia, el artículo sugiere que no hay un único "ganador". No se trata de qué modelo es el mejor del mundo, sino de emparejar la herramienta con el trabajo. Si tienes una computadora potente y necesitas encontrar objetos pequeños y específicos en imágenes de radar, THOR con un tamaño de parche diminuto es tu héroo. Si necesitas un modelo rápido y eficiente para el mapeo óptico general, TerraMind podría ser la mejor opción. Los autores concluyen que el futuro de estos modelos no es solo construir cerebros más grandes, sino comprender los compromisos específicos entre cómo cortamos los datos, cómo decodificamos las respuestas y qué tipo de "cerebro" estamos utilizando. Es un recordatorio de que, en el mundo de la IA, el contexto lo es todo.

Título: ¿Ahora lo sabemos? Una comparación sistemática de TerraMind y THOR

Planteamiento del problema
Los benchmarks actuales para los Modelos Fundacionales Geoespaciales (GFM, por sus siglas en inglés) dependen cada vez más de puntuaciones agregadas para clasificar modelos. Los autores argumentan que tales clasificaciones oscurecen las razones subyacentes de las diferencias de rendimiento, confundiendo las contribuciones del backbone preentrenado, la capacidad del decodificador, los regímenes de ajuste fino (fine-tuning) y los esquemas de tokenización espacial. Esto dificulta determinar si las brechas de rendimiento surgen de ventajas arquitectónicas genuinas o de artefactos específicos del conjunto de datos. Además, los benchmarks existentes a menudo no logran responder al porqué de las diferencias entre modelos, particularmente en cuanto a cómo decisiones de diseño como el tamaño del parche (patch size), la complejidad del decodificador y la modalidad de entrada influyen en el rendimiento en el mundo real a través de diversos dominios de Observación de la Tierra (EO).

Metodología
El estudio realiza un estudio de ablación controlado comparando dos GFMs desarrollados bajo el $\phi$ -lab de la Agencia Espacial Europea, que encarnan filosofías de diseño contrastantes:

THOR: Un Vision Transformer (ViT) que utiliza una arquitectura adaptativa al cómputo (FlexiViT) que admite tamaños de parche variables en la inferencia. Unifica datos de Sentinel-1, -2 y -3 en sus resoluciones nativas (10 m–1 km) utilizando una codificación posicional consciente de la distancia de muestreo del suelo (GSD).
TerraMind: Un GFM generativo multimodal preentrenado en 500 mil millones de tokens a través de ocho modalidades (incluyendo SAR, óptico, LULC, DEM y texto). Emplea un objetivo de doble escala (token/píxel) y un mecanismo de "Pensar en Modalidades" (TiM) para inferir sensores faltantes o generar modalidades auxiliares durante la inferencia.

La evaluación abarca diez casos de uso que cubren segmentación semántica, regresión, detección de objetos y detección de cambios a través de diversos dominios (por ejemplo, mapeo de inundaciones, detección de metano, monitoreo de nieve, hielo marino). La metodología se adhiere a los siguientes principios:

Variables Controladas: Los hiperparámetros que no son intrínsecos a la arquitectura se mantienen fijos (siguiendo los protocolos PANGAEA), mientras que se explotan las especificidades estructurales (por ejemplo, los tamaños de parche variables de THOR).
Igualación de Capacidad: Se permite que los modelos funcionen en su mejor configuración alcanzable dentro de las restricciones de hardware (una sola GPU RTX A6000), en lugar de degradar uno para que coincida con otro.
Ejes de Ablación: El estudio varía sistemáticamente el tamaño del parche (para THOR), la complejidad del decodificador (Lineal vs. UperNet), la adaptación del backbone (congelado vs. ajustado) y la modalidad de entrada, así como la escala del modelo (Tiny vs. Base).
Enfoque Diagnóstico: En lugar de un único leaderboard, el estudio aísla las contribuciones marginales de ejes de diseño específicos para comprender la varianza del rendimiento.

Contribuciones Clave

Ablación Controlada a Gran Escala: Los autores ejecutaron una comparación exhaustiva entre dos GFMs arquitectónicamente distintos y diez casos de uso de EO.
Metodología Diagnóstica: Introdujeron un marco para aislar la contribución marginal de las elecciones de despliegue arquitectónico (por ejemplo, tamaño de parche, tipo de decodificador) de la identidad misma del modelo.
Caracterización a Nivel de Dataset: El estudio demuestra que interpretar correctamente los resultados de la ablación requiere caracterizar los casos de uso a nivel de dataset, argumentando que esto es un componente necesario para un benchmarking riguroso y no un detalle de preprocesamiento.
Hipótesis Generalizables: Los autores destilaron patrones en hipótesis que se espera que se generalicen a los modelos basados en ViT más allá de THOR y TerraMind, ofreciendo orientación práctica para el despliegue.

Resultados

Diseño Arquitectónico vs. Identidad del Modelo: Las elecciones de diseño arquitectónico, particularmente el tamaño del parche y el tipo de decodificador, explican más la varianza del rendimiento que la identidad del modelo en sí misma.
Estrategias Complementarias: Los modelos representan estrategias de inversión complementarias. TerraMind invierte en la escala del tiempo de preentrenamiento (500B de tokens, objetivos de doble escala) para producir características de resolución fija sólidas, mientras que THOR traslada la carga a la tokenización en el tiempo de inferencia (tamaños de parche variables) para intercambiar cómputo por resolución.
Dominancia del Tamaño de Parche: La tokenización espacial es el principal motor de rendimiento. Reducir a la mitad el tamaño del parche (por ejemplo, de 32 a 16) suele generar las mayores ganancias de precisión, particularmente para tareas con objetivos espacialmente compactos o de clases minoritarias (por ejemplo, extensiones de inundación, icebergs). Sin embargo, la relación no es estrictamente monotónica y depende de la tarea.
Interacción del Decodificador: La brecha de rendimiento entre decodificadores complejos (UperNet) y decodificadores lineales simples se reduce a medida que el tamaño del parche disminuye. Para THOR, una tokenización más fina (por ejemplo, ps4/ps8) reduce la necesidad de decodificadores complejos, ya que las características del backbone ya codifican suficiente detalle local. Por el contrario, TerraMind (ps16 fijo) se beneficia consistentemente de decodificadores multiescala, especialmente en tareas de segmentación óptica.
Integración de Modalidades y Sensores:
- Óptico vs. SAR: En regímenes de datos completos, la fusión simple de Sentinel-1 (SAR) y Sentinel-2 (Óptico) no superó consistentemente a Sentinel-2 por sí solo, lo que sugiere que los mecanismos de fusión superficial pueden introducir ruido cuando las señales ópticas son abundantes. Sin embargo, la contribución de SAR fue positiva en regímenes de bajos datos.
- Generalización entre Sensores: TerraMind, a pesar de carecer de Sentinel-3 en su corpus de preentrenamiento, se mantuvo competitiva en tareas de monitoreo de nieve cuando las bandas de Sentinel-3 se mapearon a las longitudes de onda de Sentinel-2, sugiriendo que la compatibilidad espectral puede superar la resolución espacial nativa.
Escala del Modelo: Los modelos Base generalmente superan a los modelos Tiny, pero la brecha depende de la tarea. Notablemente, en regímenes congelados para tareas con predominancia de SAR (Hielo Marino), los modelos Tiny a veces superaron a los modelos Base, desafiando la suposición de que la capacidad siempre garantiza una mejor transferibilidad fuera de los dominios principales de entrenamiento.
Eficiencia de Datos: En regímenes de bajos datos, THOR con ajuste fino y tamaños de parche finos (ps4) demostró una eficiencia de datos significativa, logrando niveles de rendimiento con el 5% de los datos que UNet requería el 50% para alcanzar.

Significancia y Reivindicaciones
El artículo sostiene que la imagen resultante no es un único "ganador", sino un conjunto de hipótesis y una metodología de ablación diagnóstica. Los autores afirman que:

Los leaderboards agregados son insuficientes para comprender el comportamiento de los modelos; el rendimiento debe analizarse a través de la lente de ejes de diseño específicos y características del dataset.
El intercambio entre la inversión en preentrenamiento (TerraMind) y la adaptabilidad en el tiempo de inferencia (THor) es una decisión crítica para los profesionales, que depende de las restricciones de despliegue (presupuesto de entrenamiento vs. latencia de inferencia) y las modalidades de sensores.
Se espera que la metodología diagnóstica desarrollada aquí se generalice a futuros GFM, proporcionando un marco para atribuir las diferencias de rendimiento a elecciones de diseño específicas y nombrables, en lugar de tratar a los modelos como cajas negras.
El estudio destaca que "interpretar correctamente los resultados requiere la caracterización del dataset", posicionando esto como un requisito fundamental para un benchmarking riguroso de los GFM.

Más como este