How To Embed Matters: Evaluation of EO Embedding Design Choices

Este artículo presenta un análisis sistemático de las decisiones de diseño en la creación de representaciones incrustadas para modelos fundacionales geoespaciales, demostrando que es posible generar representaciones fijas más de 500 veces más pequeñas que los datos brutos sin sacrificar el rendimiento en diversas tareas de observación terrestre.

Lo esencial

¡Claro que sí! Imagina que la Tierra es una biblioteca gigante y eterna, llena de fotos tomadas desde el espacio (imágenes satelitales). Estas fotos son tan detalladas y numerosas que ocupan un espacio de almacenamiento tan enorme que ni los superordenadores más potentes pueden procesarlas todas a la vez sin volverse locos.

Los científicos han creado "cerebros digitales" (llamados Modelos Fundacionales Geoespaciales o GeoFMs) que pueden mirar estas fotos y entender qué hay en ellas: si es un bosque, una ciudad, nubes o cultivos.

El problema es que usar estos cerebros cada vez que queremos hacer una tarea (como contar árboles o predecir el clima) es lento, caro y consume mucha energía.

La Gran Idea: Las "Tarjetas de Identidad" (Embeddings)

En lugar de guardar y procesar las fotos completas cada vez, los autores de este paper proponen una idea brillante: crear una "tarjeta de identidad" o un "resumen" para cada foto.

Imagina que en lugar de llevar a un detective a la escena del crimen (la foto completa) para que la examine, le das una ficha resumen de 500 veces más pequeña que la foto original. Esta ficha dice: "Aquí hay mucho verde, un poco de agua y nubes dispersas".

A estas fichas resumen las llaman Embeddings. La pregunta clave de este estudio es: ¿Cómo hacemos la mejor ficha resumen posible? ¿De qué tamaño debe ser? ¿Qué información debe incluir? ¿Cómo la escribimos?

El Experimento: La Prueba de Sabor

Los investigadores tomaron varios de estos "cerebros digitales" (algunos basados en redes neuronales antiguas tipo ResNet, y otros más modernos tipo Transformers o ViT) y probaron diferentes formas de crear estas fichas resumen.

Usaron un banco de pruebas llamado NeuCo-Bench, que es como un gimnasio de tareas:

1. Semántico: "¿Qué porcentaje de esta foto es agricultura?" (Como contar manzanas en una cesta).
2. Físico/Continuo: "¿Cuál es la temperatura promedio de esta zona?" o "¿Cuánta biomasa hay?" (Como medir el peso exacto de una fruta, no solo contarla).

Los Descubrimientos (Las Lecciones Aprendidas)

Aquí están los hallazgos principales, explicados con analogías:

1. El tipo de "Cerebro" importa mucho

• Los viejos (ResNet): Son como un chef tradicional. Son muy buenos para identificar ingredientes claros (esto es trigo, esto es bosque). Pero cuando les pides que midan cosas complejas y continuas (como la temperatura exacta o la humedad), se confunden y dan resultados pobres.
• Los nuevos (Transformers/ViT): Son como un chef molecular. Entienden mejor las relaciones a larga distancia. Pueden ver cómo la nube en la esquina afecta la temperatura en el centro. Para las tareas físicas complejas, estos modelos son mucho mejores.

2. ¿Qué parte del cerebro usamos? (La profundidad)

• En los modelos nuevos (ViT): Es como leer un libro. Las primeras páginas te dan la idea general, y las últimas te dan el final. Para las tareas de "qué hay aquí" (semánticas), leer hasta el final es bueno. Pero para las tareas físicas, a veces las páginas intermedias (las capas intermedias) tienen la información perfecta. Leer hasta el final a veces añade "ruido" o información de más que confunde.
• En los modelos viejos (ResNet): Aquí la analogía es un sándwich. Si usas solo el pan de arriba (la última capa), el sándwich se cae y pierdes el relleno. Los mejores resultados se obtienen usando las capas intermedias (el relleno), no la última capa.

3. ¿Cómo resumimos la información? (El agrupamiento)

Imagina que tienes 1000 datos de una foto. ¿Cómo los reduces a un solo número?

• Promedio (Mean Pooling): Es como pedirle a un grupo de personas que den su opinión y sacar el promedio. Es la estrategia más segura y robusta. Funciona bien casi siempre.
• Máximo/Mínimo: Es como decir "solo cuéntame el dato más alto" o "solo el más bajo". A menudo, esto hace que perdamos información importante (como si solo miraras la montaña más alta y olvidaras todo el valle).
• La ficha especial (CLS Token): Algunos modelos tienen una "nota al margen" especial. A veces funciona bien, pero el promedio sigue siendo el rey.

4. El poder de combinar fichas (Concatenación)

¿Qué pasa si tomas la ficha resumen de un modelo experto en "nubes" y la pegas junto con la ficha de un modelo experto en "cultivos"?

• Resultado: ¡Es mágico! Al combinar fichas de diferentes "cerebros" (entrenados con diferentes objetivos), obtienes un resumen mucho más robusto y completo. Es como tener un equipo de detectives donde uno es experto en huellas y otro en ADN; juntos resuelven el caso mejor que por separado.

Conclusión Simple

Este paper nos dice que no existe una "ficha resumen" perfecta para todo.

• Si quieres saber qué hay en la foto (cultivos, bosques), usa un modelo moderno y lee hasta el final.
• Si quieres medir propiedades físicas (temperatura, biomasa), usa un modelo moderno, pero detente en las capas intermedias y usa el promedio.
• Si quieres ser super preciso, combina las fichas de varios modelos diferentes.

¿Por qué es importante?
Porque permite a las agencias espaciales y empresas guardar miles de veces menos datos (en lugar de guardar terabytes de fotos, guardan gigabytes de fichas resumen) y aún así poder hacer predicciones climáticas, monitorear desastres y planificar ciudades de manera rápida y eficiente. Es como pasar de llevar una biblioteca entera en tu mochila a llevar solo un pequeño libro de resúmenes que te dice todo lo que necesitas saber.

Resumen técnico

Resumen Técnico: Evaluación de Decisiones de Diseño en Incrustaciones de Observación de la Tierra (EO)

1. Problema y Contexto

Las misiones de Observación de la Tierra (EO) generan petabytes de imágenes multiespectrales que se analizan cada vez más mediante Modelos Fundacionales Geoespaciales (GeoFMs). Tradicionalmente, estos modelos se adaptan de extremo a extremo (fine-tuning) para tareas específicas, lo que requiere acceso repetido a imágenes crudas y modelos pesados, generando altos costos computacionales y de almacenamiento.

Para mitigar esto, surge el paradigma de incrustaciones (embeddings) centradas en la tarea: extraer representaciones genéricas de un GeoFM congelado (frozen) y reutilizarlas en múltiples tareas aguas abajo. Sin embargo, existe una falta de comprensión sistemática sobre cómo las decisiones de diseño en la extracción de estas representaciones afectan el rendimiento. Las preguntas clave son:

• ¿Qué profundidad de capa es óptima?
• ¿Cómo se deben agregar espacial y temporalmente los datos?
• ¿Qué objetivos de aprendizaje auto-supervisado (SSL) son mejores para diferentes tipos de señales?
• ¿Cómo se pueden combinar estas representaciones para mejorar la robustez?

El objetivo del artículo es llenar esta brecha analizando sistemáticamente estas decisiones para crear incrustaciones compactas (reemplazando datos crudos con ratios de compresión >500x) que mantengan utilidad predictiva.

2. Metodología

Los autores utilizan el marco de trabajo NeuCo-Bench, diseñado específicamente para evaluar incrustaciones de tamaño fijo en EO.

• Protocolo de Evaluación:
  • Los GeoFMs actúan como extractores de características congelados.
  • Se evalúan mediante sondeo lineal (linear probing) en tareas de regresión y clasificación.
  • Se utilizan 50 divisiones aleatorias de entrenamiento/prueba para calcular la precisión media ($R^2$) y una Puntuación de Calidad (Q-Score) que incorpora la variabilidad (robustez).
• Datos:
  • Basado en el conjunto de datos SSL4EO-S12-downstream.
  • Entradas: Cubos espacio-temporales de Sentinel-1 y Sentinel-2 (4 estaciones temporales, 27 bandas).
  • Tareas: 8 tareas de regresión que cubren proporciones semánticas (cultivos, uso de suelo), mediciones físicas continuas (biomasa, temperatura de isla de calor) e indicadores atmosféricos (nubes).
• Variables de Diseño Analizadas:
  1. Arquitectura del Backbone: ResNet-50 (CNN) vs. ViT-Small (Transformers).
  2. Estrategias de Pre-entrenamiento (SSL): DINO, MoCo, MAE, FGMAE, SoftCon, DECUR.
  3. Profundidad de Representación: Capas intermedias vs. capa final.
  4. Agregación Espacial: Media (Mean), Máxima (Max), Mínima (Min) y token CLS.
  5. Combinación: Concatenación de incrustaciones de diferentes objetivos o estrategias de agregación.

3. Contribuciones Clave

El artículo proporciona una guía empírica basada en datos para el diseño de flujos de trabajo de EO centrados en incrustaciones:

1. Validación de la Compresión: Demuestra que las incrustaciones de GeoFMs pueden reducir los datos de entrada en más de 500 veces manteniendo una utilidad predictiva significativa.
2. Análisis Comparativo de Arquitecturas: Establece que los Transformers (ViT) superan consistentemente a las CNN (ResNet) en tareas de señales físicas continuas y atmosféricas, mientras que las CNN son competitivas en tareas semánticas de uso de suelo.
3. Descubrimiento de Capas Intermedias: Revela que para arquitecturas CNN, las capas intermedias a menudo superan a la capa final en tareas de variables físicas, desafiando la práctica estándar de usar siempre la última capa.
4. Estrategias de Agregación y Combinación: Identifica que la agregación por media es la más robusta y que combinar incrustaciones de diferentes objetivos de pre-entrenamiento (ej. DINO + MAE) mejora la robustez general más que combinar diferentes estrategias de tokens dentro del mismo modelo.

4. Resultados Principales

• Arquitectura (ViT vs. ResNet):

  • ViT (Transformers): Muestran un rendimiento superior y más consistente en tareas de biomasa, nubes e islas de calor. Capturan mejor las dependencias espaciales de largo alcance necesarias para variables geofísicas.
  • ResNet (CNN): Funcionan bien en tareas de uso de suelo (semánticas), pero su rendimiento cae drásticamente (a menudo $R^2 \approx 0$ o negativo) en variables físicas continuas.
  • TerraMind: Un modelo ViT multimodal demostró ser el backbone más consistente y robusto en general.

• Objetivos de Pre-entrenamiento (SSL):

  • No existe un objetivo "universalmente mejor".
  • DINO (Contrastivo): Excelente para señales semánticas (proporciones de cultivos, uso de suelo).
  • MAE / FGMAE (Reconstrucción): Superiores para capturar variaciones físicas continuas (biomasa, nubes).
  • SoftCon: Muestra el comportamiento más equilibrado.

• Agregación Espacial:

  • Media (Mean Pooling): Es la estrategia más robusta y de mejor rendimiento general para ambas arquitecturas.
  • Máxima/Mínima: Generalmente peores, ya que descartan información espacial crítica.
  • Token CLS: Competitivo en ViT, pero no supera consistentemente al Mean Pooling.

• Profundidad de Capa:

  • ViT: El rendimiento aumenta en las primeras capas y se satura; las capas finales son suficientes.
  • ResNet: Sigue un patrón de "U invertida". Las capas intermedias (etapas 2-4) ofrecen el mejor rendimiento para variables físicas, degradándose en la capa final. Esto sugiere que para CNNs, exportar incrustaciones de capas intermedias es crucial.

• Concatenación:

  • Combinar incrustaciones de diferentes objetivos SSL (ej. DINO + MAE) produce mejoras significativas en la puntuación global y robustez, aprovechando fortalezas complementarias.
  • Combinar estrategias de token dentro del mismo modelo (ej. Mean + CLS) ofrece mejoras marginales debido a la redundancia de información.

5. Significado e Implicaciones

Este trabajo es fundamental para la escalabilidad de la inteligencia artificial en la observación de la Tierra:

• Eficiencia Operativa: Permite reemplazar el almacenamiento y transmisión de imágenes crudas (petabytes) por incrustaciones compactas, facilitando el despliegue descentralizado y la búsqueda de similitudes a gran escala.
• Diseño de Pipelines: Proporciona reglas claras para los ingenieros:
  • Usar Transformers con Mean Pooling como configuración predeterminada sólida.
  • Si se usan CNNs, explorar capas intermedias en lugar de la final.
  • Considerar la combinación de incrustaciones de diferentes objetivos de pre-entrenamiento para maximizar la robustez sin necesidad de acceder a los datos crudos nuevamente.
• Paradigma de Incrustaciones: Valida el enfoque de "incrustaciones como producto de datos", donde los modelos fundacionales se utilizan como extractores fijos, democratizando el acceso a capacidades de análisis avanzadas sin la carga computacional del fine-tuning completo.

En conclusión, el artículo demuestra que el diseño cuidadoso de cómo se extraen, agregan y combinan las representaciones es tan crítico como la elección del modelo base para lograr flujos de trabajo de EO escalables y efectivos.