Resumen Técnico: La Vista desde el Espacio: Navegando las Diferencias de Instrumentación con los EOFM

Planteamiento del Problema

Los Modelos Fundacionales de Observación de la Tierra (EOFM, por sus siglas en inglés) se han convertido en herramientas prevalentes para procesar volúmenes masivos de datos de teledetección, utilizando a menudo las salidas preentrenadas como embeddings para tareas como la búsqueda de similitud y consultas específicas de contenido. Sin embargo, existe una brecha crítica en la comprensión de cómo las diversas arquitecturas de sensores impactan las representaciones internas de estos modelos.

Mientras que la visión computacional tradicional opera en un espacio relativamente uniforme (bandas RGB consistentes y cuantización estándar), los datos de observación de la tierra son altamente no uniformes. Los sensores poseen arquitecturas diversas, condiciones de observación y complejos procesos de procesamiento (calibración radiométrica/geométrica, corrección atmosférica, enmascaramiento de nubes). El trabajo existente a menudo entrena modelos en modalidades únicas y los evalúa comparando simplemente las bandas espectrales entre diferentes sensores (por ejemplo, asumiendo que un modelo entrenado en Landsat-8 debería generalizarse sin problemas a Harmonized Landsat and Sentinel (HLS) o Sentinel-2). No está claro si las diferencias menores en las lecturas de los instrumentos y las arquitecturas de los sensores resultan en variaciones significativas en los espacios de embeddings de los EOFM, lo que podría socavar su utilidad en tareas posteriores como el aprendizaje de pocos ejemplos (few-shot learning) o la búsqueda de similitud.

Metodología

Para evaluar la sensibilidad del espacio de representación de los EOFM a la arquitectura del sensor, los autores construyeron un nuevo conjunto de datos y emplearon un enfoque de análisis no supervisado con pesos de modelo congelados.

Construcción del Conjunto de Datos:

• Ubicación: 600 puntos muestreados aleatoriamente en Indiana, EE. UU.
• Resolución: Resolución espacial de 30 metros, mosaicos compuestos de 2 meses de 224x224 píxeles.
• Modalidades: Cuatro conjuntos de datos ópticos (HLS, Landsat-8, Landsat-9 y Sentinel-2) y un conjunto de datos SAR (Sentinel-1, polarizaciones VV/VH).
• Preprocesamiento: Los datos ópticos fueron enmascarados para una oclusión de nubes >20% utilizando píxeles de QA. El USDA Crop Data Layer se alineó como una referencia semántica.

Modelos Evaluados:

• Prithvi: Un modelo preentrenado únicamente en datos de HLS con una entrada fija de seis bandas. Representa el arquetipo de los modelos que requieren igualar las bandas espectrales por longitud de onda y descartar las excedentes.
• DOFA: Un modelo que utiliza una capa de incrustación de red dinámica que genera pesos de convolución basados en las longitudes de onda centrales de las entradas. Fue entrenado en diversas modalidades (RGB aérea a satelital) y puede aceptar cualquier configuración de bandas, caracterizando las entradas únicamente por su longitud de onda central.

Técnicas de Evaluación:

1. Visualización del Espacio de Embedding: Se utilizó t-SNE para reducir el espacio latente de 768 dimensiones a 2D, visualizando los grupos (clusters) basados en la modalidad de origen. El objetivo fue determinar si los datos se agrupan por tipo de sensor en lugar de por características semánticas (ej. cobertura terrestre).
2. Análisis de Vecindad Local:
   • Tokens CLS: Se midió el solapamiento de los vecinos más cercanos (5, 10, 20) entre modalidades para evaluar la similitud global de la imagen.
   • Embeddings de Parches: Se compararon los 10 vecinos más cercanos de los parches de imagen utilizando la similitud de coseno. La similitud semántica se utilizó como proxy mediante el porcentaje de vecinos que comparten la misma clase del USDA Crop Data Layer.
   • Clasificación de Modalidad: Se entrenaron clasificadores simples (Random Forest y 5-NN) para predecir la modalidad de entrada de un embedding de parche, probando qué tan fácilmente se puede particionar el espacio de embedding por la fuente del sensor.

Resultados Clave

El estudio demuestra que los espacios de representación de los EOFM son altamente sensibles a la arquitectura del sensor, lo que provoca desplazamientos distributivos significativos incluso cuando las bandas espectrales coinciden nominalmente.

• Agrupamiento Visual: Los gráficos de t-SNE (Figuras 1 y 2) revelaron grupos claros y distintos basados en la modalidad de origen tanto para Prithvi como para DOFA. Esto indica que, en el espacio de alta dimensión, los datos se distribuyen principalmente por el sensor de origen en lugar del contenido semántico. Aunque DOFA mostró una mayor resiliencia a los cambios de modalidad en comparación con Prithvi, persistieron separaciones distintas en la mayoría de los casos de pares.
• Bajo Solapamiento de Vecindad: En el análisis de vecindad local de los tokens CLS, el porcentaje promedio de vecinos coincidentes entre diferentes modalidades rara vez superó el 30%. Por ejemplo, entre Landsat-8 y Sentinel-2, solo coincidieron aproximadamente el 18-20% de los vecinos. Esto sugiere que en contextos de búsqueda de similitud, la modalidad de entrada se convierte en el determinante principal de los candidatos "similares", pudiendo anular la similitud semántica.
• Deriva Semántica: Al analizar los embeddings de los parches, el porcentaje de vecinos que comparten la misma clase de cultivo varió hasta en un 4% dependiendo de la modalidad. Esto confirma que los cambios de modalidad alteran no solo la estructura de vecindad, sino también la similitud semántica de los parches locales de la imagen.
• Alta Predictibilidad de la Modalidad: Clasificadores simples pudieron predecir la modalidad de origen de un embedding de parche con alta precisión (90.7% para Prithvi y 88.7% para DOFA) utilizando un Random Forest. Esto implica que los espacios de embedding son fácilmente particionables por la fuente del sensor, lo que dificulta lograr representaciones invariantes a la modalidad.

Significancia y Reivindicaciones

El artículo sostiene que el diseño y uso actuales de los EOFM enfrentan obstáculos significativos debido a la falta de consideración de la diversidad de la arquitectura de los sensores.

• Limitaciones de las Prácticas Actuales: Los autores argumentan que simplemente igualar las bandas espectrales por longitud de onda y entrenar en modalidades únicas es insuficiente. Estos enfoques no logran contabilizar los desplazamientos de distribución más sutiles causados por diferentes tecnologías de sensores y procesos de procesamiento.
• Implicaciones para los Usuarios: Los usuarios de los EOFM deben alinear cuidadosamente sus regímenes de recolección de datos con los datos de preentrenamiento del modelo elegido. Confiar en los embeddings de un modelo entrenado en un sensor para datos de otro sin una validación rigurosa conlleva el riesgo de una degradación significativa del rendimiento en las tareas posteriores.
• Direcciones Futuras: Los hallazgos motivan el desarrollo de modelos que consideren explícitamente las diversas modalidades de sensores y las complejidades de la tecnología de captura espectral. Los autores abogan por la creación de conjuntos de datos altamente multimodales y de múltiples flujos de entrada (como el construido en este estudio) para probar rigurosamente las capacidades de trans-modalidad.

El artículo concluye que comprender estas diferencias de instrumentación es vital para que la comunidad avance hacia una ciencia de teledetección robusta, asegurando que los EOFM entreguen un impacto fiable a través del diverso panorama de los datos de observación de la Tierra.