Clustering Guided Domain-Specific Pretrained Foundation Model Very High-Resolution Arctic Remote Sensing

Resumen Técnico: Modelo de Fundación Preentrenado Guiado por Agrupamiento para Teledetección Ártica de Muy Alta Resolución

Planteamiento del Problema
A pesar de la disponibilidad sin precedentes de datos de observación de la Tierra (EO), vastos archivos permanecen subutilizados para la síntesis científica. Un desafío central en la informática terrestre es transformar grandes conjuntos de datos de teledetección heterogéneos en productos listos para la ciencia. Si bien los avances recientes en el aprendizaje autosupervisado y los modelos de fundación (por ejemplo, Autoencoders de Máscara o MAEs) han mostrado resultados prometedores en la visión computacional, su aplicación directa a la teledetección no es trivial. Las imágenes de teledetección difieren fundamentalmente de las imágenes cotidianas; los "geo-objetos" son propiedades emergentes de la escala, el contexto espacial y los procesos temporales, más que instancias visuales discretas. Además, los modelos de fundación de teledetección (RSFMs) existentes, como Prithvi-EO-2.0, están entrenados principalmente en datos de resolución media a gruesa o en conjuntos de datos de resolución mixta. Esto plantea la cuestión de si un único modelo generalizado puede representar adecuadamente diversos procesos del sistema terrestre, o si es necesaria la adaptación de dominio para capturar patrones específicos del entorno, particularmente en el Ártico, donde los cambios rápidos impulsados por el clima y las características de permafrost a escala fina (por ejemplo, polígonos de cuñas de hielo, colapsos por retroceso de termokarst) requieren un análisis de resolución espacial muy alta (VHSR).

Metodología
El estudio propone un nuevo marco para desarrollar un RSFM enfocado en el Ártico mediante la combinación de una curación de imágenes a escala regional consciente de la diversidad con el preentrenamiento autosupervisado de un codificador de Transformer de Visión (ViT) mediante MAE. La metodología consta de cinco componentes clave:

1. Curación y Muestreo de Datos:

   • Fuente: Los autores utilizaron 267 TB de imágenes multiespectrales de satélite Vantor VHSR (aprox. 0.5 m de resolución) que abarcan más de 5 millones de km² de la ecorregión de la tundra del permafrost ártico.
   • Estrategia: Para evitar el sobremuestreo de áreas visualmente repetitivas o de baja información, se empleó un flujo de trabajo de agrupamiento (clustering) de dos etapas.
     • Etapa 1 (Nivel de escena): Aproximadamente 32,000 escenas candidatas fueron caracterizadas mediante descriptores espectrales (media/desviación estándar por banda) y metadatos de adquisición. Se utilizó el agrupamiento por propagación de afinidad para seleccionar ejemplares de escenas representativas sin preespecificar el número de clústeres.
     • Etapa 2 (Nivel de chip): Las escenas seleccionadas se particionaron en chips no superpuestos de 1024x1024 píxeles. Estos chips fueron caracterizados además por estadísticas espectrales y características de textura basadas en Gabor. Un segundo paso de agrupamiento por propagación de afinidad seleccionó ejemplares de chips representativos dentro de cada escena.
   • Resultado: Este proceso curó aproximadamente 3 millones de parches de entrenamiento representativos, asegurando una amplia diversidad de escenas y reduciendo la redundancia.

2. Arquitectura de Preentrenamiento:

   • Modelo: Un codificador ViT-Large fue preentrenado utilizando un objetivo MAE adaptado al dominio.
   • Función de Pérdida: El objetivo de reconstrucción combinó un término de Mahalanobis consciente de la covarianza y un término de Mapeador de Ángulo Espectral (SAM) para capturar tanto la desviación espectral multivariante como la consistencia de la forma espectral, reflejando mejor el comportamiento espectral de la teledetección que la pérdida estándar por píxel.
   • Entrenamiento: El modelo fue entrenado en 16 nodos de cómputo (64 GPUs en total) durante 800 épocas. Los puntos de control (checkpoints) fueron evaluados en tareas de validación descendentes para seleccionar los pesos finales, en lugar de depender únicamente de la pérdida de reconstrucción.

3. Evaluación Descendente (Downstream):

   • El codificador preentrenado se integró en el marco ViTDetLoc (una arquitectura de detección y segmentación basada en transformers aumentada con incrustaciones de localización).
   • Conjuntos de Datos: El modelo fue ajustado (fine-tuned) y evaluado en cuatro conjuntos de datos de mapeo de características árticas etiquetados manualmente:
     • Infraestructura construida por humanos (edificios, carreteras, tanques).
     • Polígonos de cuñas de hielo (IWP).
     • Colapsos por retroceso de termokarst (RTS).
     • Redes capilares de la tundra (TCNs).
   • Líneas Base (Baselines): El rendimiento se comparó contra una línea base de ViT-Large inicializada con ImageNet y el modelo de fundación de la Tierra de propósito general, Prithvi-EO-2.0.

Contribuciones Clave

• Curación Específica de Dominio: El artículo introduce una estrategia de muestreo escalable y consciente de la diversidad que selecciona los datos de entrenamiento basados en características reales de la imagen (espectrales, textura, metadatos) en lugar de etiquetas de cobertura terrestre gruesas, abordando la variabilidad de escala fina inherente a las imágenes VHSR del Ártico.
• Modelo de Fundación Específico del Ártico: El desarrollo de un RSFM preentrenado específicamente en imágenes curadas de VHSR del Ártico, demostrando que el preentrenamiento autosupervisado adaptado al dominio produce representaciones más transferibles para el mapeo de escala fina del Ártico que los modelos de propósito general.
• Validación en Características Dispersas: El estudio valida el modelo en características árticas desafiantes, dispersas y visualmente sutiles (por ejemplo, redes capilares y colapsos por retroceso), donde los modelos estándar suelen tener dificultades.

Resultados

• Análisis de Curación: Mientras que el muestreo aleatorio produjo subconjuntos con distancias de Wasserstein más bajas respecto al archivo completo (lo que indica un ajuste más cercano a la distribución marginal), el enfoque basado en agrupamiento resultó en una mayor dispersión en el espacio de descriptores. Esto confirmó que la estrategia de curación priorizó con éxito la diversidad y redujo la redundancia, exponiendo al modelo a una gama más amplia de condiciones visuales y de adquisición.
• Rendimiento Descendente:
  • El modelo Ártico preentrenado con MAE superó consistentemente a la línea base inicializada con ImageNet en las cuatro tareas, logrando mejoras de aproximadamente 5 a 8 puntos porcentuales en la puntuación F1 media de primer plano (foreground).
  • Las puntuaciones F1 medias de primer plano específicas para el MAE del Ártico fueron: 0.87 (Infraestructura), 0.72 (IWP), 0.93 (RTS) y 0.87 (TCNs).
  • Crucialmente, el modelo propuesto superó a Prithvi-EO-2.0 en todas las comparaciones descendentes, logrando una mejora de al menos un 15%. Los autores atribuyen esto al desajuste de resolución (Prithvi utiliza datos de 30 m frente a los 0.5 m de Vantor) y al cambio de dominio, sugiriendo que la transferencia de resolución cruzada desde modelos generales es insuficiente para tareas árticas especializadas de escala fina.

Significancia y Reivindicaciones
El artículo sostiene que optimizar la distribución de los datos de preentrenamiento a escala regional, manteniendo fija la arquitectura y el objetivo MAE, puede producir un codificador específico de dominio reutilizable para múltiples aplicaciones de teledetección VHSR. Los autores argumentan que para tareas que involucran textura de escala fina, morfología local y condiciones superficiales específicas (como la dinámica del permafrost ártico), el preentrenamiento autosupervisado de dominio específico en imágenes curadas proporciona representaciones más transferibles que depender de modelos de fundación de observación de la Tierra de propósito general. Este trabajo demuestra un camino escalable para transformar los grandes archivos de imágenes no etiquetadas del Ártico en modelos de fundación que apoyen tareas de detección y segmentación incluso con datos etiquetados limitados.