Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation

Resumen Técnico: Preentrenamiento Multi-Escala para Imágenes Satelitales de Baja Resolución

Planteamiento del Problema
La segmentación semántica en teledetección es crítica para aplicaciones como la seguridad alimentaria, la gestión de desastres y la investigación climática. Sin embargo, el rendimiento del aprendizaje profundo en este dominio a menudo se ve limitado por la escasez de anotaciones a nivel de píxel. Si bien el Aprendizaje No Supervisado (SSL) ofrece una solución aprovechando la abundancia de imágenes sin etiquetar, la literatura actual de SSL en teledetección depende predominantemente de conjuntos de datos de resolución media (MR) (por ejemplo, Sentinel-1/2, DMS ≥10m) debido a su disponibilidad. Aunque los conjuntos de datos de alta resolución (HR) (DMS ≤5m) proporcionan detalles espaciales más ricos que naturalmente generan un rendimiento superior, a menudo son costosos, propietarios o restringidos.

Un enfoque directo de preentrenamiento únicamente con datos HR falla en capturar los beneficios de las imágenes MR, como dimensiones espectrales más altas, y puede no transferirse bien a tareas posteriores que utilizan entradas MR. Por el contrario, el preentrenamiento únicamente con datos MR pasa por alto el detalle espacial disponible en las imágenes HR. El desafío central abordado por este trabajo es cómo integrar conjuntos de datos HR en el preentrenamiento auto-supervisado de imágenes MR para mejorar el aprendizaje de representaciones sin perder las ventajas específicas de los datos MR.

Metodología
Los autores proponen una estrategia de Preentrenamiento Multi-Escala que utiliza un Componente de Afinidad Espacial diseñado para integrarse en marcos de trabajo SSL existentes. La metodología emplea un conjunto de datos emparejado real (Sen2Venus), que contiene imágenes Sentinel-2 (10m) y Venus (5m) co-temporales.

• Arquitectura: El componente utiliza una arquitectura estudiante-profesor para la auto-distilación.
  • Codificador Estudiante: Procesa parches de la imagen de resolución media ($I_{MR}$). Este codificador se comparte con el marco SSL anfitrión y se actualiza mediante retropropagación.
  • Codificador Profesor (Profesor HR): Procesa parches de la imagen de alta resolución ($I_{HR}$). Comparte la misma arquitectura que el estudiante, pero se actualiza mediante un Promedio Móvil Exponencial (EMA) de los parámetros del estudiante para prevenir el colapso.
• Correspondencia de Parches: Dado un factor de escala $s=2$, cada parche en $I_{MR}$ corresponde a $s^2$ parches en $I_{HR}$. La salida del profesor HR para estos parches correspondientes se submuestrea (mediante proyección bilineal, bicúbica o lineal) para igualar la dimensionalidad de la salida del estudiante.
• Función de Pérdida: El núcleo del método es la Pérdida de Gram. En lugar de minimizar el Error Cuadrático Medio (MSE) entre las representaciones de los parches directamente, el método minimiza el MSE entre las matrices de Gram (productos punto pares de representaciones normalizadas L2) del estudiante y el profesor submuestreado. Este enfoque tolera las diferencias específicas del sensor entre las dos resoluciones mientras penaliza las diferencias en la estructura espacial a nivel de parche.
• Marcos de Trabajo Probados: El componente se evaluó en dos marcos de Trabajo de Modelado de Imágenes Enmascaradas (MIM): I-JEPA (que utiliza muestreo por bloques) y LatentMIM (que utiliza muestreo aleatorio no contiguo).

Contribuciones Clave

1. Componente de Afinidad Espacial: Un módulo novedoso que permite a los marcos SSL existentes aprovechar imágenes HR para aprender representaciones más ricas de imágenes MR a través de un objetivo de super-resolución en el espacio latente.
2. Estrategia de Preentrenamiento Multi-Escala: Una demostración de que combinar datos emparejados reales de HR y MR durante el preentrenamiento produce un mejor rendimiento en tareas posteriores que el preentrenamiento en una sola resolución.
3. Validación Empírica: Evaluación exhaustiva en cuatro tareas diversas de segmentación semántica MR (tipo de cultivo, mapeo de inundaciones, mapeo de cultivos y detección de contaminantes marinos) que muestra mejoras consistentes.

Resultados
Los autores evaluaron el modelo SA propuesto (preentrenado con el componente de Afinidad Espacial en pares HR/MR) frente a modelos MR (preentrenados solo en MR) y modelos HR (preentrenados solo en HR) utilizando sondeo lineal en cuatro conjuntos de datos: m-SA-Crop-Type, Sen1Floods11, PASTIS y MADOS.

• Rendimiento: El modelo SA superó al modelo MR en todos los casos excepto uno y superó al modelo HR en la mayoría de los casos en ambos marcos de trabajo I-JEPA y LatentMIM. Por ejemplo, utilizando LatentMIM, el modelo SA logró una Intersección sobre la Unión media (mIoU) de 23.39 en m-SA-Crop-Type, en comparación con 21.41 (MR) y 22.39 (HR).
• HR Real vs. Falso: Los estudios de ablación confirmaron que las ganancias de rendimiento provienen del contenido informativo de los datos HR reales. Los modelos entrenados con datos HR "falsos" (generados mediante interpolación de imágenes MR) generalmente rindieron peor que aquellos entrenados con pares HR reales, validando que el método aprende características específicas genuinas del sensor en lugar de simplemente escalar la resolución.
• Ablaciones:
  • Pérdida de Gram: Superó a la pérdida MSE estándar en tareas posteriores.
  • Submuestreo: El submuestreo bilineal resultó ser el más efectivo y eficiente computacionalmente en comparación con la proyección bicúbica o lineal.
  • Muestreo: El muestreo por bloques no mejoró el rendimiento sobre el muestreo aleatorio predeterminado para LatentMIM.

Significado y Afirmaciones
El artículo afirma que el componente de afinidad espacial propuesto explota eficazmente el detalle visual más rico de las imágenes satelitales HR mientras retiene los beneficios de las imágenes MR (como dimensiones espectrales y disponibilidad). Los autores argumentan que este enfoque demuestra que las estrategias de entrenamiento efectivas que utilizan datos de HR y MR pueden superar a los modelos entrenados en una sola resolución.

El trabajo destaca que, aunque los datos HR son valiosos, simplemente preentrenar con ellos es subóptimo para tareas posteriores en MR. Al utilizar pares reales HR/MR y una distilación basada en pérdida de Gram, el modelo aprende a representar parches MR con un nivel de detalle espacial que se acerca al de las imágenes HR. Los autores concluyen modestamente que, aunque su método es efectivo, el trabajo futuro debería centrarse en reducir la dependencia de pares de imágenes HR/MR co-temporales de alta calidad, dada la escasez y la dificultad de adquirir dichos conjuntos de datos.