Beyond Visual Fidelity: Benchmarking Super-Resolution Models for Large-Scale Remote Sensing Imagery via Downstream Task Integration

Aquí se presenta un resumen técnico detallado del artículo "Más allá de la fidelidad visual: Evaluación de modelos de super-resolución para imágenes de teledetección a gran escala mediante integración de tareas posteriores".

1. Planteamiento del Problema

Las técnicas de super-resolución (SR) para teledetección se han evaluado tradicionalmente utilizando métricas de fidelidad visual como la Relación Señal-Ruido Pico (PSNR) y el Índice de Similitud Estructural (SSIM). Estas métricas miden la precisión a nivel de píxel o la similitud perceptual con una imagen de alta resolución de referencia.

Sin embargo, el artículo argumenta que estas métricas son insuficientes para aplicaciones de teledetección debido a:

• Desalineación con la Utilidad: Una alta fidelidad visual no se traduce necesariamente en un rendimiento mejorado en tareas posteriores del mundo real (por ejemplo, clasificación de cobertura terrestre, mapeo de infraestructuras, estimación de biomasa).
• Detalles Espurios: Los modelos generativos (como las GAN) pueden producir detalles visualmente nítidos pero espectralmente incorrectos ("alucinaciones") que degradan el rendimiento de los modelos analíticos posteriores.
• Falta de Puntos de Referencia: Los puntos de referencia (benchmarks) de SR existentes (por ejemplo, DIV2K, SEN2VENµS) se centran en imágenes naturales o reducción de escala sintética y carecen de integración con tareas específicas de observación de la Tierra.

2. Metodología: GeoSR-Bench

Los autores presentan GeoSR-Bench, el primer conjunto de datos de referencia diseñado para evaluar modelos de SR basándose en su utilidad en tareas posteriores.

A. Construcción del Conjunto de Datos

El conjunto de datos comprende ~36,000 ubicaciones a nivel mundial, presentando pares de imágenes espacialmente co-ubicados y temporalmente alineados en dos tareas de SR multiplataforma:

1. De Gruesa a Media: MODIS (500m) $\rightarrow$ Landsat-8 (30m).
2. De Media a Alta: Sentinel-2 (10m) $\rightarrow$ NAIP (0.6m).

Procesamiento de Datos y Control de Calidad:

• Emparejamiento Coincidente: Se utilizó Apache Sedona para realizar uniones espacio-temporales a través de millones de imágenes, asegurando que los pares se adquirieran dentro de una ventana de 1 día.
• Muestreo Estratificado: Para evitar el sesgo hacia paisajes homogéneos (por ejemplo, bosques), el conjunto de datos utiliza muestreo estratificado para garantizar una proporción igual de parches urbanos y no urbanos.
• Filtrado: Enmascaramiento riguroso de nubes/nieve (utilizando bandas de calidad) e inspección visual manual para eliminar inconsistencias temporales (por ejemplo, construcción, inundaciones) y desalineaciones espectrales.
• Alineación Espectral: Se utilizaron productos de reflectancia de superficie y bandas remuestreadas para igualar las resoluciones (por ejemplo, bandas de Sentinel-2 de 20m/60m remuestreadas a 10m).

B. Integración de Tareas Posteriores

Para cada una de las dos tareas de SR, el punto de referencia incluye 5 conjuntos de datos posteriores (10 en total), que abarcan clasificación y regresión a nivel de píxel:

• Clasificación: Segmentación de ríos, cobertura terrestre urbana, Capas de Datos de Cultivos (CDL), huellas de edificios, detección de carreteras, cobertura vegetal.
• Regresión: Estimación de Producción Primaria Bruta (GPP), estimación del Modelo de Altura del Dosel (CHM).
• Etiquetas: Derivadas de fuentes de alta calidad (por ejemplo, Huellas de Edificios de Microsoft, ESA WorldCover, USDA NAIP) y alineadas con los pares de imágenes coincidentes.

C. Protocolo de Evaluación

La evaluación sigue un proceso de dos etapas:

1. Entrenamiento de SR: 9 modelos representativos de SR (que abarcan Transformadores, Operadores Neuronales, GAN y Difusión) se pre-entrenan en los conjuntos de datos de SR.
2. Evaluación Posterior:
   • Los modelos de SR se ajustan finamente para tareas posteriores específicas.
   • Los modelos de tareas posteriores (U-Net, SegFormer, Mask2Former) se entrenan con las imágenes de SR generadas.
   • El rendimiento se compara contra: (a) Entradas originales de Baja Resolución (LR), (b) Referencia original de Alta Resolución (HR) y (c) Salidas de SR generadas.

3. Contribuciones Clave

1. Conjunto de Datos GeoSR-Bench: Un conjunto de datos a gran escala y con control de calidad que integra tareas de SR con 10 aplicaciones posteriores diversas en regiones globales y específicas de EE. UU.
2. Marco de Evaluación Integrado en Tareas: Un protocolo que va más allá de PSNR/SSIM para medir la "utilidad real" de la SR cuantificando las mejoras en la segmentación de cobertura terrestre, el mapeo de infraestructuras y la estimación de variables biofísicas.
3. Evaluación Exhaustiva: Evaluación de 9 modelos de SR de última generación en 270 configuraciones experimentales (2 tareas de SR $\times$ 9 modelos $\times$ 3 modelos posteriores $\times$ 5 tareas).
4. Código Abierto: Liberación completa del conjunto de datos, modelos entrenados y código de evaluación para facilitar la investigación futura.

4. Resultados Clave

Los experimentos arrojaron varios hallazgos críticos:

• Correlación Débil entre Fidelidad y Utilidad:

  • Las métricas tradicionales (PSNR/SSIM) a menudo no se correlacionan con el rendimiento de las tareas posteriores. En muchos escenarios competitivos (modelos top-k), la correlación es débil o incluso negativa.
  • Los modelos con el PSNR más alto (a menudo basados en Transformadores u Operadores Neuronales que utilizan pérdida L1) no siempre producen los mejores resultados posteriores.
  • Por el contrario, los modelos con PSNR más bajo (por ejemplo, SeD basado en GAN) a veces superan a otros en tareas posteriores porque recuperan texturas espaciales finas críticas para los límites de objetos (por ejemplo, carreteras, edificios), a pesar de las imprecisiones espectrales.

• Brechas de Rendimiento:

  • Si bien los modelos de SR generalmente mejoran sobre las entradas originales de Baja Resolución, persiste una brecha de rendimiento significativa entre las salidas de SR y la referencia original de Alta Resolución.
  • Para la tarea MODIS-a-Landsat-8, los modelos de Transformador y Operador Neural lideraron el rendimiento posterior.
  • Para la tarea Sentinel-2-a-NAIP, el modelo basado en GAN SeD mostró las ganancias más fuertes (hasta un 30% de mejora sobre la línea base LR) debido a su capacidad para recuperar texturas de grano fino.

• Limitaciones Subpíxel:

  • Los experimentos en el conjunto de datos TreeFinder (detección de árboles individuales más pequeños que el tamaño del píxel de Sentinel-2) mostraron que la SR proporciona una utilidad mínima (ganancia del 0-4%) para tareas subpíxel. La dilución espectral en la entrada gruesa hace imposible recuperar con precisión la ubicación exacta de objetivos pequeños, independientemente de la fidelidad visual del modelo de SR.

5. Significado

• Cambio de Paradigma: El artículo desafía a la comunidad a dejar de optimizar los modelos de SR únicamente para métricas visuales. Argumenta que el rendimiento de las tareas posteriores debe ser la métrica principal para evaluar la SR en la observación de la Tierra.
• Orientación para la Selección de Modelos: Los hallazgos sugieren que seleccionar un modelo de SR basado en PSNR/SSIM puede ser engañoso. Los investigadores y profesionales deben evaluar los modelos según la aplicación específica (por ejemplo, elegir GAN para el mapeo de infraestructuras donde la nitidez de los bordes es crítica, incluso si el PSNR es más bajo).
• Dirección Futura: Los resultados destacan la necesidad de nuevas arquitecturas y funciones de pérdida de SR diseñadas explícitamente para preservar características relevantes para la tarea (por ejemplo, límites semánticos, consistencia espectral) en lugar de solo la precisión a nivel de píxel.

En conclusión, GeoSR-Bench establece que las imágenes "mejor vistas" no siempre significan "mejores datos" para el análisis, lo que requiere una nueva era de desarrollo de super-resolución integrada en tareas.