Super-résolution non supervisée d'images hyperspectrales de télédétection utilisant un entraînement entièrement synthétique

Resumen Técnico: Superresolución de Imagen Única Hiperespectral No Supervisada mediante Entrenamiento Totalmente Sintético

Planteamiento del Problema
Las imágenes hiperespectrales (HSI) proporcionan una rica información espectral a través de cientos de longitudes de onda, lo que las hace valiosas para aplicaciones como el monitoreo de la vegetación, el análisis del uso del suelo y la astrofísica. Sin embargo, debido a las limitaciones ópticas, los sensores hiperespectrales suelen poseer una resolución espacial menor en comparación con sus contrapartes multiespectrales. La tarea de la Superresolución de Imagen Única de HSI (SISR, por sus siglas en inglés) tiene como objetivo mejorar la resolución espacial preservando la fidelidad espectral.

Los métodos actuales de SISR dependen predominantemente del aprendizaje supervisado, el cual requiere datos de verdad de terreno (ground truth) emparejados de baja resolución (LR) y alta resolución (HR). Existe un cuello de botella significativo en este dominio: las HSI de alta resolución rara vez están disponibles en la práctica. Por consiguiente, los enfoques supervisados están limitados por la falta de conjuntos de datos adecuados. Aunque algunos métodos utilizan el aprendizaje por transferencia o arquitecturas convolucionales específicas (por ejemplo, convoluciones 3D), siguen estando limitados por la indisponibilidad de referencias de HR del mundo real.

Metodología
Los autores proponen un novedoso enfoque no supervisado que evita la necesidad de una verdad de terreno HR real, entrenando una red neuronal enteramente con datos sintéticos. El método integra la desmezcla hiperespectral con un modelo de generación de imágenes estocástico. El proceso consta de tres etapas principales:

1. Desmezcla Hiperespectral:
   La HSI de baja resolución de entrada ($HSI_{LR}$) se descompone en dos componentes utilizando un modelo de mezcla lineal:

   • Endmembers ($S$): Firmas espectrales de materiales puros, extraídas mediante el algoritmo de Volumen Mínimo.
   • Mapas de Abundancia ($A_{LR}$): Mapas espaciales que representan la proporción de cada material en cada píxel, obtenidos mediante estimación de mínimos cuadrados.
     El supuesto es que $HSI_{LR} = \sum S \cdot A_{LR}$.

2. Generación de Datos Sintéticos (Modelo de Hojas Muertas / Dead Leaves Model):
   Para generar pares de entrenamiento, los autores emplean el modelo de "Hojas Muertas", un proceso estocástico introducido originalmente por Matheron para modelar medios porosos y adaptado posteriormente para imágenes naturales.

   • Proceso de Generación: Los mapas de abundancia sintéticos se crean superponiendo secuencialmente formas rectangulares aleatorias ("hojas") en posiciones y orientaciones aleatorias. Este proceso imita las propiedades estadísticas de las escenas naturales, particularmente las estadísticas no gaussianas.
   • Restricciones de Realismo: Para asegurar que los datos sintéticos reflejen la escena específica, la geometría espacial (forma, posición, rotación) de las hojas se mantiene constante en todas las dimensiones de material ($z$). Los valores de intensidad ($V$) para cada hoja se muestrean aleatoriamente de los mapas de abundancia ($A_{LR}$) reales de la escena objetivo.
   • Pares de Entrenamiento: Se generan mapas de abundancia de alta resolución sintéticos ($A_{DL,HR}$) directamente. Los mapas correspondientes de baja resolución ($A_{DL,LR}$) se crean aplicando una Función de Transferencia de Punto (PSF) simulada —específicamente un desenfoque gaussiano seguido de un submuestreo bicúbico— a los mapas de HR.

3. Entrenamiento de la Red y Reconstrucción:

   • Arquitectura: Los autores utilizan MCNet (Red Convolucional Mixta 3D/2D), una red de convolución convolucional (CNN) de vanguardia diseñada para la superresolución de HSI. Combina convoluciones 2D para la extracción de características espaciales y convoluciones 3D para el procesamiento conjunto espacio-espectral. La red se adapta para aceptar $N$ canales, correspondientes al número de materiales de desmezcla.
   • Entrenamiento: La red se entrena de manera supervisada utilizando los pares sintéticos $(A_{DL,LR}, A_{DL,HR})$ con una función de pérdida $L1$.
   • Inferencia: Durante la fase de superresolución real, la $A_{LR}$ real se introduce en la red entrenada para predecir mapas de abundancia super-resueltos ($A_{SR}$). La HSI de alta resolución final se reconstruye recombinando las abundancias predichas con los endmembers originales: $HSI_{SR} = \sum S \cdot A_{SR}$.

Contribuciones Clave

• Marco No Supervisado: El artículo introduce un flujo de trabajo de SISR totalmente no supervisado que elimina la dependencia de la verdad de terreno de alta resolución no disponible.
• Estrategia de Entrenamiento Sintético: Demuestra la eficacia de entrenar modelos de aprendizaje profundo en datos sintéticos generados mediante el modelo de Hojas Muertas, específicamente diseñado para replicar las propiedades estadísticas de los mapas de abundancia hiperespectrales.
• Integración de la Desmezcla: A diferencia de otros enfoques sintéticos previos, este método integra completamente el paso de desmezcla hiperespectral en el flujo de trabajo de superresolución, asegurando que la consistencia espectral se mantenga durante todo el proceso.
• Mejora de la Adaptación de la Arquitectura: El método adapta la arquitectura MCNet para operar sobre los componentes de desmezcla en lugar de los cubos espectrales brutos, optimizando la red para la tarea específica de la mejora de los mapas de abundancia.

Resultados Experimentales
El método fue evaluado en el conjunto de datos Urban (capturado por el sensor HYDICE), que comprende 307 $\times$ 307 píxeles y 162 bandas espectrales utilizables. Se aplicó un factor de superresolución de 4.

• Configuración de Entrenamiento: Se generaron 5,000 pares de mapas de abundancia sintéticos. La red fue entrenada durante 200 épocas utilizando el optimizador Adam.
• Comparaciones: El método propuesto (etiquetado como MCNet-DL) se comparó con:
  • Interpolación bicúbica.
  • Métodos supervisados de vanguardia: MCNet, SSPSR y HSISR.
  • Nota: Para asegurar una comparación justa, los métodos supervisados fueron entrenados en 16 parches del conjunto de datos Urban, utilizando una estrategia de validación cruzada de dejar uno fuera (leave-one-out), proporcionándoles condiciones óptimas que a menudo son impracticables en escenarios del mundo real.
• Métricas de Desempeño: La evaluación utilizó la Relación Señal-Ruido de Pico (PSNR), el Ángulo Espectral (SAM) y el Error de Síntesis Dimensional Sin Dimensión Global Relativa (ERGAS).
• Hallazgos Cuantitativos: MCNet-DL superó a todos los métodos competidores en todas las métricas:
  • PSNR: 26.69 dB (frente a 25.56 dB de MCNet).
  • SAM: 14.53° (menor es mejor; frente a 16.52° de MCNet).
  • ERGAS: 7.60 (menor es mejor; frente a 8.72 de MCNet).
• Hallazgos Cualitativos: La inspección visual de los parches reconstruidos mostró que el método propuesto recuperó significativamente más detalles espaciales en comparación con la interpolación bicúbica y otros métodos de vanguardia, siendo las reconstrucciones más precisas que la aplicación estándar de MCNet directamente a los parches de HSI.

Significancia y Reivindicaciones
El artículo sostiene que el enfoque propuesto aborda eficazmente la limitación crítica de la escasez de datos en la superresolución hiperespectral. Al aprovechar el modelo de Hojas Muertas para generar mapas de abundancia sintéticos estadísticamente relevantes, los autores demuestran que una red entrenada enteramente con datos sintéticos puede superar a los métodos supervisados entrenados con datos reales, aunque estos últimos estén artificialmente particionados.

Los autores posicionan este trabajo como una evolución de su investigación previa [26], destacando que la integración completa de la desmezcla hiperespectral resulta en un método de superresolución completo, eficiente y verdaderamente no supervisado. Los resultados sugieren que la generación de datos sintéticos es una estrategia viable y poderosa para entrenar modelos de aprendizaje profundo en aplicaciones de teledetección donde la verdad de terreno es inaccesible.