Fast Kernel-Space Diffusion for Remote Sensing Pansharpening

Resumen Técnico: Difusión Rápida en Espacio de Kernel para Pansharpening de Teledetección

Planteamiento del Problema
El pansharpening tiene como objetivo fusionar imágenes pancromáticas (PAN) de alta resolución con imágenes multiespectrales de baja resolución (LRMS) para generar imágenes multiespectrales de alta resolución (HRMS) que preserven tanto los detalles espaciales finos como la rica información espectral. Si bien los métodos de aprendizaje profundo (DL) han logrado avances significativos, a menudo tienen dificultades para capturar los prios estadísticos globales inherentes a las distribuciones de datos de teledetección. Por el contrario, los modelos basados en difusión ofrecen capacidades potentes de mapeo de distribuciones, pero sufren de una latencia de inferencia prohibitiva debido a su naturaleza de muestreo iterativo, particularmente cuando se aplican a imágenes de teledetección de alta resolución y múltiples canales. Los enfoques de difusión existentes a menudo reconstruyen imágenes a partir de ruido gaussiano puro, un proceso que los autores argumentan es contraproducente y computacionalmente pesado, dado que la mayoría de la información espacial y espectral ya está disponible en las imágenes de entrada PAN y LRMS.

Metodología: KSDiff
Los autores proponen KSDiff, un marco novedoso que integra las fortalezas de modelado de distribuciones de los modelos de difusión con la eficiencia de inferencia de los métodos tradicionales de DL. En lugar de generar la imagen final directamente, KSDiff utiliza un proceso de difusión en el espacio latente para generar kernels de convolución enriquecidos con contexto global. Estos kernels se utilizan luego para mejorar una red de pansharpening basada en regresión estándar.

La metodología comprende tres componentes principales:

1. Codificador de Fusión Latente en Pirámide (PLFE):
   Para extraer características de prior compactas, los autores introducen un PLFE. A diferencia de la concatenación ingenua, el PLFE emplea una arquitectura de pirámide multiescala donde las características PAN y LRMS se refinan progresivamente bajo la guía de HRMS de verdad terreno (durante el pre-entrenamiento) o entradas PAN/LRMS (durante la inferencia). Utiliza un mecanismo de atención cruzada con complejidad lineal para aliviar las cargas computacionales en imágenes grandes y una puerta de fusión dinámica para equilibrar adaptativamente las características de la rama original con las características guiadas por HRMS, asegurando la consistencia espacial-espectral.

2. Generador de Kernels:
   La innovación central radica en generar kernels de convolución en lugar de píxeles de imagen. El generador toma una representación latente y produce un tensor central de bajo rango y matrices de factores.

   • Tensor Central: Generado a partir de un vector centreroide de la representación latente mediante una MLP.
   • Generador de Factores Unificado: Produce matrices de factores a partir de características de entrada utilizando una columna vertebral compartida ligera y un mecanismo de atención multi-cabeza consciente de la estructura.
   • Reparametrización: El kernel de convolución final se construye modulando un kernel base con estos factores generados mediante álgebra tensorial (productos modo-n), permitiendo una modulación de kernel eficiente y expresiva con influencia de prior controlable.

3. Estrategia de Entrenamiento en Dos Etapas:

   • Etapa 1 (Pre-entrenamiento): El PLFE y el generador de kernels se optimizan conjuntamente con una columna vertebral de pansharpening (U-Net) para aprender una representación de prior latente informativa ($z_0$) a partir de imágenes HRMS de verdad terreno.
   • Etapa 2 (Entrenamiento de Difusión): Se entrena un modelo de difusión para aproximar el prior de representación latente. El proceso forward añade ruido a $z_0$, y el proceso reverse predice $z_0$ condicionado a las entradas PAN y LRMS (codificadas por un PLFE2 simplificado). El objetivo de entrenamiento combina la pérdida de difusión (prediciendo $z_0$) y una pérdida de regresión (reconstruyendo la imagen HRMS final), permitiendo una optimización de extremo a extremo.

Inferencia
Durante la inferencia, el sistema evita el pesado codificador de pre-entrenamiento. El PLFE2 extrae un código condicional de las imágenes PAN y LRMS. Un proceso de difusión inversa (utilizando muestreo DDIM) genera la representación latente predicha $\hat{z}_0$ a partir de ruido gaussiano. Esta representación se alimenta al generador de kernels para producir kernels dinámicos, que reparametrizan las capas de convolución de la red de pansharpening para fusionar las entradas.

Contribuciones Clave

• Marco KSDiff: Un enfoque novedoso que integra representaciones latentes generadas por difusión en el diseño de kernels de convolución, aprovechando los modelos de difusión para el modelado de distribuciones mientras mantiene la velocidad de inferencia rápida de los métodos deterministas de DL.
• Arquitectura y Entrenamiento: Introducción del Codificador de Fusión Latente en Pirámide (PLFE) y un esquema de entrenamiento en dos etapas adaptado para pansharpening, facilitando la integración de información espacial-espectral multiescala en redes existentes basadas en regresión.
• Rendimiento y Eficiencia: El método logra un rendimiento cuantitativo y visual competitivo, ofreciendo velocidades de inferencia comparables a los métodos tradicionales de DL y órdenes de magnitud más rápidas (más de 500×) que las líneas base recientes de pansharpening basadas en difusión.

Resultados Experimentales
Se realizaron experimentos extensos en tres conjuntos de datos de referencia: WorldView-3 (WV3), GaoFen-2 (GF2) y QuickBird (QB).

• Métricas Cuantitativas: KSDiff superó a los métodos tradicionales más avanzados, a las líneas base de aprendizaje profundo (por ejemplo, PanNet, DiCNN, FusionNet, LAGConv) y a los métodos recientes basados en difusión (por ejemplo, PanDiff, PLRDiff) en métricas como SAM, ERGAS, Q2n, SCC y HQNR.
• Velocidad de Inferencia: KSDiff logró un tiempo de inferencia de aproximadamente 0.077 segundos en el conjunto de datos WV3, significativamente más rápido que PanDiff (261.41s) y PLRDiff (40.14s), manteniendo al mismo tiempo un rendimiento superior a los métodos de DL no basados en difusión.
• Estudios de Ablación: Los resultados confirmaron la necesidad del prior de difusión latente, la efectividad del PLFE sobre la concatenación simple y la eficiencia del generador de kernels consciente de tensores en comparación con los enfoques ingenuos de MLP.
• Generalización: El método demostró capacidades de generalización sólidas al probarse en el conjunto de datos WorldView-2, a pesar de haber sido entrenado en WV3.

Significado
El artículo afirma que KSDiff proporciona una solución práctica y escalable para la fusión de imágenes de teledetección. Al desplazar el proceso de difusión del espacio de píxeles al espacio de kernels, el marco aborda con éxito el cuello de botella de latencia de los modelos de difusión sin sacrificar su capacidad para modelar distribuciones de datos complejas. Este enfoque permite una reconstrucción de alta calidad con inferencia rápida, haciéndolo adecuado para aplicaciones que requieren procesamiento en tiempo real o casi en tiempo real de datos de teledetección.