Voronoi-guided Bilateral 2D Gaussian Splatting for Arbitrary-Scale Hyperspectral Image Super-Resolution

1. El Problema

Las imágenes hiperespectrales (HSI) son fundamentales en aplicaciones de teledetección, pero a menudo sufren de baja resolución espacial debido a las compensaciones inherentes en la adquisición de datos. La super-resolución (SR) de HSI busca reconstruir imágenes de alta resolución manteniendo la fidelidad espectral.

Los métodos existentes presentan dos limitaciones principales:

• Falta de flexibilidad en la escala: La mayoría de los enfoques de aprendizaje profundo están acoplados a operaciones de upsampling de escala fija. Esto requiere entrenar y almacenar modelos separados para cada factor de escala objetivo, lo que aumenta la sobrecarga computacional.
• Desafíos en la representación continua: Aunque la representación continua (como el Gaussian Splatting) es ideal para la super-resolución arbitraria, su aplicación directa a HSI es difícil. Los métodos actuales de splatting 2D suelen depender de estrategias de rasterización con soportes espaciales predefinidos (fijos) y agregaciones basadas únicamente en la proximidad geométrica. Esto falla al capturar estructuras espaciales multiescala y no garantiza la consistencia espectral, ya que objetos adyacentes espacialmente pueden tener propiedades espectrales muy diferentes.

2. Metodología: GaussianHSI

Los autores proponen GaussianHSI, un marco basado en Gaussian Splatting diseñado específicamente para la super-resolución de HSI a escala arbitraria. La arquitectura se divide en tres componentes principales:

A. Codificación y Descomposición

El modelo primero extrae características latentes de la imagen HSI de baja resolución (LR) mediante un codificador (capas convolucionales residuales). Estas características se dividen en dos ramas:

1. Rama Espacial: Para la reconstrucción de la estructura espacial.
2. Rama Espectral: Para el enriquecimiento de los detalles espectrales.

B. Módulo de Splatting 2D Bilateral Guiado por Voronoi (VBGS)

Este es el núcleo de la reconstrucción espacial. A diferencia de los métodos tradicionales que usan una ventana fija (rasterización), VBGS introduce dos innovaciones:

• Selección Guiada por Voronoi: En lugar de un soporte fijo, el modelo predice un conjunto de funciones gaussianas a partir de las características de entrada. Para cada píxel objetivo de alta resolución, se identifican las funciones gaussianas más relevantes utilizando la distancia de Mahalanobis (que considera la escala y orientación de cada gaussiana). Se seleccionan dinámicamente las $k$ gaussianas más cercanas, formando un conjunto de candidatos adaptativo a la estructura local.
• Agregación Bilateral Consciente de la Referencia: Una vez seleccionadas las gaussianas, su contribución no se basa solo en la proximidad geométrica. Se introduce un peso bilateral que considera la consistencia de características entre la función gaussiana seleccionada y las características de la imagen de baja resolución (referencia). Esto asegura que la reconstrucción preserve la fidelidad espectral y evite mezclar propiedades de objetos diferentes.

C. Módulo de Mejora de Detalles Espectrales (SDE)

Dado que la reconstrucción espacial basada en gaussianas puede no ser suficiente para recuperar detalles espectrales finos, se introduce un módulo paralelo (SDE).

• Este módulo toma las características espectrales de la imagen LR, las upsamplea espacialmente y las refina mediante transformaciones alternadas de MLP espaciales y espectrales.
• Utiliza tokens espaciales para mezclar información a través de ubicaciones y canales, mejorando la recuperación de bandas espectrales específicas antes de fusionarlas con la salida espacial.

Finalmente, las salidas de ambas ramas se concatenan y se decodifican para generar la imagen HSI de alta resolución.

3. Contribuciones Clave

1. Primera aplicación de Gaussian Splatting a HSI arbitraria: GaussianHSI es el primer intento de introducir Gaussian Splatting en la super-resolución de imágenes hiperespectrales a escala arbitraria.
2. Selección de Gaussianas Guiada por Voronoi: Una estrategia que adapta la selección de gaussianas a estructuras espaciales diversas mediante modelado de distancia anisotrópica, superando las limitaciones de los soportes fijos.
3. Mecanismo de Agregación Bilateral: Incorpora características de baja resolución como referencia para modular las contribuciones, equilibrando la relevancia geométrica con la consistencia espectral.
4. Módulo SDE: Un componente dedicado que mejora la recuperación de detalles espectrales, complementando la reconstrucción espacial.

4. Resultados Experimentales

Los autores evaluaron el método en tres conjuntos de datos estándar de teledetección: Houston, Pavia y Chikusei.

• Super-resolución de escala única: GaussianHSI superó a los métodos más avanzados (SOTA) como MCNet, MSDformer, HSRMamba y SQformer en métricas de PSNR, SSIM y SAM (Error Angular Espectral). Por ejemplo, en el conjunto Pavia a escala $\times4$, mejoró el PSNR en 0.31 dB respecto al segundo mejor método.
• Super-resolución de escala arbitraria: Comparado con SQformer (el único otro método existente para escala arbitraria en HSI) y otros métodos de escala arbitraria de imágenes RGB adaptados, GaussianHSI demostró una generalización superior, especialmente en escalas fuera de distribución (entrenado en $\times2$-$\times4$, evaluado en $\times6$ y $\times8$).
• Análisis de Ablación:
  • La eliminación del módulo VBGS o SDE resultó en una degradación significativa del rendimiento, confirmando la necesidad de ambos componentes.
  • El análisis de sensibilidad mostró que seleccionar un número óptimo de gaussianas ($k=16$) es crucial; valores muy bajos pierden información y valores muy altos introducen ruido y dificultad de optimización.

5. Significado e Impacto

Este trabajo es significativo porque:

• Flexibilidad: Elimina la necesidad de entrenar múltiples modelos para diferentes factores de escala, permitiendo una reconstrucción continua y flexible.
• Adaptabilidad Estructural: La estrategia de Voronoi permite que el modelo se adapte a objetos de diferentes tamaños y orientaciones en imágenes de teledetección, algo que los métodos basados en ventanas fijas no logran eficientemente.
• Fidelidad Espectral: Al integrar la consistencia de características en el proceso de agregación, el método logra un equilibrio superior entre la mejora de la resolución espacial y la preservación de la información espectral, que es crítica para aplicaciones de análisis de HSI.

En conclusión, GaussianHSI establece un nuevo paradigma para la restauración de HSI, demostrando que las representaciones continuas basadas en gaussianas, cuando se guían adecuadamente por la estructura espacial y espectral, pueden superar a los enfoques discretos tradicionales en tareas de super-resolución complejas.