SuperF: Neural Implicit Fields for Multi-Image Super-Resolution

Resumen Técnico: SuperF: Campos Neuronales Implícitos para Super-Resolución Multi-Imagen

1. Planteamiento del Problema

Las imágenes de alta resolución están frecuentemente limitadas por restricciones de los sensores, interferencias atmosféricas y costos de adquisición, afectando dominios que van desde la teledetección satelital hasta la fotografía con teléfonos inteligentes. Si bien los métodos de Super-Resolución de Imagen Única (SISR) intentan resolver este problema inverso utilizando priors fuertes aprendidos a partir de conjuntos de datos de alta resolución (HR), a menudo producen estructuras "alucinadas" que se desvían de la realidad. Esto es particularmente problemático para aplicaciones científicas y médicas donde la fidelidad es crítica.

La Super-Resolución Multi-Imagen (MISR) ofrece una alternativa aprovechando múltiples cuadros de baja resolución (LR) capturados con desplazamientos sub-píxel. Estos desplazamientos introducen artefactos de aliasing variables que, al combinarse, contienen información complementaria para reconstruir la señal HR subyacente. Sin embargo, los enfoques MISR existentes a menudo dependen del aprendizaje supervisado que requiere grandes conjuntos de datos LR-HR emparejados (que son costosos de adquirir) o métodos de optimización en tiempo de prueba (TTO) que pueden tener dificultades con la alineación precisa de sub-píxeles o requerir pasos complejos de preprocesamiento como el registro explícito.

2. Metodología

Los autores proponen SuperF, un enfoque de optimización en tiempo de prueba (TTO) que utiliza Representaciones Neuronales Implícitas (INR) para resolver el problema MISR sin requerir datos de entrenamiento HR.

Arquitectura Central:

• INR Compartido: El método emplea un Perceptrón Multicapa (MLP) basado en coordenadas que actúa como una función continua que mapea coordenadas 2D a intensidades RGB. Este MLP se comparte entre todos los cuadros de entrada LR, representando efectivamente la señal HR continua subyacente.
• Optimización Conjunta: A diferencia de métodos anteriores que tratan la alineación y la reconstrucción por separado, SuperF optimiza conjuntamente:
  1. Los parámetros del MLP compartido (la señal HR).
  2. La alineación sub-píxel de cada cuadro LR con respecto a un cuadro base.
• Parametrización de Transformación Afín: En lugar de utilizar una red separada para estimar matrices de transformación (como se hace en trabajos similares de fusión de ráfagas), SuperF parametriza directamente la transformación afín para cada cuadro utilizando parámetros de traslación ($\Delta x, \Delta y$) y rotación ($\alpha$) aprendibles. El cuadro base se fija como el sistema de coordenadas de referencia ($A^{(1)} = I$).
• Proyección Espectral: Para manejar variaciones de brillo y contraste entre cuadros, el modelo incluye una capa de proyección espectral específica del cuadro (escala y desplazamiento por banda espectral), que se optimiza junto con la alineación.

Componentes Técnicos Clave:

• Estrategia de Supermuestreo: Para superar el sesgo espectral de los MLP basados en coordenadas (que tienden a aprender frecuencias bajas primero), el modelo se optimiza en una cuadrícula de coordenadas de alta resolución correspondiente a la resolución de salida objetivo. La salida se submuestrea luego (mediante promediado/filtro de caja) para igualar los cuadros de entrada LR y calcular la pérdida. Esto obliga a la red a aprender detalles de alta frecuencia necesarios para satisfacer las restricciones LR.
• Codificación Posicional: Las coordenadas de entrada del MLP se transforman utilizando características de Fourier (funciones base aleatorias de seno/coseno) para permitir que la red represente señales de alta frecuencia de manera efectiva. La escala de estas características es específica del dominio (por ejemplo, $\sigma=10$ para satélites, $\sigma=3$ para nivel del suelo).
• Estimación de Incertidumbre: Para manejar el ruido (por ejemplo, nubes en imágenes satelitales o ruido del sensor), el MLP genera una estimación de incertidumbre por píxel (log-varianza) junto con los valores RGB. La optimización minimiza la pérdida de Verosimilitud Negativa Logarítmica Gaussiana (GNLL), permitiendo que el modelo aumente las estimaciones de varianza para píxeles ruidosos en lugar de forzar una reconstrucción perfecta, mejorando así la robustez.

3. Contribuciones Clave

1. Algoritmo SuperF: Un método TTO novedoso para MISR que comparte un INR entre múltiples cuadros LR desplazados mientras optimiza conjuntamente la alineación sub-píxel. Los autores demuestran que parametrizar directamente las transformaciones afines y optimizar en una cuadrícula de supermuestreo es crucial para adaptar los INR a MISR.
2. Mejora en Alineación y Representación: Al parametrizar directamente las transformaciones y utilizar supermuestreo, el método logra una alineación sub-píxel superior y una representación más continua de la señal HR en comparación con las líneas base INR existentes.
3. Conjunto de Datos SatSynthBurst: La introducción de un conjunto de datos sintético de ráfagas satelitales derivado de imágenes HR abiertas, que presenta desplazamientos sub-píxel controlados y ruido, para facilitar la investigación en MISR.
4. Generalización de Dominio: El enfoque se valida tanto en imágenes satelitales como en ráfagas de cámaras portátiles a nivel del suelo, demostrando robustez a través de diferentes dominios sin requerir preentrenamiento específico del dominio.

4. Resultados Experimentales

El método se evaluó en los conjuntos de datos SatSynthBurst (satélite sintético) y SyntheticBurst (portátil a nivel del suelo) con factores de aumento de $\times2$, $\times4$ y $\times8$.

• Rendimiento: SuperF supera a las líneas base TTO de última generación, incluida la regresión de kernel direccional (Lafenetre et al., 2023) y un enfoque modificado de fusión de ráfagas INR (NIR, Nam et al., 2022).
  • En SatSynthBurst, SuperF (pérdida GNLL) logró una PSNR de 37.26 ($\times2$), 34.03 ($\times4$) y 29.28 ($\times8$), superando significativamente la línea base bilineal y todos los demás métodos.
  • En SyntheticBurst, SuperF también superó consistentemente a las líneas base, alcanzando 29.48 ($\times2$), 27.47 ($\times4$) y 26.58 ($\times8$) de PSNR.
• Estudios de Ablación:
  • Eliminar la optimización de alineación conjunta resultó en caídas de rendimiento comparables o peores que el aumento bilineal, confirmando que la alineación sub-píxel es crítica.
  • La parametrización directa de las transformaciones afines resultó más efectiva que el uso de un MLP separado para estimarlas.
  • Se demostró que la estrategia de supermuestreo es esencial para reducir el error de alineación y mejorar la calidad de la reconstrucción.
• Aplicación en el Mundo Real: El método se aplicó con éxito a imágenes reales de Sentinel-2, manejando variaciones en la cobertura de nubes y niveles de ruido. La pérdida GNLL demostró una robustez específica ante píxeles nublados, ignorándolos efectivamente durante la optimización.

5. Significado y Afirmaciones

El artículo posiciona a SuperF como un avance significativo en MISR al abordar la dependencia de grandes conjuntos de datos de entrenamiento HR y el riesgo de alucinación inherente a los métodos SISR supervisados.

• Sin Entrenamiento: Como método TTO, SuperF no requiere entrenamiento fuera de línea con datos HR, lo que lo hace inmediatamente aplicable a nuevos dominios (por ejemplo, cualquier ubicación en la Tierra) y reduce el riesgo de generar estructuras inexistentes.
• Robustez: La integración de la estimación de incertidumbre permite que el modelo maneje el ruido del mundo real (nubes, cambios de iluminación) de manera más efectiva que los enfoques basados en MSE estándar.
• Limitaciones: Los autores reconocen que el proceso de optimización iterativa tarda varios segundos por imagen, lo que puede limitar las aplicaciones móviles en tiempo real pero es aceptable para la teledetección y el análisis científico. También señalan que el método asume que los cuadros observados representan la misma escena; cambios drásticos de escena u oclusiones pesadas siguen siendo desafiantes, aunque el módulo de incertidumbre ofrece cierta mitigación.

En conclusión, SuperF aprovecha la naturaleza continua de los campos neuronales para unificar la alineación de cuadros y la reconstrucción de super-resolución, ofreciendo una solución robusta y eficiente en datos para mejorar la resolución en escenarios de múltiples imágenes.