NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)

Resumen Técnico: NTIRE 2026 RAIM Track 2

1. Planteamiento del Problema

El desafío se centra en la Fusión de Imágenes Multi-Exposición (MEF) en escenas dinámicas, un problema crítico en la fotografía computacional moderna, especialmente en dispositivos móviles.

• Desafío Principal: Combinar múltiples exposiciones de una misma escena para generar una imagen de Alto Rango Dinámico (HDR) o de alta calidad, cuando existe movimiento en la escena, variaciones de iluminación y vibración de la cámara (jitter).
• Dificultades Específicas: A diferencia de los entornos estáticos controlados, las escenas reales presentan:
  • Desalineación severa entre cuadros.
  • Artefactos de "fantasmas" (ghosting) debido al movimiento de objetos.
  • Saturación local y subexposición en diferentes regiones.
  • Restricciones de eficiencia y latencia para su despliegue en pipelines de cámaras reales.
• Objetivo: Cerrar la brecha entre la investigación académica y el despliegue práctico, fomentando soluciones que sean robustas, eficientes y capaces de preservar detalles finos sin introducir artefactos visuales.

2. Metodología y Diseño del Desafío

A. El Conjunto de Datos (Benchmark)
El organizador proporcionó un dataset diseñado para reflejar condiciones fotográficas realistas:

• Entrenamiento: 100 secuencias con 7 niveles de exposición.
• Prueba: 100 secuencias con 5 niveles de exposición (un escenario más restringido para evaluar la estabilidad con menos información).
• Características: Incluye movimiento de objetos, cambios de iluminación local y vibración de cámara de mano. Se incluyen imágenes de referencia para el entrenamiento supervisado.

B. Protocolo de Evaluación
La puntuación final se basa en una métrica compuesta que equilibra la fidelidad estructural y la calidad perceptual:
$$\text{Score} = 30 \cdot \frac{\text{PSNR}}{50} + 22.5 \cdot \frac{\text{SSIM} - 0.5}{0.5} + 30 \cdot \left(1 - \frac{\text{LPIPS}}{0.4}\right)$$

• Métricas: PSNR (calidad de píxel), SSIM (estructura) y LPIPS (percepción).
• Requisitos Adicionales: Se evalúa la eficiencia (tiempo de ejecución, FLOPs, parámetros) y la reproducibilidad. Los equipos deben entregar código ejecutable y pesos pre-entrenados para la fase final.

C. Enfoques Metodológicos Destacados de los Equipos Ganadores
El artículo detalla las estrategias de los equipos mejor clasificados:

1. WHU-VIP (Ganador):

   • Arquitectura: Basada en AFUNet con transformadores Swin.
   • Innovaciones:
     • Uso de solo 3 cuadros (0 EV, ±2 EV) en lugar de 7 para mejorar la eficiencia y reducir desalineaciones.
     • Módulo SFT (Spatial Feature Transform) para modulación espacial adaptativa según la iluminación local.
     • Módulo DCM-RG (Data Consistency with Reliability Gating) que predice "puertas" (gates) por píxel para suprimir regiones no fiables o mal alineadas.
     • Estrategia de Aprendizaje: Curriculum learning en 4 etapas (alineación básica, generalización dinámica, mejora perceptual y entrenamiento consciente de la cuantización).

2. SHL (2º Lugar):

   • Estrategia: Guía global ligera.
   • Mecanismo: Concatena una versión submuestreada de la imagen completa como referencia global para guiar la red, compensando el campo receptivo limitado del entrenamiento por parches.
   • Pérdida NPR: Introduce una función de pérdida de "Relaciones de Píxeles Vecinos" para preservar la consistencia estructural local y evitar el desenfoque.
   • Ensemble: Promedio ponderado de tres modelos (Restormer, Uformer, MST++).

3. nunucccb (3º Lugar):

   • Arquitectura: Basada en HDR-Transformer (Context-Aware Vision Transformer).
   • Diseño: Red de extracción de características con atención espacial para suprimir desalineaciones, seguida de bloques CA-ViT para modelar dependencias globales.
   • Enfoque: Preserva la integridad estructural de la imagen de referencia mediante conexiones residuales.

4. untrafusion:

   • Enfoque: Marco de reconstrucción end-to-end que modela priors físicos de exposición.
   • Técnica: Utiliza alineación óptica de flujo (coarse-to-fine) y un módulo de alineación guiado por luminancia. Emplea una estrategia de entrenamiento progresiva con parches de tamaño creciente (curriculum).

5. I2 Group & Transsion:

   • Método: Fusión basada en Transformada Wavelet Discreta (DWT).
   • Estrategia: Separa la información en ramas de baja frecuencia (estructura) y alta frecuencia (detalle). Usa un módulo residual ligero para fusionar detalles de alta frecuencia sin introducir fantasmas.

3. Resultados Clave

• Rendimiento Cuantitativo:
  • WHU-VIP obtuvo la puntuación final más alta (58.889), logrando el mejor equilibrio entre PSNR, SSIM y LPIPS.
  • SHL obtuvo los valores más altos de PSNR y SSIM, pero un LPIPS ligeramente peor, lo que afectó su puntuación final.
  • nunucccb mostró una generalización estable en ambas etapas de prueba.
• Análisis Visual:
  • Los métodos superiores demostraron una supresión superior de artefactos de "fantasmas" y una mejor preservación de texturas de alta frecuencia en regiones dinámicas.
  • Se observó que los equipos mejor clasificados mantuvieron su rendimiento entre la Etapa 1 y Etapa 2 de prueba, mientras que otros sufrieron caídas significativas, indicando que la robustez ante la variación de exposición y movimiento es el factor diferenciador.

4. Contribuciones Clave

1. Nuevo Benchmark Realista: Presentación de un dataset de 200 secuencias (entrenamiento/prueba) específicamente diseñado para escenas dinámicas con múltiples exposiciones, llenando un vacío entre los benchmarks estáticos académicos y las necesidades de la industria móvil.
2. Protocolo de Evaluación Integral: Combinación de métricas objetivas (PSNR/SSIM/LPIPS) con requisitos estrictos de eficiencia y reproducibilidad de código, asegurando que las soluciones sean viables en la práctica.
3. Avances Metodológicos: Demostración de que arquitecturas híbridas (Transformers + CNN), mecanismos de atención espacial, y estrategias de aprendizaje curricular son efectivas para resolver el problema de la fusión en movimiento.
4. Comunidad y Recursos: Publicación de los datos, el código de los equipos ganadores y un análisis detallado de las metodologías, facilitando la investigación futura en fotografía computacional HDR.

5. Significado e Impacto

Este desafío marca un hito en la investigación de fotografía computacional móvil. Al enfocarse en la fusión de imágenes en movimiento, aborda uno de los problemas más difíciles y comunes en la fotografía con smartphones.

• Impacto Industrial: Las soluciones desarrolladas tienen un potencial directo de implementación en pipelines de cámaras de teléfonos inteligentes, mejorando la calidad de las fotos en condiciones de baja luz o alto contraste con movimiento.
• Avance Científico: Establece un nuevo estándar para la evaluación de modelos de restauración de imágenes, priorizando no solo la precisión numérica, sino la robustez perceptual y la eficiencia computacional.
• Colaboración: Refleja una colaboración exitosa entre la academia (Universidades de Nankai, Politécnica de Hong Kong, Wuhan, etc.) y la industria (OPPO Research Institute), acelerando la transferencia de tecnología.

En conclusión, el NTIRE 2026 RAIM Track 2 ha impulsado el estado del arte en la fusión de imágenes multi-exposición, demostrando que es posible lograr resultados de alta calidad y libres de artefactos incluso en las condiciones más desafiantes del mundo real.