There and Back Again: A Flexible-Frame Transformer for Multi-Exposure Fusion

Resumen Técnico: FreeMEF – Un Transformer de Marco Flexible para la Fusión de Múltiples Exposiciones

Planteamiento del Problema
La Fusión de Múltiples Exposiciones (MEF, por sus siglas en inglés) tiene como objetivo reconstruir imágenes de Alto Rango Dinámico (HDR) fusionando múltiples fotogramas de Bajo Rango Dinámico (LDR) capturados en diferentes niveles de exposición. Aunque los enfoques basados en aprendizaje han avanzado en este campo, enfrentan dos limitaciones críticas que obstaculizan su despliegue práctico:

1. Restricciones de Entrada Fija: Las arquitecturas existentes están diseñadas para un número específico y fijo de fotogramas de entrada (por ejemplo, 2, 3 o 5). En escenarios del mundo real donde las estrategias de exposición varían, estos modelos requieren modificaciones arquitectónicas y reentrenamiento para diferentes conteos de fotogramas, lo que socava la eficiencia del despliegue.
2. La Paradoja de la Similitud: Los mecanismos de atención convencionales dependen de la similitud entre fotogramas para agregar información. Sin embargo, en el modelado de imágenes HDR, las regiones que requieren la mayor restauración (áreas saturadas sobreexpuestas o subexpuestas) exhiben una similitud de píxel a píxel extremadamente baja con sus contrapartes en los fotogramas de exposición normal. Los mecanismos de atención cruzada estándar, que priorizan las regiones de alta similitud, no logran recuperar eficazmente la información complementaria de estas áreas críticas, lo que conduce a una recuperación deficiente de los detalles.

Metodología: FreeMEF
Los autores proponen FreeMEF, un marco de transformer de marco flexible que desacopla las características de referencia de las características base, permitiendo que un solo modelo maneje longitudes de secuencia de entrada arbitrarias sin necesidad de reentrenamiento. La arquitectura consta de dos componentes primarios:

1. Módulo de Espacio de Estados Recurrente (RSSM):

   • En lugar de procesar los fotogramas en paralelo, el RSSM fusiona secuencialmente las características de un número arbitrario de exposiciones de entrada.
   • Utiliza una Ecuación de Espacio de Estados Atenta (ASE) para capturar contextos espaciales-temporales globales con una complejidad computacional lineal.
   • El módulo emplea una estrategia de alineación deformable para manejar el movimiento entre fotogramas y actualiza un estado oculto de forma recurrente. Esto permite que la red agregue información de múltiples fotogramas en una única característica global fusionada ($H_T$), independientemente del conteo de entrada.

2. Bloque de Guía de Características Globales (GFGB):

   • Este bloque procesa el fotograma base utilizando la característica global agregada ($H_T$) como guía auxiliar. Consta de dos submódulos diseñados para resolver la paradoja de la similitud y optimizar la regulación de la exposición:
     • Atención Híbrida Consciente de la Extremidad (EAHA): Para abordar la paradoza de la similitud, el EAHA genera un vector de consulta híbrido. Estima un mapa de extremidad para identificar regiones saturadas. En estas regiones, el modelo cambia de la consulta poco fiable del fotograma base ($Q_{base}$) a una consulta de referencia ($Q_{ref}$) derivada del historial global. Esto permite al modelo utilizar los principios estructurales del contexto global para restaurar detalles recortados donde la similitud de píxel a píxel es baja.
     • Red de Alimentación hacia Adelante de Inyección Afín (AFFN): Las Redes de Alimentación hacia Adelante (FFN) estándar carecen de la capacidad de adaptarse a los cambios globales de exposición. El AFFN inyecta información de radiancia global en la FFN mediante modulación afín (escalado $\gamma$ y desplazamiento $\beta$). Esto recalibra explícitamente el contraste y el brillo de las características locales basándose en las estadísticas de alto rango dinámico preservadas en el historial global.

Contribuciones Clave

• Arquitectura de Marco Flexible: FreeMEF es el primer método de MEF que desacopla conceptualmente las características de referencia de las características base, permitiendo que un solo modelo se entrene e infiera con un número arbitrario de fotogramas de entrada sin rediseño arquitectónico ni reentrenamiento.
• Mecanismo de Fusión Recurrente (RSSM): Un módulo novedoso que agrega progresivamente las características de exposición utilizando el modelado de espacio de estados, acomodando longitudes de entrada variables mientras mantiene el contexto global.
• Resolución de la Paradoja de la Similidad: La introducción de GFGB, específicamente EAHA y AFFN, resuelve eficazmente el fallo de la atención estándar en regiones saturadas y logra un control preciso del brillo.
• Desempeño Superior: El método demuestra un rendimiento de vanguardia cuantitativa y cualitativamente a través de múltiples conjuntos de datos.

Resultados Experimentales
Los autores evaluaron FreeMEF en tres conjuntos de datos de referencia: Kalantari et al., Real-HDRV y SICE.

• Desempeño Cuantitativo: En el conjunto de datos Kalantari, FreeMEF alcanzó un PSNR de 28.418 dB, superando al segundo mejor método (AFUNet) por 1.192 dB. En Real-HDRV, mejoró el PSender PSNR en 0.515 dB sobre el segundo lugar.
• Generalización (Trans-conjunto de datos/Fotogramas variables): En evaluaciones de trans-conjunto de datos (entrenamiento en Kalantari, prueba en SICE con 2, 3 y 5 fotogramas), FreeMEF superó consistentemente a las líneas base de entrada fija. Notablemente, mostró ganancias significativas en los escenarios de 2 y 5 fotogramas donde otros métodos requerían reentrenamiento o cambios arquitectónicos. Por ejemplo, en el subconjunto de 5 fotogramas de SICE, FreeMEF mejoró el PSNR en 1.116 dB respecto al segundo mejor método.
• Eficiencia: El modelo mantiene un bajo costo computacional, ahorrando aproximadamente un 39% y un 56% en FLOPs en comparación con AFUNet y HDR-Transformer, respectivamente, manteniendo conteos de parámetros adecuados para el despliegue móvil.
• Calidad Visual: Las comparaciones cualitativas muestran una recuperación superior de rostros retroiluminados y sujetos en movimiento, con una supresión efectiva de los artefactos de fantasma por movimiento comunes en los métodos de fusión paralela.

Significancia y Reivindicaciones
El artículo afirma que FreeMEF aborda la rigidez fundamental de los sistemas MEF actuales. Al alejarse de las restricciones de entrada fija y los paradigmas de fusión paralela, el mecanismo recurrente propuesto de "ir y volver" permite una adaptación fluida a diversas configuraciones de exposición del mundo real. Los autores sostienen que su enfoque no solo mejora la calidad de la restauración en regiones saturadas desafiantes, sino que también establece un marco más eficiente y versátil para la obtención de imágenes HDR, eliminando la necesidad de múltiples modelos especializados para diferentes conteos de fotogramas.

Limitaciones
Los autores reconocen que, si bien FreeMEF se desempeña de manera robusta, pueden ocurrir ligeras desviaciones de color en los resultados fusionados en comparación con la verdad de campo (ground truth). Esto se atribuye a brechas excesivamente grandes entre los niveles de exposición, lo que puede causar que los colores se desvíen de la apariencia real de la escena.