S2R-HDR: A Large-Scale Rendered Dataset for HDR Fusion

El artículo presenta S2R-HDR, un gran conjunto de datos sintéticos de alta calidad generado con Unreal Engine 5 para la fusión HDR, junto con S2R-Adapter, una técnica de adaptación de dominio que mejora la generalización de los modelos en escenarios reales.

Lo esencial

¡Hola! Imagina que quieres tomar una foto perfecta de un atardecer donde el sol está muy brillante y, al mismo tiempo, hay sombras muy oscuras debajo de los árboles. Si usas una cámara normal, o el cielo se verá blanco y quemado, o los árboles se verán negros y sin detalles.

Aquí es donde entra la fusión HDR (Alto Rango Dinámico). Es como un "superpoder" para las cámaras que combina varias fotos tomadas con diferentes brillos para crear una imagen final donde se ve todo perfecto, desde las estrellas hasta el sol.

El problema es que enseñar a las computadoras a hacer esto es muy difícil. ¿Por qué? Porque para aprender, necesitan ver miles de ejemplos reales. Pero capturar esos ejemplos en la vida real es un dolor de cabeza: necesitas controlarlo todo (el clima, el movimiento de los coches, la luz del sol) y eso es casi imposible de organizar.

Aquí es donde entra el papel que vamos a explicar: S2R-HDR.

1. El Problema: La "Cocina" sin Ingredientes

Imagina que eres un chef (el modelo de inteligencia artificial) que quiere aprender a hacer el mejor pastel del mundo (la foto HDR perfecta).

• El problema: Los chefs anteriores solo tenían una receta con 100 ingredientes (datos reales). Eso es muy poco para aprender a cocinar para millones de personas con gustos diferentes. Además, conseguir esos ingredientes reales (fotos con sol directo, coches moviéndose rápido, gente corriendo) es caro y lento.
• La consecuencia: Los chefs aprenden mal y, cuando intentan cocinar en una cocina nueva (una situación real que no han visto), la comida sale quemada o cruda.

2. La Solución: El "Supermercado Virtual" (S2R-HDR)

Los autores del paper dicen: "¡Esperen! Si no podemos conseguir ingredientes reales suficientes, ¡creémoslos!".

Así crearon S2R-HDR, un gigantesco supermercado virtual de fotos.

• Cómo lo hicieron: Usaron un motor de videojuegos ultra realista (Unreal Engine 5) para "dibujar" 24,000 escenas.
• La magia: En este mundo virtual, pueden controlar todo. Pueden poner un sol brillante, una lluvia torrencial, un perro corriendo, un coche volando o una persona bailando, todo al mismo tiempo.
• La analogía: Es como si en lugar de ir a la granja a buscar vacas reales (difícil y lento), tuvieras una fábrica que produce vacas perfectas, de todos los colores y tamaños, a una velocidad increíble. Tienen 24,000 ejemplos (¡166 veces más que los otros chefs tenían!).

3. El Desafío: El "Sabor Sintético" vs. El "Sabor Real"

Aquí viene el truco. Aunque las fotos virtuales son increíbles, tienen un pequeño problema: saben un poco a plástico.

• Si le das a un chef un pastel hecho con ingredientes de plástico (datos sintéticos), sabe bien, pero no es exactamente igual a uno hecho con ingredientes reales. Cuando el chef intenta cocinar en una cocina real, la comida no queda perfecta porque le falta ese "toque humano" de la textura real.
• En términos técnicos, hay una brecha de dominio: lo que la IA aprendió en el videojuego no encaja perfectamente con la realidad.

4. El "Traductor" Mágico (S2R-Adapter)

Para solucionar esto, crearon un traductor llamado S2R-Adapter.

• La analogía: Imagina que el chef (la IA) habla el idioma de los videojuegos. Ahora tiene que hablar con un cliente real. El S2R-Adapter es como un intérprete que se pone entre el chef y el cliente.
• ¿Cómo funciona? Tiene dos brazos:
  1. Brazo de Memoria (Share Branch): Le recuerda al chef lo que ya sabe hacer bien (como mezclar colores). No quiere que olvide lo aprendido en el supermercado virtual.
  2. Brazo de Adaptación (Transfer Branch): Le enseña al chef a ajustar sus manos para tocar los ingredientes reales (las texturas de la piel, el brillo del asfalto).
• El resultado: El chef ahora puede cocinar un pastel perfecto usando ingredientes virtuales, pero el sabor final es indistinguible de uno hecho con ingredientes reales.

5. ¿Funciona de verdad?

Sí, y muy bien.

• Prueba: Pusieron a estos chefs entrenados en el supermercado virtual a cocinar en cocinas reales (fotos de coches moviéndose rápido, sol directo, noche).
• Resultado: ¡Ganaron! Sus fotos tenían menos "fantasmas" (esas estelas borrosas cuando algo se mueve rápido) y recuperaban mejor los detalles en las zonas muy brillantes o muy oscuras.
• Lo mejor: Incluso funciona si no tienen la "receta correcta" (la foto perfecta de referencia) para comparar. El sistema se adapta por sí solo en el momento de tomar la foto.

En Resumen

Este paper es como decir: "No esperemos a tener millones de fotos reales perfectas para enseñar a las cámaras. Vamos a crear un universo virtual gigante con todas las situaciones posibles, y luego construiremos un traductor inteligente para que lo que aprenden en el videojuego funcione perfectamente en la vida real".

Es una forma brillante y eficiente de resolver un problema muy costoso, permitiendo que nuestras cámaras y coches autónomos vean el mundo con una claridad increíble, incluso en las condiciones más difíciles.

Resumen técnico

Resumen Técnico: S2R-HDR

1. El Problema

La fusión de imágenes de alto rango dinámico (HDR) basada en aprendizaje profundo es fundamental para aplicaciones como la fotografía computacional, la percepción visual y la conducción autónoma. Sin embargo, el avance en este campo se ve limitado por dos factores críticos:

• Escasez de datos de entrenamiento: Recopilar conjuntos de datos HDR a gran escala en escenas dinámicas del mundo real es costoso, consume muchos recursos y presenta desafíos técnicos significativos. Factores incontrolables como las condiciones de iluminación, el clima y objetos en movimiento (animales, vehículos) dificultan la adquisición de datos.
• Limitaciones de los conjuntos existentes: Los datasets actuales (como SCT o Challenge123) son pequeños (generalmente menos de 150 muestras), se centran en movimientos humanos básicos y carecen de escenarios extremos (como luz solar directa). Esto provoca que los modelos entrenados sufran de sobreajuste (overfitting) y tengan una pobre capacidad de generalización en escenarios complejos con grandes movimientos o rangos dinámicos extremos.

2. Metodología Propuesta

Los autores proponen una solución integral que combina la generación de datos sintéticos de alta calidad con una estrategia de adaptación de dominio.

A. S2R-HDR: Un Dataset Sintético a Gran Escala

• Generación: Se utilizó Unreal Engine 5 para renderizar un dataset sintético de alta fidelidad.
• Escala: El dataset contiene 24,000 muestras HDR (secuencias de 1,000 videos con 24 frames cada uno), lo que lo hace aproximadamente 166 veces más grande que los datasets estándar existentes.
• Diversidad y Calidad:
  • Entornos: Cubre interiores y exteriores, con condiciones de iluminación variadas (día, atardecer, noche) y escenarios extremos (luz solar directa).
  • Movimiento: Incluye una amplia gama de elementos dinámicos: humanos, animales y vehículos, con patrones de movimiento complejos.
  • Pipeline de Renderizado: Se diseñó un pipeline personalizado para evitar el tone mapping irreversible, manteniendo los datos en espacio lineal HDR (formato EXR) y simulando imperfecciones de captura (temblor de cámara) para mayor realismo.

B. S2R-Adapter: Adaptación de Dominio Sim-to-Real
Dado que existe una brecha de dominio (domain gap) entre los datos sintéticos y los reales (especialmente en la distribución de texturas), se propone S2R-Adapter, un método de adaptación plug-and-play.

• Arquitectura: Consiste en dos ramas que se insertan en las capas preentrenadas del modelo:
  1. Rama Compartida (Share Branch): Utiliza un adaptador de bajo rango (Low-Rank Adapter) para preservar el conocimiento aprendido del dataset sintético y evitar el olvido catastrófico.
  2. Rama de Transferencia (Transfer Branch): Utiliza un adaptador de alto rango para aprender conocimiento específico del dominio real.
• Estrategias de Entrenamiento:
  • Con datos etiquetados: Se ajustan los factores de escala ($\alpha_s, \alpha_t$) para equilibrar ambas ramas durante el fine-tuning.
  • Sin datos etiquetados (Test-Time Adaptation - TTA): Se utiliza un marco de Maestro-Alumno (Mean-Teacher). La incertidumbre del modelo (calculada mediante aumentos de datos como cambios de exposición y balance de blancos) se utiliza para ajustar dinámicamente los factores de escala. Si la incertidumbre es alta (gran desplazamiento de dominio), se prioriza la rama de transferencia; si es baja, se prioriza la rama compartida.

3. Contribuciones Clave

1. S2R-HDR: El primer dataset sintético a gran escala y alta calidad diseñado específicamente para la fusión HDR, superando en tamaño y diversidad a cualquier dataset real existente.
2. S2R-Adapter: Un método de adaptación de dominio eficiente que permite transferir modelos entrenados en datos sintéticos a escenarios reales, funcionando tanto con datos etiquetados como no etiquetados (TTA).
3. Validación de Generalización: Demostración de que los modelos entrenados exclusivamente en datos sintéticos, tras una adaptación mínima, superan a los modelos entrenados directamente en datos reales limitados.

4. Resultados Experimentales

Los experimentos se realizaron en datasets reales de referencia (SCT y Challenge123) y en datos capturados sin ground truth.

• Rendimiento con Ground Truth: Los modelos (SCTNet y SAFNet) preentrenados en S2R-HDR y adaptados con S2R-Adapter lograron resultados State-of-the-Art (SOTA).
  • Mejoras significativas en métricas PSNR-$\mu$ (hasta +2.0 dB en Challenge123) y SSIM.
  • Reducción notable de artefactos como "fantasmas" (ghosting) en grandes movimientos y recuperación de detalles en zonas de alto brillo (luz solar directa).
• Adaptación en Tiempo de Prueba (TTA): En escenarios sin etiquetas de verdad absoluta, el enfoque propuesto superó a los modelos entrenados directamente en datos reales, logrando mejoras de hasta 8.46 dB en PSNR-$\ell$ en comparación con las mejores líneas base.
• Análisis de Olvido de Conocimiento: El S2R-Adapter demostró ser superior al fine-tuning tradicional, manteniendo mejor el conocimiento aprendido en el dominio sintético al adaptarse al real.

5. Significado e Impacto

Este trabajo aborda uno de los cuellos de botella más grandes en la visión por computadora: la falta de datos de entrenamiento a gran escala para tareas complejas como la fusión HDR.

• Solución al problema de datos: Proporciona una vía viable para entrenar modelos robustos sin depender de la costosa recolección de datos reales.
• Generalización: Establece un nuevo estándar para la generalización en tareas donde la adquisición de datos es difícil, demostrando que los datos sintéticos de alta calidad, combinados con una adaptación de dominio inteligente, pueden igualar o superar a los datos reales.
• Recursos Abiertos: El dataset y el código están disponibles públicamente, fomentando la investigación futura en fotografía computacional y percepción visual.

En conclusión, S2R-HDR y S2R-Adapter representan un avance significativo al cerrar la brecha entre el mundo sintético y el real, permitiendo el desarrollo de sistemas HDR más robustos y generalizables.