HDR Video Generation via Latent Alignment with Logarithmic Encoding

1. El Problema: La Brecha entre HDR y Modelos Generativos

La generación de imágenes y videos de Alto Rango Dinámico (HDR) presenta un desafío fundamental para los modelos generativos modernos (como los modelos de difusión):

• Desajuste de Distribución: Los modelos generativos preentrenados se entrenan casi exclusivamente en datos SDR (Rango Dinámico Estándar), que están acotados y comprimidos perceptualmente (generalmente en el rango [0, 1]). En contraste, los datos HDR reales existen en un espacio lineal de escena, con valores de radiación no acotados y distribuciones de cola pesada (heavy-tailed).
• Limitaciones de los Enfoques Anteriores: Las soluciones existentes suelen requerir entrenar nuevos codificadores (VAEs) específicos para HDR o aprender representaciones desde cero. Esto introduce complejidad arquitectónica, demanda grandes cantidades de datos y corre el riesgo de debilitar los "priors" visuales ricos que ya han aprendido los modelos preentrenados.
• Pérdida de Información: Convertir SDR a HDR no es solo una transformación de color; requiere inferir detalles que se perdieron en las altas luces quemadas o sombras aplastadas del video de entrada, algo que los métodos de reconstrucción puramente deterministas no logran bien.

2. Metodología: LumiVid

Los autores proponen LumiVid, un marco que genera video HDR coherente en el tiempo a partir de un video SDR de entrada, utilizando un modelo de difusión de video preentrenado con una adaptación mínima.

A. Alineación del Manifiesto Latente (LogC3)

La idea central es que no se necesita un nuevo modelo, sino una transformación fija que alinee los datos HDR con la distribución latente del modelo preentrenado.

• Codificación Logarítmica: Se identifica que la codificación logarítmica utilizada en la industria cinematográfica (LogC3) mapea la radiación lineal de la escena a una distribución que coincide naturalmente con el espacio latente de los modelos SDR.
• Análisis de Divergencia: Mediante el análisis de la divergencia Kullback-Leibler (KL) en el espacio de píxeles y latente, los autores demuestran que LogC3 (y PQ) minimizan la divergencia con los datos SDR nativos, mientras que otros formatos como ACES o HLG causan errores de reconstrucción o colapso de valores.
• Ventaja: Esto permite usar el VAE (Autoencoder Variacional) congelado del modelo base sin reentrenarlo, manteniendo la fidelidad de las altas luces y sombras.

B. Estrategia de Entrenamiento con Degradaciones

Para enseñar al modelo a "alucinar" (inferir) los detalles HDR que no están visibles en la entrada SDR, se introduce una estrategia de entrenamiento única:

• Degradaciones que imitan a la cámara: Se aplican aumentos específicos al video de referencia SDR (entrada condicional) antes de alimentarlo al modelo. Estos incluyen:
  • Compresión MP4 (artefactos).
  • Escalado de contraste (clipping).
  • Desenfoque selectivo en altas luces y sombras.
• Objetivo: Estas degradaciones "borran" deliberadamente la información de los extremos de luminancia en la entrada. Esto fuerza al modelo a depender de sus priors visuales aprendidos (su comprensión de cómo se comporta la luz, los brillos y las texturas) para reconstruir la información HDR faltante, en lugar de simplemente copiar los píxeles de entrada.

C. Pipeline de Inferencia

1. Entrada: Video SDR.
2. Codificación: El video SDR se codifica en el espacio latente del VAE congelado ($z_{ref}$).
3. Difusión: El modelo DiT (Diffusion Transformer) con adaptadores LoRA (Low-Rank Adaptation) denoisa el latente, condicionado por $z_{ref}$ y ruido. Solo se entrenan los pesos de LoRA (<1% de los parámetros).
4. Decodificación: El latente de salida se decodifica y se aplica la transformación inversa LogC3 para recuperar la radiación lineal de la escena.
5. Salida: Archivo EXR de punto flotante (float16) con rango dinámico completo.

3. Contribuciones Clave

1. Alineación de Distribución sin Reentrenamiento: Demostración de que la codificación LogC3 permite que los datos HDR "se sientan familiares" para los modelos SDR preentrenados, eliminando la necesidad de entrenar un nuevo VAE o arquitectura.
2. Estrategia de Degradación: Introducción de aumentos que imitan fallos de sensores para forzar la síntesis de radiación faltante, mejorando la capacidad generativa en regiones saturadas.
3. Generación Nativa de Video: A diferencia de métodos que procesan imagen por imagen (causando parpadeo temporal), LumiVid genera el video completo de manera conjunta, garantizando coherencia temporal inherente.
4. Eficiencia: El método requiere un entrenamiento extremadamente ligero (10,000 pasos, 8 horas en una sola GPU) sobre un conjunto de datos pequeño (300 clips).

4. Resultados y Evaluación

El modelo se evaluó en conjuntos de datos fuera de distribución (OOD), incluyendo metraje cinematográfico profesional de 12 bits (ARRI) e imágenes HDR calibradas (UPIQ).

• Calidad de Reconstrucción: LumiVid supera a los métodos state-of-the-art (X2HDR, HDRTVNet, LEDiff) en métricas perceptuales y de fidelidad.
  • En el conjunto ARRI (video), logró 36.20 dB de PU21-PSNR y 7.86 en JOD (escala perceptual 0-10), superando significativamente a los baselines.
  • Recuperó detalles finos en cielos, nubes y reflejos que otros métodos dejaron "quemados" (clipped).
• Estabilidad Temporal:
  • Logró un F2F-PSNR (Frame-to-Frame) de 45.63 dB, muy superior a los métodos basados en imagen que sufren de parpadeo severo (X2HDR tuvo un índice de parpadeo 6x peor).
  • Es el único método generativo que combina alta calidad de imagen con coherencia temporal perfecta.
• Ablación: Los experimentos confirmaron que:
  • LogC3 es superior a otras transformaciones (PQ, ACES, HLG) para la alineación latente.
  • Las degradaciones de entrenamiento son esenciales: sin ellas, el modelo tiende a copiar la entrada en lugar de generar nuevos detalles HDR.

5. Significado e Impacto

Este trabajo cambia la perspectiva sobre la generación HDR:

• No se necesita capacidad de modelo adicional: El conocimiento sobre el transporte de luz y el rango dinámico ya existe en los modelos de difusión preentrenados; el problema era cómo exponer los datos HDR a ese conocimiento.
• Simplicidad y Eficiencia: Proporciona una ruta viable y económica para la generación de contenido HDR profesional sin necesidad de arquitecturas masivas o datasets inmensos.
• Aplicabilidad Profesional: La salida en formato EXR lineal permite una postproducción real (corrección de color, re-exposición) que no es posible con formatos SDR o HDR comprimidos.
• Generalización: El principio de "alineación de distribución" sugiere que otros modos de salida complejos podrían desbloquearse en modelos existentes mediante transformaciones de representación adecuadas, sin reentrenar el núcleo del modelo.

En resumen, LumiVid demuestra que con la transformación de representación correcta (LogC3) y una señal de entrenamiento adecuada (degradaciones), los modelos generativos SDR pueden convertirse en potentes motores de generación HDR, preservando la coherencia temporal y la fidelidad fotográfica.