Resumen Técnico: LightCrafter

Planteamiento del Problema

El reiluminado de video requiere editar la apariencia de la escena preservando el contenido, la geometría, los materiales y el movimiento, todo ello manteniendo la coherencia temporal y la consistencia física. Los enfoques existentes generalmente se dividen en dos paradigmas, ambos con limitaciones significativas:

1. Renderizado Inverso + Renderizado Directo (Forward Rendering): Estos métodos reconstruyen explícitamente las propiedades intrínsecas de la escena (geometría, materiales, iluminación) y las vuelven a renderizar bajo una nueva iluminación. Aunque ofrecen un control preciso y consistencia temporal, sufren de reconstrucciones ruidosas debido a la naturaleza mal definida del renderizado inverso monocular. Los errores en la estimación de la geometría o del material se propagan directamente al resultado, y tienen dificultades para modelar efectos complejos como la iluminación global.
2. Traducción Generativa de Video-a-Video: Estos métodos plantean el reiluminado como una tarea generativa condicionada por la iluminación objetivo (por ejemplo, mapas de entorno o texto). Si bien aprovechan potentes prioris de difusión para lograr el fotorrealismo, a menudo carecen de un control preciso sobre las sombras y el sombreado, luchan con la consistencia temporal a largo plazo debido a las ventanas de contexto limitadas y se ven obstaculizados por la escasez de datos de entrenamiento emparejados del mundo real.

Metodología

Los autores proponen LightCrafter, un pipeline híbrido que reformula el reiluminado de video como una tarea de refinamiento de video condicionada por PBR. En lugar de traducir directamente un video de entrada a un objetivo reiluminado, el método traduce un video proxy PBR (renderizado bajo la iluminación objetivo) a un video fotorrealista.

El pipeline opera en tres etapas principales:

1. Renderizado Inverso (Recuperación de la Escena)

Dado un video de entrada monocular, el sistema recupera los intrínsecos de la escena utilizando métodos preexistentes (off-the-shelf):

• Geometría y Cámara: Se extraen mapas de profundidad y parámetros de cámara (por ejemplo, mediante MegaSAM) para construir mallas alineadas píxel a píxel en coordenadas de mundo.
• Materiales: Se extraen albedo, mapas de normales y parámetros de BRDF (rugosidad, metalicidad) (por ejemplo, mediante DiffusionRenderer).
• Iluminación de Origen: Se estima y refina un mapa de entorno mediante renderizado diferenciable para coincidir con el video de entrada.
  Esto resulta en un estado de escena recuperado $S$ y una estimación de la iluminación de origen.

2. Renderizado Directo (Generación del Proxy PBR)

Utilizando los intrínsecos recuperados $S$ y una iluminación objetivo $L_{target}$ especificada por el usuario, un renderizador basado en física genera un video proxy $P$.

• El renderizador resuelve la ecuación de renderizado utilizando un lóbulo difuso Lambertiano y un lóbulo especular isotrópico (modelo de microfacet Cook-Torrance).
• Debido a que el renderizado es determinista y está fundamentado en la geometría recuperada, el proxy resultante $P$ está alineado por fotogramas y es temporalmente consistente por construcción.
• Crucialmente, el proxy captura la mayoría de los cambios de iluminación estructurada (sombras, sombreado, brillos), pero retiene los artefactos de la reconstrucción inversa imperfecta (por ejemplo, parpadeo, sombras dentadas, huecos de oclusión).

3. Refinamiento de Difusión Condicionado por PBR

Un modelo de difusión de video (inicializado desde CogVideoX-5B) es ajustado (fine-tuned) para refinar el proxy PBR ruidoso $P$ en un video reiluminado fotorrealista.

• Objetivo de Entrenamiento: El modelo aprende a predecir el ruido añadido al video de verdad de campo (ground-truth) reiluminado, condicionado por la representación latente del proxy PBR.
• Coincidencia de Artefactos: Para abordar el desajuste entre entrenamiento y prueba, los datos de entrenamiento se curan de tal manera que los proxies PBR contengan los mismos tipos de artefactos (ruido, errores de geometría) que el modelo encontrará durante la inferencia.
• Consistencia de Largo Formato: Para manejar videos más largos que la ventana de entrenamiento del modelo, los autores emplean teselación temporal con fusión de solapamiento (overlap-fused temporal tiling). El video se divide en ventanas superpuestas, se denosa y se fusiona en el espacio de predicción de ruido utilizando pesos temporales de tipo tent. Esto asegura una trayectoria de denoise coherente y única, evitando la deriva de iluminación entre los límites de los fragmentos (chunks).

Estrategia de Curación de Datos

Los autores introducen un novedoso pipeline de curación de datos para cerrar la brecha entre los datos sintéticos y los del mundo real:

• Pares Sintéticos: Se renderizan videos de verdad de campo, luego se someten a renderizado inverso y se vuelven a renderizar para crear pares de (PBR Ruidoso, Verdad de Campo). Esto enseña al modelo a corregir los artefactos de reconstrucción.
• Pseudo-Pares del Mundo Real: Videos reales son sometidos a renderizado inverso y re-renderizados bajo su propia iluminación estimada. El par (Entrada Re-renderizada, Entrada Original) enseña al modelo a corregir los artefactos en las apariencias del mundo real sin requerir videos de verdad de campo reiluminados.

Contribuciones Clave

1. Pipeline Híbrido: Una reformulación del reiluminado de video como una tarea de refinamiento donde un proxy PBR proporciona control de iluminación explícito y consistencia temporal, mientras que un modelo de difusión gestiona el fotorrealismo y la corrección de artefactos.
2. Superioridad del Proxy PBR: Los autores demuestran que el renderizado PBR por sí solo a menudo supera a los métodos de extremo a extremo previos en términos de control de iluminación y consistencia, validando la calidad de los renderizadores inversos modernos.
3. Entrenamiento con Coincidencia de Artefactos: Una estrategia de curación de datos que expone al modelo de difusión a artefactos de renderizado realistas durante el entrenamiento, mejorando significativamente la generalización a las condiciones de inferencia.
4. Consistencia de Largo Formato: Un mecanismo de teselación y fusión temporal que permite el reiluminado consistente de videos arbitrariamente largos sin la deriva común en el procesamiento por fragmentos.
5. Edición de Escenas: El marco soporta naturalmente tareas de edición de escena (cambios de material, inserción de objetos, inserción de luz) simplemente re-renderizando el proxy PBR con entradas modificadas, sin necesidad de reentrenar el modelo de difusión.

Resultados Experimentales

El método fue evaluado en benchmarks sintéticos y del mundo real (MIT Multi-Illumination, DL3DV).

• Rendimiento Cuantitativo: LightCrafter logra un rendimiento de vanguardia (state-of-the-art) en PSNR, SSIM y LPIPS en comparación con baselines como LightX, UniRelight y DiffusionRenderer. Supera significativamente a los baselines en métricas de consistencia temporal (T-CLIP, Warp-SSIM).
• Resultados Cualitativos: El método produce sombras, brillos y apariencia global estables sobre secuencias largas, mientras que los baselines exhiben degradación visible, sombras inconsistentes y deriva de color.
• Estudios de Ablación: Los experimentos muestran que entrenar con datos tanto sintéticos como del mundo real es crítico. Eliminar los datos del mundo real conduce a estructuras alucinadas, mientras que eliminar los datos sintéticos resulta en una precisión de reiluminado deficiente. La curación con coincidencia de artefactos es esencial para corregir los artefactos en entornos reales (in-the-wild).

Significado

El artículo afirma que LightCrafter logra un nuevo equilibrio entre controlabilidad y fotorrealismo en el reiluminado de video. Al aprovechar el fundamento físico explícito del renderizado PBR para la estructura y la consistencia, y el poder generativo de los modelos de difusión para el refinamiento, el método supera las limitaciones de un renderizado inverso puro (ruido/artefactos) y de los enfoques puramente generativos (falta de control/deriva temporal). Los autores sostienen que este enfoque permite un reiluminado consistente de largo formato y se extiende naturalmente a tareas de edición de escenas más amplias, todo ello mientras liberan su conjunto de datos, benchmarks y código para la comunidad.