Resumen Técnico: HorizonRelight

Planteamiento del Problema

El reiluminado de video moderno, que permite ediciones de iluminación controlables a partir de un único video de entrada, depende en gran medida de los modelos de difusión de video. Sin embargo, los backbones actuales (por ejemplo, DiffusionRenderer, UniRelight) se entrenan en clips cortos de longitud fija debido al alto costo de memoria de la atención espaciotemporal en los Transformers de Difusión (DiT). Para procesar videos de largo horizonte, estos sistemas emplean una estrategia de inferencia de "ventana deslizante por fragmentos" (chunked sliding-window).

El artículo identifica un modo de fallo crítico en este régimen: discontinuidades temporales en los límites de los fragmentos. Debido a que cada fragmento se procesa de forma mayormente independiente, el modelo debe re-inferir las causas latentes (como los atributos intrínsecos de la escena y las pistas de apariencia) para cada desplazamiento de la ventana. Esto crea un desajuste entre el entrenamiento y la prueba (train-test mismatch) donde el modelo es entrenado en clips cortos pero se despliega en secuencias largas, lo que provoca parpadeos visibles, deriva de la apariencia e inconsistencia de la iluminación a través de los límites de los fragmentos. Como se demuestra en el artículo, incluso bajo una iluminación objetivo idéntica, las ejecuciones independientes de los fragmentos producen resultados visiblemente diferentes, rompiendo la consistencia de largo horizonte.

Metodología

HorizonRelight replantea el reiluminado de largo horizonte no como una serie de generaciones de clips cortos independientes, sino como un problema de traducción de dominio latente condicionado temporalmente. El marco introduce dos mecanismos centrales para forzar la continuidad entre fragmentos:

1. Contexto Propagado mediante Autocondicionamiento de Dominio Objetivo Enmascarado

Los autores proponen una estrategia de entrenamiento e inferencia donde el modelo aprende a continuar una secuencia reiluminada a partir de evidencia parcial en lugar de empezar desde cero.

• Entrenamiento: El modelo se entrena con autocondicionamiento de dominio objetivo enmascarado. Durante el entrenamiento, se enmascara un subconjunto de los fotogramas latentes del dominio objetivo (el resultado "reiluminado"). El modelo se condiciona en el video de origen (entrada) y la parte no enmascarada del dominio objetivo, aprendiendo a predecir los fotogramas faltantes. Esto enseña al modelo a continuar una secuencia basándose en un contexto temporal parcial.
• Inferencia (Generación Encadenada): En la inferencia, el modelo procesa los fragmentos de video secuencialmente. Para el fragmento $k$, los fotogramas latentes finales de la predicción del fragmento $k-1$ se propagan y se utilizan como el ancla "observada" para el inicio del fragmento $k$. Esto efectivamente encadena la generación, asegurando que el estado reiluminado sea continuado en lugar de re-inferido, minimizando así las costuras en los límites.

2. Prompting de Arranque en Caliente (Warm-Start Prompting)

Para inicializar la cadena para el primer fragmento (donde no existe un contexto propagado previo), los autores introducen el prompting de arranque en caliente.

• En lugar de un "arranque en frío" (ruido aleatorio o generación puramente condicionada por la fuente), el primer fragmento se inicializa con un ancla de prompt reiluminado.
• Este ancla puede ser una imagen o un video corto generado por un modelo generativo controlable externo (por ejemplo, Nano Banana Pro, ChatGPT) que represente la escena de entrada bajo la iluminación objetivo.
• Este ancla establece el estado inicial del dominio objetivo (apariencia e iluminación) para toda la secuencia. El marco soporta modos de inicialización flexibles, incluyendo basados en imágenes, en videos o de arranque en frío, aunque el prompting basado en imágenes con un ancla bien alineada produce los resultados más estables.

Arquitectura

El sistema sigue un pipeline de dos etapas adaptado de DiffusionRenderer:

1. Etapa Inversa: Predice atributos de la escena editables (G-buffers: color base, normal, profundidad, rugosidad, metalicidad) a partir del video de entrada.
2. Etapa de Avance (Forward Stage): Sintetiza el video RGB reiluminado condicionado en los G-buffers predichos y la condición de iluminación objetivo (HDRI).
   Ambas etapas utilizan el propuesto autocondicionamiento enmascarado y la propagación de contexto. La etapa de avance utiliza específicamente el latente reiluminado propagado del fragmento anterior para condicionar la generación del fragmento actual.

Contribuciones Clave

• Replanteamiento del Reiluminado de Largo Horizonte: El artículo cambia el paradigma del procesamiento de fragmentos independientes a un proceso de traducción de dominio latente encadenado y condicionado temporalmente.
• Autocondicionamiento de Dominio Objetivo Enmascarado: Un objetivo de entrenamiento novedoso que permite al modelo aprender a continuar el reiluminado a partir de un contexto propagado parcial, abordando directamente el desajuste entre entrenamiento y prueba en la inferencia de ventana deslizante.
• Prompting de Arranque en Caliente (Warm-Start Prompting): Un método de inicialización basado en principios utilizando modelos generativos externos para establecer el estado del dominio objetivo, proporcionando una interfaz general para el reiluminado basado en prompts y la transferencia de estilo.
• Marco Unificado: El enfoque soporta tanto la descomposición inversa (predicción de G-buffers) como el reiluminado de avance con propagación temporal consistente a través de ambas etapas.

Resultados

Los autores evalúan HorizonRelight tanto en conjuntos de datos sintéticos (renderizados procedimentalmente de Objaverse) como en videos de YouTube de Creative Commons del mundo real.

• Consistencia Temporal: Los resultados cualitativos y cuantitativos muestran una mejora marcada en la consistencia temporal.
  • Artefactos de Límite: El método reduce considerablemente los artefactos en los límites de los fragmentos. Los mapas de diferencia entre fragmentos adyacentes muestran que los cambios se concentran solo alrededor de la dinámica real de la escena (movimiento), mientras que los baselines (DiffusionRenderer, UniRelight) exhiben cambios de apariencia amplios y no deseados en regiones estáticas.
  • Métricas Cuantitativas: En un conjunto de datos sintético con una configuración controlada de "duplicado-reverso", HorizonRelight logra un Error Cuadrático Medio (MSE) significativamente menor en los límites de los fragmentos en comparación con los baselines. Por ejemplo, en la tarea de reiluminado, el MSE en el límite cayó de ~0.1048 (DiffusionRenderer) a ~0.0729 (el nuestro). En 100 clips de YouTube del mundo real, el método redujo el MSE en el límite en más de un 94% en comparación con UniRelight y DiffusionRenderer.
• Generalidad: El marco soporta varios modos de inicialización (arranque en frío, prompting de video, prompting de imagen). Aunque los arranques en frío son factibles, el prompting de arranque en caliente con un ancla de alta calidad mejora significativamente la preservación de los detalles especulares y las pistas de iluminación.
• Aplicaciones Extendidas: Se demuestra que el mecanismo de arranque en caliente soporta la transferencia de estilo y la edición de contenido de largo horizonte, no solo el reiluminado, al propagar una apariencia promptada a través de la secuencia.

Limitaciones y Reivindicaciones

El artículo mantiene una postura modesta respecto a sus limitaciones:

• Degradación de Detalles Finos: Aunque la consistencia del reiluminado se mantiene en horizontes largos, el artículo señala que los detalles finos de la escena se degradan gradualmente después de cadenas extremadamente largas (por ejemplo, más de ~300 fotogramas o cinco fragmentos). Esto se atribuye al prior de apariencia aprendido y a las limitaciones de cobertura de datos, más que a un fallo del mecanismo de propagación en sí mismo.
• Alcance: Los autores aclaran que el método está diseñado para el reiluminado práctico de tomas largas (tomas cinematográficas típicas de 5 a 25 segundos) en lugar de una generación futura sin restricciones. La cadena está destinada a ser reiniciada en los cambios de toma en flujos de trabajo prácticos.
• No es Generación Autoregresiva: El artículo distingue su enfoque de la generación de video autoregresiva. HorizonRelight no genera contenido nuevo; controla cada fragmento utilizando el video de origen y los G-buffers, usando el output reiluminado anterior solo como una pista de color de frontera para estabilizar la apariencia.

Significancia

HorizonRelight aborda un cuello de botella fundamental al aplicar modelos de difusión de video a tareas de largo horizonte: la compensación entre las restricciones computacionales (ventanas fijas) y la consistencia temporal. Al tratar el reiluminado de largo horizonte como un problema de traducción de dominio con continuación aprendida, este trabajo permite la generación de videos reiluminados de alta calidad y consistencia temporal a partir de entradas únicas sin requerir el reentrenamiento del backbone en secuencias largas. La introducción del prompting de arranque en caliente acerca aún más los modelos generativos controlables y los pipelines de edición de video, ofreciendo una interfaz flexible para efectos visuales basados en prompts.