Resumo Técnico: HorizonRelight

Declaração do Problema

A reluzência de vídeo moderna, que permite edições de iluminação controláveis a partir de um único vídeo de entrada, depende fortemente de modelos de difusão de vídeo. No entanto, os atuais backbones de última geração (ex: DiffusionRenderer, UniRelight) são treinados em clipes curtos de comprimento fixo devido ao alto custo de memória da atenção espaço-temporal em Transformers de Difusão (DiT). Para processar vídeos de longo horizonte, esses sistemas empregam uma estratégia de inferência de "janela deslizante com segmentação" (chunked sliding-window).

O artigo identifica um modo de falha crítico neste regime: descontinuidades temporais nas fronteiras dos segmentos (chunks). Como cada segmento é processado de forma amplamente independente, o modelo deve reinferir causas latentes (como atributos intrínsecos da cena e pistas de aparência) para cada deslocamento de janela. Isso cria um descompasso entre treinamento e teste, onde o modelo é treinado em clipes curtos, mas implantado em sequências longas, levando a cintilações visíveis, deriva de aparência e inconsistência de iluminação através das fronteiras dos segmentos. Conforme demonstrado no artigo, mesmo sob uma iluminação alvo idêntica, execuções de segmentos independentes produzem resultados visivelmente diferentes, quebrando a consistência de longo horizonte.

Metodologia

O HorizonRelight reformula a reluzência de longo horizonte não como uma série de gerações de clipes curtos independentes, mas como um problema de tradução de domínio latente condicionado temporalmente. O framework introduz dois mecanismos centrais para impor continuidade entre os segmentos:

1. Contexto Propagado via Autocondicionamento de Domínio-Alvo Mascarado

Os autores propõem uma estratégia de treinamento e inferência onde o modelo aprende a continuar uma sequência reluzida a partir de evidências parciais, em vez de começar do zero.

• Treinamento: O modelo é treinado com autocondicionamento de domínio-alvo mascarado. Durante o treinamento, um subconjunto dos frames latentes do domínio-alvo (o output reluzido) é mascarado. O modelo é condicionado pelo vídeo de origem (entrada) e pela parte não mascarada do domínio-alvo, aprendendo a prever os frames ausentes. Isso ensina o modelo a continuar uma sequência baseando-se em um contexto temporal parcial.
• Inferência (Geração Encadeada): Na inferência, o modelo processa os segmentos de vídeo sequencialmente. Para o segmento $k$, os frames latentes finais da predição do segmento $k-1$ são propagados e usados como a âncora "observada" para o início do segmento $k$. Isso efetivamente encadeia a geração, garantindo que o estado reluzido seja continuado em vez de reinferido, minimizando assim as costuras de fronteira.

2. Prompting de Inicialização Quente (Warm-Start Prompting)

Para inicializar a cadeia para o primeiríssimo segmento (onde não existe contexto propagado anterior), os autores introduzem o warm-start prompting.

• Em vez de um "cold start" (ruído aleatório ou geração puramente condicionada à origem), o primeiro segmento é inicializado com uma âncora de prompt reluzida.
• Esta âncora pode ser uma imagem ou um vídeo curto gerado por um modelo generativo controlável externo (ex: Nano Banana Pro, ChatGPT) que retrata a cena de entrada sob a iluminação alvo.
• Esta âncora estabelece o estado inicial do domínio-alvo (aparência e iluminação) para toda a sequência. O framework suporta modos de inicialização flexíveis, incluindo baseados em imagem, vídeo ou cold-start, embora o prompting baseado em imagem com uma âncora bem alinhada produza os resultados mais estáveis.

Arquitetura

O sistema segue um pipeline de dois estágios adaptado do DiffusionRenderer:

1. Estágio Inverso: Prediz atributos de cena editáveis (G-buffers: basecolor, normal, depth, roughness, metallic) a partir do vídeo de entrada.
2. Estágio Direto (Forward): Sintetiza o vídeo RGB reluzido condicionado aos G-buffers preditos e à condição de iluminação alvo (HDRI).
   Ambos os estágios utilizam o autocondicionamento mascarado e a propagação de contexto propostos. O estágio direto utiliza especificamente o latente reluzido propagado do segmento anterior para condicionar a geração do segmento atual.

Principais Contribuições

• Reformulação da Reluzência de Longo Horizonte: O artigo muda o paradigma do processamento de segmentos independentes para um processo de tradução de domínio latente encadeado e condicionado temporalmente.
• Autocondicionamento de Domínio-Alvo Mascarado: Um objetivo de treinamento inovador que permite ao modelo aprender a continuar a reluzência a partir de um contexto propagado parcial, abordando diretamente o descompasso entre treino e teste na inferência de janela deslizante.
• Warm-Start Prompting: Um método de inicialização principiológico usando modelos generativos externos para definir o estado do domínio-alvo, fornecendo uma interface geral para reluzência baseada em prompts e transferência de estilo.
• Framework Unificado: A abordagem suporta tanto a decomposição inversa (predição de G-buffer) quanto a reluzência direta com propagação temporal consistente em ambos os estágios.

Resultados

Os autores avaliam o HorizonRelight tanto em datasets sintéticos (renderizados proceduralmente de Objaverse) quanto em vídeos in-the-wild do YouTube Creative Commons.

• Consistência Temporal: Resultados qualitativos e quantitativos mostram uma melhoria marcante na consistência temporal.
  • Artefatos de Fronteira: O método reduz significativamente os artefatos de fronteira de segmento. Mapas de diferença entre segmentos adjacentes mostram que as mudanças se concentram apenas em torno da dinâmica real da cena (movimento), enquanto os baselines (DiffusionRenderer, UniRelight) exibem mudanças de aparência amplas e indesejadas em regiões estáticas.
  • Métricas Quantitativas: Em um dataset sintético com uma configuração controlada de "duplicata-reversa", o HorizonRelight alcança um Erro Quadrático Médio (MSE) significativamente menor nas fronteiras dos segmentos em comparação aos baselines. Por exemplo, na tarefa de reluzência, o MSE de fronteira caiu de ~0.1048 (DiffusionRenderer) para ~0.0729 (O Nosso). Em 100 clipes do YouTube in-the-wild, o método reduziu o MSE de fronteira em mais de 94% comparado ao UniRelight e DiffusionRenderer.
• Generalidade: O framework suporta vários modos de inicialização (cold start, video prompting, image prompting). Embora os cold starts sejam viáveis, o warm-start prompting com uma âncora de alta qualidade melhora significativamente a preservação de detalhes especulares e pistas de iluminação.
• Aplicações Estendidas: O mecanismo de warm-start mostra-se capaz de suportar transferência de estilo e edição de conteúdo de longo horizonte, não apenas reluzência, ao propagar uma aparência promptada por toda a sequência.

Limitações e Alegações

O artigo mantém uma postura modesta em relação às suas limitações:

• Degradação de Detalhes Finos: Embora a consistência da reluzência seja mantida em longos horizontes, o artigo observa que os detalhes finos da cena degradam gradualmente após cadeias extremamente longas (ex: além de ~300 frames ou cinco segmentos). Isso é atribuído ao prior de aparência aprendido e às limitações de cobertura de dados, em vez de uma falha no próprio mecanismo de propagação.
• Escopo: Os autores esclarecem que o método é projetado para reluzência prática de tomadas longas (takes típicos de filmes de 5 a 25 segundos), e não para geração futura irrestrita. A cadeia é destinada a ser resetada em mudanças de plano (shot changes) em fluxos de trabalho práticos.
• Não é Geração Autoregressiva: O artigo distingue sua abordagem da geração de vídeo autorregressiva. O HorizonRelight não realiza o rollout de conteúdo gerado; ele recontrola cada segmento usando o vídeo de origem e os G-buffers, usando o output reluzido anterior apenas como uma pista de cor de fronteira para estabilizar a aparência.

Significância

O HorizonRelight aborda um gargalo fundamental na aplicação de modelos de difusão de vídeo a tarefas de longo horizonte: o equilíbrio entre restrições computacionais (janelas fixas) e consistência temporal. Ao tratar a reluzência de longo horizonte como um problema de tradução de domínio com continuação aprendida, este trabalho permite a geração de vídeos reluzidos de alta qualidade e temporais consistentes a partir de entradas únicas, sem exigir o retreinamento do backbone em sequências longas. A introdução do warm-start prompting aproxima ainda mais os modelos generativos controláveis dos pipelines de edição de vídeo, oferecendo uma interface flexível para efeitos visuais baseados em prompts.