HDR Video Generation via Latent Alignment with Logarithmic Encoding

Título: LumiVid: Geração de Vídeo HDR a partir de Entradas SDR via Alinhamento Latente

1. O Problema

A geração de imagens e vídeos de Alta Faixa Dinâmica (HDR) é desafiadora para modelos generativos modernos (como difusão) devido a uma incompatibilidade fundamental nas distribuições de dados:

• Distribuição SDR vs. HDR: Modelos pré-treinados são treinados em dados SDR (Standard Dynamic Range), que são limitados, perceptualmente comprimidos e distribuídos de forma equilibrada. Em contraste, dados HDR reais são lineares, não limitados (span de várias ordens de magnitude) e possuem distribuições de cauda pesada (heavy-tailed).
• Falha de Modelagem Direta: Tentar modelar HDR diretamente no espaço linear ou usar codificações inadequadas resulta em falhas de reconstrução, artefatos visíveis e perda de detalhes em altas luzes (highlights) ou sombras profundas.
• Complexidade de Soluções Atuais: Abordagens anteriores frequentemente exigem o treinamento de novos codificadores (VAEs) específicos para HDR ou o aprendizado de representações complexas do zero, o que demanda grandes quantidades de dados e aumenta a complexidade do pipeline, desperdiçando os "priors" visuais ricos já capturados pelos modelos pré-treinados.

2. Metodologia: LumiVid

Os autores propõem o LumiVid, um framework que adapta modelos de difusão de vídeo pré-treinados (SDR) para gerar HDR nativo sem modificar a arquitetura do modelo base ou re-treinar o VAE (Variational Autoencoder). A abordagem baseia-se em dois pilares principais:

A. Alinhamento de Variedade Latente via Codificação Logarítmica (LogC3)

• Insight Central: Em vez de aprender uma nova representação, os autores observam que uma codificação logarítmica específica, amplamente usada em pipelines cinematográficos (LogC3), mapeia a radiância HDR para uma distribuição que se alinha naturalmente com o espaço latente dos modelos pré-treinados.
• Mecanismo:
  1. A radiância HDR (linear e não limitada) é comprimida via transformada LogC3 para o intervalo de entrada esperado pelo VAE congelado (geralmente [-1, 1]).
  2. Isso minimiza a divergência de Kullback-Leibler (KL) tanto no espaço de pixels quanto no espaço latente em relação aos dados SDR de treinamento.
  3. O modelo de difusão (DiT) trata o conteúdo HDR codificado como se fosse "familiar" (SDR), permitindo que ele utilize seus priors aprendidos para inferir detalhes.

B. Pipeline de Treinamento com Degradações que Imitam Câmeras

• Desafio: Como recuperar detalhes que não são observáveis na entrada SDR (ex: luzes estouradas ou sombras esmagadas)?
• Solução: O modelo é treinado com um esquema de data augmentation agressivo que simula falhas de sensores reais:
  • Degradações Seletivas: Aplicação de compressão MP4, redimensionamento de contraste e, crucialmente, desfoque seletivo em altas luzes e sombras na referência SDR.
  • Objetivo: Isso "apaga" deliberadamente os detalhes extremos na entrada, forçando o modelo a não apenas copiar pixels, mas a sintetizar (alucinar) a radiância HDR faltante baseando-se em seus priors visuais aprendidos (ex: como a luz brilha em superfícies ou como texturas aparecem na sombra).
• Condicionamento: Utiliza o framework AVControl para condicionar a geração do HDR no vídeo de referência SDR. Apenas os adaptadores LoRA (menos de 1% dos parâmetros) são treinados.

Fluxo de Inferência:

1. Entrada SDR é codificada pelo VAE congelado.
2. O DiT (com LoRA) remove o ruído, gerando latentes HDR.
3. Os latentes são decodificados pelo VAE e submetidos à transformada inversa LogC3⁻¹ para recuperar a radiância linear de cena.
4. Saída final: Arquivo EXR float16 de faixa dinâmica ilimitada.

3. Principais Contribuições

1. Alinhamento de Distribuição sem Retreinamento: Demonstra que a barreira para HDR não é a capacidade do modelo, mas a escolha da representação. O uso de LogC3 permite alinhar HDR com priors SDR existentes.
2. Estratégia de Treinamento por Degradação: Introduz a ideia de corromper regiões extremas da entrada SDR para forçar a síntese generativa de detalhes HDR, superando a simples reconstrução de mapeamento.
3. Geração Nativa de Vídeo: Diferente de métodos que processam quadro a quadro (causando flicker), o LumiVid gera vídeos temporalmente coerentes, herdando a estabilidade temporal do backbone de difusão.
4. Eficiência: O método requer apenas 300 clipes de treinamento (8 horas em uma GPU) e adiciona menos de 1% de parâmetros (LoRA), sendo altamente eficiente em comparação com o treinamento de modelos do zero.

4. Resultados e Avaliação

O modelo foi avaliado em benchmarks fora da distribuição de treinamento (OOD), incluindo filmagens profissionais de cinema (ARRI) e imagens HDR calibradas (UPIQ).

• Qualidade de Reconstrução: O LumiVid superou consistentemente os baselines de última geração (X2HDR, HDRTVNet, LEDiff).
  • No benchmark de vídeo ARRI, alcançou 36.20 dB de PU21-PSNR e 7.86 de JOD (percepção visual), superando o próximo melhor método em +3.7 dB.
  • Recuperou detalhes em regiões estouradas (ex: céu visível através de portas abertas em garagens) que outros métodos deixaram cortados.
• Estabilidade Temporal:
  • O LumiVid obteve um índice de flicker extremamente baixo (0.0245) e alto PSNR quadro-a-quadro (45.63 dB).
  • Métodos que processam quadro a quadro (como X2HDR) apresentaram instabilidade severa e flicker visível.
• Ablação:
  • LogC3 vs. Outros: A codificação LogC3 superou PQ, ACES e HLG em alinhamento de distribuição e qualidade de reconstrução. ACES e HLG falharam em preservar a fidelidade em altas luzes.
  • Degradações: O uso de degradações (blur/contraste) melhorou significativamente as métricas perceptuais (JOD), confirmando que a síntese baseada em priors é superior à reconstrução direta.

5. Significado e Conclusão

O trabalho LumiVid redefine a abordagem para geração de HDR. Ele prova que não é necessário redesenhar arquiteturas generativas complexas ou treinar VAEs específicos para HDR. Em vez disso, a chave é:

1. Escolher uma representação (LogC3) que torne os dados HDR "familiares" para o modelo pré-treinado.
2. Utilizar sinais de treinamento que forcem o modelo a recuperar o que não está visível, ativando seu conhecimento latente sobre física da luz e texturas.

Isso permite a criação de vídeos HDR profissionais, temporalmente coerentes e prontos para pós-produção (grading, re-exposição) a partir de entradas SDR comuns, utilizando uma adaptação leve e eficiente. O princípio de alinhamento de distribuição pode ser estendido para outras modalidades de saída onde os priors do modelo já contêm o conhecimento relevante.