LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

Título: LatSearch: Busca Guiada por Recompensa Latente para Escalonamento Mais Rápido na Inferência em Difusão de Vídeo

1. O Problema

O sucesso do "escalonamento no tempo de inferência" (inference-time scaling) em Grandes Modelos de Linguagem (LLMs) inspirou tentativas de aplicar técnicas semelhantes à geração de vídeo por difusão. O objetivo é melhorar a qualidade da amostra sem re-treinar o modelo, geralmente aumentando o número de passos de dedução ou otimizando o ruído inicial ("golden noise").

No entanto, as abordagens existentes para vídeo enfrentam limitações críticas:

• Avaliação Tardia e Esparsa: Métodos de busca (como Best-of-N ou busca evolutiva) avaliam apenas o vídeo final decodificado. Isso causa atraso no sinal de recompensa e impede a correção de erros durante o processo de dedução.
• Acúmulo de Erros: Sem feedback intermediário, erros introduzidos no início da trajetória de dedução acumulam-se, degradando a qualidade final.
• Custo Computacional Proibitivo: Avaliar múltiplos candidatos requer a decodificação completa de vídeos para cada tentativa, tornando o uso de algoritmos de busca mais fortes (que poderiam melhorar significativamente a qualidade) inviável devido ao alto custo de tempo e recursos.

2. Metodologia: LatSearch

Os autores propõem o LatSearch, um novo mecanismo de escalonamento no tempo de inferência que realiza a busca diretamente no espaço latente, utilizando um Modelo de Recompensa Latente para fornecer feedback intermediário.

A. Modelo de Recompensa Latente

• Função: Avalia latentes parcialmente deduzidos em qualquer passo de tempo ($t$), sem a necessidade de decodificá-los para o espaço de vídeo.
• Dimensões de Avaliação: O modelo pontua três aspectos: Qualidade Visual (VQ), Qualidade de Movimento (MQ) e Alinhamento com o Texto (TA).
• Construção do Dataset: Como não há "verdade fundamental" (ground truth) direta para latentes intermediários, os autores propõem uma estratégia de atribuição de crédito baseada em similaridade. Eles medem a similaridade coseno entre um latente intermediário $z_t$ e o latente final limpo $z_0$. As recompensas do vídeo final são então atribuídas aos latentes intermediários proporcionalmente a essa similaridade.
• Treinamento: O modelo é treinado com uma combinação de Perda de Regressão (para prever valores absolutos) e Perda de Preferência (inspirada em RLHF, para garantir a ordenação relativa entre amostras melhores e piores).

B. Algoritmo de Busca: RGRP (Resampling and Pruning Guiados por Recompensa)
O LatSearch mantém múltiplas trajetórias candidatas durante o processo de difusão e aplica duas etapas principais:

1. Resampling (Reamostragem) Guiado por Recompensa: Em passos de tempo selecionados, os candidatos são reamostrados com base em probabilidades normalizadas pelas recompensas previstas. Isso é inspirado na amostragem por importância.
   • Inovação: A reamostragem preserva a unicidade das sementes (seeds) para evitar duplicatas e manter a diversidade, evitando a dependência excessiva do modelo de recompensa.
2. Pruning (Poda): No último passo agendado da busca, apenas o candidato com a recompensa cumulativa mais alta ao longo de toda a trajetória é mantido. O restante é descartado.
   • Benefício: Isso reduz drasticamente o custo computacional, pois apenas uma trajetória é decodificada no final.

3. Contribuições Principais

1. Modelo de Recompensa Latente Intermediária: Primeira abordagem a avaliar a qualidade de latentes parciais em tempo de difusão, fornecendo supervisão de nível de processo (visual, movimento e texto) que permite a poda precoce de candidatos ruins.
2. Algoritmo RGRP: Um mecanismo de busca que equilibra exploração e exploração através de reamostragem probabilística e poda baseada em recompensa cumulativa, eliminando a necessidade de decodificação repetida de vídeos durante a busca.
3. Eficiência e Qualidade: Demonstração de que é possível obter ganhos significativos de qualidade com um custo computacional muito menor comparado aos métodos de busca existentes.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark VBench-2.0, utilizando o modelo base Wan2.1-1.3B e Wan2.1-14B.

• Qualidade: O LatSearch melhorou consistentemente a pontuação média do VBench-2.0 em +1.94% (configuração padrão) e +3.35% (com otimizações) em relação ao modelo base.
• Eficiência:
  • Comparado ao método de busca evolutiva (EvoSearch), o LatSearch alcançou qualidade comparável ou superior, mas foi 4.77 vezes mais rápido.
  • Redução de tempo de inferência de até 79% em comparação com métodos de busca de estado da arte que exigem decodificação completa.
  • O tempo total de inferência do LatSearch foi de ~159 segundos, contra ~790 segundos do EvoSearch e ~277 segundos do VideoReward.
• Ablação:
  • A estratégia de atribuição de crédito baseada em Similaridade Cosseno superou outras (Uniforme, Exponencial, L2).
  • A inclusão da Perda de Preferência no treinamento do modelo de recompensa aumentou a precisão de previsão em ~3% e melhorou a qualidade final do vídeo.
  • O orçamento de busca ($N$) ideal foi encontrado em 6 candidatos, oferecendo o melhor equilíbrio entre ganho de qualidade e custo.

5. Significado e Impacto

O LatSearch representa um avanço significativo na geração de vídeo por difusão ao resolver o dilema entre qualidade e custo computacional no escalonamento de inferência.

• Viabilidade de Busca Forte: Torna viável o uso de algoritmos de busca complexos (como Monte Carlo Sequencial) em geração de vídeo, algo que antes era proibitivo devido ao custo de decodificação.
• Generalização: O método é agnóstico à arquitetura do modelo base, funcionando bem tanto em modelos menores (1.3B) quanto em modelos maiores (14B).
• Futuro: Abre caminho para técnicas de "escalonamento no tempo de inferência" mais sofisticadas, onde a supervisão ocorre em tempo real durante a geração, permitindo maior controle, eficiência e fidelidade na criação de conteúdo multimídia.

Em resumo, o LatSearch substitui a abordagem de "tentativa e erro no final" por uma "busca inteligente e guiada no meio do processo", permitindo gerar vídeos de alta qualidade com uma fração do tempo computacional necessário pelos métodos atuais.