Resumo Técnico: DOLLAR (Otimização de Recompensa Latente e Destilação)

Declaração do Problema

Os modelos probabilísticos de difusão alcançaram avanços significativos na geração de vídeo a partir de texto (T2V); no entanto, sua aplicação prática é prejudicada pela ineficiência computacional. Modelos de difusão padrão exigem centenas de etapas iterativas de amostragem para gerar vídeos de alta qualidade, tornando a geração em tempo real ou quase real inviável. Embora a redução do número de etapas de amostragem (geração em poucas etapas) melhore a eficiência, isso geralmente resulta em um compromisso: uma degradação significativa na qualidade do vídeo, perda de diversidade (colapso de modo) ou falha em alinhar-se com preferências específicas do usuário. Além disso, os métodos de destilação existentes frequentemente lutam para superar o desempenho do modelo professor ou adaptar-se a requisitos específicos de downstream sem re-treinamento custoso.

Metodologia

Os autores propõem o DOLLAR, um framework que combina destilação e otimização de recompensa latente para alcançar geração de vídeo de alta qualidade, diversa e em poucas etapas. A metodologia consiste em três componentes principais:

1. Estratégia de Destilação Híbrida (VSD + CD)

Para abordar as limitações dos métodos de destilação existentes, o DOLLAR integra Destilação de Pontuação Variacional (VSD) e Destilação de Consistência (CD):

• Destilação de Pontuação Variacional (VSD): Alinha a distribuição de amostras do estudante com a do professor, minimizando a divergência de Kullback-Leibler (KL). Embora eficaz para qualidade, a VSD isolada pode levar ao colapso de modo (redução da diversidade).
• Destilação de Consistência (CD): Garante previsões de amostra consistentes ao longo da trajetória de difusão, promovendo diversidade. No entanto, a CD isolada pode reduzir a fidelidade da amostra e produzir saídas excessivamente suaves.
• Integração: Os autores combinam essas perdas para aproveitar a alta fidelidade da VSD e a diversidade da CD. Eles empregam uma abordagem de CD generalizada usando uma função de remoção de ruído do professor multi-etapa ($Denoise_m$) em vez de uma aproximação de etapa única, o que melhora a qualidade de geração. O modelo estudante é inicializado a partir do professor e treinado usando um objetivo de previsão de velocidade conjugada.

2. Ajuste Fino do Modelo de Recompensa Latente (LRM)

Para aprimorar ainda mais o desempenho além das capacidades do professor e alinhar-se a métricas específicas (por exemplo, estética, alinhamento com texto), os autores introduzem um Modelo de Recompensa Latente (LRM):

• Mecanismo: Em vez de retropropagar gradientes através de grandes modelos de recompensa no espaço de pixels e decodificadores (o que é intensivo em memória e requer recompensas diferenciáveis), o DOLLAR treina um modelo de recompensa compacto e diferenciável diretamente no espaço latente.
• Treinamento: O LRM é treinado para aproximar as pontuações de um modelo de recompensa pré-treinado no espaço de pixels (por exemplo, HPSv2, PickScore) usando amostras latentes geradas.
• Otimização: O modelo estudante de difusão é ajustado fino usando os gradientes do LRM. Essa abordagem suporta métricas de recompensa não diferenciáveis, reduz significativamente o uso de memória (ao contornar o decodificador e grandes modelos de recompensa) e permite otimização eficiente.

3. Treinamento Multi-Objetivo

O objetivo final de treinamento combina as perdas de destilação e a perda de ajuste fino de recompensa:
$$\mathcal{L}(\theta) = \mathcal{L}_{VSD}(\theta) + \beta_{CD}\mathcal{L}_{CD}(\theta) + \beta_{FT}\mathcal{L}_{FT}(\theta; \phi)$$
Onde $\mathcal{L}_{FT}$ é a recompensa esperada negativa do LRM. Isso permite que o modelo otimize simultaneamente para correspondência de distribuição, consistência e métricas de recompensa específicas.

Principais Contribuições

1. Destilação Eficiente em Poucas Etapas: A introdução de um método de destilação que combina perdas VSD e CD, permitindo a geração de vídeos de 10 segundos (128 quadros) de alta qualidade e diversos em tão poucas quanto 4 etapas.
2. Destilação de Consistência Generalizada: Uma melhoria sobre a CD padrão ao utilizar uma função de remoção de ruído do professor multi-etapa, o que aumenta a eficácia do processo de destilação.
3. Otimização de Recompensa Latente: Uma abordagem inovadora e eficiente em memória de ajuste fino usando um modelo de recompensa latente compacto. Este método remove a exigência de modelos de recompensa diferenciáveis e elimina a necessidade de retropropagar através de grandes modelos no espaço de pixels e decodificadores, tornando o ajuste baseado em recompensa viável para grandes modelos de vídeo.

Resultados Experimentais

O método foi avaliado em configurações de T2V em grande escala (128 quadros, 12 FPS, resolução 192x320) usando o benchmark VBench e avaliações humanas.

• Desempenho vs. Baselines: O modelo estudante destilado de 4 etapas alcançou uma Pontuação Total do VBench de 82,57 (usando recompensa HPSv2), superando o modelo professor (80,25) e baselines de última geração, incluindo Gen-3 (82,32), Kling (81,85) e T2V-Turbo (81,01).
• Qualidade e Diversidade: O modelo estudante superou o professor em 9 de 16 métricas do VBench. A combinação de CD e LRM mitigou com sucesso o colapso de modo frequentemente observado na destilação VSD pura, mantendo alta diversidade de amostras (medida pela pontuação Vendi).
• Eficiência: O modelo estudante de 4 etapas alcançou uma aceleração de 15,6x em comparação com o modelo professor de 50 etapas. Uma configuração de 1 etapa alcançou até 278,6x de aceleração, permitindo geração quase em tempo real.
• Avaliação Humana: Em comparações pareadas, o modelo DOLLAR (4 etapas) foi preferido ao modelo professor (50 etapas DDIM) por 51,1% dos avaliadores humanos para preferência geral e mostrou pontuações de qualidade visual significativamente mais altas.
• Ajuste de Recompensa: O ajuste fino com LRM melhorou com sucesso métricas específicas (por exemplo, alinhamento texto-vídeo, iluminação) sem os custos proibitivos de memória associados a métodos diretos de gradiente de recompensa como ReFL ou DRaFT.

Significado e Alegações

O artigo afirma que o DOLLAR avança significativamente o estado da arte na geração de vídeo ao resolver o compromisso entre eficiência de geração e qualidade. Ao combinar destilação com otimização de recompensa latente, o método permite:

• Potencial em Tempo Real: Acelerar a amostragem de difusão em até 278x, abrindo caminho para aplicações de geração de vídeo em tempo real.
• Superioridade sobre Professores: Demonstrar que um modelo estudante destilado pode exceder o desempenho de seu modelo professor, desafiando a noção de que o desempenho do estudante é estritamente limitado superiormente pelo professor.
• Ajuste Fino Escalável: Fornecer uma solução prática para alinhar modelos de geração de vídeo com métricas de recompensa diversas e não diferenciáveis sem o ônus computacional da retropropagação no espaço de pixels.

Os autores observam que, embora o método alcance melhorias substanciais, desafios permanecem quanto ao viés de comprimento do prompt (os modelos têm melhor desempenho em prompts longos e descritivos) e o potencial de superotimização de recompensa, o que pode degradar a qualidade visual geral se métricas específicas forem perseguidas de forma muito agressiva.