Resumo Técnico: DUET – Um Dueto de Especialistas em Diversidade e Qualidade para Geração de Vídeo em Dois Passos

1. Declaração do Problema

Avanços recentes em modelos de difusão permitiram a geração de vídeos de alta qualidade, mas sua dependência de amostragem iterativa acarreta custos computacionais proibitivos, dificultando a implantação prática. A destilação de poucos passos aborda isso ao comprimir trajetórias de geração em um pequeno número de avaliações de rede (NFEs), tipicamente duas. No entanto, os paradigmas de destilação existentes enfrentam um trade-off fundamental entre qualidade e diversidade:

• Destilação ao nível da trajetória (ex: sCM): Preserva a diversidade de amostras e o layout estrutural do professor, mas frequentemente resulta em saídas conservadoras e borradas devido à sua natureza de "busca pela média" (mean-seeking).
• Destilação ao nível da distribuição (ex: DMD): Produz detalhes nítidos e de alta fidelidade ao corresponder à distribuição do professor, mas sofre de um colapso severo de diversidade (comportamento de busca pelo modo/mode-seeking), concentrando a massa de probabilidade em menos modos.

Tentativas comuns de resolver isso combinando os dois objetivos em uma única função de perda (ex: rCM) geralmente resultam em um compromisso em vez de uma solução real, introduzindo dificuldades de otimização devido a gradientes conflitantes e falhando em herdar totalmente os pontos fortes de qualquer paradigma.

2. Metodologia

Os autores propõem o DUET (Diversity–qUality Expert Tandem), um framework que reconcilia esses paradigmas através da especialização de especialistas por nível de ruído, em vez da combinação ao nível de perda.

Arquitetura Central: Dueto de Especialistas por Nível de Ruído

O DUET atribui papéis distintos a dois especialistas treinados independentemente com base no nível de ruído do cronograma de amostragem:

1. Intervalo de Alto Ruído ($t \in [1, \tau]$): Atribuído a um especialista sCM. Este estágio determina variáveis grosseiras como identidade do objeto, layout, composição e padrões de movimento. O especialista sCM é treinado com seu objetivo de consistência nativo para garantir uma ampla cobertura do espaço de amostra e diversidade estrutural.
2. Intervalo de Baixo Ruído ($t \in [\tau, 0]$): Atribuído a um especialista DMD. Este estágio refina detalhes visuais, texturas e aparência. O especialista DMD é treinado com seu objetivo nativo de correspondência de distribuição para garantir alta fidelidade e nitidez.

Processo de Inferência:
Os dois especialistas operam de maneira em forma de revezamento dentro de um único processo de geração de dois passos:

1. O especialista sCM prevê um ponto final limpo a partir do ruído inicial ($x_1$).
2. Esta previsão é re-ruidificada para o tempo de troca $\tau$ usando um operador de re-ruidificação.
3. O especialista DMD recebe o latente re-ruidificado em $\tau$ e realiza o passo final para gerar o latente de vídeo limpo ($\hat{x}_0$).
4. O tempo de troca $\tau$ é determinado analisando a curvatura da trajetória da ODE de correspondência de fluxo (flow-matching) do professor; empiricamente, $\tau = 0,8$ é escolhido como o ponto de transição onde a trajetória muda de uma formação estrutural rápida para um refinamento de detalhes lento.

DUET+: Adaptação de Especialista Guiada por RL

Para abordar gargalos restantes — especificamente a lacuna de distribuição entre a saída do especialista sCM e a distribuição de treinamento do especialista DMD, além dos limites de capacidade do especialista sCM — os autores introduzem o DUET+. Isso envolve uma estratégia de adaptação consciente do papel:

• Adaptação do Especialista sCM: O especialista sCM é ajustado usando GRPO (Group Relative Policy Optimization). Isso direciona as saídas diversas do especialista sCM para estruturas de maior recompensa (baseadas em pontuações de preferência humana como HPSv3), preservando seu comportamento de cobertura.
• Adaptação do Especialista DMD: O especialista DMD continua o treinamento com sua perda nativa, mas utiliza os latentes intermediários reais produzidos pelo especialista sCM adaptado durante a inferência, em vez da simulação reversa nativa do professor. Isso alinha o especialista DMD com a verdadeira interface de revezamento.

3. Principais Contribuições

1. Diagnóstico ao Nível do Objetivo: O artigo identifica que o trade-off qualidade–diversidade surge do conflito intrínseco entre objetivos de nível de trajetória e de nível de distribuição, que induzem mapeamentos distintos de ruído-para-dados. Forçar um único conjunto de parâmetros para satisfazer ambos leva à dificuldade de otimização.
2. Dueto de Especialistas por Nível de Ruído (DUET): Uma arquitetura inovadora que desacopla os objetivos ao atribuí-los a regimes de ruído específicos. Isso evita conflitos de gradiente e o ajuste de pesos de perda, permitindo que o modelo alcance conjuntamente diversidade e qualidade.
3. Adaptação Consciente do Papel (DUET+): Uma adaptação leve guiada por RL que explora a diversidade do especialista sCM para otimização de preferência e repara a interface de revezamento do especialista DMD, melhorando ainda mais a qualidade geral sem sacrificar a diversidade.
4. Validação Empírica: Demonstrar que, no regime extremo de dois passos, é possível aproximar-se da qualidade do DMD mantendo quase toda a diversidade estrutural do sCM.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando o backbone Wan2.1-T2V-1.3B para geração de texto-para-vídeo na resolução de 832 $\times$ 480.

• Qualidade vs. Diversidade:

  • sCM: Alcança a maior diversidade (média ViCLIP: 0,1865), mas menor qualidade (média VBench: 81,51).
  • DMD: Alcança alta qualidade (média VBench: 84,38), mas baixa diversidade (média ViCLIP: 0,0727).
  • rCM (Baseline): Mostra um trade-off; mesmo com ajuste, sua diversidade permanece significativamente inferior à do sCM.
  • DUET: Alcança uma pontuação de qualidade de 83,96 (próximo ao DMD) enquanto mantém uma pontuação de diversidade de 0,1512 (um aumento de 108,0% sobre o DMD e retendo grande parte da variedade estrutural do sCM).
  • DUET+: Melhora ainda mais a qualidade para 84,40 enquanto preserva a vantagem de diversidade (ViCLIP: 0,1521).

• Análise Qualitativa:

  • O DUET preserva layouts e poses diversas (do sCM) enquanto torna os detalhes mais nítidos (do DMD).
  • Em prompts de estilos específicos (ex: pixel art), o DUET retém estilos de baixa probabilidade que o DMD frequentemente colapsa em modos mais suaves e genéricos.
  • O DUET+ produz quadros mais limpos e coerentes com menos artefatos em comparação ao revezamento base.

• Estudos de Ablação:

  • Tempo de Troca ($\tau$): $\tau=0,8$ foi considerado ideal. Valores menores sobrecarregam o especialista sCM (resultados borrados), enquanto valores mais altos deixam o especialista DMD com espaço insuficiente para refinamento.
  • Função de Recompensa: O HPSv3 foi selecionado como a recompensa para a adaptação do sCM, mostrando desempenho superior em consistência e qualidade estética em comparação ao SFS-Nature ou TA.
  • Inicialização: Ao contrário de métodos "init-then-DMD" (que inicializam o DMD a partir de um gerador de poucos passos e depois treinam), o DUET+ mantém papéis de especialistas distintos. O método "init-then-DMD" colapsa rapidamente a diversidade herdada, enquanto o DUET+ a preserva.

5. Significância e Alegações

O artigo afirma que a especialização de especialistas por nível de ruído é um paradigma simples, porém eficaz, para reconciliar diversidade e qualidade na geração de vídeo de poucos passos. Ao desacoplar a otimização da diversidade estrutural e da fidelidade visual em especialistas separados operando em diferentes níveis de ruído, o DUET evita o "compromisso" inerente às combinações ao nível de perda.

Os autores enfatizam que seus resultados estabelecem um novo padrão para a geração de dois passos, mostrando que alta qualidade e alta diversidade não são mutuamente exclusivas se o processo de destilação for estruturado para aproveitar as forças complementares de diferentes objetivos. Embora a avaliação atual seja limitada ao modelo Wan2.1-1.3B, os autores observam que as propriedades subjacentes do sCM e do DMD não são específicas do backbone, sugerindo potencial para escala para modelos maiores em trabalhos futuros.