Resumo Técnico: Reequilíbrio da Dominância do Quadro de Referência para Melhorar o Movimento em Modelos de Imagem para Vídeo

Declaração do Problema

Os modelos de imagem para vídeo (I2V), embora capazes de preservar a aparência de uma imagem de referência, frequentemente sofrem de um "viés de movimento estático". Em comparação com seus equivalentes de texto para vídeo (T2V), os modelos I2V frequentemente geram vídeos com movimento excessivamente limitado ou fraco, mesmo quando o prompt de texto descreve explicitamente ação dinâmica. As abordagens existentes para mitigar esse problema geralmente envolvem a modificação do caminho de condicionamento da imagem (por exemplo, adicionando ruído ou redesenhando o fluxo de correspondência) ou enfraquecendo o sinal de condicionamento. No entanto, esses métodos frequentemente exigem treinamento adicional ou introduzem uma compensação onde o movimento aprimorado ocorre às custas da fidelidade à imagem de referência.

Metodologia: DyMoS (Controle Deslizante de Movimento Dinâmico)

Os autores propõem o DyMoS, um método livre de treinamento e agnóstico ao modelo que aborda o viés de movimento estático intervindo diretamente no mecanismo de autoatenção durante a inferência, sem alterar os pesos do modelo ou a imagem de entrada.

Insight Central: Dominância do Quadro de Referência

Através de uma análise dos mapas de autoatenção em gerações emparelhadas de T2V e I2V, os autores identificam um fenômeno que denominam dominância do quadro de referência. Nos modelos I2V, os tokens de consulta em quadros não de referência alocam significativamente mais atenção aos tokens-chave do quadro de referência (o primeiro quadro) em comparação com seus equivalentes T2V. Essa atenção excessiva propaga informações de referência ao longo do eixo temporal, suprimindo a dinâmica interquadros e resultando em saídas estáticas.

Implementação Técnica

O DyMoS mitiga essa dominância reequilibrando os logits de atenção durante as etapas iniciais de remoção de ruído. O método introduz um deslocamento escalar de viés nos logits de atenção associados aos tokens-chave do quadro de referência.

A modulação é aplicada da seguinte forma:

1. Ajuste de Logits: Para tokens de consulta não de referência ($i \notin I_{f0}$) atendendo a tokens-chave de referência ($j \in I_{f0}$), um escalar positivo $\gamma$ é subtraído dos logits de atenção $L[i, j]$ antes da operação de softmax:
   $$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$$
   Aqui, $\gamma$ controla a força da intervenção, e $\phi(\cdot)$ é um cronograma por quadro (padrão uniforme).
2. Escopo Temporal: A modulação é aplicada apenas durante a primeira fração $\lambda$ das etapas de remoção de ruído. Isso visa o estágio inicial onde o movimento global é determinado, permitindo que as etapas posteriores refinem a aparência e a coerência temporal usando atenção padrão.
3. Guia Livre de Classificador (CFG): A modulação é aplicada exclusivamente ao ramo condicional de texto da equação CFG, deixando o ramo de texto nulo inalterado. Isso direciona a atualização guiada para longe da dominância do quadro de referência, mantendo a integridade estrutural do processo de geração.

Principais Contribuições

• Identificação do Mecanismo: O artigo identifica a "dominância do quadro de referência" na autoatenção como um motor primário do movimento estático em modelos I2V, distinguindo-a de problemas simples de condicionamento de entrada.
• Intervenção Livre de Treinamento: O DyMoS oferece uma solução simples e agnosta ao modelo que não requer ajuste fino, retreinamento ou modificação da imagem de entrada. Ele opera exclusivamente ajustando os logits de atenção durante a inferência.
• Controle Contínuo: O método introduz um único parâmetro escalar ($\gamma$) que permite aos usuários controlar continuamente o espectro desde a preservação estrita da imagem de referência (estática) até movimento altamente dinâmico, efetivamente fechando a lacuna entre as dinâmicas de movimento I2V e T2V.
• Preservação da Fidelidade: Ao contrário de métodos anteriores que sacrificam qualidade visual ou consistência de referência para aprimorar o movimento, o DyMoS melhora a dinâmica de movimento enquanto mantém alta fidelidade à imagem de referência e qualidade visual.

Resultados Experimentais

Os autores validaram o DyMoS em várias bases de modelos I2V de última geração, incluindo Wan 2.2, Wan 2.1, HunyuanVideo-1.5 e CogVideoX-5B.

• Dinâmica de Movimento: Em todas as bases de modelos, o DyMoS alcançou consistentemente pontuações mais altas de Grau de Dinamismo (medidas pelo VBench e VideoScore) em comparação tanto com a linha de base padrão quanto com o método de última geração ALG. Por exemplo, no Wan 2.2, o Grau de Dinamismo aumentou de 51,7 (Linha de Base) para 64,8 (DyMoS), uma melhoria significativa em relação aos 55,3 do ALG.
• Qualidade Visual: Crucialmente, o DyMoS manteve pontuações de Qualidade de Vídeo comparáveis à linha de base e ao ALG, demonstrando que o movimento aprimorado não degrada a fidelidade visual.
• Alinhamento com Texto: O método alcançou as pontuações ViCLIP mais altas entre os métodos comparados, sugerindo que a redução da dominância do quadro de referência permite que o modelo siga melhor as descrições de movimento nos prompts de texto.
• Preferência Humana: Em um estudo com usuários, o DyMoS foi selecionado como o melhor vídeo em todos os critérios (Dinamismo de Movimento, Fidelidade do Quadro de Referência, Alinhamento com Texto e Preferência Geral) com mais frequência do que a linha de base ou o ALG.
• Eficiência: O método incorre em sobrecarga de tempo de inferência insignificante (por exemplo, 1,2% no Wan 2.2), pois envolve apenas operações elementares leves nos logits de atenção em vez de passagens forward adicionais.

Significado e Alegações

O artigo afirma que o viés de movimento estático na geração I2V não é uma limitação inerente do próprio mecanismo de condicionamento, mas sim uma consequência de como as informações de referência são roteadas através da autoatenção. Ao intervir no nível dos logits de atenção, o DyMoS reequilibra efetivamente o foco do modelo, permitindo movimento dinâmico sem comprometer as principais forças dos modelos I2V (fidelidade de referência).

Os autores posicionam o DyMoS como uma ferramenta prática para usuários e desenvolvedores, oferecendo uma "escala deslizante" de controle de movimento via um único parâmetro. Eles observam que, embora o método seja eficaz, forças de modulação excessivamente grandes podem reduzir a consistência de aparência, e trabalhos futuros poderiam explorar a adaptação automática da força de modulação com base em prompts específicos ou tipos de movimento. O trabalho demonstra que intervenções simples e direcionadas no mecanismo de atenção podem produzir melhorias substanciais na qualidade de vídeo gerada sem o custo computacional de retreinamento.