Resumo Técnico: DySink – Poços de Quadro Dinâmicos para Geração Autoregressiva de Vídeos Longos

1. Declaração do Problema

A geração autoregressiva de vídeos longos depende de streaming com memória limitada para gerenciar o custo computacional quadrático dos transformadores de difusão bidirecionais. Os métodos atuais de última geração (por exemplo, LongLive, Rolling-Forcing) tipicamente empregam um mecanismo de atenção híbrido que combina uma janela deslizante para continuidade de curto prazo e poços de quadro estáticos (quadros iniciais em cache) como âncoras globais para consistência de longo prazo.

O artigo identifica duas limitações críticas nessa estratégia de alocação estática:

1. Incompatibilidade Contextual: À medida que a geração progride, o estado visual frequentemente diverge significativamente dos quadros iniciais. Manter o cache desses âncoras desatualizados viésa o modelo a reproduzir pistas visuais iniciais em vez de adaptar-se à cena em evolução, levando ao estagnamento temporal.
2. Colapso do Poço: Em casos graves, a dependência de poços estáticos desencadeia um modo de falha conhecido como "colapso do poço". Cui et al. (2026) atribuem isso ao re-alinhamento de fase induzido por RoPE e à homogeneização da atenção entre cabeças, onde uma grande fração de cabeças de atenção atende simultaneamente excessivamente aos quadros do poço. Isso faz com que o conteúdo gerado regresse em direção aos quadros do poço, resultando em redefinições abruptas da cena e padrões de movimento cíclicos.

2. Metodologia: O Framework DySink

O DySink propõe um framework baseado em recuperação que substitui âncoras de quadros iniciais fixos por poços de quadro dinâmicos. O sistema mantém um banco de memória compacto e seleciona quadros históricos visualmente relevantes sob demanda. O framework consiste em três componentes principais:

A. Construção do Banco de Memória

• Estrutura: O banco de memória armazena blocos históricos de vídeo, onde cada entrada consiste em um descritor visual compacto ($f_i$) e os caches correspondentes de Chave-Valor (KV) por camada ($K_i, V_i$).
• Geração de Descritores: Os descritores visuais são criados decodificando quadros latentes para o espaço de pixels, codificando-os por meio de um codificador visual congelado e agregando características via pooling de média e normalização L2.
• Atualização Consciente de Novidade: Para evitar redundância, um bloco candidato é admitido apenas se sua similaridade com entradas existentes estiver abaixo de um limiar ($\tau_{dedup}$). Se ocorrerem quase-duplicatas, as entradas anteriores são retidas, pois são menos corrompidas pelo acúmulo de erros.

B. Recuperação e Injeção Adaptativas

• Mecanismo de Recuperação: Para o bloco de geração atual, o DySink agrega descritores da janela deslizante local para formar uma consulta. Ele calcula a similaridade cosseno contra o banco de memória para recuperar os $k$ blocos históricos mais relevantes.
• Injeção de Contexto: Os caches KV dos blocos recuperados são concatenados com os caches KV da janela deslizante local para formar o contexto de atenção. Isso permite que o modelo acesse pistas estruturais de longo alcance sem depender permanentemente de quadros iniciais fixos.

C. Porta de Anomalia do Poço

Para mitigar o colapso do poço sem modificar a estrutura de frequência RoPE (como feito em trabalhos anteriores via jitter RoPE), o DySink introduz uma porta de anomalia do poço leve por camada:

• Lógica de Detecção: A porta monitora o consenso entre cabeças. Ela calcula a fração de cabeças de atenção que atribuem maior afinidade ao contexto recuperado do que à janela local.
• Supressão: Se a fração de cabeças atendendo excessivamente ao contexto recuperado exceder um limiar de consenso ($\tau_{gate}$), a porta suprime os estados KV recuperados para aquela camada, forçando o modelo a retornar à janela deslizante local. Isso previne a "homogeneização" da atenção que leva ao colapso.

3. Paradigma de Treinamento

O DySink segue um paradigma de ajuste de streaming em duas etapas baseado na arquitetura Wan2.1:

1. Destilação de Curto Horizonte: Um modelo estudante (1,3B) é destilado a partir de um professor (14B) usando Destilação de Correspondência de Distribuição (DMD) para criar um gerador causal de poucos passos.
2. Ajuste Fino de Longo Horizonte: O modelo é ajustado finamente em rollouts de streaming de 60 segundos usando LoRA. O pipeline completo do DySink (recuperação + porta) está ativo durante o treinamento para garantir consistência entre treinamento e inferência.

4. Resultados Experimentais

Os experimentos foram conduzidos na geração de vídeos de um minuto (50s, 75s e 100s) usando o backbone Wan2.1-T2V-1.3B.

• Grau de Dinamismo: O DySink supera significativamente fortes baselines autoregressivas (por exemplo, Self-Forcing++, LongLive). Em vídeos de 50s, ele melhora o Grau de Dinamismo em 8,16 pontos sobre o Self-Forcing++ e 21,12 pontos sobre o LongLive. Essa tendência se mantém para gerações de 75s e 100s.
• Qualidade Temporal: Apesar do aumento da evolução dinâmica, o DySink alcança pontuações de Qualidade Temporal mais altas do que as baselines, indicando que os poços dinâmicos preservam a coerência enquanto permitem a evolução da cena.
• Estudos de Ablação:
  • A remoção da Porta de Anomalia do Poço leva a uma queda drástica no Grau de Dinamismo (de 60,45 para 37,98) e na Qualidade Temporal, confirmando que, sem a porta, o modelo reverte para comportamentos de colapso do poço (movimento cíclico, estruturas repetidas).
  • A comparação entre Poços Estáticos e DySink mostra que, embora os poços estáticos ofereçam alguma estabilidade, a recuperação dinâmica fornece adaptabilidade superior a estados visuais em evolução.

5. Significado e Alegações

O artigo alega que o DySink aborda a rigidez fundamental da alocação de memória estática na geração autoregressiva de vídeos. Ao mudar de âncoras fixas para recuperação adaptativa ao conteúdo, o método reduz a incompatibilidade de condicionamento e mitiga o modo de falha específico do colapso do poço.

As principais alegações incluem:

• Adaptabilidade: Poços dinâmicos permitem que o modelo mantenha consistência de longo alcance sem ser viésado em direção a atributos de quadros iniciais desatualizados.
• Prevenção de Colapso: A Porta de Anomalia do Poço suprime efetivamente padrões de atenção propensos a colapso detectando consenso excessivo entre cabeças, oferecendo uma solução que não requer modificar a codificação posicional RoPE subjacente.
• Escalabilidade: A abordagem demonstra que vídeos de um minuto podem ser gerados com maiores graus de dinamismo e qualidade temporal do que os métodos atuais de última geração, sugerindo que a seleção dinâmica de memória é um componente crítico para futuras gerações de longo horizonte.

Os autores notam limitações, reconhecendo que a indexação baseada apenas em visão atual pode perder pistas semânticas ou de nível de objeto de alta granularidade, e que o potencial total da recuperação dinâmica pode ser mais pronunciado em cenários com eventos complexos e densos ou transições multiestágio além do horizonte de avaliação atual de 100 segundos.