Resumo Técnico: AdaState – Âncoras Auto-Evolucionais para Geração de Vídeo em Streaming

1. Declaração do Problema

Modelos de difusão de vídeo autoregressivos geram vídeo em streaming produzindo quadros sequencialmente, condicionando cada novo bloco ao conteúdo previamente gerado. Uma limitação estrutural fundamental nesses modelos é sua dependência de uma âncora estática: a representação chave-valor (KV) do primeiro quadro ocupa uma posição privilegiada (posição 0) no cache de atenção.

Devido ao fenômeno "attention-sink" (afundamento de atenção), onde o softmax causal concentra massa nas posições iniciais, essa âncora estática atrai atenção desproporcional durante todo o processo de geração. Embora isso garanta consistência estática, suprime a dinâmica do vídeo. O modelo fica efetivamente travado na perspectiva inicial, impedindo a evolução natural da cena, o movimento da câmera e a progressão do sujeito. À medida que a geração se estende, o modelo luta para conciliar a cena em evolução com a referência congelada, levando a:

1. Superficialidade Temporal: O movimento e a progressão da cena são amortecidos para manter a consistência com o primeiro quadro.
2. Deriva e Artefatos: Se a âncora for removida ou atualizada heurísticamente, os erros acumulam, causando colapso visual ou perda da identidade do sujeito.

Soluções existentes falham em abordar essa causa raiz. Métodos que retêm âncoras estáticas (por exemplo, LongLive, Infinity-RoPE) congelam a cena. Métodos que usam atualizações agnósticas ao conteúdo (por exemplo, abordagens baseadas em EMA como Reward Forcing, MemRoPE) convergem para uma média borrada que não consegue se adaptar a mudanças específicas da cena. Substituições heurísticas (por exemplo, Rolling Sink) tendem a enviesar a geração para a reprodução de quadros passados em vez de continuação novel.

2. Metodologia: AdaState

Os autores propõem o AdaState, um framework que substitui a âncora estática do primeiro quadro por um estado adaptativo — uma variável latente oculta que evolui junto com o conteúdo.

Mecanismo Central

• Estado Adaptativo como Latente Oculto: Em vez de um primeiro quadro congelado, o modelo mantém um estado $s$ na posição 0 no cache KV. Este estado é um latente oculto que é desruido junto com o conteúdo do vídeo a cada bloco, mas nunca é renderizado na saída final do vídeo.
• Desruído e Recorrência Conjuntos: Em cada passo de geração $n$, o gerador $G_\theta$ desrui conjuntamente os quadros de conteúdo atual $x^{(n)}_c$ e os quadros de estado $s_n$ a partir de ruído gaussiano independente, condicionado ao cache KV $h_n$.
  • O KV de conteúdo limpo entra na janela deslizante para contexto de curto prazo.
  • O KV de estado limpo sobrescreve a posição 0 no cache, servindo como referência da cena para o próximo bloco.
• Formulação de Tempo Relativo: Diferentemente da geração padrão que codifica tempo absoluto, o AdaState trata o tempo como relativo. Cada passo de geração vê a mesma estrutura posicional, independentemente do comprimento da execução. A transição de estado é idêntica em cada bloco, transformando o processo autoregressivo sequencial em um processo recorrente onde:
  • O Desruído atua como a função de transição.
  • O Cache KV atua como o transportador do estado oculto.
  • Nenhum módulo externo, mecanismos de controle ou unidades de memória separadas são necessários.

Treinamento com Ponderação por Horizonte

Para garantir que o modelo aprenda a utilizar o estado adaptativo efetivamente, os autores introduzem a Distilação de Correspondência de Distribuição Ponderada por Horizonte (DMD).

• Problema: Em execuções autoregressivas, os erros acumulam-se nos quadros posteriores. A ponderação uniforme de perda padrão permite que o otimizador foque em quadros iniciais limpos, negligenciando os quadros posteriores críticos onde o estado adaptativo deve compensar a ausência de conteúdo original da cena.
• Solução: Uma ponderação de rampa linear $w_i$ é aplicada à perda DMD, aumentando com o índice do quadro $i$. Isso força o otimizador a concentrar capacidade nos quadros posteriores onde a coerência mediada pelo estado é mais vital.
  $$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$$

3. Contribuições Principais

1. Identificação de Viés Estrutural: O artigo identifica que a âncora estática na difusão de vídeo autoregressiva cria um viés estrutural de atenção que suprime a dinâmica, travando a composição da cena na perspectiva inicial.
2. Arquitetura de Estado Adaptativo: Os autores propõem substituir a âncora estática por um estado adaptativo oculto treinado via DMD ponderada por horizonte. Este estado evolui com o conteúdo, permitindo que o modelo gere sua própria referência de cena a cada passo.
3. Formulação Recorrente sem Módulos Externos: O trabalho demonstra que o próprio desruído pode funcionar como uma recorrência. O estado adaptativo é uma variável oculta atualizada pela refinamento iterativo do próprio modelo e transportada via cache KV, não exigindo memória externa ou mecanismos de controle.

4. Resultados Experimentais

O método foi avaliado em um modelo destilado do Wan2.1-T2V-1.3B usando Self-Forcing, treinado em execuções de 21 quadros e testado em 5 segundos (dentro do horizonte) e 30 segundos (6× horizonte de treinamento).

• Desempenho Qualitativo:
  • Âncoras Estáticas (por exemplo, Infinity-RoPE, Rolling Forcing): Preservam a identidade, mas congelam a cena, sem mostrar movimento de câmera ou progressão da cena.
  • Sem Referência (por exemplo, Self-Forcing, Causal Forcing): Mostram alta dinâmica inicialmente, mas sofrem de deriva de cor e artefatos visuais à medida que a execução se estende além do horizonte de treinamento.
  • AdaState: Alcança um equilíbrio único, preservando a identidade do sujeito enquanto permite evolução natural da cena, deslizamento da câmera e movimento contínuo, mesmo aos 30 segundos.
• Desempenho Quantitativo:
  • Dentro do Horizonte (5s): O AdaState alcança a maior pontuação total do VBench e VisionReward, com grau de dinâmica significativamente maior que os métodos de âncora estática.
  • Além do Horizonte (30s): O AdaState é o único método que não degrada em grau de dinâmica. Ocupa a região "superior-direita" da curva de tradeoff consistência-dinâmica, mantendo alta consistência enquanto alcança o maior grau de dinâmica entre todas as linhas de base.
  • Estudo com Usuários: Em um estudo com 40 avaliadores, o AdaState recebeu as maiores pontuações tanto para "progressão coerente" quanto para "aderência ao prompt", superando as linhas de base sem referência, com referência estática e com referência EMA.

5. Significado e Alegações

O artigo alega que o AdaState rompe fundamentalmente o tradeoff consistência-dinâmica que aflige a geração de vídeo em streaming atual. Ao tratar o processo de geração como uma recorrência onde o próprio desruído do modelo atualiza uma referência de cena oculta, o AdaState permite:

• Movimento Mais Rico: Movimento natural da câmera e ação do sujeito que evoluem ao longo do tempo.
• Estabilidade de Longo Horizonte: A capacidade de gerar vídeos coerentes muito além do horizonte de treinamento sem acumular deriva ou congelar a cena.
• Simplicidade Arquitetural: A solução não requer mudanças arquitetônicas no backbone DiT, nenhuma perda auxiliar e nenhum módulo de memória externo, confiando apenas no cache KV e nos mecanismos de atenção existentes.

Os autores posicionam isso como um passo em direção a um estado recorrente adaptativo na geração autoregressiva, sugerindo que a formulação poderia ser aplicada a outros domínios onde a atenção se concentra em posições passadas fixas. No entanto, eles notam modestamente limitações, como a configuração heurística da capacidade do estado (atualmente um quadro) e a necessidade de trabalho futuro sobre memória externa estruturada para cenas altamente complexas com múltiplos atores.