Adapting VACE for Real-Time Autoregressive Video Diffusion

1. O Problema

Os modelos de geração de vídeo em tempo real (como LongLive, Krea Realtime Video e StreamDiffusion V2) operam de forma autoregressiva, gerando vídeo em "chunks" (blocos) fixos utilizando atenção causal (o modelo só vê o presente e o passado). Isso permite o uso de cache de Chaves-Valores (KV) e um uso de memória limitado, essencial para o streaming.

No entanto, esses modelos carecem das capacidades de controle avançado disponíveis em modelos de geração em lote (batch), como:

• Guia de Referência (Reference-to-Video): Usar imagens de referência para guiar o estilo ou o sujeito.
• Condicionamento Estrutural: Usar mapas de profundidade, esboços, fluxo óptico, etc.
• Edição Seletiva: Inpainting (preencher áreas) e Outpainting (expandir o vídeo).

A solução existente, VACE (Video All-in-one Creation and Editing), oferece controle unificado, mas é incompatível com pipelines de streaming porque:

1. Assume atenção bidirecional sobre sequências completas.
2. Concatena frames de referência diretamente no espaço latente do vídeo, o que quebra o processamento de tamanho fixo e contamina o cache KV com dados que não são "histórico gerado".
3. Requer pós-processamento para remover frames de referência, o que é ineficiente para streaming.

Recriar essas capacidades do zero exigiria um re-treinamento extensivo e custoso.

2. Metodologia

O artigo propõe uma adaptação arquitetural que permite reutilizar os pesos pré-treinados do VACE em pipelines autoregressivos de streaming, sem necessidade de fine-tuning.

A Solução Principal: Caminho de Condicionamento Paralelo
A mudança fundamental é mover os frames de referência fora do espaço latente de difusão e para um caminho de condicionamento paralelo:

• Processamento Original (VACE): Frames de referência + Latentes de vídeo são concatenados e processados juntos com atenção bidirecional.
• Adaptação (Streaming):
  • Os latentes de vídeo são denoizados sozinhos (mantendo o tamanho fixo do chunk).
  • Os frames de referência são processados separadamente por blocos de contexto (Context Blocks).
  • Esses blocos geram "dicas" (hints), que são sinais aditivos injetados no caminho principal do DiT (Diffusion Transformer) através de projeções lineares inicializadas com zero.

Por que os Pesos Pré-treinados Funcionam?

• O VACE original usa Context Adapter Tuning, onde o DiT base é congelado e apenas os Context Blocks são treinados.
• Como a estrutura de injeção de dicas (soma residual com projeção zero-inicializada) é preservada na adaptação, os pesos treinados dos Context Blocks transferem-se diretamente.
• A adaptação altera apenas onde as referências entram no pipeline e onde as dicas são injetadas, não a lógica interna dos blocos de contexto.

Gerenciamento de Cache e Codificação

• Para suportar inpainting e outpainting, o sistema mantém caches separados para streams "inativos" (áreas preservadas) e "reativos" (áreas geradas) no autoencoder temporal (TAE), evitando contaminação de estatísticas temporais.
• O cache KV persiste entre os chunks para garantir continuidade autoregressiva.

3. Principais Contribuições

1. Modificação Arquitetural: Uma nova forma de processar frames de referência que resolve a incompatibilidade entre o manuseio de referências do VACE e o processamento de chunks de tamanho fixo.
2. Transferência de Pesos Sem Treinamento: Demonstração de que os pesos pré-treinados do VACE transferem-se diretamente para a arquitetura adaptada, graças à preservação da estrutura de injeção de dicas.
3. Validação Empírica em Tempo Real: Confirmação de que controle estrutural (profundidade, esboço, fluxo óptico), geração mascarada (inpainting/outpainting) e extensão temporal funcionam em taxas de quadros reais (17–22 FPS) em hardware de consumo (RTX 5090) com o modelo de 1.3B.
4. Escalabilidade: Validação bem-sucedida em duas escalas de modelos Wan2.1 (1.3B e 14B) usando o mesmo código de adaptação, sem modificações específicas por modelo.

4. Resultados e Desempenho

Os testes foram realizados nos modelos LongLive (1.3B) e Krea Realtime Video (14B).

• Overhead de Latência:
  • O VACE adiciona um overhead de 20–30% na latência por chunk para controle estrutural e inpainting.
  • No modelo de 1.3B: A latência média aumenta de ~539ms para ~698ms (controle de profundidade).
  • No modelo de 14B: A latência aumenta de ~741ms para ~887ms (controle de profundidade).
• Uso de VRAM:
  • O custo de memória é negligenciável em relação ao modelo base.
  • No modelo de 1.3B, o overhead é de apenas ~1.4 GB (pesos dos Context Blocks).
  • No modelo de 14B (que usa ~45 GB), o overhead adicional é insignificante.
• Qualidade e Limitações:
  • Controle Estrutural e Mascarado: A adesão ao controle é preservada (ex: RMSE de profundidade e preservação de máscaras são altos).
  • Referência para Vídeo (R2V): A fidelidade é severamente degradada em comparação ao VACE em lote. Isso ocorre devido às restrições de atenção causal e ao processamento por chunks, que impedem a atenção cruzada global entre referências e vídeo gerado.
  • Extensão Temporal: A utilidade de estender a primeira e a última imagem é reduzida devido aos tamanhos pequenos de chunk no streaming.

5. Significado e Conclusão

Este trabalho é significativo porque democratiza o controle avançado de vídeo em pipelines de streaming. Antes desta adaptação, modelos de vídeo em tempo real não podiam utilizar técnicas de controle unificado como VACE sem re-treinamento massivo.

• Eficiência: Permite o uso de capacidades de controle complexas (máscaras, profundidade, layout) com um custo computacional moderado (20-30% de latência) e quase nenhum custo extra de memória.
• Flexibilidade: Suporta composições arbitrárias de modos (ex: inpainting com controle de profundidade) e detecção implícita do modo baseada nas entradas fornecidas.
• Trade-off: A solução aceita uma degradação na fidelidade de "Referência para Vídeo" (R2V) em troca da capacidade de streaming e da reutilização de pesos existentes. Para aplicações que exigem alta fidelidade de referência em tempo real, mais trabalho arquitetural será necessário.

Em resumo, a adaptação transforma o VACE de uma ferramenta exclusiva para geração em lote em uma solução viável para geração de vídeo controlada e em tempo real, mantendo a compatibilidade com hardware de consumidor e modelos de grande escala.