🤖 machine learning

Vidu S1: A Real-Time Interactive Video Generation Model

O Vidu S1 é um modelo de geração de vídeo interativo em tempo real que permite aos usuários controlar personagens digitais via comandos de voz para produzir vídeos de comprimento infinito e alta qualidade em 540p a até 42 FPS em GPUs de consumo sem degradação visual.

Autores originais: Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Yang Luo, Yuji Wang, Dechuang Chen, Jungang Li, Chengyang Ye, Marco Chen, Hongzhou Zhu, Min Zhao, Yuxuan Jiang, Zhengkun Huang, Chendong Xiang, Kaiwen Zh

Publicado 2026-07-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Yang Luo, Yuji Wang, Dechuang Chen, Jungang Li, Chengyang Ye, Marco Chen, Hongzhou Zhu, Min Zhao, Yuxuan Jiang, Zhengkun Huang, Chendong Xiang, Kaiwen Zheng, Haoxu Wang, Xiaohang Wang, Qi Jia, Xin Chen, Yimin Chen, Youhe Jiang, Fangcheng Fu, Zhijie Deng, Fan Bao, Jianfei Chen, Jun Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um filme onde os personagens não conseguem ouvi-lo, não importa o quanto você grite para a tela. Você não pode dizer para eles acenarem, parecerem surpresos ou mudar a cena; você apenas tem que sentar e esperar o diretor terminar toda a edição antes de ver o resultado. É assim que a maioria da geração de vídeo por IA funciona hoje: você digita um pedido, espera muito tempo e recebe um clipe finalizado. Mas e se você pudesse falar com o personagem enquanto ele está sendo criado? E se você pudesse dizer: "Ei, dê um joinha!" e eles fizessem isso instantaneamente, bem no meio da conversa? Este é o sonho da geração de vídeo interativa em tempo real. É um campo que tenta construir a ponte entre filmes estáticos e pré-fabricados e a natureza fluida e instantânea de uma conversa ao vivo. Para fazer isso, cientistas estão construindo modelos que não apenas "pintam" uma imagem inteira de uma vez, mas em vez disso "transmitem" o vídeo quadro a quadro, reagindo à sua voz conforme ela acontece, muito parecido com um ator humano improvisando uma cena baseada nas instruções imediatas do diretor.

Conheça o Vidu S1, um novo modelo que atua como um ator digital super-rápido e super-responsivo que nunca perde o ritmo. Os pesquisadores por trás deste projeto queriam resolver o problema da geração de vídeo "offline", onde você tem que esperar minutos ou até horas por um resultado. Em vez disso, eles construíram um sistema que permite controlar um personagem digital com sua voz em tempo real. Pense nisso como um personagem de videogame que não apenas segue um roteiro pré-escrito, mas ouve seus comandos de voz e reage instantaneamente, seja quando você pede para ele acenar, sentar ou fazer um coração com as mãos. A parte legal é que isso não funciona apenas por alguns segundos; o artigo sugere que o Vidu S1 pode manter isso por um tempo "infinito" sem que o rosto do personagem fique borrado ou seus movimentos fiquem estranhos e saltitantes, um problema que geralmente acontece quando a IA tenta fazer vídeos longos.

A equipe por trás do Vidu S1 não construiu apenas o cérebro; eles também construíram um motor super-eficiente para fazê-lo rodar rápido. Eles usaram truques especiais (que chamam de "TurboDiffusion" e "TurboServe") para comprimir a geração de vídeo em placas de vídeo comuns que você pode encontrar na configuração de um gamer. O resultado? O modelo pode cuspir vídeos em resolução 540p a uma velocidade de 42 FPS (quadros por segundo). Para colocar em perspectiva, um vídeo padrão toca a 30 FPS, então isso é na verdade mais rápido que o tempo real, o que significa que a IA pode acompanhar uma conversa ao vivo sem atrasos. Os pesquisadores testaram isso fazendo com que usuários fizessem upload de fotos de si mesmos, personagens de anime ou até animais de estimação, e depois dessem instruções de voz. O modelo gerou com sucesso vídeos onde os personagens seguiam os comandos, como levantar uma perna ou dar um joinha, mantendo o rosto exatamente igual à foto que você enviou.

Um dos maiores obstáculos que o artigo aborda é o problema do "drift" (deriva). Imagine tentar desenhar o retrato de uma pessoa, mas cada vez que você adiciona um novo detalhe, o desenho inteiro começa a se deformar e torcer até que a pessoa pareça um monstro. Muitos modelos de vídeo de IA sofrem com isso quando tentam fazer vídeos longos; quanto mais longo o vídeo avança, mais o rosto do personagem ou o fundo fica distorcido. O Vidu S1 usa um sistema de memória inteligente chamado "TwinCache" para evitar isso. É como ter um bibliotecário que mantém um "esboço bruto" dos últimos segundos para manter o movimento suave, enquanto também mantém uma "versão polida final" para garantir que o rosto do personagem permaneça nítido e reconhecível. Isso permite que o vídeo continue rodando para sempre sem que o personagem se desfaça.

O artigo também aponta que, embora existam outros modelos, a maioria deles é ou lenta demais para ser interativa, não consegue entender comandos de voz diretamente ou entra em colapso após um curto período. O Vidu S1 foi projetado especificamente para ser o oposto: ele recebe sua voz como um comando direto, gera o vídeo instantaneamente e o mantém estável pelo tempo que você quiser conversar. Em seus testes, o modelo foi comparado com outros sistemas de ponta e saiu vencedor em termos de quão bem seguia instruções e quão naturais eram os movimentos. Os pesquisadores dizem que, com esta tecnologia, estamos nos aproximando de um futuro onde você pode ter uma conversa ao vivo e personalizada com um personagem digital que parece e se move como uma pessoa real, tudo gerado na hora, diretamente no seu computador.

Resumo Técnico: Vidu S1 – Um Modelo de Geração de Vídeo Interativo em Tempo Real

1. Declaração do Problema

Os modelos atuais de geração de vídeo (ex: Sora, Veo, Wan) operam predominantemente sob um paradigma offline de disparo único (one-shot). Os usuários fornecem um prompt e esperam minutos por um vídeo completo, sem qualquer capacidade de intervir ou interagir durante o processo de geração. Esta limitação decorre do paradigma de difusão offline, que realiza a denoização de um vídeo inteiro de forma síncrona, produzindo um output limpo apenas ao final.

Embora experiências visuais interativas (ex: transmissões ao vivo, comunicação face a face) representem uma demanda significativa, as soluções existentes enfrentam quatro limitações principais:

Falta de Interação em Tempo Real: Muitos modelos autorregressivos geram sequencialmente, mas não suportam intervenção ativa do usuário durante o processo.
Ausência de Controle por Fala: A maioria dos métodos não utiliza a fala como um sinal de controle direto e explícito para o conteúdo de vídeo futuro, limitando a interação natural.
Instabilidade na Geração de Longo Horizonte: Pequenos erros acumulam-se ao longo do tempo na geração por streaming, levando a deriva visual, instabilidade e colapso eventual.
Gargalos de Infraestrutura: A geração em tempo real requer não apenas melhorias de modelagem, mas também kernels de inferência especializados, sistemas de serviço e estratégias de escalonamento para rodar eficientamente em hardware de consumo.

2. Metodologia

2.1 Preparação de Dados

Os autores construíram um pipeline de processamento de dados progressivo para converter vídeos brutos heterogêneos em clipes de treinamento de alta qualidade e coerência temporal:

Coleta: Obtidos de livestreams/talking-heads (para expressão fina/sincronia labial) e filmes/TV (para generalização entre ângulos e estilos).
Filtragem: Um pipeline de múltiplos estágios inclui pré-filtragem (resolução, FPS), recorte de tiro único (single-shot clipping) e filtragem de sujeito.
Qualidade e Segurança: Utiliza uma combinação de modelos especialistas e um modelo Omni para compreensão semântica global para filtrar qualidade visual, segurança de conteúdo, estabilidade de cena e interatividade.
Diarização: Extrai componentes de fala e anota timestamps. Segmentos são categorizados como na tela (onscreen), fora da tela (offscreen) ou sobreposição (overlap). Segmentos de sobreposição são descartados. Regras heurísticas removem segmentos com baixa energia de fala para evitar atribuições incorretas durante o canto ou música de fundo.
Legendagem (Captioning): Gera legendas estruturadas em dois níveis: full-clip (âncora semântica global) e chunk-level consciente da fala (condicionamento temporal refinado). Uma estratégia de via dupla desacopla a inferência visual e auditiva para reduzir alucinações.

2.2 Estrutura de Treinamento

O pipeline de treinamento consiste em três estágios para alcançar uma geração de vídeo-áudio em streaming estável e eficiente:

Estágio 1: Treinamento de Professor Bidirecional: Um modelo bidirecional é treinado em sequências completas de vídeo-áudio ( $x_{1:N}$ ) condicionadas ao contexto completo ( $c_{1:N}$ ). Isso estabelece um prior generativo de alta qualidade.
Estágio 2: Treinamento de Professor Causal: O modelo é adaptado para um cenário autorregressivo de streaming.
- Mascaramento Causal: Cada estado alvo acessa apenas o contexto histórico e as condições atuais.
- Treinamento Híbrido: Combina Teacher Forcing (usando histórico de verdade fundamental limpo) e Diffusion Forcing (usando estados históricos ruidosos) para melhorar a robustez contra prefixos imperfeitos durante o rollout autorregressivo.
Estágio 3: Destilação com Regularização: Para reduzir o custo computacional da denoização de múltiplos passos, o modelo é destilado em um gerador de poucos passos usando Distribution Matching Distillation (DMD).
- Regularização PCM: Para evitar o colapso de modo (deriva, degeneração) comum no DMD puro, a regularização Phased Consistency Models (PCM) é adicionada, utilizando uma distância de característica perceptual para manter a consistência temporal.

2.3 Arquitetura de Inferência

Inferência em Streaming: Emprega decodificação de janela deslizante (sliding-window decoding) para gerenciar a memória.
- Contexto de Referência Persistente: Atua como um "token sumidouro (sink token)", fornecendo condicionamento global estável a partir do primeiro quadro.
- Reposicionamento RoPE: Faz o cache de características de chave-valor históricas e reaplica o Rotary Position Embedding com base em posições relativas atualizadas para evitar computação redundante.
- TwinCache: Uma estratégia de cache consciente de estágio que mantém dois caches para estados históricos: um cache ruidoso (para passos intermediários, atuando como um prior de filtro passa-baixa para dinâmica temporal) e um cache limpo (para o passo final, restaurando detalhes finos).
Infraestrutura de Inferência: Construída sobre TurboDiffusion e TurboServe para servir em tempo real com baixo custo em GPUs de consumo.
- Aceleração de Atenção: Utiliza SageAttention, SpargeAttention e Sparse-Linear Attention.
- Quantização: Operadores GEMM quantizados W8A8 por bloco customizados em CUDA para lidar com outliers e reduzir a pegada de memória.
- Fusão de Kernel & CUDA Graph: Mescla operadores e captura subgrafos de estrutura fixa para minimizar o overhead de lançamento do host e maximizar a utilização da GPU.
- Paralelismo: Utiliza paralelismo de contexto estilo Ulysses para distribuir a computação entre múltiplas GPUs.

3. Principais Contribuições

Modelo Vidu S1: Um modelo de geração de vídeo interativo em tempo real que permite interação contínua do usuário e controle de fala explícito sobre o conteúdo de vídeo futuro.
Geração Estável de Comprimento Infinito: Mitiga o acúmulo de erro na geração em streaming, permitindo fluxos de vídeo indefinidos sem deriva ou colapso visual.
Eficiência em Tempo Real: Alcança resolução de 540p a 42 FPS em GPUs de consumo (RTX 5090) através de um stack de inferência e serviço eficiente.
Benchmarks de Desempenho: Demonstra desempenho líder em preservação de identidade, sincronia áudio-visual e qualidade perceptual, enquanto suporta controle guiado por fala.

4. Resultados Experimentais

Benchmarks: Avaliado no Vidu-StreamBench (interno, 500 amostras com instruções de ação) e HDTF (benchmark público padrão).
Métricas Quantitativas: O Vidu S1 alcançou as melhores pontuações em todas as métricas:
- CSIM (Identidade): 0.9192
- Sync-D (Sincronia Labial): 7.847
- DOVER (Qualidade Perceptual): 0.5660
Preferência Humana: Em testes A/B pareados contra HeyGen, LemonSlice e Kling Avatar 2.0, o Vidu S1 foi consistentemente preferido, particularmente em controlabilidade do sujeito (100% de preferência sobre HeyGen/LemonSlice no seguimento de instruções de ação) e dinâmica de movimento.
Desempenho Qualitativo: Comparações visuais mostram que o Vidu S1 segue com sucesso instruções complexas (ex: "levantar a mão", "polegar para cima") e mantém a estabilidade do fundo, enquanto os concorrentes exibiram casos de falha como gestos incorretos ou artefatos de fundo.
Throughput: Alcança 42 FPS na RTX 5090, excedendo o limiar de reprodução em tempo real de 30 FPS.

5. Significância

O artigo posiciona o Vidu S1 como um passo significativo em direção a sistemas de geração de vídeo em tempo real práticos, controláveis e personalizados. Ao abordar as limitações da geração offline e a instabilidade do streaming de longo horizonte, o Vidu S1 preenche a lacuna entre a geração de vídeo de alta qualidade e o entretenimento visual interativo. A integração de uma infraestrutura de inferência eficiente (TurboDiffusion/TurboServe) demonstra que a geração de avatares em tempo real de alta qualidade é viável em hardware comum, permitindo aplicações como conversação ao vivo, apresentadores virtuais e agentes educacionais.