💻 computer science

SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model

O SkyReels V4 é um modelo fundacional unificado multimodal que, utilizando uma arquitetura de Transformer de Difusão Multimodal (MMDiT) de duplo fluxo, gera simultaneamente vídeos e áudio sincronizados em alta definição a partir de instruções ricas e diversas, integrando capacidades de geração, inpainting e edição com alta eficiência computacional.

Autores originais: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao

Publicado 2026-03-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Max W. Y. Lam, Chien-Hung Liu, Yahui Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um diretor de cinema. No passado, para fazer um filme, você precisava de uma equipe enorme: um roteirista, um diretor de fotografia, um ator, um dublador, um engenheiro de som e um editor. Cada um fazia sua parte separadamente, e depois alguém tinha que costurar tudo junto, o que muitas vezes resultava em falhas (como a boca do ator não bater com a voz, ou o som não combinar com a cena).

O SkyReels-V4 é como se fosse um "Super-Diretor de Cinema Artificial" que faz tudo isso sozinho, ao mesmo tempo e perfeitamente sincronizado.

Aqui está uma explicação simples do que ele faz e como funciona:

1. O Que Ele Faz? (O "Três em Um" Mágico)

A maioria das inteligências artificiais atuais faz apenas uma coisa: cria um vídeo a partir de texto, ou cria um áudio a partir de texto. O SkyReels-V4 é diferente porque ele é um modelo unificado. Ele pode:

Criar um filme do zero (vídeo + som).
Consertar partes de um filme existente (como apagar um objeto indesejado ou mudar o fundo).
Editar cenas (como mudar a roupa de um personagem ou estender uma cena).

E o melhor: ele faz tudo isso entendendo que o que você vê e o que você ouve devem conversar entre si. Se o personagem bate palmas, o som da palma acontece exatamente no momento certo.

2. Como Ele Funciona? (A Analogia da Orquestra de Dupla Via)

Pense no modelo como uma orquestra com dois maestros trabalhando lado a lado, mas que se comunicam o tempo todo:

O Maestro do Vídeo: Cuida das imagens, cores e movimentos.
O Maestro do Áudio: Cuida da música, vozes e efeitos sonoros.

Eles não trabalham isolados. Eles compartilham um "Cérebro Comum" (um grande modelo de linguagem) que entende o seu pedido. Se você disser: "Quero um filme de um gato correndo na chuva com som de trovão", o Cérebro entende a história e avisa aos dois maestros:

"Maestro do Vídeo: Desenhe o gato e a chuva!"
"Maestro do Áudio: Prepare o som da chuva e o trovão!"
"Eles dois: Combinem o timing para que o trovão estoure exatamente quando o gato pular!"

3. A Mágica do "Inpainting" (O Pintor de Paredes)

Uma das partes mais legais é como ele edita vídeos. Imagine que você tem uma foto de uma sala e quer mudar o quadro na parede.

Antes: Você teria que recortar a imagem, pintar o novo quadro e tentar colar de volta, o que ficava torto.
Com o SkyReels-V4: É como se você tivesse uma tela mágica. Você pinta uma máscara (uma "área de recorte") sobre o quadro antigo e diz: "Troque isso por um pôster de astronauta". O modelo entende que deve "pintar" apenas aquela área, mantendo o resto da sala perfeitamente intacto. Ele faz isso não só com fotos, mas com vídeos inteiros, podendo mudar a roupa de alguém ou estender o final de um filme sem que pareça falso.

4. O Truque da Eficiência (O Esboço e a Pintura Final)

Criar um filme em alta definição (1080p) com som por 15 segundos exige um poder de computador gigantesco. Seria como tentar desenhar um quadro a óleo gigante, pixel por pixel, do zero. Demoraria dias!

O SkyReels-V4 usa um truque inteligente:

O Esboço Rápido: Primeiro, ele gera o vídeo inteiro em baixa resolução (como um esboço rápido) e os momentos-chave (frames principais) em alta resolução.
O Refinamento: Depois, ele usa ferramentas especiais para "polir" esse esboço, transformando-o em um filme de cinema nítido e suave.

Isso permite que ele crie filmes longos e bonitos muito mais rápido do que os sistemas antigos.

5. Por Que Isso é Importante?

Até hoje, fazer um vídeo com áudio sincronizado e de alta qualidade exigia várias ferramentas diferentes e muita mão de obra. O SkyReels-V4 coloca todo esse poder na palma da sua mão.

Para Criadores: Você pode criar trailers de filmes, anúncios ou histórias para redes sociais digitando apenas uma frase, e o sistema gera o vídeo, o som, a trilha sonora e até os efeitos especiais.
Para o Futuro: Ele é o primeiro modelo do mundo a conseguir fazer tudo isso (vídeo, áudio, edição e conserto) em um único sistema, com qualidade de cinema.

Resumo da Ópera:
O SkyReels-V4 é como ter um estúdio de cinema inteiro dentro de um computador. Você dá o roteiro (texto, fotos ou vídeos de referência), e ele entrega o filme pronto, com som perfeitamente sincronizado, pronto para ser assistido, tudo em questão de minutos.

Resumo Técnico: SkyReels-V4

1. O Problema e o Contexto

O campo de geração de vídeo evoluiu rapidamente de síntese unimodal (apenas texto para vídeo) para a geração conjunta de áudio e vídeo. No entanto, os sistemas atuais apresentam limitações significativas:

Fragmentação: A maioria dos modelos de ponta trata a geração de vídeo, a síntese de áudio e as tarefas de edição (inpainting, extensão, modificação) como sistemas separados ou com fusão superficial.
Falta de Unificação: Não existia até então um modelo de base (foundation model) único que suportasse simultaneamente:
1. Entradas multimodais ricas (texto, imagens, vídeos, máscaras e referências de áudio).
2. Geração conjunta e sincronizada de vídeo e áudio.
3. Um tratamento unificado para geração, inpainting (preenchimento) e edição de vídeo.
Desafios Computacionais: Gerar vídeos de alta resolução (1080p), alta taxa de quadros (32 FPS) e longa duração (15s) com áudio sincronizado é computacionalmente proibitivo para arquiteturas de difusão tradicionais.

2. Metodologia e Arquitetura

O SkyReels-V4 é um modelo de base unificado projetado para superar essas limitações através de uma arquitetura inovadora e estratégias de treinamento eficientes.

A. Arquitetura Dual-Stream MMDiT (Multimodal Diffusion Transformer)
O núcleo do modelo consiste em duas ramificações (streams) paralelas que compartilham um codificador de texto comum baseado em um Modelo de Linguagem Multimodal (MLLM):

Ramificação de Vídeo: Sintetiza o conteúdo visual.
Ramificação de Áudio: Gera o áudio temporalmente alinhado.
Mecanismo de Compartilhamento: Ambas as ramificações utilizam um encoder de texto MLLM congelado que processa instruções multimodais complexas (texto + imagens + vídeos + áudio), garantindo coerência semântica.
Blocos Híbridos: O modelo utiliza blocos Dual-Stream nas camadas iniciais (onde os tokens de vídeo/áudio e texto mantêm parâmetros separados para alinhamento adaptativo) e transita para blocos Single-Stream nas camadas finais (parâmetros compartilhados para eficiência).
Atenção Cruzada Bidirecional: Para garantir sincronização temporal, há camadas de atenção cruzada onde o fluxo de áudio atende aos recursos de vídeo e vice-versa em todas as camadas do transformador.
Alinhamento Temporal (RoPE): Utiliza Rotary Positional Embeddings (RoPE) com escalamento de frequência para alinhar as resoluções temporais diferentes entre os latentes de vídeo (21 quadros) e áudio (218 tokens).

B. Unificação de Tarefas via Concatenação de Canais
O modelo trata geração, inpainting e edição como variações de um único problema de inpainting:

A entrada para a ramificação de vídeo é formada pela concatenação de três tensores ao longo da dimensão do canal: Latente de Vídeo Ruidoso ( $V$ ), Quadros Condicionais ( $I$ ) e Máscaras Binárias ( $M$ ).
Diferentes configurações de máscara permitem realizar tarefas distintas:
- Texto para Vídeo: Máscara zero (geração total).
- Imagem para Vídeo: Primeira frame condicionada.
- Extensão de Vídeo: Frames iniciais condicionadas.
- Edição: Máscaras espaciais e temporais arbitrárias para modificar regiões específicas.
Durante a edição, o áudio é regenerado do zero condicionado ao vídeo modificado, garantindo consistência acústica.

C. Aprendizado em Contexto (In-Context Learning) Multimodal

Referências Visuais: Imagens e vídeos de referência são codificados e concatenados temporalmente aos latentes de vídeo antes da atenção, permitindo que o modelo aprenda padrões visuais finos (identidade, textura, pose) diretamente do contexto.
Referências de Áudio: Amostras de áudio (fala, música, efeitos) são processadas de forma similar na ramificação de áudio.

D. Estratégia de Eficiência Computacional
Para viabilizar a geração em 1080p e 15 segundos sem custos proibitivos de memória:

Geração Híbrida: O modelo base gera uma sequência completa em baixa resolução e quadros-chave (keyframes) em alta resolução.
Refinador (Refiner): Um módulo dedicado realiza Super-Resolution (VSR) e interpolação de quadros. Ele utiliza os quadros-chave de alta resolução e a sequência de baixa resolução para reconstruir um vídeo final de alta fidelidade e alta taxa de quadros.
Atenção Esparsa (VSA): O refinador utiliza Video Sparse Attention para reduzir o custo computacional da atenção em aproximadamente 3x, mantendo a qualidade.

3. Principais Contribuições

Primeiro Modelo Unificado: O SkyReels-V4 é o primeiro modelo de base a integrar nativamente entrada multimodal, geração conjunta vídeo-áudio e um framework unificado para geração, inpainting e edição.
Arquitetura Dual-Stream MMDiT: Uma nova abordagem que equilibra alinhamento multimodal e eficiência computacional através de blocos híbridos e atenção cruzada bidirecional.
Estratégia de Geração Escalável: A combinação de geração de baixa resolução + quadros-chave de alta resolução + refinamento permite a produção de conteúdo cinematográfico (1080p, 32 FPS, 15s) de forma viável.
Pipeline de Dados Robusto: Inclui coleta de dados reais e sintéticos, processamento avançado (sincronização áudio-vídeo via SyncNet) e legendagem estruturada para treinar o modelo em tarefas complexas de edição e multimodalidade.

4. Resultados e Desempenho

O modelo foi avaliado em benchmarks públicos e testes humanos rigorosos:

Artificial Analysis Arena: O SkyReels-V4 alcançou o 1º lugar na categoria "Texto para Vídeo com Áudio", superando concorrentes como Kling 3.0 e Veo 3.1. Ficou em 2º lugar em "Texto para Vídeo sem Áudio".
SkyReels-VABench (Avaliação Humana): Em uma avaliação com 50 profissionais, o modelo obteve a maior pontuação média geral entre todos os modelos testados (Veo 3.1, Kling 2.6, Seedance 1.5 Pro, Wan 2.6).
- Pontos Fortes: Destacou-se significativamente em Seguimento de Instruções (Prompt Following) e Qualidade de Movimento.
- Consistência: Mantém desempenho de ponta em sincronização áudio-visual e qualidade visual, superando ou empatando com os melhores sistemas proprietários.
Capacidades Práticas: O modelo demonstrou robustez em tarefas complexas como inserção de sujeitos, remoção de objetos, substituição de fundo e síntese de vídeo guiada por referência visual e auditiva.

5. Significado e Impacto

O SkyReels-V4 representa um marco significativo na evolução da geração de mídia:

Democratização da Produção Cinematográfica: Ao permitir a geração de vídeos longos, de alta resolução e com áudio sincronizado a partir de instruções complexas e referências multimodais, o modelo reduz a barreira de entrada para a criação de conteúdo profissional.
Paradigma Unificado: A abordagem de tratar edição e geração como o mesmo problema de inpainting simplifica o fluxo de trabalho criativo, eliminando a necessidade de encadear múltiplos modelos especializados.
Futuro da Mídia: O modelo estabelece uma nova base para sistemas de geração multimodal, provando que é possível escalar para resoluções cinematográficas e durações longas sem sacrificar a sincronia ou a qualidade, abrindo caminho para aplicações em cinema, publicidade e entretenimento interativo.

Em resumo, o SkyReels-V4 não é apenas uma melhoria incremental, mas uma redefinição arquitetural que unifica a compreensão visual, a síntese de áudio e a manipulação de vídeo em um único sistema coerente e eficiente.