💻 computer science

MobileWan: Closing the Quality Gap for Mobile Video Diffusion

A MobileWan introduz um novo framework que permite a implantação eficiente de um transformer de difusão de vídeo de alta qualidade com 5 bilhões de parâmetros em dispositivos móveis com restrição de memória através de reformulação recorrente, poda de atenção estruturada e destilação, alcançando o desempenho de geração de estado da arte com baixa latência.

Autores originais: Mohsen Ghafoorian, Denis Korzhenkov, Adil Karjauv, Ioannis Lelekas, Noor Fathima, Spyridon Stasis, Hanno Ackermann, Boris van Breugel, Markus Nagel, Fatih Porikli, Animesh Karnewar, Amirhossein Habibi

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohsen Ghafoorian, Denis Korzhenkov, Adil Karjauv, Ioannis Lelekas, Noor Fathima, Spyridon Stasis, Hanno Ackermann, Boris van Breugel, Markus Nagel, Fatih Porikli, Animesh Karnewar, Amirhossein Habibian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um mestre chef (um modelo de IA massivo e poderoso) que consegue cozinhar refeições de vídeo incríveis e em alta definição. O problema é que a cozinha desse chef é do tamanho de um estádio de futebol e exige um armazém cheio de ingredientes. Você quer pegar esse chef e colocá-lo em um pequeno e apertado food truck (seu smartphone) para cozinhar as mesmas refeições deliciosas em qualquer lugar.

Normalmente, quando você tenta encolher um chef gigante para caber em um food truck, você tem que demitir metade da equipe e usar um fogão menor e mais barato. O resultado? A comida é ok, mas não é tão saborosa ou detalhada quanto a versão do estádio.

MobileWan é a solução da equipe para este problema. Eles não apenas encolheram o chef; eles reorganizaram completamente a cozinha para que o gigante "chef de estádio" de 5 bilhões de parâmetros (baseado no modelo Wan2.2) possa realmente trabalhar dentro de um smartphone sem ficar sem espaço ou tempo.

Aqui está como eles fizeram isso, usando analogias simples:

1. O Problema do "Buraco Negro de Memória"

Os modelos de IA de vídeo geralmente tentam lembrar de cada quadro de um vídeo ao mesmo tempo para manter o movimento suave. Em um computador com um disco rígido enorme, isso é tranquilo. No celular, é como tentar carregar uma biblioteca de livros no seu bolso ao mesmo tempo — isso faz o telefone travar (Falta de Memória/Out of Memory).

A Solução: A Estratégia de "Fragmentação" (Chunking)
Em vez de tentar lembrar o filme inteiro de uma vez, o MobileWan divide o vídeo em pequenos "pedaços" (como cenas curtas). Ele gera um pedaço, salva um pequeno resumo dele e depois passa para o próximo.

A Analogia: Imagine escrever uma história. Em vez de manter cada palavra que você já escreveu na sua cabeça, você escreve um parágrafo, anota um resumo rápido em um post-it e depois passa para o próximo parágrafo. Você só precisa segurar o post-it na mão, não o livro inteiro. Isso permite que o telefone gere vídeos longos sem ficar sem memória.

2. O Problema da "Equipe Sobrecarregada"

Dentro da IA, existem muitas "cabeças de atenção" (pense nelas como diferentes membros de uma equipe observando o vídeo). Em um modelo de 5 bilhões de parâmetros, existem centenas desses membros de equipe. Alguns estão fazendo um ótimo trabalho, mas muitos estão apenas repetindo o que os outros estão fazendo ou fazendo muito pouco.

A Solução: A "Demissão Inteligente"
A equipe usou um método especial para identificar quais membros da equipe eram realmente essenciais e quais poderiam ser dispensados.

A Analogia: Imagine um comitê de 100 pessoas tentando decidir um cardápio. A equipe percebeu que 30 dessas pessoas estavam apenas balançando a cabeça positivamente ou repetindo as mesmas ideias. Eles removeram silenciosamente essas 30 pessoas. Os 70 restantes trabalharam de forma mais árdua e inteligente, e o cardápio (o vídeo) ainda saiu delicioso, mas a reunião foi muito mais rápida e exigiu menos espaço.

3. O Problema do "Cozimento Lento"

Mesmo com uma equipe menor e uma estratégia de fragmentação, cozinhar um vídeo de 5 segundos geralmente leva a IA 100 passos (como dar 100 pequenas mordidas para comer uma refeição). Isso é muito lento para um celular.

A Solução: A "Receita de Avanço Rápido"
Eles usaram uma técnica chamada "destilação".

A Analogia: Imagine um aluno (o modelo móvel) aprendendo com um mestre professor (o grande modelo de servidor). Em vez de fazer o aluno dar 100 pequenos passos para aprender uma dança, o professor mostra a dança inteira, e o aluno aprende a fazê-la em apenas 3 grandes e confiantes passos. O resultado é a mesma dança, mas feita muito mais rápido.

4. O Problema da "Repetição Borrada"

Quando você reproduz um vídeo em um celular, o decodificador (a parte que transforma a matemática da IA em imagens reais) pode às vezes fazer o movimento parecer travado ou instável, como uma chamada de vídeo ruim.

A Solução: Uma "Lente de Câmera Melhor"
Eles atualizaram o decodificador para olhar mais para o passado ao criar cada novo quadro.

A Analogia: Se você estiver desenhando um filme e olhar apenas para o quadro imediatamente anterior ao atual, seu desenho pode parecer trêmulo. O decodificador do MobileWan olha para os últimos 4 quadros para garantir que o movimento flua suavemente, como um diretor verificando as últimas cenas para garantir que o movimento do ator seja consistente.

O Resultado

Ao combinar esses truques, a equipe conseguiu colocar uma IA de vídeo massiva e de alta qualidade em um smartphone comercial (alimentado por um chip Snapdragon).

O Desempenho: Pode gerar um vídeo de 5 segundos (resolução 480x832) em cerca de 20 segundos.
A Qualidade: Em testes, os vídeos foram classificados com uma qualidade quase tão alta quanto as versões de servidor massivas e foram preferidos por usuários humanos 80% das vezes em relação ao melhor modelo móvel anterior.
A Afirmação: Eles provaram que você não precisa sacrificar a qualidade para ter IA de vídeo no celular; você só precisa ser mais inteligente sobre como o modelo pensa e lembra.

Em resumo, o Mobile_Wan é como pegar um navio de cruzeiro de luxo e encaixá-lo em uma lancha rápida sem perder a experiência de luxo, redesenhando o motor, reduzindo a tripulação e mudando a rota.

Resumo Técnico: MobileWan

Declaração do Problema

Os avanços recentes em difusão de vídeo têm sido impulsionados pela escala de arquiteturas baseadas em transformers (DiT) para bilhões de parâmetros, melhorando significativamente a fidelidade visual e a coerência de movimento. No entanto, a geração de vídeo em dispositivos móveis está substancialmente atrás dos sistemas de escala de servidor devido a restrições rigorosas de pico de memória, a complexidade quadrática da autoatenção (self-attention), o overhead do decodificador e a latência de ponta a ponta. Os modelos móveis existentes são tipicamente restritos a backbones pequenos (0,4–1,8 bilhões de parâmetros), o que inevitavelmente limita a qualidade de geração e cria uma lacuna pronunciada entre o desempenho móvel e o de escala de servidor. O desafio central é que os gargalos não se limitam a um único módulo; simplesmente substituir a atenção softmax por atenção linear muitas vezes exige o retreinamento do zero ou acarreta uma lacuna de expressividade, enquanto abordagens híbridas ainda não converteram totalmente o backbone em uma arquitetura recorrente de baixa memória adequada para implantação móvel.

Metodologia

Os autores propõem o MobileWan, um sistema que demonstra que um video diffusion transformer de 5 bilhões de parâmetros (baseado no Wan2.2-5B) pode ser implantado eficientemente em hardware móvel com restrição de memória através de uma combinação de reformulação recorrente e compressão estruturada. A metodologia consiste em quatro estágios primários de otimização:

1. Poda de Cabeças Aprendível (Learnable Head Pruning)

Em vez da poda de blocos heurística, à qual os autores descobriram que o Wan2.2-5B é altamente sensível, eles introduzem um método de poda de cabeças aprendível.

Mecanismo: Um gate escalar aprendível é introduzido para cada cabeça de autoatenção, modulando sua contribuição. Esses gates são otimizados de ponta a ponta usando um regularizador de esparsidade e uma estratégia de aprendizado com viés de ruído.
Estratégia de Treinamento: O modelo é treinado com uma distribuição de alto viés de ruído (desenhando ruído $\sigma \sim \text{LogitNormal}(1.5, 1)$ ) durante a fase de aprendizado do gate. Isso enfatiza a estrutura global e o movimento, tornando as decisões de poda mais robustas. O processo envolve um cronograma de três fases: exploração de gate suave, o annealamento de temperatura para valores binários e ajuste fino final com uma arquitetura podada fixa.
Resultado: Esta abordagem supera a poda heurística, particularmente em razões de poda agressivas, gerando reduções mensuráveis de FLOPs com perda limitada de qualidade.

2. Destilação de Recorrência (Recurrence Distillation)

Para abordar a complexidade de memória quadrática da autoatenção, os autores convertem o transformer pré-treinado em um modelo autorregressivo por blocos (chunk-wise).

Atenção Híbrida: Eles empregam um mecanismo de atenção híbrida combinando atenção linear causal com atenção softmax local. O modelo atende a um pequeno conjunto de tokens locais via softmax para contexto imediato e usa atenção linear para o contexto histórico.
Reformulação RNN: No tempo de inferência, a atenção linear causal permite que o modelo opere como uma Rede Neural Recorrente (RNN). Ele mantém agregados de execução compactos (vetores de estado $s_t$ e $z_t$ ) para chunks passados em vez de armazenar a matriz de atenção completa.
Benefício: Isso reduz a pegada de memória para ser constante, independentemente do comprimento da sequência, permitindo a geração de vídeos longos em dispositivos com RAM limitada.

3. Destilação de Passos (Step Distillation)

Para reduzir a latência, os autores aplicam a Destilação de Correspondência de Distribuição (DMD) e sua variante D-DMD.

Abordagem: Eles destilam o modelo professor de múltiplos passos em um modelo aluno de poucos passos.
Otimização: Experimentos compararam o DMD padrão, o D-DMD (dividindo a perda em termos de Correspondência de Distribuição e de aumento de Guia Livre de Classificador) e o DMD2 (incorporando perda adversarial).
Seleção: Embora o DMD2 com 2 passos tenha alcançado o maior grau dinâmico e pontuações VBench, os autores observaram que o D-DMD produziu amostras visualmente atraentes com graus dinâmicos ligeiramente menores. O sistema final utiliza uma configuração otimizada para 3 passos de denoising (NFEs) para equilibrar qualidade e velocidade.

4. Otimização do Decodificador (Decoder Optimization)

Os VAEs de vídeo padrão usam convoluções 3D causais que são computacionalmente caras.

Modificação: Os autores constroem sobre o decodificador eficiente LightX2V, mas modificam sua arquitetura para estender a janela de look-back temporal.
Mecanismo: Em vez de condicionar na vizinhança imediata de frames passados, a predição do frame $F_t$ é condicionada a um contexto temporal mais longo (até $F_{t-4}$ ).
Resultado: Isso reduz artefatos temporais e cintilação (flickering) enquanto mantém a eficiência das convoluções 2D, melhorando significativamente a qualidade de reconstrução (PSNR e VBench) em comparação com outros decodificadores eficientes.

5. Pipeline de Quantização

Para permitir a implantação no NPU do Snapdragon® 8 Gen 5, o modelo passa por um processo de quantização de dois estágios:

Quantização Pós-Treinamento (PTQ): Comprime os pesos para 8 bits.
Treinamento com Consciência de Quantização (QAT): Um processo de destilação de dois estágios (por bloco seguido por end-to-end) alinha o modelo quantizado com o professor de precisão total, recuperando a precisão perdida durante o PTQ.

Principais Resultados

O MobileWan atinge as seguintes métricas de desempenho em um dispositivo móvel (NPU Snapdragon® 8 Gen 5):

Especificações de Geração: Gera vídeos de 5 segundos na resolução 480×832, 16 FPS.
Latência: Latência de ponta a ponta de 20 segundos (incluindo 6,65 segundos para o passo de denoising do DiT).
Qualidade: Alcança uma pontuação VBench de 83,79, que é comparável ao modelo Wan2.2 de escala de servidor (83,12) e supera significativamente o estado da arte móvel anterior (Neodragon: 81,61).
Memória: A reformulação recorrente reduz o requisito de pico de memória de "Out of Memory" (OOM) no mobile para 9,9 GB para o DiT e 1,9 GB para o decodificador.
Estudo de Usuário: Em um estudo de usuário cego, os participantes preferiram o MobileWan ao Neodragon 80% das vezes. Em comparações contra o Wan2.2 de servidor ajustado, o MobileWan não foi preferido em 53% dos casos, mas foi preferido em 22%, indicando que é competitivo com o modelo de servidor em metade dos casos.

Significância e Alegações

O artigo afirma que o MobileWan preenche a lacuna de qualidade entre a geração de vídeo móvel e de escala de servidor ao desafiar a suposição de que a geração de vídeo móvel requer modelos pequenos.

Escalabilidade: Demonstra que um video DiT de 5 bilhões de parâmetros pode ser implantado nativamente em hardware móvel comercial através de compressão refinada e reformulação recorrente.
Eficiência vs. Qualidade: O trabalho prova que otimizações agressivas (poda, recorrência, destilação) podem ser aplicadas sem uma perda extrema de qualidade, alcançando uma pontuação VBench (83,79) que rivaliza com modelos de servidor.
Integração de Sistema: O MobileWan é apresentado como o primeiro modelo de difusão de vídeo de escala 5B implantável em um dispositivo móvel comercial, estabelecendo um novo estado da arte na geração de vídeo móvel.

Os autores reconhecem limitações, incluindo qualidade subótima para certos tipos de cenas (ex: rostos humanos de média distância), ocasional saturação ou redução de movimento dependendo do método de destilação, e potenciais descontinuidades temporais ou cintilação em alguns vídeos gerados. Eles pretendem abordar isso em trabalhos futuros.