Resumo Técnico: Difusão de Vídeo Móvel

Declaração do Problema

Os modelos de difusão de vídeo alcançaram avanços significativos em realismo e controlabilidade, principalmente através de arquiteturas de denoising espaço-temporais como 3D UNets ou 3D Diffusion Transformers (DiTs). No entanto, esses modelos demandam alto poder computacional e de memória, restringindo sua implantação em ambientes de nuvem com GPUs de alto desempenho. Essa limitação dificulta a adoção de tecnologias de geração de vídeo para aplicações que exigem execução local em dispositivos móveis.

Trabalhos anteriores focaram na aceleração da difusão de vídeo através da redução do número de etapas de amostragem (por exemplo, via modelos de consistência ou destilação adversarial), mas essas abordagens não abordam a pegada fundamental de memória e o custo computacional da própria arquitetura do modelo. Consequentemente, os métodos existentes permanecem impraticáveis para implantação em dispositivos devido às restrições de recursos.

Metodologia

Os autores introduzem o MobileVD, o primeiro modelo de difusão de vídeo otimizado para dispositivos móveis. Partindo do UNet espaço-temporal do Stable Video Diffusion (SVD), os autores aplicam uma série de otimizações arquiteturais e de treinamento para reduzir o uso de memória e o custo computacional, mantendo a qualidade visual.

1. Ajuste Fino Adversarial (Redução de Etapas)

Seguindo o framework SF-V, os autores empregam ajuste fino adversarial para reduzir o processo de denoising de 25 etapas para uma única etapa.

• Mecanismo: Um discriminador é inicializado com a parte de codificação do UNet de denoising. O gerador é treinado usando perdas pseudo-Huber e adversariais não saturadas, com uma penalidade R1 para regularização do discriminador.
• Resultado: Permite a geração de vídeo em uma única passagem, reduzindo drasticamente o tempo de inferência.

2. Arquitetura UNet Amigável para Dispositivos Móveis

Para adaptar o UNet às restrições móveis, várias modificações estruturais são introduzidas:

• Ajuste Fino de Baixa Resolução: A resolução de entrada é reduzida para $512 \times 256$ (resolução latente de $64 \times 32$). O modelo é ajustado com este alvo de resolução para evitar a degradação de qualidade observada ao simplesmente redimensionar um modelo pré-treinado de alta resolução.
• Multiescalonamento Temporal: Em vez de manter uma resolução temporal constante em toda a rede, os autores introduzem operações de downsampling e upsampling temporais. Os mapas de características são subamostrados por um fator de 2 ao longo do eixo temporal após o primeiro bloco de downsampling e restaurados via upscaling de vizinho mais próximo antes do bloco de upsampling final. Isso reduz FLOPs e latência com perda mínima de qualidade.
• Cross-Attention Otimizada: No SVD, as camadas de cross-attention atendem a um único token de contexto (o embedding CLIP da imagem de condicionamento). Os autores identificam que computar o mapa de similaridade ($QK^T$) e o softmax para um único token de chave é uma operação nula (no-op). Eles removem as matrizes de projeção de query e key e a computação de similaridade, reduzindo significativamente a latência móvel e evitando erros de falta de memória (OOM) nos dispositivos.

3. Novas Técnicas de Poda (Pruning)

Para comprimir ainda mais o modelo, duas estratégias de poda inéditas são propostas:

• Funil de Canais (Channel Funneling): Um método para reduzir a dimensionalidade de canais das camadas afins (especificamente em mecanismos de atenção) durante a inferência.
  • Mecanismo: Duas matrizes de funil ($F_1, F_2$) são inseridas entre as camadas lineares para reduzir a dimensão intermediária de canais ($c'$). Durante a inferência, esses funis são fundidos com as matrizes de peso originais.
  • Inicialização: Os autores propõem a Inicialização Singular Acoplada (CSI), usando decomposição singular truncada para inicializar as matrizes de funil, mimetizando a melhor aproximação de baixo rank da matriz de peso efetiva original.
  • Treinamento: As matrizes de funil são treinadas juntamente com a rede.
• Poda de Bloco Temporal Aprendível:
  • Mecanismo: Cada bloco temporal recebe um valor de importância ($q_i$). Durante o treinamento, um portão (gate) zero-um é amostrado para cada bloco com base nas probabilidades de inclusão derivadas desses valores de importância.
  • Otimização: As probabilidades de inclusão são aprendidas via um problema de otimização restrita para garantir que um orçamento específico de blocos ($n$) seja selecionado por iteração. Um estimador de passagem direta (STE) permite o treinamento de ponta a ponta.
  • Inferência: Apenas os $n$ blocos com as maiores pontuações de importância são retidos.

Principais Contribuições

1. Primeiro Modelo de Difusão de Vídeo Móvel: O artigo apresenta o MobileVD, a primeira tentativa de implantar um modelo generativo de vídeo espaço-temporal diretamente em dispositivos móveis.
2. Otimizações Arquiteturais: Introdução de multiescalonamento temporal e cross-attention otimizada, especificamente adaptadas para as restrições de hardware móvel.
3. Esquemas de Poda Inovadores: Desenvolvimento de "Channel Funneling" para redução de largura e uma técnica de "Poda de Bloco Temporal Aprendível" que permite uma redução significativa de parâmetros sem busca manual de arquitetura.
4. Redução de Etapas Adversarial: Aplicação de ajuste fino adversarial para alcançar geração de etapa única em um backbone otim-imizado para dispositivos móveis.

Resultados

Os autores avaliam o MobileVD em um smartphone Xiaomi-14 Pro equipado com uma plataforma móvel Qualcomm Snapdragon® 8 Gen 3.

• Eficiência: O MobileVD é 523× mais eficiente em termos de custo computacional (1817.2 vs. 4.34 TFLOPs) em comparação ao baseline SVD.
• Latência: Ele gera latentes para um clipe de 14 quadros ($14 \times 512 \times 256$ px) em 1,7 segundos no dispositivo móvel.
• Qualidade: O modelo atinge um Fréchet Video Distance (FVD) de 149 (contra 171 para o baseline em comparações específicas, embora o resumo note 149 vs 171 como uma leve queda). Os autores observam que uma diferença de até 20 unidades de FVD normalmente entra no desvio padrão e não afeta significativamente a qualidade visual.
• Comparação: O MobileVD supera outros métodos de aceleração (AnimateLCM, SF-V, UFOGen) na relação qualidade-eficiência, oferecendo um FVD melhor com computação significativamente menor.

Significância e Alegações

O artigo afirma ser o primeiro trabalho a construir com sucesso um modelo de difusão de vídeo para implantação móvel. Ao abordar tanto o custo de amostragem iterativa quanto a pegada de memória/computação arquitetural, os autores demonstram que a geração de vídeo é viável em dispositivos móveis de consumo.

Os autores posicionam este trabalho como um "degrau" para uma acessibilidade mais ampla. Eles reconhecem limitações atuais, especificamente a restrição a 14 quadros em $256 \times 512$ de resolução, e sugerem que trabalhos futuros poderiam utilizar autoencoders mais eficientes para aumentar as taxas de compressão espacial e temporal. O trabalho é enquadrado como um passo para democratizar a geração de vídeo, permitindo que usuários criem conteúdo localmente com menos controles de acesso em comparação com soluções baseadas em nuvem.