Resumo Técnico: CineMobile

Definição do Problema

O rápido avanço dos Diffusion Transformers (DiTs) permitiu a geração de vídeos de alta qualidade, mas sua implantação em dispositivos móveis continua sendo um desafio significativo. Modelos de última geração, como o Wan2.1-14B, exigem recursos computacionais substanciais, grandes contagens de parâmetros e processos de denoising iterativos de múltiplas etapas (por exemplo, 40 etapas), resultando em tempos de inferência de minutos mesmo em GPUs de alto desempenho. Isso torna a geração de imagem-para-vídeo (I2V) em tempo real e em dispositivos locais inviável. Além disso, as técnicas de aceleração móvel existentes visam primariamente arquiteturas U-Net, deixando os modelos DiT amplamente inexplorados. Uma restrição crítica no I2V móvel é a necessidade de preservar a semântica do prompt e detalhes finos (como a identidade de um retrato) ao mesmo tempo em que se alcança uma aceleração agressiva, um equilíbrio difícil de atingir com métodos padrão de poda ou quantização.

Metodologia

O CineMobile aborda esses desafios por meio de uma estratégia de otimização de três frentes projetada para comprimir um modelo I2V baseado em DiT enquanto mantém a qualidade de movimento cinematográfico. O framework foca em três efeitos cinematográficos específicos: bullet time, dolly zoom e slow motion.

1. Poda de Profundidade Estruturada (Structured Depth Pruning)

Para reduzir o tamanho do modelo sem interromper a modelagem temporal ou a preservação da identidade, o CineMobile adapta o método de Poda de Substituição com Destilação de Camadas Contíguas (PPCL).

• Profundidade vs. Largura: Ao contrário da poda de largura, que altera as dimensões ocultas e pode perturbar as representações temporais pré-treinadas, o CineMobile emprega poda de profundidade estruturada. Ele identifica e remove camadas contíguas redundantes mantendo a dimensionalidade oculta do backbone inalterada.
• Processo: O método utiliza sondas lineares residuais e similaridade CKA para detectar intervalos de camadas redundantes em sequências de vídeo latentes. Os intervalos selecionados são substituídos por um único bloco substituto treinável, inicializado a partir do meio do intervalo removido.
• Destilação: Os blocos substitutos são treinados para reproduzir os estados ocultos do modelo professor no output do intervalo, utilizando dados de retratos e de movimento para garantir a retenção da consistência de identidade e da controlabilidade de movimento.

2. Destilação de Etapas via Aprendizado por Reforço Adversário

Para reduzir o número de etapas de inferência de mais de 20 para 4, o CineMobile utiliza um pipeline de ajuste fino e destilação de duas etapas:

• Warm-up de Ajuste Fino Supervisionado (SFT): Antes da destilação, o modelo estudante podado passa por um estágio de warm-up usando objetivos de flow-matching. Ele é primeiro ajustado nos vídeos do modelo denso original para restaurar as capacidades generativas e, em seguida, adaptado às distribuições de movimento cinematográfico alvo usando vídeos gerados pelo professor.
• Destilação Adversária: Baseando-se no AdvDMD, o modelo é destilado em um gerador de 4 etapas. Este estágio integra Aprendizado por Reforço (RL) via GRPO (Group Relative Policy Optimization).
  • Um estimador de pontuação "real" congelado (professor) e um estimador de pontuação "fake" online (estudante) fornecem sinais de correspondência de distribuição.
  • Um discriminador leve acoplado ao modelo fake fornece feedback de realismo adversário.
  • As pontuações do discriminador nos latentes intermediários servem como recompensas para o GRPO, refinando a trajetória de denoising de 4 etapas para maximizar a qualidade visual e a consistência temporal.

3. Quantização Pós-Treinamento Híbrida (PTQ)

Para atender às rigorosas restrições de memória de dispositivos móveis, o CineMobile aplica uma estratégia de quantização de precisão híbrida:

• Ativação: Mantida em precisão de 16 bits para estabilidade numérica.
• Pesos: A maioria das camadas lineares (atenção, embeddings de texto/tempo) é quantizada para 8 bits (FP8).
• Redes de Feed-Forward (FFN): Dado que as FFNs constituem uma grande fração dos parâmetros, suas projeções lineares são quantizadas para 4 bits.
• Resultado: Esta estratégia comprime a pegada do modelo para menos de 1 GB.

Resultados Principais

O CineMobile foi avaliado na plataforma MediaTek Dimensity 8400 Ultimate 5G e comparado contra o modelo professor Wan2.1-14B e outros sistemas comerciais.

• Eficiência:

  • Aceleração: O CineMobile alcança um ganho de velocidade de 40× no tempo de geração em comparação com o modelo professor.
  • Latência: No MediaTek Dimensity 8400, ele gera vídeos de 480p com 49 quadros com uma latência de denoising por etapa de 20 segundos (o tempo total de geração é significativamente reduzido em comparação aos 240s do professor no H200).
  • Computação: Reduz o DiT-FLOPs em 71,89× em relação ao professor.
  • Memória: O uso de pico de memória no dispositivo móvel é de 1,8 GB, com a pegada do modelo abaixo de 1 GB.

• Qualidade:

  • Scores VBench: O CineMobile alcança pontuações comparáveis ao modelo professor de 14B em três cenários cinematográficos (Bullet Time: 88,35 vs 89,27; Dolly Zoom: 89,30 vs 89,96; Slow Motion: 88,05 vs 88,51).
  • Avaliação Humana: Em comparações com modelos comerciais (Kling, Hailuo, Vidu), o CineMobile demonstrou qualidade perceptiva geral competitiva e alcançou o melhor desempenho em controle de câmera, especificamente na manutenção de movimento orbital suave e consistência entre sujeito e fundo.
  • Ablação: A inclusão do refinamento por GRPO melhorou os scores totais em aproximadamente 0,5 pontos, aumentando principalmente a qualidade estética e de imagem.

Significância e Alegações

O artigo afirma que o CineMobile preenche a lacuna entre a geração de vídeo baseada em DiT de alta fidelidade e a implantação prática em dispositivos móveis. Sua principal significância reside em demonstrar que:

1. A poda estruturada combinada com a destilação de etapas adversária pode reduzir drasticamente as etapas de inferência e o tamanho do modelo sem sacrificar a dinâmica temporal complexa necessária para efeitos cinematográficos.
2. A quantização híbrida (4-bit/8-bit) permite a execução de modelos de geração de vídeo de grande escala em hardware móvel de consumo com pegadas de memória abaixo de 1 GB.
3. A geração cinematográfica em dispositivo (on-device) é viável, oferecendo uma solução prática para criar vídeos de bullet time, dolly zoom e slow motion diretamente em smartphones, preservando a identidade do sujeito e a consistência da cena melhor do que os métodos atuais focados em dispositivos móveis.

Os autores posicionam o CineMobile não como um substituto para a geração em escala de nuvem, mas como uma alternativa eficiente e viável para criação local, especificamente otimizada para movimento de câmera controlável em vez de apenas qualidade de imagem estática.