Towards Redundancy Reduction in Diffusion Models for Efficient Video Super-Resolution

1. Declaração do Problema

Embora os modelos de difusão tenham alcançado resultados state-of-the-art na geração e restauração de vídeo, adaptá-los diretamente para Super-Resolução de Vídeo (VSR) apresenta desafios significativos:

• Incompatibilidade de Tarefa: A geração de vídeo começa a partir de ruído aleatório para sintetizar estrutura e detalhe. Em contraste, a VSR é uma tarefa de restauração condicionada, onde a entrada de baixa qualidade (LQ) já contém informações substanciais de geometria, movimento e conteúdo.
• Redundância: Aplicar toda a maquinaria generativa (projetada para síntese de ruído para imagem) à VSR força o modelo a realizar operações supérfluas, como aprender a filtrar informações já presentes na entrada. Isso leva a:
  • Sobrecarga Computacional: Interações de atenção de longo alcance desnecessárias e etapas de codificação pesadas (por exemplo, codificadores VAE, extratores de prompt).
  • Carga de Aprendizado: O modelo luta para suprimir interações irrelevantes em vez de focar no refinamento de detalhes.
• Complexidade do Mundo Real: Vídeos do mundo real sofrem com degradações diversas e imprevisíveis (desfoque, ruído, compressão) que são frequentemente inconsistentes temporalmente, tornando o treinamento difícil.

2. Metodologia: OASIS

Os autores propõem o OASIS (One-step Attention Specialization for Inference Speed), um modelo de difusão de um passo eficiente projetado para mitigar a redundância enquanto preserva o conhecimento pré-treinado.

A. Roteamento de Especialização de Atenção (ASR)

Em vez de tratar todos os cabeçalhos de atenção em um Transformer de Difusão (DiT) como processadores globais idênticos, o OASIS analisa seus comportamentos intrínsecos e os roteia para padrões específicos:

• Observação: A análise de DiTs pré-treinados revela que, enquanto alguns cabeçalhos exibem atenção global, outros comportam-se consistentemente como processadores localizados (Atenção Intra-frame ou Janela).
• Mecanismo:
  • O modelo calcula a divergência KL entre a distribuição de atenção global original de um cabeçalho e alternativas localizadas (Intra-frame e Janela).
  • Os cabeçalhos são classificados por similaridade com padrões localizados.
  • Um algoritmo de roteamento atribui cabeçalhos específicos aos modos de atenção Global, Intra-frame ou Janela com base em uma razão predefinida ($\rho$).
• Benefício: Isso reduz a redundância, prevenindo interações de longo alcance desnecessárias que diluem pistas de textura e movimento locais, mantendo ao mesmo tempo a capacidade do modelo de capturar contexto global onde necessário.

B. Redução de Redundância na Condição

Para reduzir ainda mais o custo computacional, o OASIS simplifica o pipeline de condicionamento de entrada:

• Remoção do Codificador VAE: Em vez de usar um codificador VAE pesado para mapear o vídeo LQ para o espaço latente, o OASIS usa uma operação leve de Pixel-Unshuffle seguida por uma Projeção Linear. Experimentos mostram que isso preserva informações estruturais (layout da cena, limites) comparáveis ao codificador VAE.
• Remoção do Extrator de Prompt: Como o próprio vídeo LQ fornece condicionamento suficiente, o extrator de prompt é omitido e um prompt vazio é usado.

C. Estratégia de Treinamento Progressivo

Para abordar a carga de aprendizado causada por simplificações arquitetônicas e degradações complexas do mundo real, é empregada uma estratégia de aprendizado de currículo em duas etapas:

1. Etapa 1 (Consistente Temporalmente): O modelo é treinado em dados sintéticos onde todos os quadros em uma sequência de vídeo compartilham o mesmo tipo e severidade de degradação. Isso estabelece capacidades fundamentais de restauração.
2. Etapa 2 (Inconsistente Temporalmente): O treinamento muda para configurações realistas onde as degradações variam quadro a quadro (simulando movimento de câmera instável, compressão variável, etc.).

• Funções de Perda: O modelo otimiza uma combinação de:
  • Perda de Reconstrução Latente: MSE entre latentes previstos e latentes verdadeiros (ground-truth).
  • Perda Perceptual: Combina MSE e LPIPS no espaço de pixels para melhorar a fidelidade visual.
  • Perda Temporal: Usa warping de fluxo óptico para impor consistência quadro a quadro.

3. Principais Contribuições

1. Arquitetura OASIS: Um modelo de difusão de um passo inovador que introduz o Roteamento de Especialização de Atenção (ASR) para atribuir dinamicamente cabeçalhos de atenção a padrões globais ou localizados, reduzindo significativamente a redundância.
2. Condicionamento Eficiente: Substitui codificadores VAE pesados e extratores de prompt por projeções leves de pixel-unshuffle e prompts vazios, reduzindo drasticamente a sobrecarga computacional sem sacrificar a fidelidade estrutural.
3. Treinamento Progressivo: Uma estratégia de currículo que transita de degradações consistentes temporalmente para inconsistentes, permitindo que o modelo lide efetivamente com cenários complexos do mundo real.
4. Desempenho State-of-the-Art: Alcança qualidade de reconstrução superior e velocidade de inferência em comparação com métodos existentes de VSR baseados em difusão.

4. Resultados Experimentais

• Desempenho: O OASIS alcança resultados State-of-the-Art (SOTA) em múltiplos benchmarks (UDM10, SPMCS, YouHQ40, RealVSR, MVSR4x). Ele lidera ou fica em segundo lugar em 27 de 30 métricas relatadas, destacando-se tanto na precisão em nível de pixel (PSNR, SSIM) quanto na qualidade perceptual (DOVER, CLIP-IQA).
• Eficiência:
  • Aceleração: O OASIS é aproximadamente 6,2× mais rápido que a linha de base de um passo SeedVR2.
  • Parâmetros: Utiliza menos parâmetros (1,42B) em comparação com outros modelos de difusão de alto desempenho (por exemplo, SeedVR2 com 3,4B).
  • Tempo de Execução: Em um vídeo de 33 quadros a 720×1280 (GPU A100), o OASIS leva 4,97 segundos, comparado a 30,81 segundos para o SeedVR2.
• Estudos de Ablação:
  • ASR: Supera a atenção global uniforme e baselines de padrão único (intra-frame/janela), provando que a atenção híbrida é ótima.
  • Arquitetura: A remoção do codificador VAE e do extrator de prompt reduz os MACs e o tempo de execução com perda de desempenho negligenciável.
  • Treinamento: A estratégia progressiva (S1+S2) supera significativamente o treinamento apenas em dados inconsistentes, melhorando a consistência temporal ($E^*_{warp}$).

5. Significado

Este trabalho aborda um gargalo crítico na aplicação de IA generativa a tarefas de restauração: a incompatibilidade entre os paradigmas de geração e restauração. Ao identificar e remover componentes redundantes (atenção global onde a local é suficiente, codificadores pesados onde projeções simples bastam), o OASIS demonstra que:

• Modelos de difusão podem ser tornados altamente eficientes para VSR sem retreinamento do zero ou uso de recursos computacionais massivos.
• A adaptação arquitetônica específica da tarefa é mais eficaz do que simplesmente adicionar mais módulos a uma espinha dorsal generativa.
• Modelos de difusão de um passo são viáveis para restauração de vídeo em tempo real e de alta qualidade, preenchendo a lacuna entre o poder generativo teórico e a implantação prática.