TVRN: Invertible Neural Networks for Compression-Aware Temporal Video Rescaling

Resumo Técnico: TVRN: Redes Neurais Invertíveis para Redimensionamento Temporal de Vídeo Consciente de Compressão

Declaração do Problema
O rápido crescimento de conteúdo de vídeo de alta taxa de quadros (HFR) cria um gargalo para a transmissão em redes com restrição de largura de banda. Uma solução comum envolve a redução temporal de vídeos HFR para formatos de baixa taxa de quadros (LFR) para transmissão, seguida de aumento de escala (interpolação de quadros) no lado do cliente. Os métodos existentes geralmente tratam a redução e o aumento de escala como tarefas separadas ou os vinculam apenas por meio de objetivos de treinamento, falhando em explorar plenamente sua natureza recíproca. Isso frequentemente leva à perda de informações de alta frequência. Além disso, as abordagens atuais frequentemente ignoram o impacto de codecs de vídeo com perdas (por exemplo, HEVC, VVC, AV1) em vídeos LFR. A maioria dos métodos aprendidos depende de operações de arredondamento que limitam a compatibilidade com codecs padrão com perdas, e as redes substitutas existentes lutam para modelar com precisão artefatos de compressão interquadro, particularmente aqueles decorrentes da compensação de movimento. Consequentemente, alcançar um redimensionamento de taxa de quadros eficaz e de alta qualidade sob compressão com perdas não diferenciável permanece um desafio significativo.

Metodologia
Os autores propõem o TVRN (Rede de Redimensionamento Temporal de Vídeo), um framework de ponta a ponta projetado para redimensionamento de taxa de quadros consciente de compressão. A arquitetura central e os componentes incluem:

1. Arquitetura Invertível com MIMO-TWT: Para regularizar a perda de informações durante a redução de escala, o TVRN adota uma estrutura de rede neural invertível (INN). Ele introduz uma Transformada Wavelet Temporal Multi-Entrada Multi-Saída (MIMO-TWT). Diferentemente das wavelets temporais tradicionais que exigem pistas de movimento adicionais, a MIMO-TWT emprega um esquema de elevação de predição primeiro, utilizando uma rede leve de interpolação de quadros de vídeo para predição e blocos Dense3D-T para atualizações. Isso decompõe vídeos HFR em quadros de baixa frequência temporal (LFR) e resíduos de alta frequência (HF) sem necessidade de transmitir informações de movimento extras.
2. Reconstrução de Alta Frequência: Para recuperar os componentes HF descartados durante o aumento de escala, o framework utiliza um módulo de reconstrução guiado por fluxo óptico bidirecional. Este módulo alinha características contextuais de quadros LFR vizinhos usando fluxo óptico bidirecional para abordar o desalinhamento espacial causado pelo movimento, refinando as estimativas iniciais de HF por meio de uma U-Net consciente de contexto.
3. Rede Substituta para Codecs com Perdas: Para permitir o treinamento de ponta a ponta através de codecs com perdas não diferenciáveis, os autores projetam uma rede substituta ($G$). Esta rede imita distorções de compressão degradando componentes HF. Ela incorpora Blocos Q-Invertíveis, que são camadas de acoplamento invertíveis conscientes de compressão que condicionam suas funções de transformação aos parâmetros de quantização (QP) derivados do codec. Isso permite que a rede simule artefatos de predição interquadro e perda de codificação de resíduos com mais precisão do que as redes substitutas anteriores baseadas em Dense3D-T.
4. Arquitetura Assimétrica com Características Conscientes de Compressão: Reconhecendo que arquiteturas invertíveis simétricas são sensíveis a deslocamentos de distribuição causados por níveis variados de compressão, o TVRN estende-se para um design assimétrico. Ele integra módulos de Melhoria de Qualidade de Vídeo (VQE). Crucialmente, em vez de aplicar VQE diretamente para remover artefatos (o que pode distorcer informações HF embutidas), o framework trata o aumento de escala como um processo de desacoplamento. Ele incorpora características conscientes de compressão aprendidas por meio de uma estratégia de aprendizado para ranqueamento pairwise. Essas características permitem que um único modelo controle adaptativamente a força de melhoria em diferentes QPs, melhorando a robustez sem exigir modelos específicos para QP.
5. Estratégia de Treinamento Alternado: O framework emprega uma estratégia de otimização alternada onde a rede substituta e a rede de redimensionamento são treinadas em etapas alternadas para garantir convergência estável.

Principais Contribuições

• Framework Invertível: O design da MIMO-TWT e de um módulo de reconstrução HF guiado por fluxo óptico bidirecional, que regulariza e reconstrui efetivamente informações de alta frequência perdidas durante a redução de escala dentro de uma arquitetura invertível.
• Substituta Consciente de Compressão: A introdução de uma rede substituta com blocos invertíveis conscientes de compressão para estimar gradientes de codecs com perdas não diferenciáveis, permitindo otimização de ponta a ponta sob configurações realistas de compressão.
• Extensão Assimétrica: A identificação de desafios na integração de métodos VQE e a proposta de uma arquitetura assimétrica que usa características conscientes de compressão derivadas de aprendizado para ranqueamento para melhorar a robustez em níveis variados de compressão.
• Desempenho: A demonstração de que o TVRN supera métodos existentes de pulso de quadros e baseados em aprendizado na qualidade de reconstrução sob configurações industriais de compressão de vídeo.

Resultados Experimentais
Extensos experimentos foram conduzidos em benchmarks padrão (UCF-101, Vimeo90K, SNU-FILM) usando codecs H.265, VVC e AV1.

• Qualidade de Reconstrução: O TVRN alcança desempenho state-of-the-art na reconstrução HFR, superando os melhores métodos VFI existentes (por exemplo, GIMM-VFI) por margens significativas em PSNR e SSIM. Por exemplo, no conjunto de teste Vimeo90K, ele alcança 35,65 dB de PSNR comparado a 35,23 dB para o GIMM-VFI.
• Desempenho Taxa-Distorção (RD): O TVRN é o primeiro método aprendível de redimensionamento de taxa de quadros a superar métodos VFI state-of-the-art no desempenho RD. Ele alcança melhorias de taxa-BD de -7,22% (PSNR) e -16,40% (SSIM) no UCF-101 comparado ao GIMM-VFI.
• Eficácia da Substituta: Estudos de ablação mostram que substituir o estimador de gradiente de um método concorrente (CSTVR) pela rede substituta proposta melhora significativamente seu desempenho, validando a capacidade da substituta de modelar distorções de codec.
• Eficiência: Uma variante leve, TVRN-S, reduz os FLOPs para 6,54% e o tempo de aumento de escala para 35,75% do GIMM-VFI, mantendo qualidade competitiva.
• Qualidade Subjetiva: Um estudo de Pontuação Média de Opinião (MOS) com 25 participantes indica uma preferência clara pelo TVRN (4,02) sobre o segundo melhor método (3,69).

Significado e Alegações
O artigo afirma que o TVRN representa um avanço significativo ao integrar com sucesso redes neurais invertíveis com mecanismos conscientes de compressão para redimensionamento temporal de vídeo. Os autores afirmam que este é o primeiro método aprendível de redimensionamento de taxa de quadros a superar métodos VFI state-of-the-art sob codecs modernos com perdas. Ao modelar a natureza recíproca da redução e do aumento de escala e simular com precisão a compressão com perdas, o TVRN aborda a lacuna crítica entre o redimensionamento de taxa de quadros teórico e a implantação prática em ambientes de streaming com restrição de largura de banda. O trabalho destaca que a otimização conjunta desses processos, em vez de tratá-los separadamente, é essencial para preservar informações de movimento de alta frequência e alcançar reconstrução de alta fidelidade.