Resumo Técnico: Compressão de Representação de Vídeo Neural Aprimorada através de Escalas Extremas de Complexidade e Qualidade (NVRC++)

1. Declaração do Problema

As Representações Neurais Implícitas (INRs) emergiram como uma abordagem promissora para a compressão de vídeo, oferecendo desempenho competitivo de taxa-distorção e decodificação rápida ao representar vídeos como redes neurais sobreajustadas (overfitted). No entanto, os codecs baseados em INR existentes enfrentam um compromisso crítico entre complexidade e escalabilidade:

• Modelos de alto desempenho (ex: NVRC, HiNeRV) tipicamente exigem que a complexidade do modelo aumente com a taxa de bits ou qualidade alvo. Isso resulta em uma sobrecarga computacional de decodificação significativa em altas taxas de bits e impede o uso de um único modelo em diversos níveis de qualidade.
• Modelos leves podem alcançar escalabilidade de taxa com uma complexidade fixa, mas sofrem com desempenho de compressão degradado devido à capacidade representacional limitada e à codificação independente de patches de vídeo, o que falha em explorar redundâncias espaço-temporais globais.
• A implementação direta de grades de características de alta resolução (para melhorar a qualidade sem aumentar a profundidade da rede) frequentemente leva a um desempenho subótimo em baixas taxas de bits e a uma sobrecarga computacional/de memória proibitiva durante o processo de otimização (overfitting) para sequências de vídeo longas.

O desafio central é a falta de uma arquitetura unificada que mantenha uma complexidade de decodificação consistente através de uma ampla gama de taxas de bits, mantendo, simultaneamente, um alto desempenho de compressão.

2. Metodologia: O Framework NVRC++

Os autores propõem o NVRC++, um novo codec de vídeo baseado em INR projetado para desacoplar a complexidade do modelo da qualidade de reconstrução. O framework integra quatro inovações principais:

A. Grades de Características de Alta Resolução com Complexidade Fixa

O NVRC++ utiliza uma espinha dorsal (backbone) de rede neural leve pareada com múltiplas grades de características de alta resolução. Diferente de abordagens anteriores onde o tamanho do modelo escala com a qualidade, o NVRC++ utiliza uma única configuração de modelo (camadas de rede fixas) para abranger uma ampla faixa de taxa de bits/qualidade. As grades de alta resolução armazenam características espaço-temporais dinâmicas diretamente, permitindo que o modelo represente detalhes finos sem aumentar o custo computacional da rede decodificadora.

B. Estrutura de Codificação In-Parameter e Framework de Otimização

Para gerenciar os custos computacionais e de memória da otimização de grades de alta dimensão para sequências longas, o NVRC++ introduz uma estrutura de codificação in-parameter inspirada na codificação hierárquica de codecs de vídeo convencionais (ex: Hierarchical-B).

• Fatiamento Temporal: Os parâmetros da grade de características são particionados em fatias temporais. As dependências são modeladas hierarquicamente, onde as fatias em níveis inferiores dependem de fatias de referência em níveis superiores, em vez de processar o tensor da grade inteira simultaneamente.
• Quantização Incondicional e Amostragem Aleatória: Para evitar a explosão de memória causada pelas cadeias de propagação de características no overfitting padrão, o framework emprega tamanhos de quantização que não são condicionados aos quadros anteriores. Isso permite a amostragem aleatória durante o processo de otimização, onde apenas parâmetros parciais são atualizados em cada etapa. Isso reduz significativamente a pegada de memória (permitindo sequências de 1080p de 600 quadros em GPUs de 24GB) enquanto mantém a consistência entre treinamento e teste.
• Mascaramento de Grade de Características: Um mecanismo de mascaramento aleatório (inspirado em Dropout) é aplicado às grades de alta resolução durante os estágios iniciais de treinamento. Isso força o modelo a depender inicialmente de grades de menor resolução, evitando o sobreajuste a detalhes finos em baixas taxas de bits e garantindo a exploração eficaz da redundância espaço-temporal em toda a faixa de taxa de bits.

C. Modelo de Entropia de Grade Multidimensional

Para comprimir eficientemente os parâmetros de grade de alta dimensão, um modelo de entropia avançado é projetado aproveitando três tipos de priors:

1. Priors de Escala: Grades de menor resolução condicionam a codificação de grades de maior resolução.
2. Priors Temporais: Fatias codificadas de passos de tempo anteriores servem como condições para fatias subsequentes.
3. Priors Espaciais: O contexto espacial dentro da mesma fatia é utilizado.
   Este modelo evita a natureza lenta e sequencial dos modelos autorregressivos ao usar uma abordagem de codificação de múltiplos passos com contextos espaciais mascarados, equilibrando eficiência de compressão com alta velocidade de codificação.

D. Arquitetura HiNeRV++

O framework emprega a HiNeRV++, uma versão aprimorada da rede HiNeRV. As principais modificações incluem:

• Entradas de Múltiplas Referências: Em vez de depender apenas de características interpoladas, a HiNeRV++ utiliza múltiplas fatias de características brutas vizinhas como contexto de entrada, fornecendo codificações de maior fidelidade.
• Saída Simplificada: Os blocos de rede de nível mais alto são substituídos por uma única camada de Pixel Shuffle para reduzir os custos de inferência em altas resoluções.
• Integração de Grade: Codificações de diferentes conjuntos de grades de características são alimentadas em múltiplos estágios da rede, não apenas no primeiro.

3. Principais Contribuições

1. Codec INR Escalável: Uma nova arquitetura que suporta quatro níveis distintos de complexidade (de ~7k a ~360k MACs/pixel), onde cada nível cobre uma ampla faixa de taxa de bits e qualidade com uma complexidade de decodificação fixa.
2. Otimização Eficiente: Um framework de otimização que permite o treinamento de grades de alta dimensão em sequências longas sob restrições rigorosas de memória via codificação in-parameter e amostragem aleatória.
3. Modelagem de Entropia Avançada: Um modelo de entropia de grade multidimensional que explora redundâncias de escala, temporais e espaciais para compressão eficiente de parâmetros.
4. Design de Rede Aprimorado: A arquitetura HiNeRV++, que alcança decodificação em tempo real e desempenho superior ao alavancar grades de alta resolução e entradas de múltiplas referências.

4. Resultados Experimentais

O framework NVRC++ foi avaliado nos conjuntos de dados UVG e MCL-JCV (sequências Full HD) contra codecs convencionais de última geração (x265, HM, VTM), codecs neurais baseados em autoencoder (DCVC-FM, DCVC-RT) e codecs baseados em INR existentes (HiNeRV, NVRC, C3).

• Desempenho de Taxa-Distorção: As variantes do NVRC++ (S1–S4) demonstram um desempenho altamente escalável. A variante S3 iguala o desempenho do codec INR de última geração NVRC, enquanto decodifica 7,6 vezes mais rápido. A variante S4 alcança desempenho comparável ao VTM e DCVC-RT.
• Complexidade vs. Velocidade: Diferente do NVRC e HiNeRV, cuja complexidade escala com a taxa de bits, o NVRC++ mantém a complexidade fixa para uma determinada escala. Ele alcança velocidades de decodificação de até 73,4 FPS (S3) e 162,9 FPS (S2) em uma NVIDIA RTX 4090, superando significativamente os métodos de INR existentes.
• Estudos de Ablação: A remoção de qualquer componente (grades de alta resolução, mascaramento, priors de entropia ou entradas de múltiplas referências) resultou em degradação significativa de desempenho, validando a necessidade de cada inovação.
• HiNeRV++ vs. HiNeRV: A nova arquitetura converge mais rápido e alcança um PSNR superior (ex: +2,09 dB em 300 épocas) com menor custo computacional ao transferir o ônus representacional para as grades.

5. Significância e Alegações

O artigo afirma que o NVRC++ representa um passo significativo em direção à implementação prática da codificação de vídeo baseada em INR. Ao resolver o gargalo de escalabilidade, ele permite que uma única configuração de modelo sirva a diversas restrições de hardware e requisitos de qualidade sem sacrificar a eficiência de compressão.

Os autores enfatizam que o NVRC++ alcança um compromisso entre complexidade e desempenho superior, entregando desempenho de última geração em uma gama de qualidade sem precedentes em cada nível de complexidade. Crucialmente, ele permite a decodificação em tempo real (até 73,4 FPS) enquanto mantém um desempenho de taxa-distorção competitivo, abordando a principal limitação dos codecs de INR de alto desempenho anteriores, que eram computacionalmente caros demais para aplicações do mundo real. O trabalho demonstra que redes leves combinadas com grades de características de alta resolução e estratégias de otimização eficientes podem superar tanto os métodos tradicionais baseados em autoencoder quanto os modelos de INR mais pesados.