Resumo Técnico: NeR-SC – Adaptando Representação Neural de Vídeo para Conteúdo de Tela

1. Declaração do Problema

As representações neurais implícitas (INR) emergiram como um paradigma competitivo para compressão de vídeo, particularmente para cenas naturais. No entanto, os métodos existentes (por exemplo, NeRV, SNeRV) enfrentam dificuldades com vídeo de conteúdo de tela (comum em desktop remoto, educação online e jogos em nuvem). O conteúdo de tela exibe propriedades estatísticas distintas que os codecs de vídeo naturais não conseguem explorar:

• Paletas de Cores Discretas: Bordas nítidas e elementos de interface do usuário utilizam um conjunto limitado de cores em vez de gradientes contínuos.
• Redundância Temporal Forte: Grandes porções do quadro permanecem estáticas ao longo das sequências, com mudanças confinadas a pequenas regiões (por exemplo, cursores).
• Estrutura Multiescala: Texto e elementos gráficos exigem tratamento preciso de transições nítidas.

Os métodos atuais de representação neural de vídeo realizam regressão de valores RGB contínuos, utilizam fusão sequencial de características que pode ser subótima para conteúdo gráfico e decodificam cada quadro independentemente, ignorando a redundância temporal. Isso resulta em uma lacuna de desempenho em comparação com codecs tradicionais (como H.264/H.265) e codecs especializados em aprendizado profundo (como DSCVC) para conteúdo de tela.

2. Metodologia

Os autores propõem o NeR-SC (Representação Neural para Conteúdo de Tela), um framework construído sobre a espinha dorsal SNeRV. A arquitetura decompõe os quadros de entrada usando uma transformada de wavelet 2D Haar de nível único. A sub-banda de baixa frequência (LL) é processada por um codificador-decodificador ConvNeXt pesado, enquanto as sub-bandas de alta frequência (HF) são reconstruídas por meio de cabeças convolucionais leves.

O NeR-SC introduz três inovações específicas para adaptar essa espinha dorsal ao conteúdo de tela:

A. Paleta de Cores Aprendível

Reconhecendo que o conteúdo de tela depende de cores discretas, os autores substituem a regressão RGB sem restrições para a sub-banda LL por uma abordagem de classificação por pixel.

• Uma matriz de paleta treinável $P \in \mathbb{R}^{K \times 3}$ (onde $K=64$) é aprendida.
• O decodificador produz logits para $K$ índices de cor, que são convertidos em probabilidades por meio de um softmax escalado por temperatura.
• A sub-banda LL reconstruída é uma combinação convexa dessas entradas da paleta.
• As sub-bandas de alta frequência permanecem sem restrições para preservar a fidelidade das bordas e os gradientes.

B. Módulo de Fusão Densa Multi-Porta (MGF)

O SNeRV original utiliza uma estratégia de fusão sequencial par a par (MRF) que restringe o fluxo de informação a estágios adjacentes. O NeR-SC substitui isso pela fusão densa e simultânea dos últimos três estágios do decodificador ($F_3, F_4, F_5$).

• As características são projetadas para uma dimensão comum e alinhadas via interpolação bilinear.
• Um bloco residual funde as características concatenadas.
• Um bloco Squeeze-and-Excitation (SE) aplica controle de atenção por canal de forma residual, permitindo que a rede aprenda dinamicamente a importância das características entre os estágios.

C. Estratégia de Pulo de Quadro no Nível de Embedding

Para abordar a forte redundância temporal, os autores introduzem um mecanismo para contornar o decodificador para quadros estáticos.

• Como a função de decodificação é determinística, quadros com embeddings latentes semelhantes produzem reconstruções quase idênticas.
• Durante a decodificação, o embedding latente do quadro atual $z_i$ é comparado ao embedding do último quadro decodificado $z_k$ usando uma distância L1 normalizada.
• Se a distância cair abaixo de um limiar $\tau$ (padrão 0,005), o decodificador é pulado e o quadro anterior é reutilizado.
• Essa estratégia incorre em zero sobrecarga de treinamento e requer o armazenamento de apenas um único limiar escalar.

3. Principais Contribuições

1. Paleta de Cores Aprendível: Converte a regressão contínua para classificação discreta na sub-banda de baixa frequência, modelando efetivamente as paletas de cores limitadas do conteúdo de tela enquanto mantém a expressividade para detalhes de alta frequência.
2. Fusão Densa Multi-Porta (MGF): Substitui a fusão sequencial por interação inter-estágio densa e controlada por atenção, melhorando a integração de características multiescala e reduzindo a contagem de parâmetros.
3. Estratégia de Pulo no Nível de Embedding: Um mecanismo de zero sobrecarga que detecta redundância temporal por meio de embeddings latentes compactos, permitindo decodificação em tempo real ao pular invocações redundantes do decodificador.
4. Validação de Desempenho: Demonstra que o NeR-SC supera métodos representativos de representação neural de vídeo e, em baixas taxas de bits, supera codecs tradicionais (H.264, H.265) em benchmarks de conteúdo de tela.

4. Resultados Experimentais

O método foi avaliado em dois conjuntos de dados: DSCVC (conteúdo de tela diversificado) e VCD (videoconferência).

• Desempenho Quantitativo:

  • O NeR-SC alcançou uma PSNR média de 40,32 dB no DSCVC e 41,73 dB no VCD.
  • Superou a espinha dorsal SNeRV em 0,54 dB (DSCVC) e 0,11 dB (VCD).
  • Em baixas taxas de bits, o NeR-SC superou o H.264 e o H.265, demonstrando desempenho superior taxa-distorção adaptado às estatísticas do conteúdo de tela.
  • Em estudos de ablação de tamanho do modelo, o NeR-SC com 1,5M de parâmetros (38,54 dB) já superou o HNeRV com 6,0M de parâmetros (36,81 dB).

• Desempenho Qualitativo:

  • Comparações visuais mostraram que o NeR-SC produziu estruturas mais nítidas e reprodução de cores mais consistente do que NeRV e HNeRV.
  • Comparado ao SNeRV, o NeR-SC preservou melhor elementos de conteúdo (por exemplo, blocos retangulares escuros) e fronteiras, atribuído aos módulos de paleta e MGF.

• Eficiência:

  • A estratégia de pulo no nível de embedding aumentou a taxa de transferência de decodificação em 20,7 FPS, alcançando 61,7 FPS (tempo real) sem perda de PSNR.
  • Estudos de ablação confirmaram que o módulo de Paleta adicionou +0,22 dB de PSNR, o MGF adicionou +0,17 dB de PSNR enquanto reduzia parâmetros, e a estratégia de Pulo forneceu o ganho de taxa de transferência.

5. Significado e Alegações

O artigo afirma que o NeR-SC preenche com sucesso a lacuna entre a representação neural de vídeo de propósito geral e as necessidades estatísticas específicas do conteúdo de tela. Ao modelar explicitamente cores discretas, aprimorar a fusão multiescala e aproveitar a redundância temporal no nível de embedding, o framework alcança desempenho state-of-the-art entre métodos neurais.

Os autores enfatizam que métodos de representação neural, quando adequadamente adaptados ao tipo de conteúdo alvo, podem competir e até superar codecs tradicionais para conteúdo de tela, particularmente em baixas taxas de bits. O trabalho também destaca o potencial de estratégias de pulo de zero sobrecarga para habilitar a decodificação em tempo real sem comprometer a qualidade, abordando um gargalo crítico na implantação de codecs neurais para aplicações interativas como jogos em nuvem e desktop remoto.

Futuros trabalhos são notados como focados em estender o NeR-SC para resoluções mais altas e integrá-lo com ferramentas tradicionais de Codificação de Conteúdo de Tela (SCC) para pipelines híbridos.