Resumo Técnico: DCVC-MB: Compressão de Vídeo com B-Frames Neural utilizando Modelos de Espaço de Estados

Declaração do Problema

Embora os codecs de vídeo tradicionais (ex: VVC, HEVC) alcancem ganhos significativos de compressão por meio da predição bidirecional (B-frames), os Codecs de Vídeo Neurais (NVCs) têm dependido predominantemente de estruturas de P-frames unidirecionais. As tentativas existentes de incorporar B-frames em NVCs têm enfrentado dois problemas principais:

1. Fusão Ineficaz: Métodos anteriores falham em fundir eficientemente a informação temporal bidirecional, muitas vezes apresentando desempenho inferior às abordagens de apenas P-frame.
2. Complexidade Computacional: Arquiteturas baseadas em Transformers, que são capazes de capturar dependências de longo alcance, escalam quadraticamente ($O(N^2)$) com a resolução. Isso leva a um consumo de memória proibitivo (excedendo os limites de VRAM) e custos computacionais em altas resoluções (720p, 1080p), tornando-os impraticáveis para implantação no mundo real.

Metodologia

Os autores propõem o DCVC-MB (DCVC-Mamba), um framework de codec de vídeo neural projetado especificamente para codificação de B-frame usando Modelos de Espaço de Estados (SSMs). A arquitetura baseia-se no framework DCVC-DC, mas introduz mudanças fundamentais para permitir o acesso simultâneo à informação temporal passada e futura.

Componentes Arquiteturais Principais

1. Fusão de Características Bidirecional via Mamba:

   • Ao contrário de modelos anteriores que utilizam um único Buffer de Imagem Decodificada (DPB) do passado, o DCVC-MB mantém dois DPBs: um do frame passado ($X_{t-1}$) e um do frame futuro ($X_{t+1}$).
   • Essas características são fundidas usando um Bloco Mamba Bidirecional (BMB). A arquitetura Mamba oferece complexidade linear ($O(N)$) em comparação com a complexidade quadrática dos Transformers, permitindo o processamento eficiente em altas resoluções.
   • O processo de fusão envolve a concatenação de frames de referência, a incorporação (embedding) destes via uma CNN 2D, a tokenização e o processamento da sequência através do SSM. O SSM modela a dinâmica do sistema usando uma Equação Diferencial Ordinária (ODE) discretizada com parâmetros aprendíveis ($A, B, C$).
   • Para capturar dependências bidirecionais complexas, o modelo emprega um método Espacial-Primeiro Bidirecional, processando tokens tanto em varreduras de linha (row-major) para frente quanto para trás, e somando as saídas.

2. Pulo de Latente Adaptativo (Adaptive Latent Skipping):

   • Para reduzir o tempo de codificação de entropia, o framework utiliza um mecanismo de pulo de latente adaptativo. Em vez de um limiar fixo, utiliza uma estratégia de limiar relativo baseado no desvio padrão ($\sigma$) dos elementos latentes dentro de um frame.
   • Latentes com $\sigma_i < \text{média}(\sigma)$ são pulados (substituídos por um valor médio), enquanto outros são codificados. Isso reduz o tempo de codificação de entropia em aproximadamente 9$\times$ para P-frames e 5$\times$ para B-frames sem introduzir computação assimétrica.

3. Embedding de Posição Canônico:

   • Para abordar a incompatibilidade de resolução entre o treinamento (256$\times$256) e a inferência (até 1080p), os autores substituem os embeddings de posição de coordenadas de pixel padrão por Embeddings de Posição Canônicos.
   • As coordenadas espaciais são normalizadas para um plano de imagem canônico ($x, y \in [0, 1]$) em vez de usar valores de pixels brutos. Isso garante que os harmônicos posicionais permaneçam consistentes entre resoluções, evitando o overfitting à resolução de treinamento.

4. Otimizações de Inferência:

   • Open GoP: Permite que o último B-frame de um Grupo de Imagens (GoP) faça referência ao I-frame do GoP subsequente, fornecendo referências temporalmente mais próximas.
   • Codificação Bidirecional: Codifica GoPs de índices ímpares em ambas as direções (frente e trás), selecionando o resultado com o menor custo de taxa-distorção. GoPs de índices pares utilizam uma configuração fechada para manter a complexidade linear.

Principais Contribuições

• Arquitetura Inovadora: Introdução de uma arquitetura de fusão de características bidirecional baseada em Modelos de Espaço de Estados (Mamba) que permite a codificação eficiente de B-frames em altas resoluções onde abordagens baseadas em Transformers falham devido a restrições de memória.
• Estratégia de Frame IBP: Implementação de um modelo de compressão neural base que suporta codificação de Acesso Aleatório (RA) de vídeo usando ordenação de frames IBP.
• Mecanismos de Eficiência: Desenvolvimento de uma técnica de pulo de latente baseada em entropia adaptativa para acelerar a codificação de entropia e a integração de estratégias de tempo de inferência (Open GoP e Codificação Bidirecional) para aumentar o desempenho da compressão.
• Generalização de Resolução: O uso de embeddings de posição canônicos para garantir que o modelo se generalize efetivamente de dados de treinamento de baixa resolução para inferência de alta resolução.

Resultados Experimentais

O método foi avaliado em datasets padrão (HEVC, UVG, MCL-JCV) usando conversão RGB BT.709, comparando-se contra VTM-19.0 (configurações LDP e RA) e NVCs de última geração (DCVC-DC, DCVC-FM).

• Desempenho vs. Codecs Tradicionais: O DCVC-MB alcança reduções de BD-rate de até 30,45% sobre o VTM-19.0-LDP e 1,81% sobre o VTM-19.0-RA (Inter-GoP=16).
• Desempenho vs. Codecs Neurais: O modelo demonstra reduções médias de BD-rate de 8,98% em comparação com NVCs anteriores (especificamente o DCVC-FM) e 20,19% sobre o benchmark mais forte, VTM-19.0-RA.
• Eficiência: O escalonamento linear do modelo de fusão Mamba permite que o pipeline completo de B-frame caiba em 13,8GB de VRAM a 1080p, enquanto uma arquitetura Transformer comparável excede 40GB.
• Estudos de Ablação: Experimentos confirmam que o modelo de fusão Mamba é responsável pela maior parte dos ganhos de BD-rate ($-4,55\%$), com as estratégias de tempo de inferência fornecendo melhorias aditivas. Os embeddings de posição canônicos mostraram-se críticos para a generalização para resoluções não vistas.

Significância e Alegações

O artigo afirma que o DCVC-MB representa um avanço significativo na compressão de vídeo neural ao unir com sucesso a eficiência de compressão da predição bidirecional com a viabilidade computacional de modelos de deep learning.

Os autores afirmam que:

1. Escalabilidade: Ao utilizar o Mamba, o framework alcança a codificação prática de B-frame em altas resoluções (720p, 1080p), superando os gargalos de memória que limitaram os NVCs bidirecionais anteriores.
2. Competitividade: O DCVC-MB é o primeiro NVC a superar a configuração mais forte do VTM-19.0-RA, demonstrando que abordagens neurais podem agora competir ou exceder o desempenho dos principais codecs tradicionais em cenários de Acesso Aleatório (Random Access).
3. Praticidade: Através do pulo de latente adaptativo e otimizações de tempo de inferência, o método equilibra alto desempenho de compressão com redução nos tempos de codificação/decodificação, aproximando a compressão de vídeo neural da implantação prática.

Os autores reconhecem limitações, observando que o desempenho pode degradar em datasets específicos (ex: MCL-JCV) devido a lacunas de domínio entre os dados de treinamento (vídeo natural) e os dados de teste (ex: conteúdo animado com movimento drástico), e que a otimização para YUV420 continua sendo um desafio em comparação com o treinamento em RGB.