Resumo Técnico: NAE-VC – Codificação Aritmética Neural como um Substituto Aprendido para o CABAC

1. Declaração do Problema

A codificação de entropia representa o estágio final e sem perdas dos codecs de vídeo híbridos (H.264/AVC, H.265/HEVC, H.266/VVC), determinando diretamente a taxa de bits necessária para atingir uma qualidade de reconstrução específica. O padrão atual, a Codificação Aritmética Binária Adaptativa Baseada em Contexto (CABAC), baseia-se em três restrições arquitetônicas fundamentais que limitam a precisão da estimativa de probabilidade:

1. Modelagem de Probabilidade Binária: O CABAC decompõe elementos de sintaxe multivalorados em decisões binárias, estimando probabilidades de Bernoulli separadas para cada bit. Isso descarta a estrutura estatística conjunta e a natureza multimodal dos coeficientes de transformada.
2. Derivação de Contexto Fixa: O mapeamento do estado de codificação para o índice do modelo de contexto é projetado manualmente e congelado na padronização. Ele não consegue se adaptar às propriedades estatísticas específicas de sequências de vídeo individuais ou regiões de conteúdo local.
3. Adaptação de Taxa Única: As atualizações de probabilidade utilizam uma regra de média móvel exponencial (EMA) fixa, que não consegue distinguir entre contextos estacionários (que exigem adaptação lenta) e contextos não estacionários (que exigem adaptação rápida).

Embora os frameworks de compressão neural de ponta a ponta tenham demonstrado modelagem de probabilidade superior usando hiperpriores aprendidos, contextos autoregressivos e Modelos de Mistura Gaussiana (GMM), essas abordagens substituem todo o pipeline do codec. Elas não são compatíveis com padrões e carecem de retrocompatibilidade. Existe uma lacuna significativa na transferência desses avanços de modelagem aprendida para o estágio de codificação de entropia de codecs padronizados existentes sem alterar as ferramentas de predição, transformada ou filtragem.

2. Metodologia: O Framework NAE-VC

Os autores propõem o NAE-VC (Codificação Aritmética Neural para Compressão de Vídeo), um framework modular projetado para substituir cirurgicamente apenas o módulo CABAC em codecs existentes (JM-19.0, HM-16.25, VTM-17.0), preservando todas as outras ferramentas de codificação. O framework consiste em três componentes primários:

A. Rede de Agregação de Contexto

Para superar a capacidade de representação limitada dos índices de contexto fixos do CABAC, o NAE-VC emprega uma rede aprendida que funde três fontes de contexto complementares em um vetor de condicionamento unificado ($D=192$):

• Contexto Espacial: Extraído via convoluções $3\times3$ mascaradas sobre coeficientes previamente codificados dentro do bloco atual, aumentados com características de blocos vizinhos reconstruídos (esquerda/acima) para lidar com fronteiras.
• Contexto Autoregressivo por Canal: Os coeficientes são particionados em quatro grupos e processados sequencialmente via Perceptron Multicamadas (MLP) para capturar dependências inter-canais (ex: entre coeficientes DC e AC).
• Contexto Temporal: Para quadros inter, as características são extraídas de blocos de referência compensados por movimento. Para quadros intra, uma imersão (embedding) padrão aprendida é utilizada.
• Fusão: Esses caminhos são fundidos usando um mecanismo de Atenção Cruzada Multi-Cabeça ($H=4$ cabeças, $d_k=48$), permitindo que a rede pese adaptativamente a fonte de contexto mais informativa para cada elemento de sintaxe.

B. Estimativa de Probabilidade Neural (GMM)

Em vez de probabilidades de Bernoulli únicas, o NAE-VC modela a distribuição dos coeficientes de transformada quantizados usando um Modelo de Mistura Gaussiana (GMM) com $K=3$ componentes.

• Cabeças de Predição: Três cabeças lineares paralelas preveem a média ($\mu$), a escala ($\sigma$, via Softplus) e os pesos de mistura ($\pi$, via Softmax) para os componentes do GMM com base no vetor de contexto fundido.
• Discretização: A densidade contínua do GMM é integrada sobre bins de quantização unitários para gerar uma Função de Massa de Probabilidade (PMF) discreta, que é então convertida em uma Função de Distribuição Acumulada (CDF) para a codificação de entropia.
• Vantagem: Esta abordagem captura distribuições multimodais, de cauda pesada e assimétricas que os modelos de modo único do CABAC não conseguem representar.

C. Modelagem de Contexto Hierárquica e Codificação rANS

• Hiperprior: Uma rede codificadora leve (1.8M de parâmetros) comprime as estatísticas globais dos coeficientes em um vetor de informação lateral latente ($\hat{z}$), transmitido como informação lateral para fornecer estimativas iniciais espacialmente adaptáveis.
• Paralelismo de Tabuleiro de Xadrez (Checkerboard): Para permitir o paralelismo parcial sem violar as dependências causais, as posições dos coeficientes são divididas em conjuntos pares e ímpares (padrão de tabuleiro de xadrez). As posições pares são codificadas primeiro usando o hiperprior e o contexto temporal; as posições ímpares são codificadas em seguida, sendo adicionalmente condicionadas aos elementos pares já decodificados.
• Mecanismo de Codificação: O framework utiliza rANS (Range Asymmetric Numeral Systems) com precisão de CDF de 16 bits, substituindo o codificador aritmético binário. Isso garante eficiência de compressão próxima da ótima (dentro de 0.01 bits/símbolo da entropia teórica) e sincronização bit a bit entre codificador e decodificador.

3. Principais Contribuições

1. Primeiro Substituto Neural Unificado: O NAE-VC é apresentado como o primeiro substituto neural para o pipeline de codificação de entropia de coeficientes de transformada, avaliado em três gerações de codecs híbridos padronizados (H.264, H.265, H.266) sob uma única arquitetura.
2. Fusão por Atenção Cruzada Multi-Cabeça: A introdução de um mecanismo de fusão aprendido que combina adaptativamente contextos espaciais, por canal e temporais, superando o mapeamento fixo do CABAC.
3. Avaliação Abrangente entre Codecs: O estudo fornece uma avaliação extensa em seis conjuntos de dados de referência (UVG, MCL-JCV, HEVC Classes B–E) e duas configurações (All-Intra, Low-Delay P), demonstrando ganhos consistentes em métricas de PSNR, MS-SSIM e VMAF.
4. Estratégia de Integração Modular: O trabalho demonstra que a codificação de entropia aprendida pode ser integrada como um substituto "drop-in" para o CABAC, isolando a contribuição da estimativa de probabilidade das outras ferramentas de codificação e preservando a semântica de predição e transformada do codec padrão.

4. Resultados Experimentais

Experimentos foram conduzidos em seis conjuntos de dados de referência usando valores de QP {22, 27, 32, 37}.

Economia de BD-Rate (vs. CABAC Nativo)

O NAE-VC alcançou consistentemente economias de taxa de bits em todos os codecs, sendo a magnitude da melhoria inversamente relacionada à sofisticação da implementação nativa do CABAC:

• H.264/AVC: $-4.82\%$ (All-Intra), $-6.15\%$ (Low-Delay P).
• H.265/HEVC: $-3.67\%$ (All-Intra), $-4.93\%$ (Low-Delay P).
• H.266/VVC: $-2.41\%$ (All-Intra), $-3.28\%$ (Low-Delay P).

Observações Chave

• Relação Inversa: Os resultados confirmam a hipótese de que, conforme o CABAC nativo se torna mais sofisticado (de H.264 para H.266), o "espaço de manobra" (headroom) para a substituição neural diminui, mas ganhos mensuráveis persistem mesmo no altamente otimizado VVC.
• Contexto Temporal: A configuração Low-Delay P produz maiores ganhos do que a All-Intra (ex: um adicional de $1.33$ pontos percentuais para H.264), validando a contribuição do caminho de contexto temporal que modela correlações de coeficientes entre quadros indisponíveis ao CABAC.
• Qualidade Perceptual: Os ganhos foram consistentes entre as métricas, com melhorias no VMAF ($-5.47\%$ para H.264) ligeiramente superiores aos ganhos de PSNR, sugerindo que o GMM preserva melhor os coeficientes estruturalmente importantes.
• Ablação de Componentes: O maior ganho individual veio da substituição de tabelas fixas por estimativa de probabilidade neural ($-1.18$ pp), seguido por modelagem GMM ($-0.64$ pp), hiperprior ($-0.56$ pp) e contexto espacial ($-0.49$ pp).
• Impacto Geracional: O H.265 + NAE-VC fecha aproximadamente $25\%$ da lacuna de compressão para o H.266 nativo, demonstrando que a codificação de entropia aprendida pode fornecer uma fração significativa dos ganhos geracionais sem um redesenho completo do codec.

Sobrecarga Computacional

• Codificação: A sobrecarga é maior para o H.264 (aprox. $3.9\times$ a base) devido à sua codificação nativa rápida, mas é mais modesta para o H.266 ($1.15\times$), onde o pipeline base já é computacionalmente intensivo.
• Tamanho do Modelo: O total de parâmetros treináveis é de $8.6$ M, com um tamanho de modelo ONNX de $\approx 34$ MB.
• Implantação: Os autores observam que para H.264/H.265 em tempo real, seria necessária aceleração de hardware ou compressão de modelo, enquanto o transcodificação baseada em nuvem é um cenário mais viável imediato.

5. Significância e Alegações

O artigo afirma que o NAE-VC fornece evidências concretas de que a codificação de entropia aprendida aborda limitações arquiteturais fundamentais (modelagem binária, derivação de contexto fixa, adaptação de taxa única) que persistem em todas as variantes do CABAC.

• Modularidade: A abordagem oferece um caminho para melhorar a eficiência de compressão sem substituir todo o ecossistema de codecs, preservando a retrocompatibilidade ao nível das ferramentas de codificação (embora o formato do bitstream mude, exigindo um decodificador correspondente).
• Quantificação de Headroom: Os resultados quantificam o headroom residual de codificação de entropia disponível mesmo nos padrões mais avançados (VVC), sugerindo que novos ganhos são possíveis através de modelagem de probabilidade aprendida.
• Praticidade: Ao isolar o estágio de entropia, o trabalho faz a ponte entre o alto desempenho dos codecs neurais de ponta a ponta e a realidade de implantação dos codecs de vídeo padronizados, ofereando um caminho de atualização "cirúrgico" para a infraestrutura existente.

Os autores concluem que, embora a relação inversa entre a sofisticação do CABAC e os ganhos neurais seja direcionada de forma consistente, ela é influenciada por outras diferenças ao nível do codec (particionamento, transformadas, etc.). No entanto, as melhorias consistentes em todas as gerações validam o potencial da codificação de entropia neural modular como uma melhoria viável para futuros padrões de compressão de vídeo.