Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC

Resumo Técnico: Aceleração de Merge com Diferença de Vetor de Movimento via Análise de Diferença de Filtro para VVenC

Definição do Problema
O Merge with Motion Vector Difference (MMVD) é uma ferramenta crítica no Versatile Video Coding (VVC), projetada para aumentar a precisão da predição de movimento ao refinar vetores de movimento base com um deslocamento direcional e de distância. No entanto, a implementação padrão depende de uma busca exaustiva sobre todas as combinações de direção–distância (quatro direções e oito etapas de distância), o que impõe uma carga computacional substancial. No codificador VVenC, a ativação do MMVD aumenta o tempo de codificação em aproximadamente 36,39% no preset "faster" e 21,20% no preset "fast". Esse overhead dificulta a adoção do MMVD em cenários de baixa latência. As estratégias de busca rápida existentes no VVenC reduzem esse fardo, mas ainda exigem a avaliação de uma parte significativa dos candidatos, particularmente os candidatos de MVD de quarto de pixel, que representam 60%–80% dos testes totais.

Metodologia
Os autores propõem um novo algoritmo de MMVD rápido que utiliza a análise de diferença de filtro de vetor de movimento fracionário para estimar o ganho de codificação potencial dos candidatos de MMVD, permitindo o encerramento precoce de caminhos de busca não promissores. A abordagem central envolve as seguintes etapas:

1. Aproximação de Filtro: O método aproxima os filtros de interpolação de 8 taps padrão usados no VVC com filtros leves de 2 taps. Essa simplificação permite que a diferença entre a predição de merge regular e a predição de MMVD seja modelada usando gradientes espaciais.
2. Critério de Gradiente de Resíduo:
   • Caso de Suporte Alinhado: Quando o deslocamento de MMVD não desloca as amostras de referência posicionadas em inteiros, a diferença na predição é aproximada como uma função do gradiente espacial do bloco de referência ($g_{ref}$) e do resíduo do candidato de merge regular ($e_i$). Um candidato é ignorado se o termo de produto interno $-\alpha_{i,j}\langle e_i, g_{ref} \rangle \geq 0$, indicando que o candidato de MMVD dificilmente produzirá uma distorção menor do que o merge regular.
   • Caso de Suporte Deslocado: Quando o deslocamento cruza uma fronteira de amostra inteira, o suporte é deslocado. Os autores generalizam o critério para lidar com isso fatorizando a diferença de filtro e aplicando um filtro simples de 2 taps ao gradiente, evitando a filtragem direta de 3 taps no bloco de referência.
   • Filtragem Separável 2D: A análise 1D é estendida para a interpolação separável 2D do VVC. Como o MMVD pesquisa apenas direções cardinais, os termos cruzados desaparecem, permitindo que o critério de resíduo-gradiente seja aplicado independentemente aos deslocamentos horizontais e verticais.
3. Otimizações de Implementação: Para minimizar o próprio overhead do método proposto, duas otimizações são introduzidas:
   • Inferência de Deslocamento Simétrico: Para deslocamentos simétricos (ex: $+\Delta$ e $-\Delta$), a resposta de um caso de suporte deslocado é inferida pela inversão de sinal da resposta do caso de suporte alinhado, reduzindo computações redundantes.
   • Produto Escalar de Subamostragem em Formato de Cruz: Em vez de calcular o produto escalar sobre todo o bloco, o cálculo é restrito a uma região central em formato de cruz (linha média para deslocamentos horizontais, coluna média para deslocamentos verticais).

Principais Contribuições

• Critério Inovador: Derivação de um critério leve baseado em gradientes espaciais e resíduos de predição para estimar o ganho de MMVD sem busca exaustiva.
• Generalização: Extensão do critério para acomodar tanto amostras de referência inteiras deslocadas quanto filtragem separável 2D, cobrindo cenários práticos de VVC.
• Otimizações de Engenharia: Introdução de inferência de deslocamento simétrico e computação eficiente de produto escalar para garantir que o método de aceleração adicione complexidade mínima.
• Integração: Integração contínua do algoritmo proposto no quadro de busca rápida existente do VVenC (combinando com as estratégias Fast1, Fast2 e Fast3).

Resultados Experimentais
Experimentos foram conduzidos utilizando o codificador VVenC-1.14.0 através de quatro presets (faster, fast, medium, slow) e sequências de teste padrão (JVET CTC Classes A1, A2, B, C, D).

• Redução de Busca: O método proposto reduz a razão média de busca MMVD de 21,07% (com as estratégias de busca rápida existentes) para 11,05%.
• Complexidade vs. Desempenho: Sob o preset "fast", o overhead de tempo de codificação é reduzido de 4,52% (estratégias rápidas existentes) para 2,23%.
• Métrica de Eficiência ($\eta$): A métrica de eficiência-complexidade $\eta$ (encoding time overhead por unidade de ganho de BD-rate) melhora significamente. Para o preset "fast", $\eta$ diminui de 11,79 (estratégias rápidas existentes) para 7,10. Melhorias semelhantes são observadas em outros presets.
• Ganho de Codificação: O método preserva a maior parte do ganho de codificação proporcionado pelo MMVD, com perdas de BD-rate sendo negligenciáveis em comparação com a linha de base de busca total quando combinado com a poda proposta.

Significância e Alegações
O artigo afirma que o algoritmo proposto alcança um equilíbrio superior entre complexidade de codificação e desempenho de Taxa-Distorção (RD) em comparação com os esquemas de aceleração de MMVD existentes no VVenC. Ao podar efetivamente candidatos menos promissores através da análise de diferença de filtro, o método reduz significativamente a carga computacional do MMVD sem sacrificar a eficiência de codificação. Os autores observam que a implementação atual suporta apenas as quatro direções cardinais padrão e planejam estender o método para suportar modos MMVD com ângulos diagonais flexíveis em trabalhos futuros.