Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC

Resumen Técnico: Aceleración de la Fusión con Diferencia de Vector de Movimiento mediante el Análisis de Diferencia de Filtros para VVenC

Planteamiento del Problema
La Fusión con Diferencia de Vector de Movimiento (MMVD, por sus siglas en inglés) es una herramienta crítica en el Codificación de Vídeo Versátil (VVC) diseñada para mejorar la precisión de la predicción de movimiento mediante el refinamiento de los vectores de movimiento base con un desplazamiento direccional y de distancia. Sin embargo, la implementación estándar depende de una búsqueda exhaustiva sobre todas las combinaciones de dirección-distancia (cuatro direcciones y ocho pasos de distancia), lo que impone una carga computacional sustancial. En el codificador VVenC, la activación de MMVD aumenta el tiempo de codificación aproximadamente un 36,39% bajo el ajuste preestablecido "faster" y un 21,20% bajo el ajuste "fast". Esta sobrecarga dificulta la adopción de MMVD en escenarios de baja latencia. Las estrategias de búsqueda rápida existentes en VVenC reducen esta carga, pero aún requieren la evaluación de una parte significativa de los candidatos, particularmente los candidatos de MMVD de cuarto de píxel, que representan entre el 60% y el 80% de los ensayos totales.

Metodología
Los autores proponen un nuevo algoritmo de búsqueda rápida para MMVD que utiliza el análisis de la diferencia de filtros de vector de movimiento fraccionario para estimar la ganancia de codificación potencial de los candidatos de MMVD, permitiendo la terminación temprana de las rutas de búsqueda no prometedoras. El enfoque central consta de los siguientes pasos:

1. Aproximación de Filtro: El método aproxima los filtros de interpolación de 8 toques estándar utilizados en VVC con filtros ligeros de 2 toques. Esta simplificación permite que la diferencia entre la predicción de fusión regular y la predicción de MMVD se modele mediante gradientes espaciales.
2. Criterio de Residuo-Gradiente:
   • Caso de Soporte Alineado: Cuando el desplazamiento de MMVD no desplaza las muestras de referencia de posición entera, la diferencia en la predicción se aproxima como una función del gradiente espacial del bloque de referencia ($g_{ref}$) y el residuo del candidato de fusión regular ($e_i$). Se omite un candidato si el término de producto interno $-\alpha_{i,j}\langle e_i, g_{ref} \rangle \geq 0$, lo que indica que es poco probable que el candidato de MMVD produzca una distorsión menor que la fusión regular.
   • Caso de Soporte Desplazado: Cuando el desplazamiento cruza un límite de muestra entera, el soporte se desplaza. Los autores generalizan el criterio para manejar esto mediante la factorización de la diferencia de filtro y la aplicación de un filtro simple de 2 toques al gradiente, evitando el filtrado directo de 3 toques en el bloque de referencia.
   • Filtrado Separable 2D: El análisis 1D se extiende a la interpolación separable 2D de VVC. Dado que MMVD solo busca direcciones cardinales, los términos cruzados desaparecen, lo que permite aplicar el criterio de residuo-gradiente de forma independiente a los desplazamientos horizontales y verticales.
3. Optimizaciones de Implementación: Para minimizar la sobrecarga del método propuesto en sí mismo, se introducen dos optimizaciones:
   • Inferencia de Desplazamiento Simétrico: Para desplazamientos simétricos (por ejemplo, $+\Delta$ y $-\Delta$), la respuesta de un caso de soporte desplazado se infiere mediante la inversión de signo de la respuesta del caso de soporte alineado, reduciendo los cálculos redundantes.
     la Computación de Producto Punto en Forma de Cruz Submuestreada: En lugar de calcular el producto punto sobre todo el bloque, el cálculo se restringe a una región central en forma de cruz (fila media para desplazamientos horizontales, columna media para desplazamientos verticales).

Contribuciones Clave

• Criterio Novedoso: Derivación de un criterio ligero basado en gradientes espaciales y residuos de predicción para estimar la ganancia de MMVD sin una búsqueda exhaustiva.
• Generalización: Extensión del criterio para acomodar tanto muestras de referencia entera desplazadas como el filtrado separable 2D, cubriendo escenarios prácticos de VVC.
• Optimizaciones de Ingeniería: Introducción de la inferencia de desplazamiento simétrico y la computación eficiente de productos punto para asegurar que el método de aceleración añada una complejidad mínima.
• Integración: Integración fluida del algoritmo propuesto en el marco de búsqueda rápida existente de VVenC (combinándose con las estrategias Fast1, Fast2 y Fast3).

Resultados Experimentales
Los experimentos se realizaron utilizando el codificador VVenC-1.14.0 a través de cuatro ajustes preestablecidos (faster, fast, medium, slow) y secuencias de prueba estándar (JVET CTC Clases A1, A2, B, C, D).

• Reducción de la Búsqueda: El método propuesto reduce la relación de búsqueda de MMVD promedio del 21,07% (con las estrategias rápidas existentes) al 11,05%.
• Complejidad vs. Rendimiento: Bajo el ajuste "fast", la sobrecarga del tiempo de codificación se reduce del 4,52% (estrategias rápidas existentes) al 2,23%.
• Métrica de Eficiencia ($\eta$): La métrica de eficiencia-complejidad $\eta$ (sobrecarga de tiempo de codificación por unidad de ganancia de BD-rate) mejora significamente. Para el ajuste "fast", $\eta$ disminuye de 11,79 (estrategias rápidas existentes) a 7,10. Se observan mejoras similares en otros ajustes preestablecidos.
• Ganancia de Codificación: El método preserva la mayor parte de la ganancia de codificación proporcionada por MMVD, con pérdidas de BD-rate insignificantes en comparación con la línea base de búsqueda completa cuando se combina con la poda propuesta.

Significancia y Reivindicaciones
El artículo afirma que el algoritmo propuesto logra un equilibrio superior entre la complejidad de codificación y el rendimiento de Tasa-Distorsión (RD) en comparación con los esquemas de aceleración de MMVD existentes en VVenC. Al podar eficazmente los candidatos menos prometedores mediante el análisis de la diferencia de filtros, el método reduce significativamente la carga computacional de MMVD sin sacrificar la eficiencia de codificación. Los autores señalan que la implementación actual soporta únicamente las cuatro direcciones cardinales estándar y planean extender el método para soportar modos de MMVD con ángulos diagonales flexibles en trabajos futuros.