⚡ electrical engineering

Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC

Cet article propose un nouvel algorithme MMVD rapide pour l'encodeur VVenC qui utilise l'analyse de la différence de filtre de vecteur de mouvement fractionnaire et des optimisations d'implémentation pour réduire considérablement la complexité de calcul tout en maintenant l'efficacité de codage.

Auteurs originaux : Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

Publié 2026-07-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver l'endroit parfait pour placer un autocollant sur une voiture en mouvement dans une vidéo. Dans le monde de la compression vidéo (comme la norme VVC), cet « autocollant » est une prédiction de l'endroit où se trouvera un morceau de l'image dans l'image suivante.

Le Problème : La Recherche Exhaustive
La méthode actuelle, appelée MMVD (Merge with Motion Vector Difference), est comme un détective qui refuse de deviner. Au lieu de choisir un endroit probable, elle vérifie chaque petit décalage possible (haut, bas, gauche, droite et diverses distances) pour voir lequel rend l'image la plus belle.

Bien que cela garantisse une haute qualité, c'est incroyablement lent. C'est comme tester chaque touche d'un piano géant pour trouver la bonne note, même si vous êtes presque sûr qu'elle se trouve quelque part au milieu. Cette « recherche exhaustive » fait que l'encodage de la vidéo (le processus de compression) prend beaucoup de temps, ce qui est problématique pour le streaming en direct ou les applications à faible latence.

La Solution : Le Raccourci de la « Différence de Filtre »
Les auteurs de cet article proposent un raccourci ingénieux. Au lieu de tester chaque touche, ils utilisent une « intuition mathématique » pour décider quelles touches sont définitivement fausses avant même de les presser.

Voici comment ils font cela, en utilisant une analogie simple :

Le Brouillon vs Le Réglage Précis :
- Merge Régulier : Imaginez que vous avez un croquis grossier de l'emplacement de la voiture.
- MMVD : C'est le réglage précis, qui consiste à ajuster légèrement ce croquis pour obtenir une correspondance parfaite.
- L'Astuce : Les auteurs ont réalisé que les outils utilisés pour « ajuster » le croquis (appelés filtres d'interpolation) sont très similaires aux outils utilisés pour le croquis grossier. Ils sont si similaires que l'on peut approximer l'outil complexe à 8 parties par un outil simple à 2 parties.
Le Test du Gradient (Le test de la « Pente ») :
- Imaginez l'image vidéo comme un paysage de collines et de vallées (zones claires et sombres).
- Les auteurs observent la pente (gradient) du paysage là où se trouve la voiture.
- Ils calculent un « produit scalaire » rapide (une simple multiplication mathématique) entre l'erreur du croquis grossier et la pente du paysage.
- La Règle : Si les mathématiques disent : « Hé, ajuster le croquis dans cette direction rendra l'erreur pire ou ne la changera pas », ils ignorent immédiatement cette direction. Ils ne perdent pas de temps à vérifier.
La Gestion des « Cas Limites » :
- Parfois, l'ajustement du croquis déplace celui-ci sur une « bordure » où les données de référence changent. Les auteurs ont créé une règle spéciale pour gérer ce décalage sans avoir à refaire les calculs lourds. Ils inversent simplement un signe ou ajustent légèrement le calcul.
Ingénierie Intelligente (La Forme en « Croix ») :
- Pour rendre ce raccourci encore plus rapide, ils ne vérifient pas l'intégralité du bloc d'image. Ils vérifient seulement une bande en forme de croix passant par le milieu (la ligne centrale pour les mouvements horizontaux, la colonne centrale pour les mouvements verticaux).
- C'est comme vérifier la température d'une pièce en touchant seulement le centre du mur, plutôt que de mesurer chaque centimètre du sol et du plafond. C'est rapide et généralement assez précis pour prendre une décision.

Les Résultats : Plus Rapide Sans Perdre en Qualité
L'équipe a testé cette nouvelle méthode sur l'encodeur VVenC (un logiciel de codage vidéo spécifique).

Avant : L'encodeur vérifiait environ 21 % de toutes les options de « réglage » possibles, même après les accélérations existantes.
Après : Avec leur nouvelle méthode, il n'en vérifie plus qu'environ 11 %.
Le Gain : Ils ont réduit de moitié le temps passé à chercher (réduisant considérablement la métrique « effort-par-qualité ») tout en conservant une qualité vidéo presque identique.

En Résumé
Cet article présente un « filtre intelligent » pour la compression vidéo. Au lieu d'essayer aveuglément chaque petit ajustement possible d'un objet en mouvement dans une vidéo, l'algorithme analyse rapidement la texture de l'image et l'erreur de prédiction actuelle. Si les mathématiques suggèrent qu'un ajustement spécifique n'aidera pas, il l'ignore complètement. Cela rend l'encodage vidéo beaucoup plus rapide sans sacrifier la qualité visuelle, ce qui en fait un excellent outil pour les applications vidéo en temps réel.

Résumé Technique : Accélération du Merge avec Motion Vector Difference via l'Analyse de la Différence de Filtre pour VVenC

Énoncé du Problème
Le « Merge with Motion Vector Difference » (MMVD) est un outil critique dans le codage vidéo versatile (VVC), conçu pour améliorer la précision de la prédiction de mouvement en affinant les vecteurs de mouvement de base par un décalage directionnel et une distance. Cependant, l'implémentation standard repose sur une recherche exhaustive sur toutes les combinaisons direction–distance (quatre directions et huit étapes de distance), ce qui impose une charge de calcul substantielle. Dans l'encodeur VVenC, l'activation de l'MMVD augmente le temps d'encodage d'environ 36,39 % sous le préréglage « faster » et de 21,20 % sous le préréglage « fast ». Ce surcoût entrave l'adoption de l'MMVD dans les scénarios à faible latence. Les stratégies de recherche rapide existantes dans VVenC réduisent cette charge mais nécessitent toujours l'évaluation d'une partie significative des candidats, particulièrement les candidats MVD à quart de pixel qui représentent 60 % à 80 % des essais totaux.

Méthodologie
Les auteurs proposent un nouvel algorithme MMVD rapide qui utilise l'analyse de la différence de filtre de vecteur de mouvement fractionnaire pour estimer le gain de codage potentiel des candidats MMVD, permettant ainsi l'arrêt anticipé des chemins de recherche non prometteurs. L'approche centrale comprend les étapes suivantes :

Approximation de Filtre : La méthode approxime les filtres d'interpolation à 8 appuis standard utilisés dans le VVC par des filtres légers à 2 appuis. Cette simplification permet de modéliser la différence entre la prédiction de fusion régulière et la prédiction MMVD à l'aide de gradients spatiaux.
Critère de Gradient de Résidu :
- Cas de Support Aligné : Lorsque le décalage MMVD ne déplace pas les échantillons de référence positionnés sur des entiers, la différence de prédiction est approximée comme une fonction du gradient spatial du bloc de référence ( $g_{ref}$ ) et du résidu du candidat de fusion régulière ( $e_i$ ). Un candidat est ignoré si le terme de produit scalaire $-\alpha_{i,j}\langle e_i, g_{ref} \rangle \geq 0$ , indiquant que le candidat MMVD est peu susceptible de produire une distorsion plus faible que la fusion régulière.
- Cas de Support Décalé : Lorsque le décalage traverse une frontière d'échantillon entier, le support se déplace. Les auteurs généralisent le critère pour gérer cela en factorisant la différence de filtre et en appliant un filtre simple à 2 appuis au gradient, évitant ainsi le filtrage direct à 3 appuis sur le bloc de référence.
- Filtrage Séparable 2D : L'analyse 1D est étendue à l'interpolation séparable 2D du VVC. Puisque l'MMVD ne recherche que les directions cardinales, les termes croisés s'annulent, permettant d'appliquer le critère résidu-gradient indépendamment aux décalages horizontaux et verticaux.
Optimisations d'Implémentation : Pour minimiser le surcoût de la méthode proposée elle-même, deux optimisations sont introduites :
- Inférence de Décalage Symétrique : Pour les décalages symétriques (ex: $+\Delta$ et $-\Delta$ ), la réponse d'un cas de support décalé est inférée par l'inversion de signe de la réponse du cas de support aligné, réduisant les calculs redondants.
- Produit Scalaire Sous-échantillonné en Forme de Croix : Au lieu de calculer le produit scalaire sur l'ensemble du bloc, le calcul est restreint à une région centrale en forme de croix (ligne médiane pour les décalages horizontaux, colonne médiane pour les décalages verticaux).

Contributions Clés

Critère Novateur : Dérivation d'un critère léger basé sur les gradients spatiaux et les résidus de prédiction pour estimer le gain MMVD sans recherche exhaustive.
Généralisation : Extension du critère pour accommoder à la fois les échantillons de référence entiers décalés et le filtrage séparable 2D, couvrant les scénarios pratiques du VVC.
Optimisations d'Ingénierie : Introduction de l'inférence de décalage symétrique et du calcul de produit scalaire efficace pour garantir que la méthode d'accélération ajoute un surcoût minimal.
Intégration : Intégration transparente de l'algorithme proposé dans le cadre de recherche rapide existant de VVenC (combiné avec les stratégies Fast1, Fast2 et Fast3).

Résultats Expérimentaux
Les expériences ont été menées avec l'encodeur VVenC-1.14.0 à travers quatre préréglages (faster, fast, medium, slow) et des séquences de test standards (JVET CTC Classes A1, A2, B, C, D).

Réduction de la Recherche : La méthode proposée réduit le ratio de recherche MMVD moyen de 21,07 % (avec les stratégies rapides existantes) à 11,05 %.
Complexité vs Performance : Sous le préréglage « fast », le surcoût du temps d'encodage est réduit de 4,52 % (stratégies rapides existantes) à 2,23 %.
Métrique d'Efficacité ( $\eta$ ) : La métrique efficacité-complexité $\eta$ (surcoût du temps d'encodage par unité de gain de débit BD) s'améliore considérablement. Pour le préréglage « fast », $\eta$ passe de 11,79 (stratégies rapides existantes) à 7,10. Des améliorations similaires sont observées pour les autres préréglages.
Gain de Codage : La méthode préserve la majeure partie du gain de codage fourni par l'MMVD, les pertes de débit BD étant négligeables par rapport à la base de recherche complète lorsqu'elle est combinée à l'élagage proposé.

Signification et Revendications
L'article affirme que l'algorithme proposé atteint un compromis supérieur entre la complexité d'encodage et la performance de la Distorsion-Débit (RD) par rapport aux schémas d'accélération MMVD existants dans VVenC. En élagant efficacement les candidats les moins prometteurs grâce à l'analyse de la différence de filtre, la méthode réduit considérablement la charge de calcul de l'MMVD sans sacrifier l'efficacité du codage. Les auteurs notent que l'implémentation actuelle ne supporte que les quatre directions cardinales standards et prévoient d'étendre la méthode pour supporter les modes MMVD avec des angles diagonaux flexibles dans des travaux futurs.

Articles similaires