⚡ electrical engineering

Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC

Dit artikel stelt een nieuw snel MMVD-algoritme voor voor de VVenC-encoder dat gebruikmaakt van fractie bewegingsvectorfilterverschilanalyse en implementatieoptimalisaties om de computationele complexiteit aanzienlijk te verminderen terwijl de coderingsefficiëntie behouden blijft.

Oorspronkelijke auteurs: Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

Gepubliceerd 2026-07-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de perfecte plek probeert te vinden om een sticker op een bewegende auto in een video te plakken. In de wereld van videocompressie (zoals de VVC-standaard) is deze "sticker" een voorspelling van waar een deel van het beeld zich in het volgende frame bevindt.

Het Probleem: De Uitputtende Zoektocht
De huidige methode, genaamd MMVD (Merge with Motion Vector Difference), is als een detective die weigert te gokken. In plaats van een waarschijnlijke plek te kiezen, controleert hij elke mogelijke minuscule verschuiving (omhoog, omlaag, links, rechts en diverse afstanden) om te zien welke het beste bij het beeld past.

Hoewel dit een hoge kwaliteit garandeert, is het extreem traag. Het is alsof je elke toets op een enorme piano controleert om de juiste noot te vinden, ook al weet je vrij zeker dat de noot ergens in het midden ligt. Deze "uitputtende zoektocht" maakt het coderen van video (het proces van het comprimeren van video) erg tijdrovend, wat slecht is voor live streaming of toepassingen met een lage latentie.

De Oplossing: De "Filterverschil" Afkorting
De auteurs van dit artikel stellen een slimme afkorting voor. In plaats van elke toets te controleren, gebruiken ze een "wiskundige intuïtie" om te beslissen welke toetsen absoluut fout zijn voordat ze ze zelfs maar indrukken.

Hier is hoe ze dit doen, met behulp van een eenvoudige analogie:

De Conceptversie versus de Verfijning:
- Reguliere Merge: Stel je een ruwe schets voor van waar de auto zich bevindt.
- MMVD: Dit is de verfijning; dit is het waarbij je die schets een klein beetje bijstuurt om een perfecte match te krijgen.
- De Truc: De auteurs realiseerden zich dat de instrumenten die worden gebruikt om de schets bij te sturen (interpolatiefilters) erg lijken op de instrumenten die worden gebruikt voor de ruwe schets. Ze zijn zo vergelijkbaar dat je het complexe 8-delige instrument kunt benaderen met een eenvoudig 2-delig instrument.
De Gradiënttest (De "Helling" Check):
- Beschouw het videobeeld als een landschap met heuvels en dalen (lichte en donkere gebieden).
- De auteurs kijken naar de helling (gradiënt) van het landschap waar de auto zich bevindt.
- Ze berekenen een snelle "dot product" (een eenvoudige vermenigvuldiging) tussen de fout van de ruwe schets en de helling van het landschap.
- De Regel: Als de wiskunde zegt: "Hé, het bijsturen van de schets in deze richting zal de fout juist erger maken of gelijk houden," dan slaan ze die richting direct over. Ze verspillen geen tijd aan het controleren ervan.
Het Afhandelen van de "Randgevallen":
- Soms zorgt het bijsturen van de schets ervoor dat deze over een "grens" beweegt waar de referentiedata verandert. De auteurs hebben een speciale regel bedacht om deze verschuiving af te handelen zonder de zware wiskunde opnieuw te hoeven uitvoeren. Ze passen simpelweg een teken aan of passen de berekening licht aan.
Slimme Engineering (De "Kruisvorm"):
- Om deze afkorting nog sneller te maken, controleren ze niet de gehele videoblok. Ze controleren alleen een kruisvormige strook precies door het midden (de middelste rij voor horizontale bewegingen, de middelste kolom voor verticale bewegingen).
- Het is alsof je de temperatuur van een kamer controleert door alleen het midden van de muur aan te raken, in plaats van elke centimeter van de vloer en het plafond te meten. Het is snel en meestal nauwkeurig genoeg om een beslissing te nemen.

De Resultaten: Sneller Zonder Kwaliteitsverlies
Het team heeft deze nieuwe methode getest op de VVenC encoder (een specifieke software voor videocodering).

Vóór: De encoder controleerde ongeveer 21% van alle mogelijke "bijstuur"-opties, zelfs na bestaande versnellingen.
Ná: Met hun nieuwe methode controleert hij slechts ongeveer 11%.
De Winst: Ze hebben de tijd die besteed wordt aan het zoeken gehalveerd (de "inspanning-tot-kwaliteit"-metriek aanzienlijk verminderd) terwijl de videokwaliteit bijna exact hetzelfde is gebleven.

Samenvattend
Dit artikel introduceert een "slim filter" voor videocompressie. In plaats van blindelings elke mogelijke kleine aanpassing van een bewegend object in een video te proberen, analyseert het algoritme snel de textuur van het beeld en de huidige voorspellingsfout. Als de wiskunde suggereert dat een specifieke aanpassing niet zal helpen, slaat het deze volledig over. Dit maakt het coderen van video veel sneller zonder de visuele kwaliteit op te offeren, wat het een uitstekend hulpmiddel maakt voor real-time video-toepassingen.

Technische Samenvatting: Versnelling van Merge met Motion Vector Difference via Filterverschilanalyse voor VVenC

Probleemstelling
Merge with Motion Vector Difference (MMVD) is een cruciale tool in Versatile Video Coding (VVC), ontworpen om de nauwkeurigheid van bewegingsvoorspelling te verbeteren door de basisbewegingsvectoren te verfijnen met een directionele offset en afstand. De standaardimplementatie vertrouwt echter op een uitputtende zoektocht over alle richting–afstandcombinaties (vier richtingen en acht afstandstappen), wat een aanzienlijke computationele last met zich meebrengt. In de VVenC-encoder verhoogt het inschakelen van MMVD de encoderingstijd met ongeveer 36,39% onder de "faster" preset en met 21,20% onder de "fast" preset. Deze overhead belemmert de adoptie van MMVD in scenario's met lage latentie. Bestaande snelle zoekstrategieën in VVenC verminderen deze last, maar vereisen nog steeds de evaluatie van een aanzienlijk deel van de kandidaten, met name de kwart-pixel MVD-kandidaten die verantwoordelijk zijn voor 60%–80% van de totale proeven.

Methodologie
De auteurs stellen een nieuw snel MMVD-algoritme voor dat gebruikmaakt van fractie bewegingsvector filterverschilanalyse om de potentiële coderingswinst van MMVD-kandidaten te schatten, waardoor vroegtijdige beëindiging van niet-veelbelovende zoekpaden mogelijk is. De kernaanpak omvat de volgende stappen:

Filterbenadering: De methode benadert de standaard 8-tap interpolatiefilters die in VVC worden gebruikt met lichtgewicht 2-tap filters. Deze vereenvoudiging maakt het mogelijk om het verschil tussen de reguliere merge-voorspelling en de MMVD-voorspelling te modelleren met behulp van ruimtelijke gradiënten.
Residu-gradiëntcriterium:
- Gelijk uitgelijnde ondersteuning (Aligned-Support Case): Wanneer de MMVD-offset de integer-gepositioneerde referentie-samples niet verschuift, wordt het verschil in voorspelling benaderd als een functie van de ruimtelijke gradiënt van het referentieblok ( $g_{ref}$ ) en het residu van de reguliere merge-kandidaat ( $e_i$ ). Een kandidaat wordt overgeslagen als de inwendig product-term $-\alpha_{i,j}\langle e_i, g_{ref} \rangle \geq 0$ , wat aangeeft dat de MMVD-kandidaat waarschijnlijk geen lagere distortie zal opleveren dan de reguliere merge.
- Verschoven ondersteuning (Shifted-Support Case): Wanneer de offset een grens van een integer-sample overschrijdt, verschuift de ondersteuning (support). De auteurs generaliseren het criterium om dit te behandelen door het filterverschil te factoriseren en een eenvoudige 2-tap filter toe te passen op de gradiënt, waardoor direct 3-tap filteren op het referentieblok wordt vermeden.
- 2D Separeerbare Filtering: De 1D-analyse wordt uitgebreid naar de 2D separeerbare interpolatie van VVC. Omdat MMVD alleen kardinale richtingen doorzoekt, verdwijnen de kruistermen, waardoor het residu-gradiëntcriterium onafhankelijk kan worden toegepast op horizontale en verticale offsets.
Implementatie-optimalisaties: Om de overhead van de voorgestelde methode zelf te minimaliseren, zijn twee optimalisaties geïntroduceerd:
- Symmetrische Offset-inferentie: Voor symmetrische offsets (bijv. $+\Delta$ en $-\Delta$ ) wordt de respons van een verschoven ondersteuningsgeval geïnferieerd door de tekeninversie van de uitgelijnde ondersteuningsgeval-respons, wat redundante berekeningen vermindert.
- Kruisvormige Downsampled Dot-Product: In plaats van het inwendig product over het gehele blok te berekenen, wordt de berekening beperkt tot een centrale kruisvormige regio (middelste rij voor horizontale offsets, middelste kolom voor verticale offsets).

Belangrijkste Bijdragen

Nieuw Criterium: Afleiding van een lichtgewicht criterium gebaseerd op ruimtelijke gradiënten en voorspellingsresiduen om de MMVD-winst te schatten zonder uitputtende zoektocht.
Generalisatie: Uitbreiding van het criterium om zowel verschoven integer referentie-samples als 2D separeerbare filtering te accommoderen, wat praktische VVC-scenario's dekt.
Engineering-optimalisaties: Introductie van symmetrische offset-inferentie en efficiënte dot-product berekening om ervoor te zorgen dat de versnellingsmethode zelf minimale complexiteit toevoegt.
Integratie: Naadloze integratie van het voorgestelde algoritme in het bestaande VVenC fast-search framework (gecombineerd met Fast1, Fast2 en Fast3 strategieën).

Experimentele Resultaten
Experimenten zijn uitgevoerd met de VVenC-1.14.0 encoder over vier presets (faster, fast, medium, slow) en standaard testsequenties (JVET CTC Classes A1, A2, B, C, D).

Zoekreductie: De voorgestelde methode vermindert de gemiddelde MMVD-zoekratio van 21,07% (met bestaande snelle strategieën) naar 11,05%.
Complexiteit vs. Prestatie: Onder de "fast" preset wordt de encoding-tijd overhead verminderd van 4,52% (bestaande snelle strategieën) naar 2,23%.
Efficiëntie-metriek ( $\eta$ ): De efficiëntie-complexiteitsmetriek $\eta$ (encoding tijd overhead per eenheid BD-rate winst) verbetert aanzienlijk. Voor de "fast" preset daalt $\eta$ van 11,79 (bestaande snelle strategieën) naar 7,10. Vergelijkbare verbeteringen worden waargenomen bij andere presets.
Coderingswinst: De methode behoudt de meerderheid van de coderingswinst die door MMVD wordt geleverd, waarbij de BD-rate verliezen verwaarloosbaar zijn in vergelijking met de volledige zoekbaseline wanneer gecombineerd met de voorgestelde pruning.

Betekenis en Claims
Het artikel claimt dat het voorgestelde algoritme een superieur evenwicht bereikt tussen encoderingscomplexiteit en Rate-Distortion (RD) prestaties vergeleken met bestaande MMVD-versnellingsschema's in VVenC. Door minder veelbelovende kandidaten effectief weg te snijden (pruning) via filterverschilanalyse, vermindert de methode de computationele last van MMVD aanzienlijk zonder de coderings-efficiëntie op te offeren. De auteurs merken op dat de huidige implementatie alleen de standaard vier kardinale richtingen ondersteunt en van plan zijn de methode in de toekomst uit te breiden om MMVD-modi met flexibele diagonale hoeken te ondersteunen.

Meer zoals dit