⚡ electrical engineering

Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC

Dieses Papier schlägt einen neuartigen schnellen MMVD-Algorithmus für den VVenC-Encoder vor, der eine fraktionale Bewegungsvektor-Filterdifferenzanalyse sowie Implementierungsoptimierungen nutzt, um die Rechenkomplexität signifikant zu reduzieren und gleichzeitig die Kodierungseffizienz beizubehalten.

Ursprüngliche Autoren: Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen den perfekten Platz zu finden, um einen Aufkleber auf einem fahrenden Auto in einem Video zu platzieren. In der Welt der Videokompression (wie dem VVC-Standard) ist dieser „Aufkleber“ eine Vorhersage darüber, wo sich ein Teil des Bildes im nächsten Frame befindet.

Das Problem: Die erschöpfende Suche
Die aktuelle Methode, genannt MMVD (Merge with Motion Vector Difference), ist wie ein Detektiv, der sich weigert zu raten. Anstatt einen wahrscheinlichen Ort auszuwählen, prüft sie jede einzelne mögliche winzige Verschiebung (oben, unten, links, rechts und verschiedene Abstände), um zu sehen, welche das Bild am besten aussehen lässt.

Dies stellt zwar eine hohe Qualität sicher, ist aber unglaublich langsam. Es ist, als würde man jede einzelne Taste eines riesigen Klaviers prüfen, um den einen richtigen Ton zu finden, obwohl man eigentlich ziemlich sicher ist, dass er irgendwo in der Mitte liegt. Diese „erschöpfende Suche“ (Exhaustive Search) führt dazu, dass das Kodieren von Videos (der Prozess der Videokompression) sehr lange dauert, was für Live-Streaming oder Anwendungen mit geringer Latenz schlecht ist.

Die Lösung: Der „Filter-Differenz“-Shortcut
Die Autoren dieser Arbeit schlagen einen cleveren Shortcut vor. Anstatt jede Taste zu prüfen, nutzen sie einen „mathematischen Instinkt“, um zu entscheiden, welche Tasten definitiv falsch sind, noch bevor sie diese überhaupt drücken.

So funktioniert dieser Shortcut, erklärt anhand einer einfachen Analogie:

Der Entwurf vs. die Feinabstimmung:
- Regulärer Merge: Stellen Sie sich vor, Sie haben eine grobe Skizze davon, wo sich das Auto befindet.
- MMVD: Dies ist die Feinabstimmung, bei der Sie diese Skizze leicht korrigieren, um eine perfekte Übereinstimmung zu erzielen.
- Der Trick: Die Autoren haben erkannt, dass die Werkzeuge, die zum „Anpassen“ der Skizze verwendet werden (genannt Interpolationsfilter), den Werkzeugen für die grobe Skizze sehr ähnlich sind. Sie sind so ähnlich, dass man das komplexe 8-teilige Werkzeug durch ein einfaches 2-teiliges Werkzeug annähern kann.
Der Gradiententest (Der „Steigungs“-Check):
- Stellen Sie sich das Video-Bild wie eine Landschaft mit Hügeln und Tälern (hellen und dunklen Bereichen) vor.
- Die Autoren betrachten die Steigung (Gradient) der Landschaft, an der sich das Auto befindet.
- Sie berechnen ein schnelles „Skalarprodukt“ (eine einfache Multiplikation) zwischen dem Fehler der groben Skizze und der Steigung der Landschaft.
- Die Regel: Wenn die Mathematik sagt: „Hey, das Anpassen der Skizze in diese Richtung wird den Fehler sogar verschlimmern oder gleich lassen“, dann überspringen sie diese Richtung sofort. Sie verschwenden keine Zeit damit, diese Richtung zu prüfen.
Umgang mit „Grenzfällen“:
- Manchmal führt das Anpassen der Skizze über eine „Grenze“, an der sich die Referenzdaten ändern. Die Autoren haben eine spezielle Regel entwickelt, um diese Verschiebung zu handhaben, ohne die schwere Mathematik erneut durchführen zu müssen. Sie ändern einfach nur ein Vorzeichen oder passen die Berechnung leicht an.
Smartes Engineering (Die „Kreuz“-Form):
- Um diesen Shortcut noch schneller zu machen, prüfen sie nicht den gesamten Bildblock. Sie prüfen nur einen kreuzförmigen Streifen direkt durch die Mitte (die mittlere Zeile für horizontale Bewegungen, die mittlere Spalte für vertikale Bewegungen).
- Es ist, als würde man die Temperatur eines Raumes prüfen, indem man nur die Mitte der Wand berührt, anstatt jeden Zentimeter des Bodens und der Decke zu messen. Das ist schnell und meistens genau genug, um eine Entscheidung zu treffen.

Die Ergebnisse: Schneller ohne Qualitätsverlust
Das Team hat diese neue Methode mit dem VVenC Encoder (einer spezifischen Videokodierungssoftware) getestet.

Vorher: Der Encoder prüfte etwa 21 % aller möglichen „Anpassungs“-Optionen, selbst nach bestehenden Beschleunigungen.
Nachher: Mit dieser neuen Methode prüft er nur noch etwa 11 %.
Der Gewinn: Sie haben die Zeit, die mit der Suche verbracht wurde, fast halbiert (Reduzierung des „Aufwand-zu-Qualität“-Metrik-Werts erheblich), während die Videoqualität fast exakt gleich geblieben ist.

Zusammenfassend
Dieses Paper stellt einen „smarten Filter“ für die Videokompression vor. Anstatt blind jede mögliche winzige Anpassung eines sich bewegenden Objekts in einem Video auszuprobieren, analysiert der Algorithmus schnell die Textur des Bildes und den aktuellen Vorhersagefehler. Wenn die Mathematik nahelegt, dass eine bestimmte Anpassung nicht helfen wird, überspringt er diese komplett. Dies macht das Kodieren von Videos viel schneller, ohne die visuelle Qualität zu opfern, was es zu einem großartigen Werkzeug für Echtzeit-Videoanwendungen macht.

Technische Zusammenfassung: Beschleunigung von Merge mit Motion Vector Difference mittels Filterdifferenzanalyse für VVenC

Problemstellung
Merge with Motion Vector Difference (MMVD) ist ein entscheidendes Werkzeug in der Versatile Video Coding (VVC), das darauf ausgelegt ist, die Bewegungsprädiktionsgenauigkeit durch eine richtungsabhängige Verschiebung und Distanz der Basis-Bewegungsvektoren zu verbessern. Die Standardimplementierung stützt sich jedoch auf eine erschöpfende Suche über alle Richtungs–Distanz-Kombinationen (vier Richtungen und acht Distanzstufen), was eine erhebliche Rechenlast verursacht. Im VVenC-Encoder erhöht die Aktivierung von MMVD die Kodierzeit unter dem „faster“-Preset um etwa 36,39 % und unter dem „fast“-Preset um 21,20 %. Dieser Overhead behindert die Anwendung von MMVD in Szenarien mit geringer Latenz. Bestehende Fast-Search-Strategien in VVenC reduzieren diese Last zwar, erfordern aber immer noch die Evaluierung eines signifikanten Teils der Kandidaten, insbesondere der Quarter-Pixel-MVD-Kandidaten, die 60 %–80 % der Gesamtzahl der Versuche ausmachen.

Methodik
Die Autoren schlagen einen neuartigen schnellen MMVD-Algorithmus vor, der eine fraktionale Bewegungsvektor-Filterdifferenzanalyse nutzt, um den potenziellen Kodiergewinn von MMVD-Kandidaten zu schätzen, was ein vorzeitiges Abbrechen nicht vielversprechender Suchpfade ermöglicht. Der Kernansatz umfasst die folgenden Schritte:

Filter-Approximation: Die Methode approximiert die im VVC verwendeten Standard-8-Tap-Interpolationsfilter durch leichtgewichtige 2-Tap-Filter. Diese Vereinfachung ermöglicht es, die Differenz zwischen der regulären Merge-Prädiktion und der MMVD-Prädiktion mithilfe räumlicher Gradienten zu modellieren.
Residuen-Gradienten-Kriterium:
- Aligned-Support-Fall: Wenn der MMVD-Offset die ganzzahligen Positionen der Referenzproben nicht verschiebt, wird die Differenz in der Prädiktion als Funktion des räumlichen Gradienten des Referenzblocks ( $g_{ref}$ ) und des Residuums des regulären Merge-Kandidaten ( $e_i$ ) approximiert. Ein Kandidat wird übersprungen, wenn der Skalarproduktterm $-\alpha_{i,j}\langle e_i, g_{ref} \rangle \geq 0$ ist, was darauf hindeutet, dass der MMVD-Kandidat wahrscheinlich keinen geringeren Verzerrungswert als der reguläre Merge liefert.
- Shifted-Support-Fall: Wenn der Offset eine Grenze zwischen ganzzahligen Proben überschreitet, verschiebt sich der Support. Die Autoren generalisieren das Kriterium, um dies zu handhaben, indem sie die Filterdifferenz faktorisieren und einen einfachen 2-Tap-Filter auf den Gradienten anwenden, wodurch eine direkte 3-Tap-Filterung auf dem Referenzblock vermieden wird.
- 2D-Separable-Filterung: Die 1D-Analyse wird auf die 2D-separable Interpolation von VVC erweitert. Da MMVD nur kardinale Richtungen durchsucht, verschwinden die Kreuzterme, sodass das Residuen-Gradienten-Kriterium unabhängig von horizontalen und vertikalen Offsets angewendet werden kann.
Implementierungsoptimierungen: Um den Overhead der vorgeschlagenen Methode selbst zu minimieren, werden zwei Optimierungen eingeführt:
- Symmetrische Offset-Inferenz: Für symmetrische Offsets (z. B. $+\Delta$ und $-\Delta$ ) wird die Antwort eines Shifted-Support-Falls durch Vorzeicheninversion der Aligned-Support-Antwort abgeleitet, was redundante Berechnungen reduziert.
- Kreuzförmige Downsampled-Skalarprodukt-Berechnung: Anstatt das Skalarprodukt über den gesamten Block zu berechnen, wird die Berechnung auf einen zentralen kreuzförmigen Bereich beschränkt (mittlere Zeile für horizontale Offsets, mittlere Spalte für vertikale Offsets).

Wesentliche Beiträge

Neuartiges Kriterium: Ableitung eines leichtgewichtigen Kriteriums basierend auf räumlichen Gradienten und Prädiktionsresiduen zur Schätzung des MMVD-Gewinns ohne erschöpfende Suche.
Generalisierung: Erweiterung des Kriteriums, um sowohl verschobene ganzzahlige Referenzproben als auch die 2D-separable Filterung zu berücksichtigen, wodurch praktische VVC-Szenarien abgedeckt werden.
Engineering-Optimierungen: Einführung der symmetrischen Offset-Inferenz und effizienter Skalarprodukt-Berechnungen, um sicherzustellen, dass die Beschleunigungsmethode selbst nur minimale Komplexität hinzufügt.
Integration: Nahtlose Integration des vorgeschlagenen Algorithmus in das bestehende VVenC Fast-Search-Framework (in Kombination mit den Fast1-, Fast2- und Fast3-Strategien).

Experimentelle Ergebnisse
Die Experimente wurden mit dem VVenC-1.14.0 Encoder über vier Presets (faster, fast, medium, slow) und Standard-Testsequenzen (JVET CTC Klassen A1, A2, B, C, D) durchgeführt.

Suchreduktion: Die vorgeschlagene Methode reduziert das durchschnittliche MMVD-Suchverhältnis von 21,07 % (mit bestehenden Fast-Strategien) auf 11,05 %.
Komplexität vs. Leistung: Unter dem „fast“-Preset wird der Encoding-Zeit-Overhead von 4,52 % (bestehende Fast-Strategien) auf 2,23 % reduziert.
Effizienzmetrik ( $\eta$ ): Die Effizienz-Komplexitäts-Metrik $\eta$ (Encoding-Zeit-Overhead pro Einheit BD-Rate-Gewinn) verbessert sich signifikant. Für das „fast“-Preset sinkt $\eta$ von 11,79 (bestehende Fast-Strategien) auf 7,10. Ähnliche Verbesserungen werden über andere Presets hinweg beobachtet.
Kodiergewinn: Die Methode bewahrt den Großteil des durch MMVD bereitgestellten Kodiergewinns, wobei die BD-Rate-Verluste im Vergleich zur Full-Search-Baseline in Kombination mit dem vorgeschlagenen Pruning vernachlässigbar sind.

Bedeutung und Ansprüche
Das Paper behauptet, dass der vorgeschlagene Algorithmus einen überlegenen Kompromiss zwischen Kodierkomplexität und Rate-Distortion (RD)-Leistung im Vergleich zu bestehenden MMVD-Beschleunigungsschemata in VVenC erreicht. Durch das effektive Weglassen weniger vielversprechender Kandidaten mittels Filterdifferenzanalyse reduziert die Methode die Rechenlast von MMVD erheblich, ohne die Kodierungseffizienz zu opfern. Die Autoren merken an, dass die aktuelle Implementierung nur die standardmäßigen vier kardinalen Richtungen unterstützt und planen, die Methode in zukünftiger Arbeit auf MMVD-Modi mit flexiblen diagonalen Winkeln auszuweiten.

Mehr davon