Data-driven Video Codec with Implicit Neural Representations

Stellen Sie sich vor, Sie möchten einem Freund einen massiven, hochauflösenden Film schicken. In der Welt der digitalen Medien behandeln wir Video und Audio normalerweise wie ein riesiges Mosaik aus winzigen, farbigen Kacheln (Pixeln) und einen separaten Strom von Schallwellen. Traditionelle Videocodecs sind wie meisterhafte Archivare, die dieses Mosaik betrachten, alle langweiligen, sich wiederholenden Muster finden und eine sehr geschickte Anleitung schreiben, wie man es mit weniger Kacheln wieder aufbaut. Sie sind unglaublich effizient, aber sie verlassen sich auf ein festes Pixelgitter.

Stellen Sie sich nun einen anderen Ansatz vor. Anstatt die Kacheln selbst zu speichern, was wäre, wenn man ein einziges, superintelligentes Rezept speicherte? Dieses Rezept ist eine mathematische Funktion, die, wenn man sie fragt: „Welche Farbe hat der Pixel an dieser spezifischen Stelle zu dieser spezifischen Zeit?“, sofort mit der exakten Farbe und dem exakten Klang antwortet. Dies ist die Welt der impliziten neuronalen Repräsentationen (INRs). Denken Sie daran, ein Roboter lernt, ein Gemälde zu memorieren, indem er die Pinselstriche lernt, anstatt ein Foto der Leinwand zu machen. Wenn der Roboter das Rezept perfekt kennt, müssen Sie nur das Rezept (das „Gehirn“ oder die Gewichte des Roboters) speichern, um das gesamte Video später zu rekonstruieren. Diese Arbeit untersucht, ob wir mit dieser „Rezept“-Methode sowohl Video als auch Audio zusammen in einem einzigen Gehirn speichern können und ob wir dieses Gehirn klein genug bekommen, um nützlich zu sein.

Das „Ein-Gehirn“-Video-Codec

Die Forscher der Tribhuvan University in Nepal stellten eine kühne Frage: Können wir ein einziges neuronales Netzwerk – ein digitales Gehirn – bauen, das gleichzeitig lernt, sowohl ein Videoplayer als auch ein Soundsystem zu sein? Normalerweise werden Video und Audio von separaten Systemen gehandhabt. Hier bauten sie ein vereinheitlichtes Netzwerk namens SIREN (Sinusoidal Representation Network).

Betrachten Sie dieses Netzwerk als einen magischen Übersetzer. Sie füttern es mit einem Satz Koordinaten: wo Sie sich im Bild befinden (x, y), welcher Frame des Videos es ist (t) und der exakte Moment in der Zeit für den Ton (T). Im Gegenzug spuckt das Netzwerk die Farbe dieses Pixels und die Lautstärke des Tons zu genau diesem Augenblick aus. Anstatt eine Datei voller Millionen von Pixeln zu speichern, speichern sie die „Gewichte“ des Netzwerks – im Wesentlichen die mathematischen Einstellungen, die den Übersetzer zum Arbeiten bringen.

Es gab jedoch einen Haken. Video und Audio sind sehr unterschiedliche Bestien. Video verändert sich langsam (eine gehende Person), während Audio unglaublich schnell wechselt (eine vibrierende Violinsaiten). Die Forscher fanden heraus, dass eine einzige „erste Schicht“ des Netzwerks nicht beides gut handhaben konnte. Es war, als würde man versuchen, eine Brille zu benutzen, um gleichzeitig ein Buch zu lesen und eine Symphonie zu hören; beides funktionierte nicht klar. Also gaben sie dem Netzwerk zwei separate „Brillen“ (Initialisierungsschichten) am Anfang – eine, die auf das langsam bewegte Video abgestimmt war, und eine, die auf das schnell bewegte Audio abgestimmt war –, bevor sie es in ein gemeinsames Gehirn zusammenführten.

Der Kompressions-Zaubertrick

Das größte Problem bei dieser Idee ist, dass das „Rezept“ (das trainierte Netzwerk) oft riesig ist. Tatsächlich kann das Rezept für ein kurzes Video größer sein als die Videodatei selbst! Um dies zu beheben, nutzte das Team eine dreistufige Kompressions-Pipeline:

1. Der Lehrer und der Schüler: Zuerst trainierten sie ein großes, komplexes „Lehrer“-Netzwerk, um das Video perfekt zu memorieren. Dieser Lehrer war riesig (etwa 9,05 MiB). Dann nutzten sie eine Technik namens Knowledge Distillation. Stellen Sie sich vor, der Lehrer erklärt das Video einem kleineren, einfacheren „Schüler“-Netzwerk. Der Schüler lernt nicht nur das rohe Video; er lernt, die Antworten des Lehrers nachzuahmen. Dies schrumpfte das Modell erheblich.
2. Quantisierung (Das Rundungsspiel): Die Gewichte des Netzwerks werden normalerweise mit hoher Präzision gespeichert (wie 32-Bit-Zahlen). Die Forscher versuchten, diese Zahlen auf weniger Bits zu runden, wie etwa 16-Bit-Integer. Es ist, als würde man ein sehr präzises Rezept, das besagt: „Fügen Sie 1,000001 Gramm Salz hinzu“, vereinfachen zu: „Fügen Sie 1 Gramm hinzu“. Sie testeten alles von 1-Bit (sehr grob) bis 3es 32-Bit (sehr präzise). Sie fanden heraus, dass die Qualität, sobald sie 16 Bit erreichten, nicht mehr besser wurde. Höher zu gehen verbesserte das Video nicht, aber tiefer zu gehen ließ es schrecklich aussehen.
3. Verlustfreie Packung: Schließlich verwendeten sie ein Standard-Komprimierungswerkzeug namens LZMA2 (dasselbe, das auch für .xz-Dateien verwendet wird), um die verbleibenden Daten ohne Informationsverlust zu zippen.

Die Ergebnisse: Ein gemischtes Urteil

Das Team testete dies an mehreren kurzen Videos. Hier ist, was sie fanden:

• Der Größen-Sieg: Für ein Testvideo mit einer Größe von 6,08 MiB war ihr endgültiges komprimiertes Modell 2,33 MiB groß. Das ist ein Kompressionsverhältnis von 2,61. Sie haben es geschafft, das Video und das Audio in eine Datei zu pressen, die weniger als halb so groß ist wie das Original.
• Der Qualitäts-Trade-off: Die Videoqualität war ordentlich, aber nicht herausragend. Das beste Video, das sie testeten, erreichte einen PSNR von 28,72 dB (ein Qualitätsmaß, bei dem höhere Werte besser sind) und einen SSIM von 0,75. Das Audio war okay, mit einem PSNR von 24,18 dB.
• Das „Kurze-Video-Problem“: Dies ist die wichtigste Erkenntung. Da das Netzwerk eine feste Größe hat (es benötigt eine gewisse Menge an „Gehirn“, um zu funktionieren), werden kurze Videos tatsächlich größer, wenn man sie komprimiert. Für einen winzigen 5-Sekunden-Clip war die komprimierte Datei größer als das Original. Die Methode spart erst dann Platz, wenn das Video lang genug ist, um die festen Kosten des Netzwerks zu rechtfertigen.
• Vergleich mit den Giganten: Als sie ihre Methode mit den Industriestandards H.264 und HEVC (den Codecs, die YouTube und Netflix verwenden) verglichen, verloren sie. Die traditionellen Codecs waren viel besser darin, Video zu komprimieren, oft um den Faktor 10 oder mehr. Die neue Methode erreichte die Qualität der traditionellen Codecs nur dann, wenn diese traditionellen Codecs auf ihre niedrigsten, „körnigsten“ Qualitätseinstellungen gesetzt waren.

Warum das wichtig ist (auch wenn es nicht perfekt ist)

Die Autoren sind sehr ehrlich über die Einschränkungen. Sie geben zu, dass diese Methode derzeit noch nicht bereit ist, YouTube oder Netflix zu ersetzen. Sie ist zu langsam im Training (es dauert tausende Computerstunden, um ein einzelnes Video zu „lehren“) und sie hat Schwierigkeiten mit schnell bewegten Szenen.

Sie entdeckten jedoch etwas Einzigartiges: Die Dateigröße ist konstant. In herkömmlichen Videos verdoppelt sich die Dateigröße, wenn man die Länge des Films verdoppelt. Mit dieser Methode bleibt die Dateigröße etwa gleich, egal ob das Video 1 Minute oder 1 Stunde lang ist (sobald es eine gewisse Mindestlänge überschritten hat). Dies deutet darauf hin, dass dieser Ansatz für sehr lange, hochauflösende Inhalte eines Tages sehr effizient sein könnte.

Sie bauten auch einen funktionierenden Prototyp, der in einem Webbrowser läuft, was zeigt, dass es möglich ist, diese „neuronalen Video-Rezepte“ zu trainieren, zu senden und über das Internet mit Standard-Webtechnologien abzuspielen.

Kurz gesagt: Diese Arbeit hat keinen neuen Videoformate erfunden, das die aktuellen Champions schlägt. Stattdessen hat sie bewiesen, dass man ein Video und seinen Soundtrack in einem einzigen mathematischen Gehirn speichern kann und dass man dieses Gehirn auf eine nutzbare Größe schrumpfen kann, ohne das Bild zu zerstören. Es ist ein vielversprechender Schritt in Richtung einer Zukunft, in der wir nicht nur Pixel senden, sondern die Anweisungen, sie sich vorzustellen.