Data-driven Video Codec with Implicit Neural Representations

Imaginez que vous essayiez d'envoyer un film massif en haute définition à un ami. Dans le monde des médias numériques, nous traitons généralement la vidéo et l'audio comme une immense mosaïque composée de minuscules carreaux colorés (pixels) et d'un flux séparé d'ondes sonores. Les codecs vidéo traditionnels sont comme des archivistes experts qui observent cette mosaïque, trouvent tous les motifs répétitifs et ennuyeux, puis écrivent un ensemble très astucieux d'instructions pour reconstruire la mosaïque en utilisant moins de carreaux. Ils sont incroyablement efficaces, mais ils reposent sur une grille de pixels fixe.

Imaginez maintenant une approche différente. Au lieu de stocker les carreaux eux-mêmes, et si vous stockiez une seule recette super intelligente ? Cette recette est une fonction mathématique qui, lorsque vous lui demandez : « Quelle est la couleur du pixel à cet endroit précis à ce moment précis ? », répond instantanément avec la couleur et le son exacts. C'est le monde des Représentations Neurales Implicites (INR). Pensez à cela comme si vous appreniez à un robot à mémoriser une peinture en apprenant les coups de pinceau plutôt qu'en prenant une photo de la toile. Si le robot connaît parfaitement la recette, vous n'avez qu'à sauvegarder la recette (le « cerveau » ou les poids du robot) pour recréer l'intégralité du film plus tard. Cet article explore si nous pouvons utiliser cette méthode de « recette » pour stocker la vidéo et l'audio ensemble dans un seul cerveau, et si nous pouvons rétrécir ce cerveau suffisamment pour qu'il soit utile.

Le Codec Vidéo « Un Seul Cerveau »

Les chercheurs de l'Université Tribhuvan au Népal ont posé une question audacieuse : peut-on construire un réseau neuronal unique — un cerveau numérique — qui apprend à être à la fois un lecteur vidéo et un système sonore en même temps ? Habituellement, la vidéo et l'audio sont gérés par des systèmes distincts. Ici, ils ont construit un réseau unifié appelé SIREN (Sinusoidal Representation Network).

Considérez ce réseau comme un traducteur magique. Vous lui fournissez un ensemble de coordonnées : où vous vous trouvez dans l'image (x, y), quel est le cadre de la vidéo (t), et le moment exact dans le temps pour le son (T). En retour, le réseau recrache la couleur de ce pixel et le volume du son à cet instant précis. Au lieu de sauvegarder un fichier rempli de millions de pixels, ils sauvegardent les « poids » du réseau — essentiellement les paramètres mathématiques qui font fonctionner le traducteur.

Cependant, il y avait un piège. La vidéo et l'audio sont des bêtes très différentes. La vidéo change lentement (une personne qui marche), tandis que l'audio change incroyablement vite (une corde de violon qui vibre). Les chercheurs ont découvert qu'une seule « première couche » du réseau ne pouvait pas bien gérer les deux. C'était comme essayer d'utiliser une seule paire de lunettes pour lire un livre et écouter une symphonie ; ni l'un ni l'autre ne fonctionnait clairement. Ils ont donc donné au réseau deux « paires de lunettes » distinctes (couches d'initialisation) au début — l'une réglée pour la vidéo à mouvement lent et l'autre pour l'audio à mouvement rapide — avant de les fusionner en un cerveau partagé.

Le Tour de Magie de la Compression

Le plus gros problème de cette idée est que la « recette » (le réseau entraîné) est souvent énorme. En fait, pour une courte vidéo, la recette peut être plus grande que le fichier vidéo lui-même ! Pour correr cela, l'équipe a utilisé un pipeline de compression en trois étapes :

1. Le Professeur et l'Élève : D'abord, ils ont entraîné un réseau « Professeur » large et complexe pour mémoriser la vidéo parfaitement. Ce professeur était énorme (environ 9,05 MiB). Ensuite, ils ont utilisé une technique appelée Distillation de Connaissance. Imaginez que le Professeur explique la vidéo à un réseau « Élève » plus petit et plus simple. L'Élève ne se contente pas d'apprendre la vidéo brute ; il apprend à imiter les réponses du Professeur. Cela a permis de réduire considérablement la taille du modèle.
2. La Quantification (Le Jeu de l'Arrondi) : Les poids du réseau sont généralement stockés avec une haute précision (comme des nombres en 32 bits). Les chercheurs ont essayé d'arrondir ces nombres vers le bas avec moins de bits, comme des entiers de 16 bits. C'est comme prendre une recette très précise qui dit « ajoutez 1,000001 gramme de sel » et la simplifier en « ajoutez 1 gramme ». Ils ont testé tout, de 1 bit (très grossier) à 32 bits (très précis). Ils ont constaté qu'une fois arrivés à 16 bits, la qualité cessait de s'améliorer. Aller plus haut ne rendait pas la vidéo meilleure, mais descendre plus bas la rendait terrible.
3. Le Package Sans Perte : Enfin, ils ont utilisé un outil de compression standard appelé LZMA2 (le même utilisé pour les fichiers .xz) pour compresser les données restantes sans perdre aucune information.

Les Résultats : Un Bilan Mitigé

L'équipe a testé cela sur plusieurs vidéos courtes. Voici ce qu'ils ont trouvé :

• La Victoire de la Taille : Pour une vidéo de test de 6,08 MiB, leur modèle compressé final faisait 2,33 MiB. C'est un taux de compression de 2,61. Ils ont réussi à compresser la vidéo et l'audio dans un fichier de moins de la moitié de la taille originale.
• Le Compromis Qualité/Taille : La qualité vidéo était correcte mais pas exceptionnelle. La meilleure vidéo testée a obtenu un PSNR de 28,72 dB (une mesure de qualité où plus c'est élevé, mieux c'est) et un SSIM de 0,75. L'audio était correct, avec un PSNR de 24,18 dB.
• Le Problème de la « Vidéo Courte » : C'est la découverte la plus importante. Parce que le réseau a une taille fixe (il a besoin d'un certain montant de « cerveau » pour fonctionner), les vidéos courtes deviennent en fait plus grandes lorsqu'on les compresse. Pour un minuscule clip de 5 secondes, le fichier compressé était plus gros que l'original. La méthode ne commence à économiser de l'espace que lorsque la vidéo est assez longue pour justifier le coût fixe du réseau.
• Comparaison avec les Géants : Lorsqu'ils ont comparé leur méthode aux standards de l'industrie H.264 et HEVC (les codecs utilisés par YouTube et Netflix), leur méthode a perdu. Les codecs traditionnels étaient bien meilleurs pour compresser la vidéo, souvent par un facteur de 10 ou plus. La nouvelle méthode n'égalait la qualité des codecs traditionnels que lorsque ces derniers étaient réglés sur leurs paramètres de qualité les plus bas, les plus « granuleux ».

Pourquoi cela compte (Même si ce n'est pas parfait)

Les auteurs sont très honnêtes quant aux limites. Ils admettent que, pour l'instant, cette méthode n'est pas prête à remplacer YouTube ou Netflix. Elle est trop lente à entraîner (cela prend des milliers d'heures de temps informatique pour « enseigner » une seule vidéo) et elle peine face aux scènes à mouvement rapide.

Cependant, ils ont découvert quelque chose d'unique : la taille du fichier est constante. Dans la vidéo traditionnelle, si vous doublez la longueur du film, la taille du fichier double. Avec cette méthode, la taille du fichier reste sensiblement la même, que la vidéo dure 1 minute ou 1 heure (une fois qu'elle a dépassé une certaine longueur minimale). Cela suggère que pour des contenus très longs et à haute résolution, cette approche pourrait un jour devenir très efficace.

Ils ont également construit un prototype fonctionnel qui s'exécute dans un navigateur Web, montant qu'il est possible d'entraîner, d'envoyer et de lire ces « recettes vidéo neurales » via Internet en utilisant des technologies web standards.

En résumé, ce papier n'a pas inventé un nouveau format vidéo qui bat les champions actuels. Au lieu de cela, il a prouvé que vous pouvez stocker une vidéo et sa bande sonore à l'intérieur d'un seul cerveau mathématique, et que vous pouvez réduire ce cerveau pour qu'il soit d'une taille utilisable sans détruire l'image. C'est une étape prometteuse vers un futur où nous n'enverrons pas seulement des pixels, mais les instructions pour les imaginer.