NeRV360: Neural Representation for 360-Degree Videos with a Viewport Decoder

Le papier présente NeRV360, un cadre de bout en bout qui améliore la compression des vidéos 360° en ne décodant que la vue sélectionnée par l'utilisateur grâce à une transformation affine spatio-temporelle, réduisant ainsi considérablement la consommation mémoire et augmentant la vitesse de décodage par rapport aux méthodes existantes.

L'essentiel

🌍 Le Problème : Le "Gâteau Géant" que personne ne mange tout entier

Imaginez que vous avez un énorme gâteau géant (c'est la vidéo 360° de haute qualité, comme une sphère complète).

• Le problème actuel : Avec les méthodes de compression vidéo traditionnelles (comme HNeRV), pour vous montrer une petite part de ce gâteau (ce que vous regardez sur votre casque de réalité virtuelle), l'ordinateur doit d'abord cuire, découper et servir le gâteau entier, puis vous donner juste la part qui vous intéresse.
• La conséquence : C'est énorme, ça prend beaucoup de temps, et ça demande une machine très puissante (une grosse carte graphique) pour faire ce travail inutile. C'est comme si vous deviez faire cuire 100 pizzas entières juste pour manger un seul morceau de pizza.

💡 La Solution : NeRV360, le "Chef Magique"

Les chercheurs de NHK (au Japon) ont créé NeRV360. C'est une nouvelle façon de faire qui change complètement la logique.

Au lieu de cuire tout le gâteau, NeRV360 agit comme un chef magicien qui sait exactement où vous regardez.

1. Il ne prépare que ce que vous regardez : Dès que vous tournez la tête, le système ne reconstruit que la petite fenêtre (le "viewport") que vos yeux voient.
2. Économie d'énergie : Il ne gaspille aucune ressource à préparer les parties du gâteau que vous ne regardez pas.

🛠️ Comment ça marche ? (Les 3 Astuces Magiques)

Pour que ce système fonctionne bien, les chercheurs ont ajouté trois ingrédients secrets :

1. Le "Zoom Intelligent" (Extraction de la vue) :
   Au lieu de dessiner toute la sphère 360° puis de la recadrer, NeRV360 va directement chercher les pixels dans la zone qui vous intéresse. C'est comme si, au lieu de lire tout un livre pour trouver une phrase, vous utilisiez un index pour sauter directement à la page exacte.

2. L'Amplificateur de Détails (Expansion des canaux) :
   Quand on zoome sur une image numérique, elle a tendance à devenir floue (comme un vieux GIF pixelisé). Pour éviter cela, NeRV360 ajoute une couche spéciale qui "gonfle" les données avant de faire le zoom. C'est comme si le chef ajoutait de la crème fouettée avant de couper la part de gâteau : le résultat est plus lisse et plus net, même si on ne regarde qu'un petit bout.

3. Le GPS du Temps et de l'Espace (Module STAT) :
   Le système sait non seulement où vous regardez (latitude et longitude), mais aussi quand (le moment de la vidéo). Il utilise ces informations pour ajuster l'image en temps réel. C'est comme un GPS qui ajuste votre itinéraire non seulement en fonction de votre position, mais aussi de l'heure de la journée et du trafic.

🏆 Les Résultats : Plus vite, moins cher, mieux

Les tests ont été réalisés sur des vidéos 360° ultra-haute définition (6K, soit une qualité incroyable). Voici ce que NeRV360 a accompli par rapport aux anciennes méthodes :

• 🧠 Moins de mémoire : Il utilise 7 fois moins de mémoire (RAM de la carte graphique). C'est comme passer d'un camion de déménagement à une petite voiture pour faire le même trajet.
• ⚡ Plus vite : Il décode l'image 2,5 fois plus vite. La vidéo se lance instantanément, sans attendre.
• 🎨 Meilleure qualité : L'image est plus nette et plus belle, même si le fichier est plus petit.

🚀 Pourquoi c'est important pour nous ?

Aujourd'hui, regarder une vidéo 360° en haute qualité sur un casque VR demande un ordinateur très puissant et coûteux. Avec NeRV360 :

• Vous pourrez regarder des vidéos 8K immersives sur des appareils plus légers (voire des téléphones ou des casques moins chers).
• Le streaming sera plus fluide, sans coupures ni temps de chargement.
• Les créateurs de contenu pourront produire des vidéos de meilleure qualité sans avoir besoin de super-ordinateurs pour les traiter.

En résumé : NeRV360 est une révolution qui permet de regarder le monde entier en 360° sans avoir à "porter" tout le monde sur nos épaules. On ne regarde que ce qui nous intéresse, et le système s'occupe du reste de manière invisible et efficace.

Résumé technique

1. Problématique

Les vidéos à 360 degrés sont essentielles pour la réalité virtuelle (VR), mais elles posent des défis majeurs en matière de compression et de décodage, en particulier pour les résolutions ultra-élevées (comme la 6K).

• Inefficacité du décodage complet : Les méthodes de compression neuronale existantes (comme NeRV et HNeRV) décodent l'intégralité du cadre panoramique avant d'extraire la "vue" (viewport) sélectionnée par l'utilisateur. Étant donné que les dispositifs d'affichage (casques VR, écrans tactiles) n'affichent qu'une petite fraction de l'image totale, ce processus génère un gaspillage computationnel et une surcharge mémoire inutile.
• Limites matérielles : Pour les vidéos 6K, les approches précédentes nécessitent des quantités de mémoire GPU prohibitives (par exemple, ~30 Go pour HNeRV-Boost) et des vitesses de décodage lentes, rendant les applications en temps réel impraticables sur du matériel grand public.

2. Méthodologie : NeRV360

Les auteurs proposent NeRV360, un cadre de bout en bout conçu spécifiquement pour décoder directement la vue sélectionnée sans reconstruire le cadre panoramique complet.

• Extraction de la vue intégrée au décodage : Contrairement aux pipelines conventionnels qui décodent d'abord l'image entière, NeRV360 intègre l'extraction de la vue directement dans le processus de décodage. Les paramètres de la vue (longitude $\theta$, latitude $\phi$) sont utilisés pour appliquer une projection perspective sur les représentations latentes (embeddings) avant la reconstruction finale.
• Architecture de l'encodeur : L'encodeur est basé sur ConvNeXt (similaire à HNeRV), générant des embeddings spatiaux-temporels à partir du cadre d'entrée en format equirectangulaire.
• Module d'expansion de canal : Pour contrer le flou introduit par l'interpolation bilinéaire lors de la projection perspective dans l'espace des embeddings, une couche d'expansion de canal est ajoutée avant l'extraction de la vue. Cette couche augmente la dimension des canaux (de $d$ à $c^2$) en utilisant des blocs SNeRV (Sinusoidal NeRV-like) et un module de transformation affine temporelle (TAT) adapté.
• Module STAT (Spatio-Temporal-Aware Affine Transform) : C'est une innovation clé pour le décodage conditionnel. Le module STAT étend le module TAT existant en incorporant des embeddings de longitude, latitude et temps. Il apprend des paramètres affines ($\beta_{t,\theta,\phi}$ et $\gamma_{t,\theta,\phi}$) pour adapter la transformation des caractéristiques en fonction de l'angle de vue et du temps, permettant un décodage conditionnel précis.

3. Contributions Clés

1. Décodeur de vue (Viewport Decoder) : Capacité à reconstruire directement la vue sélectionnée sans passer par l'étape de décodage du cadre complet.
2. Stratégie d'expansion de canal : Introduction d'une couche d'expansion avant l'extraction de la vue pour atténuer la dégradation de qualité due à l'interpolation dans l'espace latent.
3. Mécanisme conditionnel spatio-temporel : Développement du module STAT qui utilise les coordonnées de la vue ($\theta, \phi$) et le temps ($t$) pour guider le décodage, améliorant la robustesse face aux variations de position de la vue.

4. Résultats Expérimentaux

Les expériences ont été menées sur des vidéos 360° de résolution 6K (ensemble de données JVET Class S2) avec une fenêtre de vue de 1080x1920.

• Efficacité Mémoire : NeRV360 réduit la consommation de mémoire GPU de 7 fois par rapport à HNeRV (passant d'environ 26-30 Go à ~3,6 Go pour l'entraînement/décodage).
• Vitesse de Décodage : Le décodage est 2,5 fois plus rapide (38,4 FPS contre 15,0 FPS pour HNeRV) sur un GPU NVIDIA H100.
• Qualité d'Image : Malgré l'absence de décodage complet, NeRV360 obtient des métriques objectives supérieures (PSNR et MS-SSIM) par rapport à HNeRV et HNeRV-Boost.
• Accessibilité : Alors que les méthodes précédentes nécessitaient des GPU professionnels (>50 Go de VRAM) pour entraîner des modèles sur la 6K, NeRV360 permet cet entraînement sur des cartes graphiques grand public (24 Go de VRAM).

5. Signification et Impact

NeRV360 représente une avancée significative pour la diffusion de contenu immersif haute résolution.

• Viabilité du Temps Réel : En éliminant le décodage des régions invisibles, le framework rend le décodage en temps réel de vidéos 360° en 6K (et potentiellement 8K+) réalisable sur des appareils aux ressources limitées.
• Réduction des Coûts : La capacité à entraîner et déployer ces modèles sur du matériel grand public réduit considérablement les barrières à l'entrée pour les applications de réalité virtuelle.
• Futur : Bien que le système actuel gère les rotations de tangage (pitch) et d'azimut (yaw), les travaux futurs visent à inclure le roulis (roll) et des champs de vision variables pour une flexibilité accrue.

En résumé, NeRV360 résout le goulot d'étranglement mémoire et computationnel des représentations neuronales pour les vidéos 360° en changeant fondamentalement l'architecture de décodage pour qu'elle soit "consciente de la vue" (viewport-aware).