Résumé Technique : NeR-SC – Adaptation de la Représentation Neurale Vidéo aux Contenus d'Écran

1. Énoncé du Problème

Les représentations neuronales implicites (INR) sont devenues un paradigme compétitif pour la compression vidéo, en particulier pour les scènes naturelles. Cependant, les méthodes existantes (par exemple, NeRV, SNeRV) peinent avec les vidéos de contenu d'écran (courantes dans le bureau à distance, l'éducation en ligne et le jeu en cloud). Le contenu d'écran présente des propriétés statistiques distinctes que les codecs vidéo naturels ne parviennent pas à exploiter :

• Palettes de Couleurs Discrètes : Les contours nets et les éléments d'interface utilisateur utilisent un ensemble limité de couleurs plutôt que des dégradés continus.
• Redondance Temporelle Forte : De grandes portions de l'image restent statiques au cours des séquences, les changements étant confinés à de petites régions (par exemple, les curseurs).
• Structure Multi-échelle : Le texte et les éléments graphiques nécessitent un traitement précis des transitions nettes.

Les méthodes actuelles de représentation neuronale vidéo régressent des valeurs RVB continues, utilisent une fusion de caractéristiques séquentielle qui peut être sous-optimale pour le contenu graphique, et décodent chaque image indépendamment, ignorant la redondance temporelle. Cela se traduit par un écart de performance par rapport aux codecs traditionnels (comme H.264/H.265) et aux codecs spécialisés en apprentissage profond (comme DSCVC) pour le contenu d'écran.

2. Méthodologie

Les auteurs proposent NeR-SC (Représentation Neurale pour le Contenu d'Écran), un cadre construit sur l'architecture de base SNeRV. L'architecture décompose les images d'entrée à l'aide d'une transformée en ondelettes de Haar 2D à un seul niveau. La sous-bande de basse fréquence (LL) est traitée par un encodeur-décodeur lourd ConvNeXt, tandis que les sous-bandes de haute fréquence (HF) sont reconstruites via des têtes convolutionnelles légères.

NeR-SC introduit trois innovations spécifiques pour adapter cette architecture de base au contenu d'écran :

A. Palette de Couleurs Apprenable

Reconnaissant que le contenu d'écran repose sur des couleurs discrètes, les auteurs remplacent la régression RVB non contrainte pour la sous-bande LL par une approche de classification par pixel.

• Une matrice de palette entraînable $P \in \mathbb{R}^{K \times 3}$ (où $K=64$) est apprise.
• Le décodeur produit des logits pour $K$ indices de couleur, convertis en probabilités via un softmax à température ajustée.
• La sous-bande LL reconstruite est une combinaison convexe de ces entrées de palette.
• Les sous-bandes de haute fréquence restent non contraintes pour préserver la fidélité des contours et des gradients.

B. Module de Fusion Dense Multi-Portes (MGF)

Le SNeRV original utilise une stratégie de fusion séquentielle paire par paire (MRF) qui restreint le flux d'information aux étapes adjacentes. NeR-SC remplace cela par une fusion dense et simultanée des trois dernières étapes du décodeur ($F_3, F_4, F_5$).

• Les caractéristiques sont projetées vers une dimension commune et alignées via une interpolation bilinéaire.
• Un bloc résiduel fusionne les caractéristiques concaténées.
• Un bloc Squeeze-and-Excitation (SE) applique un contrôle d'attention par canal de manière résiduelle, permettant au réseau d'apprendre dynamiquement l'importance des caractéristiques à travers les étapes.

C. Stratégie de Saut de Niveau d'Embedding

Pour répondre à la forte redondance temporelle, les auteurs introduisent un mécanisme pour contourner le décodeur pour les images statiques.

• Puisque la fonction de décodage est déterministe, les images ayant des embeddings latents similaires produisent des reconstructions quasi identiques.
• Lors du décodage, l'embedding latent de l'image courante $z_i$ est comparé à l'embedding de la dernière image décodée $z_k$ en utilisant une distance L1 normalisée.
• Si la distance tombe en dessous d'un seuil $\tau$ (par défaut 0,005), le décodeur est contourné et l'image précédente est réutilisée.
• Cette stratégie engendre aucune surcharge d'entraînement et ne nécessite de stocker qu'un seul seuil scalaire.

3. Contributions Clés

1. Palette de Couleurs Apprenable : Convertit la régression continue en classification discrète pour la sous-bande de basse fréquence, modélisant efficacement les palettes de couleurs limitées du contenu d'écran tout en maintenant l'expressivité pour les détails de haute fréquence.
2. Fusion Dense Multi-Portes (MGF) : Remplace la fusion séquentielle par une interaction inter-étapes dense et contrôlée par attention, améliorant l'intégration des caractéristiques multi-échelles et réduisant le nombre de paramètres.
3. Stratégie de Saut au Niveau d'Embedding : Un mécanisme sans surcharge qui détecte la redondance temporelle via des embeddings latents compacts, permettant un décodage en temps réel en évitant les appels redondants au décodeur.
4. Validation de Performance : Démontre que NeR-SC surpasse les méthodes représentatives de représentation neuronale vidéo et, à faible débit binaire, dépasse les codecs traditionnels (H.264, H.265) sur les benchmarks de contenu d'écran.

4. Résultats Expérimentaux

La méthode a été évaluée sur deux jeux de données : DSCVC (contenu d'écran diversifié) et VCD (conférence vidéo).

• Performance Quantitative :

  • NeR-SC a atteint un PSNR moyen de 40,32 dB sur DSCVC et 41,73 dB sur VCD.
  • Il a surpassé l'architecture de base SNeRV de 0,54 dB (DSCVC) et 0,11 dB (VCD).
  • À faible débit binaire, NeR-SC a dépassé H.264 et H.265, démontrant une performance débit-distorsion supérieure adaptée aux statistiques du contenu d'écran.
  • Dans les études d'ablation sur la taille du modèle, NeR-SC avec 1,5 M de paramètres (38,54 dB) a déjà dépassé HNeRV avec 6,0 M de paramètres (36,81 dB).

• Performance Qualitative :

  • Les comparaisons visuelles ont montré que NeR-SC produisait des structures plus nettes et une reproduction des couleurs plus cohérente que NeRV et HNeRV.
  • Par rapport à SNeRV, NeR-SC a mieux préservé les éléments de contenu (par exemple, les blocs rectangulaires sombres) et les limites, attribué aux modules de palette et MGF.

• Efficacité :

  • La stratégie de saut au niveau d'embedding a augmenté le débit de décodage de 20,7 FPS, atteignant 61,7 FPS (temps réel) sans perte de PSNR.
  • Les études d'ablation ont confirmé que le module Palette a ajouté +0,22 dB de PSNR, que MGF a ajouté +0,17 dB de PSNR tout en réduisant les paramètres, et que la stratégie de Saut a fourni le gain de débit.

5. Importance et Revendications

L'article revendique que NeR-SC comble avec succès le fossé entre la représentation neuronale vidéo à usage général et les besoins statistiques spécifiques du contenu d'écran. En modélisant explicitement les couleurs discrètes, en améliorant la fusion multi-échelle et en exploitant la redondance temporelle au niveau de l'embedding, le cadre atteint des performances de pointe parmi les méthodes neuronales.

Les auteurs soulignent que les méthodes de représentation neuronale, lorsqu'elles sont correctement adaptées au type de contenu cible, peuvent rivaliser avec et même surpasser les codecs traditionnels pour le contenu d'écran, en particulier à faible débit binaire. Le travail met également en évidence le potentiel des stratégies de saut sans surcharge pour permettre un décodage en temps réel sans compromettre la qualité, répondant ainsi à un goulot d'étranglement critique dans le déploiement de codecs neuronaux pour des applications interactives comme le jeu en cloud et le bureau à distance.

Il est noté que les travaux futurs se concentreront sur l'extension de NeR-SC à des résolutions plus élevées et son intégration avec des outils traditionnels de Codage de Contenu d'Écran (SCC) pour des pipelines hybrides.