PaaF: Raising the perceived quality of INR-Based Image Compression

Résumé Technique : PaaF – Améliorer la qualité perçue de la compression d'images basée sur les INR

Énoncé du Problème
Les représentations neuronales implicites (INR) offrent un paradigme pour la compression d'images où les images sont représentées comme des fonctions faisant correspondre des coordonnées à des couleurs, approximées par des réseaux de neurones. Bien que cette approche permette l'indépendance vis-à-vis de la résolution et un décodage parallélisable, les codecs basés sur les INR existants souffrent de deux limitations principales : des temps d'encodage prohibitifs (souvent des heures) et un écart de performance persistant dans les métriques de qualité classiques (telles que le PSNR) par rapport aux codecs traditionnels (par exemple, JPEG) et aux méthodes basées sur des latents appris. Les tentatives précédentes pour améliorer la compression par INR, telles que le méta-apprentissage ou les approches hybrides, ont soit introduit des contraintes liées à des données d'entraînement spécifiques, soit ajouté de la complexité au processus de décodage.

Méthodologie : PaaF (Picture as a Function)
Les auteurs proposent PaaF, un codec d'image purement basé sur les INR, conçu pour améliorer les performances taux-distorsion tout en maintenant la simplicité et la parallélisabilité du décodage par INR. La méthodologie intègre plusieurs composants techniques novateurs :

1. Représentation basée sur les coordonnées et prétraitement :

   • Les images sont mappées des coordonnées de pixels $(p_x, p_y)$ vers des coordonnées normalisées $(c_x, c_y) \in [-1, 1]$.
   • Une transformation d'espace colorimétrique convertit le RGB en YCbCr, suivie d'une soustraction de la moyenne par canal et d'une normalisation en $[-1, 1]$. Cela améliore empiriquement la qualité de la reconstruction.

2. Configuration architecturale exponentielle :

   • Pour optimiser le ratio bits-par-pixel, le réseau emploie une heuristique exponentielle pour le nombre de caractéristiques des couches. Le nombre de caractéristiques diminue exponentiellement avec la profondeur de la couche, créant des goulots d'étranglement proportionnels à la profondeur.
   • Les redémarrages de poids (weight restarts) et les plages de perturbation décroissent également exponentiellement pendant l'entraînement.

3. Activations SIREN auto-modulées :

   • Le réseau utilise un module unique léger où toutes les couches (sauf la queue) emploient des activations sinusoïdales auto-modulées (SIREN).
   • Contrairement aux SIREN traditionnelles qui nécessitent des réseaux de modulation auxiliaires, PaaF échantillonne de manière déterministe des décalages de phase ($\phi_i$) et des modulations de période ($\omega_i$) basés sur l'indice de caractéristique de sortie. Ces paramètres sont régénérables via des paramètres de générateur de nombres pseudo-aléatoires partagés, éliminant ainsi la nécessité de les transmettre dans le flux binaire.

4. Quantification adaptative à grain fin :

   • Le papier introduit un schéma de quantification non uniforme motivé par l'observation que les poids post-entraînement suivent une distribution de Laplace.
   • Au lieu de stratégies à bits fixes, PaaF utilise un facteur d'échelle $s$ et un nombre de symboles $M = 2^e$ (où $e$ n'est pas nécessairement un entier) pour mapper les valeurs vers des entiers discrets.
   • Une recherche dichotomique efficace est employée pour trouver l' $e$ optimal qui minimise le compromis taux-distorsion, équilibrant la réduction du taux et la chute de qualité.

5. Codage entropique et pipeline d'entraînement :

   • Les paramètres quantifiés sont compressés à l'aide de Brotli et d'un codeur de plage (range coder), sélectionnant la meilleure distribution (Laplacienne ou Gaussienne) pour le jeu de données spécifique.
   • Le pipeline d'entraînement implique un ajustement itératif avec perturbation de poids et subdivision de l'ensemble de données (unshuffling de pixels) pour réduire le calcul par étape. La quantification est intégrée dans le processus de sélection à la fin de chaque époque, suivie d'un réglage fin complet sensible à la quantification (quantization-aware fine-tuning).

6. Fonctions de perte :

   • Les auteurs adaptent les fonctions de perte à des préréglages spécifiques :
     • PSNR : Utilise une approximation mathématiquement stable de $\log(\cosh(x))$.
     • MS-SSIM : Combine la perte L1 et l'indice SSIM.
     • Visuelle : Une combinaison de LogCosh et de SSIM, conçue pour optimiser la qualité perceptuelle.

Contributions Clés

• Codec PaaF : Un nouveau codec d'image open-source basé purement sur les INR qui s'écarte des solutions hybrides ou basées sur des latents.
• Innovations Architecturales : Introduction de couches SIREN auto-modulées qui suppriment le besoin de réseaux de modulation auxiliaires et une nouvelle configuration exponentielle pour la profondeur du réseau.
• Quantification Adaptative : Un schéma de quantification flexible qui remplace les stratégies à bits fixes, permettant des nombres de symboles qui ne sont pas des puissances de 2 pour mieux s'ajuster à la distribution des poids.
• Évaluation Complète : Un benchmarking rigoureux de PaaF par rapport aux méthodes basées uniquement sur les INR (COIN, ICE, Strümpler et al., NIF) et une ligne de base traditionnelle (JPEG) sur les jeux de données Kodak et CLIC2020.

Résultats Expérimentaux

• Performance Quantitative : Sur le jeu de données Kodak, PaaF surpasse toutes les méthodes basées sur les INR comparées sur toutes les métriques (PSNR, MS-SSIM, LPIPS) et tous les débits. Sur le jeu de données haute résolution CLIC2020, PaaF montre des avantages particulièrement marqués dans les métriques perceptuelles (LPIPS), atteignant des gains de BD-Rate allant jusqu'à -87 % par rapport aux concurrents dans certaines configurations.
• Études d'Ablation : Les expériences confirment que le schéma de quantification adaptative surpasse significativement la quantification à bits fixes (6, 7, 8 et 12 bits), surtout pour les encodages de haute qualité. Les combinaisons de fonctions de perte proposées (LogCosh/SSIM) démontrent également une performance supérieure aux combinaisons L2 ou L2+SSIM standards, particulièrement en LPIPS.
• Analyse Qualitative : Les comparaisons visuelles montrent que PaaF (spécifiquement le préréglage "Visual") réduit le flou et les artefacts (tels que l'aliasing de couleur et les motifs ondulés) observés dans JPEG et d'autres méthodes INR, reconstruisant fidèlement les détails à haute fréquence comme les bords de murs et les feuilles d'arbres à de faibles débits.

Signification et Revendications
Le papier affirme que PaaF parvient avec succès à réduire l'écart entre les représentations fonctionnelles et les paradigmes de compression établis. En améliorant la conception architecturale et en introduisant une quantification adaptative, les auteurs démontent que les méthodes basées uniquement sur les INR peuvent atteindre des améliorations constantes tant en termes de métriques quantitatives qu'en termes de qualité perceptuelle sans dépendre de représentations latentes hybrides.

Les auteurs soulignent que, bien que les méthodes basées sur les INR nécessitent toujours un entraînement par image (une limitation concernant le temps d'encodage), le processus de décodage reste efficace, parallélisable et capable de produire des reconstructions de haute fidélité et sans artefacts. Ce travail suggère que les représentations de données fonctionnelles détiennent un potentiel important pour révolutionner la compression multimédia, à condition que les optimisations computationnelles et les études de qualité subjective continuent de progresser. Les auteurs positionnent PaaF non pas comme un concurrent direct de tous les codecs existants, mais comme une avancée significative au sein du domaine spécifique de la compression par INR pure.