A Compact Hybrid Convolution--Frequency State Space Network for Learned Image Compression

Ce papier propose le HCFSSNet, un réseau hybride compact combinant convolution et modélisation d'état dans le domaine fréquentiel pour surmonter les limites de complexité des Transformers et de la continuité spatiale des modèles d'état dans la compression d'images apprise.

L'essentiel

Imaginez que vous voulez envoyer une photo à un ami via un message texte, mais que votre connexion est très lente. Vous devez réduire la taille du fichier (le "compresser") sans que l'image ne devienne floue ou pixélisée. C'est le défi de la compression d'images apprise (Learned Image Compression).

Les chercheurs de l'Université Jiaotong de Xi'an ont créé un nouveau système appelé HCFSSNet. Voici comment il fonctionne, comparé à la vie de tous les jours.

1. Le Problème : Les anciens outils sont soit trop lents, soit trop "brouillons"

Pour compresser une image, les ordinateurs utilisent deux types d'outils principaux :

• Les CNN (Réseaux de neurones convolutifs) : C'est comme un peintre minutieux. Il regarde chaque petit détail de l'image (les contours d'un arbre, la texture d'un tissu) très près. C'est excellent pour les détails, mais il a du mal à comprendre le contexte global (par exemple, que cet arbre fait partie d'une forêt entière).
• Les Transformers (comme dans les IA génératives) : C'est comme un chef d'orchestre. Il voit l'image entière d'un coup et comprend les relations entre les éléments lointains. Mais pour faire ça, il doit "aplatir" l'image en une longue liste, ce qui prend énormément de temps de calcul (comme essayer de lire un livre entier d'un seul regard).
• Les modèles SSM (Modèles d'État Spatial) : C'est une nouvelle technologie prometteuse, rapide comme le vent. Mais jusqu'ici, ils lisaient l'image ligne par ligne (comme un livre), ce qui cassait la relation entre les pixels voisins (comme si vous lisiez un livre en sautant des pages).

Le défi : Comment avoir la précision du peintre, la vision globale du chef d'orchestre, et la rapidité du vent, le tout dans un seul outil compact ?

2. La Solution : HCFSSNet, le "Couteau Suisse" intelligent

Les auteurs ont créé HCFSSNet, un système hybride qui combine le meilleur de ces mondes. Imaginez-le comme une équipe de deux experts qui travaillent ensemble dans une petite cuisine :

A. L'Expert Local (La branche Convolution)

C'est le chef de cuisine. Il s'occupe des détails immédiats. Il regarde les ingrédients (les pixels) juste devant lui pour s'assurer que la sauce est bien lisse et que les légumes sont coupés net.

• Dans le papier : C'est la partie qui modélise les détails locaux avec des couches de convolution.

B. L'Expert Global (La branche SSM "VFSS")

C'est le livreur de colis rapide. Il doit comprendre comment les ingrédients sont répartis dans toute la cuisine pour savoir ce qui manque.

• Le problème résolu (VONSS) : Les anciens livreurs ne pouvaient aller que tout droit ou tourner à 90 degrés. Ils manquaient les coins ! HCFSSNet a inventé un livreur qui peut regarder dans toutes les directions (horizontal, vertical, et même en diagonale).
• L'analogie : Imaginez que vous devez vérifier une pièce. Au lieu de marcher uniquement en ligne droite, vous regardez aussi les coins. Cela permet de mieux comprendre la forme de la pièce sans perdre de temps. C'est ce qu'ils appellent le module VONSS (balayage omnidirectionnel).

C. Le Magicien des Fréquences (Le module AFMM)

C'est ici que ça devient magique. Une image, c'est comme une symphonie musicale.

• Les basses fréquences sont la mélodie principale (les grandes formes, le ciel bleu).
• Les hautes fréquences sont les aigus (les détails fins, les feuilles d'arbres, les textures).
• L'astuce : Au lieu de traiter toute la musique de la même façon, HCFSSNet utilise un égaliseur intelligent (le module AFMM). Il écoute l'image, identifie quelles notes (fréquences) sont importantes et lesquelles peuvent être atténuées pour économiser de l'espace, sans que l'oreille humaine ne s'en rende compte. Il ajuste le volume de chaque fréquence dynamiquement.

3. Le Secret de la Réussite : L'Étiquette (Hyperprior)

Quand on envoie un colis, on a besoin d'une étiquette pour dire au transporteur comment le manipuler. En compression, c'est l'hyperprior.

• La plupart des systèmes écrivent une étiquette basique.
• HCFSSNet écrit une étiquette très précise en utilisant aussi le "magicien des fréquences" (module FSTAM). Il dit au décodeur : "Attention, cette partie de l'image a beaucoup de détails fins, ne la compresse pas trop !"

4. Les Résultats : Plus petit, plus intelligent, presque aussi rapide

Les chercheurs ont testé leur invention sur des images classiques (Kodak, Tecnick, etc.).

• Performance : HCFSSNet arrive à compresser les images aussi bien (voire mieux) que les géants du secteur (comme MambaIC ou MLIC++), mais avec beaucoup moins de paramètres (c'est-à-dire qu'il est plus léger et moins gourmand en mémoire).
• Le compromis : Il n'est pas le plus rapide du monde (il prend un peu plus de temps à calculer que les méthodes ultra-simplifiées), mais il offre le meilleur équilibre : une image de haute qualité avec un fichier léger, sans avoir besoin d'un super-ordinateur pour le faire.

En résumé

HCFSSNet est comme un architecte intelligent qui construit une maison (l'image compressée) :

1. Il utilise des maçons précis pour les murs (détails locaux).
2. Il utilise des ingénieurs rapides qui regardent la maison sous tous les angles pour la structure globale (SSM omnidirectionnel).
3. Il utilise un acousticien pour ajuster les matériaux selon leur importance (modulation fréquentielle).

Le résultat ? Une maison solide, belle, mais qui tient dans un petit carton, prête à être envoyée n'importe où sans se casser.

Résumé technique

Titre : HCFSSNet : Un Réseau Hybride Compact Convolution–État Spatial Fréquentiel pour la Compression d'Images Apprise

1. Problématique

La compression d'images apprise (LIC - Learned Image Compression) a considérablement progressé grâce à l'intégration de modèles basés sur les Transformers et les modèles d'espace d'état (SSM). Cependant, ces architectures actuelles présentent des limitations majeures :

• Complexité des Transformers : Les modèles basés sur l'attention (comme les Transformers) capturent efficacement les dépendances à longue portée, mais ils souffrent d'une complexité quadratique par rapport à la longueur de la séquence, ce qui les rend peu évolutifs pour les images haute résolution.
• Limites des SSMs visuels : Bien que les SSMs (comme Mamba) offrent une complexité linéaire, leur extension aux cartes de caractéristiques 2D pose problème. Les méthodes existantes (ex: Vim, VMamba) aplatissement souvent les caractéristiques 2D en séquences 1D via des scans horizontaux et verticaux. Cette approche brise la continuité du voisinage spatial, en particulier pour les relations diagonales, ce qui est préjudiciable à l'apprentissage de représentations pour la compression.
• Modélisation insuffisante des fréquences : La plupart des modèles d'entropie (hyperpriors) opèrent principalement dans les domaines spatial et canal, négligeant une modélisation fine des composantes fréquentielles, pourtant cruciale pour la compression.

2. Méthodologie : HCFSSNet

Les auteurs proposent HCFSSNet, une architecture hybride compacte qui combine la modélisation locale par convolution et la modélisation contextuelle à longue portée par espace d'état, enrichie par une analyse fréquentielle.

L'architecture globale suit le cadre standard de la compression apprise (transformée d'analyse, quantification, modèle d'entropie, transformée de synthèse), avec des blocs spécifiques :

A. Bloc Hybride Convolution–État Spatial Fréquentiel (HCFSS)
Ce bloc est utilisé dans les transformées principales (analyse et synthèse). Il divise les canaux de caractéristiques en deux branches parallèles :

1. Branche CNN : Utilise des convolutions pour raffiner les détails spatiaux locaux.
2. Branche VFSS (Vision Frequency State Space) : Capture les dépendances contextuelles à longue portée. Elle se compose de deux modules clés :
   • VONSS (Vision Omni-directional Neighborhood State Space) : Contrairement aux scans unidirectionnels classiques, ce module scanne les caractéristiques selon huit directions (horizontale, verticale, diagonale et anti-diagonale, dans les deux sens). Cela permet de préserver les relations de voisinage 2D complètes, y compris les dépendances diagonales souvent négligées.
   • AFMM (Adaptive Frequency Modulation Module) : Ce module applique une transformation en cosinus discrète (DCT) sur des fenêtres locales de caractéristiques. Au lieu d'apprendre une nouvelle base, il apprend des poids adaptatifs pour réajuster les coefficients fréquentiels DCT. Cela permet une sélection et un raffinement orientés compression des composantes fréquentielles.

B. Modélisation de l'Entropie et Hyperprior
Pour améliorer l'estimation du débit binaire, les auteurs introduisent un module de raffinement dans le chemin de l'hyperprior :

• FSTAM (Frequency Swin Transformer Attention Module) : Ce module combine un bloc Swin Transformer avec l'AFMM. Il permet une modélisation attentive des dépendances locales dans l'hyperprior tout en intégrant une modulation consciente des fréquences, améliorant ainsi la prédiction des paramètres de distribution des latents.

3. Contributions Clés

1. Architecture Hybride Compacte : HCFSSNet intègre de manière unifiée la modélisation locale (CNN), la modélisation contextuelle à longue portée (SSM) et la modulation fréquentielle, offrant un compromis efficace entre taille du modèle et performance.
2. Module VONSS : Une nouvelle stratégie de scan omnidirectionnel qui résout le décalage entre la distance séquentielle et la proximité spatiale dans les SSMs 2D, préservant mieux la structure locale des images.
3. Modulation Fréquentielle Adaptative (AFMM) : Un mécanisme léger basé sur le DCT qui permet un rééquilibrage adaptatif des composantes fréquentielles, intégré à la fois dans la transformée principale et dans le chemin de l'hyperprior.
4. Efficacité des Paramètres : Le modèle atteint des performances compétitives avec un nombre de paramètres réduit par rapport aux architectures SSM et Transformer de pointe (ex: MambaIC, MLIC++).

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks standards : Kodak, Tecnick et CLIC Professional Validation.

• Performance Débit-Distorsion (BD-rate) :
  • HCFSSNet bat l'ancrage VTM (codec vidéo standard) avec des économies de débit de 18,06 % (Kodak), 24,56 % (Tecnick) et 22,44 % (CLIC).
  • Comparé aux méthodes récentes (MambaIC, MLIC++, FTIC), HCFSSNet offre des performances très compétitives, bien que légèrement inférieures aux modèles les plus lourds sur certains jeux de données.
• Efficacité des Paramètres :
  • Avec 80,97 millions de paramètres, HCFSSNet est significativement plus léger que MambaIC (123,81 M) et MLIC++ (116,72 M), tout en conservant une courbe débit-distorsion proche de ces modèles plus volumineux.
• Analyse Visuelle :
  • Les reconstructions montrent une meilleure préservation des structures locales fines, des textures répétitives et des bords nets par rapport aux méthodes comparées.
• Études d'Ablation :
  • Le remplacement du scan CSM (Cross-Scan Module) par VONSS améliore systématiquement le PSNR.
  • L'ajout de AFMM dans la branche VFSS réduit le débit binaire de 1 à 4 % pour une qualité équivalente.
  • L'utilisation de FSTAM dans l'hyperprior apporte des gains stables, bien que modestes, par rapport à un module d'attention Swin standard.

5. Signification et Conclusion

HCFSSNet représente une avancée significative dans la conception de codecs d'images appris en démontrant qu'il n'est pas nécessaire d'augmenter massivement la complexité du modèle pour obtenir d'excellentes performances.

• Innovation Architecturale : L'article propose une solution élégante au problème de la modélisation 2D des SSMs via le scan omnidirectionnel et intègre l'analyse fréquentielle de manière native dans le pipeline de compression.
• Compromis Équilibré : Contrairement aux modèles récents qui poussent les limites du débit (BD-rate) au détriment de la taille et de la latence, HCFSSNet vise un point d'équilibre ("compact and competitive"). Il offre une architecture unifiée qui combine les forces des CNN, des SSM et de l'analyse fréquentielle.
• Perspectives : Bien que le temps de décodage ne soit pas optimal (en raison des scans multiples et des transformations DCT/IDCT), ce travail ouvre la voie à des variantes plus légères et à l'extension de ces principes à la compression vidéo.

En résumé, HCFSSNet établit un nouveau standard pour les architectures hybrides compactes en compression d'images, prouvant que l'intégration judicieuse de la modélisation fréquentielle et des stratégies de scan omnidirectionnel peut surpasser les approches purement séquentielles ou purement convolutionnelles.