Résumé Technique : Unité de Récurrence Linéaire avec Modulation Sémantique pour la Super-Résolution d'Images

1. Énoncé du Problème

La super-résolution d'images (SR) vise à reconstruire des images haute résolution (HR) à partir d'entrées basse résolution (LR). Bien que les modèles basés sur les Transformers aient atteint des reconstructions de haute qualité en capturant des dépendances à longue portée, ils souffrent souvent d'une complexité computationnelle élevée. Les modèles d'états d'espace (SSM) récents, tels que Mamba, offrent une efficacité computationnelle et des champs récepteurs globaux, mais reposent sur une paramétrisation dynamique et des procédures de discrétisation complexes qui augmentent la complexité du modèle et réduisent l'interprétabilité.

Inversement, les unités de récurrence linéaire (LRU) offrent une alternative simplifiée, stable et efficace aux SSM profonds à complexité non linéaire. Cependant, les LRU standards utilisent une paramétrisation statique et une méthode de balayage unique. Cette nature statique limite leur adaptabilité aux motifs complexes, non linéaires et spatialement variables inhérents aux tâches de vision 2D comme la SR, où le contexte à longue portée et les détails locaux fins sont tous deux critiques. Les méthodes existantes tentant d'améliorer les propriétés de balayage multiple ont recours au balayage dynamique, ce qui compromet l'efficacité des ressources.

2. Méthodologie : LSM (Unité de Récurrence Linéaire avec Modulation Sémantique)

Les auteurs proposent LSM, un nouveau réseau de SR qui unifie la stabilité des LRU avec une Unité de Modulation Sémantique (SMU). La philosophie centrale est de maintenir l'efficacité computationnelle d'un balayage statique tout en introduisant une adaptivité dynamique dépendante de l'entrée via la modulation sémantique.

2.1. Architecture Centrale

Le réseau suit une structure hiérarchique similaire à Griffin (un hybride de récurrences linéaires à porte et d'attention locale), composée de :

• Blocs Locaux : Blocs d'auto-attention multi-têtes basés sur des fenêtres (WMS).
• Blocs Globaux : Blocs de LRU modulés par catégorie (CML).
• Connexions Résiduelles : Connexions de saut adaptatives avec des poids apprenables.

2.2. L'Unité de Modulation Sémantique (SMU)

La SMU est l'innovation centrale, conçue pour surmonter les limites de la LRU classique. Elle remplit trois rôles distincts et complémentaires :

1. Modulation de la LRU (Portage dépendant de l'entrée) :

   • Contrairement à la LRU classique, où les matrices de transition ($\lambda, B, C$) sont statiques, la SMU génère des tokens de modulation ($M_k$) basés sur les caractéristiques d'entrée et un dictionnaire appris.
   • Ces tokens modulent dynamiquement l'équation de mise à jour de l'état caché de la LRU. Plus précisément, ils ajustent l'échelle de la valeur propre ($\lambda$), la projection d'entrée ($B$) et la projection de sortie ($C$) sur une base par pixel.
   • Cela permet à la dynamique de récurrence de s'adapter au contenu spécifique de l'entrée, injectant efficacement de la non-linéarité et de la conscience contextuelle sans le surcoût d'un balayage dynamique.

2. Catégorisation Spatiale :

   • La récurrence 1D standard peine à relier des pixels spatialement distants mais sémantiquement similaires.
   • La SMU assigne les pixels à l'un des $P$ groupes sémantiques en utilisant un softmax de Gumbel contrôlé par température sur un dictionnaire de tokens prototypes appris.
   • Cette catégorisation réorganise la séquence d'entrée, permettant à des pixels sémantiquement liés mais distants d'interagir au sein d'un seul balayage, améliorant ainsi la cohérence de la séquence d'entrée pour la LRU.

3. Amélioration des Caractéristiques (Attention Croisée) :

   • En parallèle de la modulation, la SMU effectue une attention croisée sur le dictionnaire appris.
   • Elle agrège des informations globalement pertinentes à travers tout le domaine spatial, produisant une carte de caractéristiques améliorée ($Y_{enhance}$).
   • Cette carte est concaténée avec la sortie de la LRU ($Y_{LRU}$), fournissant un contexte global complémentaire qu'un balayage de récurrence unique pourrait manquer.

2.3. Initialisation et Entraînement

• Initialisation des Valeurs Propres : Le papier étudie l'initialisation des valeurs propres ($\lambda$) de la LRU dans le plan complexe. Le réglage optimal implique une distribution en forme d'anneau avec des plages spécifiques de magnitude ($r_{min}, r_{max}$) et de phase ($\theta_{max}$) pour équilibrer la préservation des motifs locaux et la cohérence globale.
• Apprentissage du Dictionnaire : La SMU utilise un dictionnaire compact appris ($D \in \mathbb{R}^{P \times c}$) où $P \ll T$ (nombre de tokens), garantissant l'efficacité des paramètres.

3. Contributions Clés

1. Premier Réseau de SR basé sur la LRU : Les auteurs introduisent LSM comme le premier réseau appliquant les Unités de Récurrence Linéaire à la super-résolution d'images, unifiant avec succès la récurrence linéaire avec la modulation sémantique.
2. Unité de Modulation Sémantique (SMU) : Un module novateur qui remplit trois rôles :
   • Module les transitions de la LRU via un portage dépendant de l'entrée.
   • Catégorise les pixels par similitude sémantique pour construire des séquences d'entrée cohérentes.
   • Améliore la représentation des caractéristiques via une attention croisée sur un dictionnaire appris.
3. Compromis Efficacité-Performance : La méthode démontre que l'efficacité des ressources du backbone LRU permet d'allouer plus de capacité à la SMU, atteignant des performances supérieures sous des ressources de calcul limitées par rapport aux SSM dynamiques et aux Transformers lourds.

4. Résultats Expérimentaux

Les auteurs ont évalué LSM sur des benchmarks standards (Set5, Set14, B100, Urban100, Manga109) à travers des facteurs d'échelle $\times2, \times3, \times4$.

• Performance Quantitative :
  • Les variantes de LSM (LSM-S, LSM, LSM+) surpassent systématiquement les méthodes de pointe basées sur les CNN, les Transformers et Mamba.
  • Sur le jeu de données $\times4$ Urban100, LSM-S surpasse MambaIRv2-S de 0,15 dB en PSNR.
  • Dans les configurations légères, LSM-light surpasse MambaIRv2-light et OmniSR, montrant des gains significatifs sur des jeux de données à hautes fréquences comme Manga109 et Urban100.
• Efficacité Computationnelle :
  • Comparé à MambaIR, LSM réduit les FLOPs de 32,8 % tout en améliorant le PSNR de 0,26 dB sur Urban100.
  • Comparé au CAT-A basé sur les Transformers, LSM réduit les paramètres de 41,2 % et les FLOPs de 44,8 % tout en atteignant un PSNR plus élevé.
  • Le modèle présente une efficacité de mémoire supérieure pendant l'entraînement, permettant de plus grandes résolutions d'entrée sous des budgets matériels fixes.
• Études d'Ablation :
  • Initialisation : Une initialisation appropriée des valeurs propres est critique ; des réglages sous-optimaux entraînent des chutes de performance allant jusqu'à 0,19 dB.
  • Rôles de la SMU : Supprimer l'un des trois rôles de la SMU (catégorisation, attention croisée, modulation) entraîne une dégradation des performances, confirmant la synergie de la conception multi-rôle.
  • Tokens de Modulation : La conception couplée des tokens de modulation et de l'attention croisée (partageant une branche softmax) s'avère plus efficace que le découplage, équilibrant l'efficacité des paramètres et la performance.

5. Signification et Revendications

Le papier affirme que LSM représente une étape importante pour équilibrer efficacité et performance pour la restauration d'images. En exploitant la stabilité des LRU et en les améliorant avec un mécanisme de modulation léger et conscient de la sémantique, les auteurs démontrent que :

• Un balayage statique peut être rendu adaptable aux motifs visuels 2D complexes sans recourir à un balayage dynamique coûteux en calcul.
• L'intégration de la catégorisation sémantique et des priors pilotés par dictionnaire permet au modèle de capturer efficacement à la fois l'information contextuelle à longue portée et les détails locaux fins.
• LSM offre un backbone de nouvelle génération compétitif pour la SR qui atteint des résultats de pointe avec une complexité computationnelle et une utilisation de la mémoire nettement inférieures par rapport aux approches existantes basées sur les Transformers et Mamba.

Les auteurs concluent que leur travail fournit une approche structurée pour adapter la récurrence linéaire aux tâches de vision, suggérant un fort potentiel pour de futures applications dans le traitement d'images de bas niveau où les contraintes de ressources sont critiques.