💻 computer science

Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition

Freqformer est un cadre compact basé sur les Transformers pour le démoirage d'images qui atteint des performances de l'état de l'art en employant une décomposition fréquentielle efficace pour séparer les motifs en composantes distinctes de haute et de basse fréquence, lesquelles sont ensuite traitées via une architecture à double branche et fusionnées de manière adaptative à l'aide d'une Transformation de Composition de Fréquence apprenable.

Auteurs originaux : Xiaoyang Liu, Bolin Qiu, Zheng Chen, Libo Zhu, Zihan Zhou, Kai Liu, Jiezhang Cao, Yulun Zhang

Publié 2026-07-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xiaoyang Liu, Bolin Qiu, Zheng Chen, Libo Zhu, Zihan Zhou, Kai Liu, Jiezhang Cao, Yulun Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prendre en photo l'écran d'un ordinateur avec votre téléphone. Au lieu d'une image nette, vous obtenez un désordre étrange, ondulé et multicolore. C'est ce qu'on appelle un effet de moiré. Cela se produit parce que les minuscules points sur l'écran et les minuscules points sur le capteur de votre appareil photo ne s'alignent pas parfaitement, créant ainsi un motif d'interférence déroutant.

Pendant longtemps, les ordinateurs ont essayé de corriger cela en se contentant de « deviner » à quoi devrait ressembler l'image propre, mais ils s'y perdent souvent car ces ondulations bizarres ressemblent à de vrais détails (comme des cheveux ou la texture d'un tissu).

Ce document présente un nouveau modèle d'IA appelé Freqformer qui résout ce problème bien mieux grâce à une astuce intelligente : séparer le désordre en deux compartiments différents.

L'idée centrale : La stratégie des « deux compartiments »

Au lieu d'essayer de corriger toute l'image désordonnée d'un coup, Freqformer divise le problème en deux parties distinctes, tout comme on séparerait la « forme » d'un objet de sa « couleur ».

Le compartiment des hautes fréquences (La texture) : Ce compartiment contient les détails nets et les agaçantes ondulations du moiré. Considérez cela comme la partie « croustillante » de l'image. Le document précise que ces motifs sont très locaux — ils se produisent dans des endroits précis et restreints.
- La stratégie : L'IA examine ce compartiment en prenant de petits « extraits » (crops) aléatoires de l'image. Elle n'a pas besoin de voir toute l'image pour corriger une minuscule ligne ondulée ; elle a juste besoin de zoomer sur cet endroit spécifique.
Le compartiment des basses fréquences (La couleur) : Ce compartiment contient les couleurs lisses et la luminosité globale. Ici, les motifs de moiré ressemblent moins à des vagues qu'à une teinte de couleur bizarre (par exemple, l'image entière paraît trop bleue ou trop rouge).
- La stratégie : Comme ces problèmes de couleur sont lisses et diffus, l'IA peut réduire la taille de ce compartiment (comme si l'on redimensionnait une photo pour qu'elle soit très petite) sans perdre d'informations importantes. Elle corrige la couleur sur cette version miniature, puis la réagrandit. Cela est beaucoup plus rapide et empêche l'IA de flouter accidentellement les vrais détails.

Les outils spéciaux

Pour que cela fonctionne, les auteurs ont construit trois outils spéciaux :

Le Séparateur Magique (Décomposition de fréquence) : Les anciennes méthodes utilisaient des outils mathématiques rigides (comme une règle fixe) pour diviser l'image, ce qui laissait souvent des « bords dentelés » ou rendait l'image aspect bloc. Freqformer utilise un séparateur apprenable. Imaginez un filtre intelligent qui apprend exactement comment diviser l'image parfaitement sans laisser de restes désordonnés, garantissant que les compartiments « texture » et « couleur » soient parfaitement propres.
Le Mélangeur Intelligent (FCT Apprenable) : Une fois que l'IA a corrigé la texture dans le premier compartiment et la couleur dans le second, elle doit les rassembler. Les anciennes méthodes se contentaient de les additionner, ce qui provoquait parfois une accumulation d'erreurs. Freqformer utilise une Transformée de Composition de Fréquence Apprenable. Voyez cela comme un chef cuisinier intelligent qui goûte les deux ingrédients avant de les mélanger, s'assurant qu'ils se marient parfaitement sans gâcher la saveur.
L'Œil Focalisé (Module SA-CA) : Les motifs de moiré peuvent paraître différents dans les canaux rouge, vert et bleu. Le modèle utilise un module de Attention Spatiale-Canal (Spatial-Aware Channel Attention). Imaginez un agent de sécurité qui sait exactement quelles parties de l'image sont « suspectes » (là où se trouve le moiré) et quelles couleurs sont les plus affectées. Cet agent concentre l'attention de l'IA uniquement sur les zones problématiques, ignorant le reste pour économiser de l'énergie et de la vitesse.

Pourquoi c'est meilleur

Le document affirme que Freqformer est un champion de la légèreté.

Taille réduite : Il possède moins de « paramètres » (les cellules cérébrales de l'IA) que beaucoup d'autres modèles de pointe. C'est comme avoir une voiture compacte qui consomme moins d'essence qu'un énorme camion.
Qualité supérieure : Il élimine les vagues arc-en-ciel et corrige les teintes de couleur mieux que les méthodes précédentes, ce qui donne une photo plus propre et plus réaliste.
Efficacité : Parce qu'il réduit la taille du compartiment de couleur et ne zoome que sur les zones de texture, il n'a pas besoin de fournir un effort excessif, ce qui le rend adapté aux images haute résolution en 4K.

En résumé, Freqformer ne cherche pas à combattre le motif de moiré par la force brute. Au lieu de cela, il trie intelligemment l'image en « texture » et en « couleur », corrige chacun avec l'outil parfait pour la tâche, puis les fusionne de manière fluide.

Résumé Technique : Freqformer

Problématique

Le démoirage d'image — la suppression des motifs de moiré causés par l'aliasing entre les configurations de sous-pixels des écrans et les réseaux de filtres de couleur des caméras — demeure une tâche de vision de bas niveau particulièrement complexe. Les méthodes existantes échouent souvent à désenchevêtrer efficacement l'interaction complexe entre la corruption de la texture et les distorsions de couleur inhérentes aux motifs de moiré. Bien que les approches sensibles à la fréquence (utilisant par exemple les ondelettes de Haar ou la DCT par blocs) offrent une direction prometteuse, elles souffrent de limitations significatives :

Discontinuité Spatiale et Accumulation d'Erreurs : Les transformées discrètes comme la DWT ou la DCT manquent de lissage spatial, entraînant des distorsions au niveau du pixel et une accumulation d'erreurs lors des processus d'inversion fixes.
Dégradation de la Résolution : La décomposition récursive entraîne un sous-échantillonnage agressif de la résolution spatiale, risquant de créer un aliasing secondaire et des problèmes de variance de décalage.
Découplage Incomplet : Les méthodes traditionnelles échouent souvent à séparer pleinement les textures de moiré à haute fréquence des composantes à basse fréquence, ou introduisent des artefacts de bloc en raison de l'hypothèse de stationnarité locale du signal.
Inefficacité Computationnelle : De nombreux modèles de pointe reposent sur des architectures U-Net lourdes (10M–50M de paramètres), ce qui les rend inefficaces pour l'inférence en ultra-haute résolution (ex. 4K).

Méthodologie

Les auteurs proposent Freqformer, un cadre basé sur les Transformers conçu pour répondre à ces limitations via une séparation de fréquence ciblée et une fusion adaptative.

1. Décomposition de Fréquence Novatrice

Contrairement à la DWT ou la DCT traditionnelles, Freqformer introduit une stratégie de décomposition de fréquence anti-aliasing apprenable.

Mécanisme : Il utilise un processus de convolution récursive avec un noyau spécifique et des taux de dilatation pour diviser une image de moiré d'entrée ( $I_m$ ) en une composante haute fréquence ( $I_h$ ) et une composante basse fréquence ( $I_l$ ).
Caractéristiques de Séparation :
- Haute Fréquence ( $I_h$ ) : Contient les textures de moiré et les détails fins. Elle présente une forte localité spatiale.
- Basse Fréquence ( $I_l$ ) : Contient les informations de couleur lissées mais souffre de distorsions de couleur (induites par le moiré et par des décalages liés au jeu de données). Elle est robuste aux variations d'échelle.
Avantage : Cette méthode préserve la fluidité spatiale et évite les problèmes de dégradation de résolution et de variance de décalage associés aux transformées discrètes standards.

2. Architecture Asymétrique à Double Branche

Le cadre emploie une structure encodeur-décodeur à double branche, chacune adaptée aux caractéristiques spécifiques de sa composante de fréquence :

Branche Haute Fréquence : Utilise une stratégie d'entraînement basée sur le recadrage (crop-based). Comme les textures de moiré haute fréquence sont localement dépendantes, cette branche traite des entrées à pleine résolution (ou des extraits de celles-ci) pour préserver les détails structurels fins sans nécessiter de contexte global.
Branche Basse Fréquence : Utilise une stratégie d'entraînement basée sur le redimensionnement (resize-based). La composante basse fréquence est sous-échantillonnée (ex. à 0,1× la résolution) pour l'entraînement et l'inférence. Cette approche se concentre sur la correction des distorsions de couleur globales tout en évitant les risques de perte de détails associés au sous-échantillonnage des textures naturelles.
Backbone Partagé : Les deux branches utilisent une architecture Transformer hiérarchique dotée de modules d'Attention de Canal Sensible à l'Espace (SA-CA).

3. Modules Clés

Attention de Canal Sensible à l'Espace (SA-CA) : Conçue pour agréger efficacement les dépendances spatiales et les informations complémentaires inter-canaux. Inspirée par l'observation selon laquelle les artefacts de moiré varient selon les canaux de couleur (le canal vert étant souvent moins affecté), la SA-CA utilise des Blocs Denses Dilatés Résiduels (RDDB) pour de larges champs récepteurs et un Réseau de Propagation Avant (FFN) à porte pour filtrer les informations inappropriées. Elle accentue sélectivement les régions sujettes au moiré sans coût computationnel excessif.
Transformée de Composition de Fréquence Apprenable (FCT) : Au lieu d'une transformée inverse fixe, Freqformer utilise un module FCT apprenable pour fusionner de manière adaptative les sorties des branches haute et basse fréquence. Ce module opère dans l'espace des caractéristiques (avant la projection vers les dimensions de l'image) en utilisant un bloc Transformer (PostFusion) pour assurer une reconstruction cohérente et de haute fidélité, atténuant les erreurs de reconstruction qui pourraient résulter d'une simple addition.

4. Stratégie d'Entraînement

Le modèle est entraîné en deux phases :

Entraînement Indépendant : Les branches haute fréquence et basse fréquence sont entraînées séparément en utilisant leurs stratégies respectives de recadrage et de redimensionnement.
Affinage Conjoint (Fine-tuning) : Les deux branches et le module FCT apprenable sont affinés conjointement pour optimiser la fusion des caractéristiques et la reconstruction finale.

Fonctions de Perte : L'entraînement utilise une combinaison de la perte $L_1$ et de la perte perceptuelle (basée sur VGG16) pour équilibrer la précision des pixels et la qualité perceptuelle.

Contributions Clés

Stratégie de Décomposition de Fréquence : Une méthode novatrice pour séparer efficacement les motifs de moiré en composantes haute fréquence (texture) et basse fréquence (couleur), permettant un apprentissage ciblé pour chaque type d'artéfact distinct.
Conception Asymétrique à Double Branche : Une architecture qui traite les hautes et basses fréquences indépendamment via des stratégies de recadrage et de redimensionnement, couplée à un module FCT apprenable pour une fusion adaptative.
Module SA-CA Efficace : Un mécanisme d'attention léger qui améliore les interactions spatiales et inter-canaux, permettant au modèle d'atteindre des performances de pointe avec un nombre de paramètres compact (environ 6M).

Résultats Expérimentaux

Des expériences approfondies ont été menées sur quatre benchmarks : TIP2018, LCDMoire, FHDMi et UHDM (résolution 4K).

Performance Quantitative : Freqformer atteint des résultats de pointe (SOTA) sur plusieurs métriques (PSNR, SSIM, LPIPS).
- Sur UHDM, il arrive premier en SSIM et LPIPS, et second en PSNR, suivant de très près ESDNet-L.
- Sur FHDMi, il obtient les meilleurs scores sur toutes les métriques (PSNR : 25,26, SSIM : 0,8518, LPIPS : 0,1253).
Efficacité du Modèle : Malgré sa haute performance, Freqformer maintient une taille de modèle compacte de 6,065M de paramètres, nettement plus petite que celle de concurrents comme MopNet (58,5M) et MBCNN (14,2M). Il nécessite seulement 2,46 TFLOPS pour le traitement d'images 4K, ce qui est comparable à ESDNet et inférieur à ESDNet-L et d'autres modèles de restauration.
Performance Qualitative : Les comparaisons visuelles montrent que Freqformer élimine efficacement les artefacts de moiré et les distorsions de couleur tout en préservant les détails fins et les tons originaux, surpassant les modèles génératifs (ex. OSEDiff) et d'autres bases de restauration qui laissent souvent des traces résiduelles ou souffrent de décalages de couleur.

Signification et Revendications

L'article affirme que Freqformer fait progresser le domaine du démoirage d'image en démontrant que l'intégration de la décomposition de fréquence, de la fusion apprenable et de l'attention spatio-canale peut résoudre efficacement l'interaction complexe des artefacts de texture et de couleur.

Revendications Modestes : Les auteurs reconnaissent que bien que Freqformer atteigne des performances SOTA, sa vitesse d'inférence (0,58s/image pour la 4K) est actuellement plus lente que les modèles purement convolutionnels comme ESDNet-L (0,25s/image). Ils attribuent cela au fait que les opérations d'attention standard sont moins optimisées pour l'accélération matérielle et la fusion d'opérateurs, identifiant cela comme une direction pour les optimisations futures.
Insight Central : Ce travail souligne que traiter le démoirage comme une tâche de restauration globale est insuffisant ; au contraire, le découpler en sous-tâches spécifiques à la fréquence avec des stratégies d'entraînement sur mesure produit des résultats supérieurs avec moins de paramètres.