💻 computer science

CASPA: Content-Aware Global Aggregation and Spatial prior Channel Attention for Thangka Image Super-Resolution

Cet article propose CASPA, un nouveau réseau de super-résolution qui combine des modules d'agrégation globale sensible au contenu (Content-Aware Global Aggregation) et d'attention par canal à priorité spatiale (Spatial prior Channel Attention) afin de surmonter les limites des Vision Transformers existants, permettant ainsi une reconstruction de haute fidélité des images de Thangka avec une capture sémantique à longue portée améliorée et une préservation des détails géométriques fins.

Auteurs originaux : Mengyuan Zhang, Nianyi Wang, Yutong Wang, Yakun Xin, Chenyi Xia, Yanwen Gao

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mengyuan Zhang, Nianyi Wang, Yutong Wang, Yakun Xin, Chenyi Xia, Yanwen Gao

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une peinture ancienne et inestimable appelée Thangka. Ce sont des rouleaux religieux tibétains complexes, remplis de lignes délicates et minuscules, de motifs répétitifs et de couleurs vibrantes. Avec le temps, les peintures physiques se sont estompées, et les photos numériques dont nous disposons sont souvent floues, de basse résolution et dépourvues de ces détails fins.

L'objectif de cet article est de construire un « restaurateur numérique intelligent » capable de prendre une photo floue et de faible qualité d'un Thangka et de la reconstruire de manière magique en un chef-d'œuvre net et en haute définition. Les auteurs appellent leur nouvel outil CASPA.

Voici comment ils expliquent le problème et leur solution, en utilisant des analogies simples :

Le Problème : Pourquoi les anciens outils d'IA échouent

Les outils d'IA actuels utilisés pour la restauration d'images (appelés Transformers de vision) tentent de réparer les images floues en regardant des « fenêtres » carrées et de petite taille à la fois. Les auteurs affirment que cette approche présente deux défauts majeurs lorsqu'on traite des Thangkas :

Le Problème de la « Clôture » (Fenêtres locales) :
Imaginez que vous essayiez de réparer la carte déchirée d'une ville, mais que vous n'ayez le droit de regarder qu'un minuscule carré de 3x3 pouces de la carte à la fois. Si vous voyez une rue manquante dans votre carré, vous ne pouvez pas la réparer car vous ne pouvez pas voir le reste de la ville pour savoir où la rue devrait se trouver.

Dans l'article : Les Thangkas possèdent des motifs répétitifs (comme des fleurs de lotus ou des nuages) qui apparaissent éloignés les uns des autres. Les anciens outils d'IA restent coincés dans leurs « fenêtres locales » et ne parviennent pas à voir qu'une fleur floue ici est identique à une fleur nette située 10 pouces plus loin. Ils passent à côté de la vue d'ensemble, ce qui conduit à des détails flous et confus.

Le Problème du « Coloriste Aveugle » (Perte de direction) :
Imaginez un peintre qui sait quelles couleurs utiliser, mais qui a oublié où les placer. Il mélange bien les couleurs, mais perd la forme des lignes.

Dans l'article : Les outils traditionnels regardent l'image entière pour décider quelles couleurs sont importantes, mais ce faisant, ils oublient la « géométrie » ou la direction des lignes. Les Thangkas possèdent des milliers de lignes fines et continues (comme des traits de fil de fer). Lorsque l'IA oublie la direction, ces lignes deviennent brisées, déconnectées ou se transforment en un flou boueux.

La Solution : Présentation de CASPA

Les auteurs ont construit un nouveau système doté de deux « superpouvoirs » spéciaux pour corriger ces problèmes.

1. Le « Détective de Contenu » (Agrégation Globale Sensible au Contenu - CGA)

Au lieu de regarder l'image dans des boîtes carrées rigides, ce module agit comme un bibliothécaire intelligent.

Comment il fonctionne : Il scanne l'image entière et regroupe les pixels qui se « ressemblent », peu importe la distance qui les sépare. S'il y a un pétale rouge dans le coin supérieur gauche et un pétale rouge flou dans le coin inférieur droit, le bibliothécaire dit : « Ah ! Ceux-ci vont ensemble ! »
Le Résultat : Il brise la règle de la « clôture ». Il rassemble tous les motifs similaires à travers toute la peinture pour aider à reconstruire les parties floues. Il utilise les parties claires de l'image pour réparer les parties floues, même si elles sont séparées par des kilomètres dans la photo.

2. Le « Compas Directionnel » (Attention de Canal à Priorité Spatiale - SCA)

Ce module agit comme un compas et une règle pour les lignes.

Comment il fonctionne : Au lieu de simplement regarder les couleurs, il utilise des outils en forme de « bandes » spéciales (comme de longs pinceaux fins) qui scannent l'image horizontalement et verticalement. Il prête une attention particulière à la direction des lignes.
Le Résultat : Il se souvient qu'une ligne est censée être droite ou courbée d'une certaine manière. Cela garantit que les traits fins, semblables à des fils de fer, dans le Thangka restent continus et nets, plutôt que d'être brisés ou de devenir du bruit.

Les Résultats : Est-ce que cela fonctionne ?

Les auteurs ont testé leur nouvel outil « CASPA » sur un ensemble de données personnalisé de Thangkas qu'ils ont collectées.

Le Score : Il a obtenu un score plus élevé lors des tests de qualité standards (PSNR) que n'importe quel autre outil existant, y compris les « champions » actuels du domaine.
L'Aspect Visuel : Lorsqu'ils ont comparé les résultats visuellement, les anciens outils produisaient des images avec des « artefacts de grille » (erreurs de blocs) et des lignes brisées. CASPA a produit des images où les lignes étaient lisses et continues, et où les motifs répétitifs étaient parfaitement alignés.
Vitesse : Malgré la complexité de ce travail, l'outil est en réalité très léger et rapide, utilisant moins de mémoire informatique que beaucoup de ses concurrents.

Les Limites (Là où il trébuche)

Les auteurs sont honnêtes sur les points où leur outil n'est pas encore parfait :

Détails Uniques : Si une partie de la peinture est totalement unique (comme un œil spécifique qui n'apparaît nulle part ailleurs dans l'image), le « Détective de Contenu » ne peut pas trouver de référence pour l'aider à la réparer. Dans ces cas, l'IA peut trop lisser l'image, lui donnant un aspect un peu trop doux.
Enchevêtrements Désordonnés : Si les lignes se croisent selon des angles étranges et irréguliers (comme un nœud de cheveux emmêlé), le « Compas Directionnel » (qui préfère les lignes droites horizontales et verticales) peut s'embrouiller, ce qui fait que les lignes se mélangent de façon floue.

Résumé

En résumé, l'article présente CASPA, un nouvel outil d'IA conçu spécifiquement pour restaurer les peintures anciennes de Thangka. Il résout le problème de la « cécité locale » en regroupant les motifs similaires à travers toute l'image, et il résout le problème de la « perte de direction » en utilisant des outils spéciaux pour maintenir les lignes fines nettes et droites. Le résultat est une reconstruction numérique plus claire et plus fidèle de ces trésors culturels.

Résumé Technique : CASPA pour la Super-Résolution d'Images de Thangka

Énoncé du Problème

La préservation numérique des Thangkas, une forme de peinture bouddhiste tibétaine, fait face à des défis critiques dus à la dégradation irréversible des artefacts physiques et à la faible résolution des archives numériques existantes. Bien que la Super-Résolution d'Images (ISR) offre une solution, les modèles actuels de Vision Transformer (ViT) de pointe peinent à reconstruire les images de Thangka avec une haute fidélité. L'article identifie deux limitations mécanistes spécifiques des approches basées sur les Transformers appliquées au Thangka :

Fragmentation du Contexte Spatial : Les images de Thangka présentent des structures complexes et symétriques ainsi que des pigments minéraux qui exhibent une forte auto-similarité non locale (par exemple, des motifs répétitifs comme des pétales de lotus s'étendant sur de grandes distances). Les modèles ViT traditionnels, tels que SwinIR, reposent sur des mécanismes de fenêtres locales. Ces grilles physiques rigides restreignent les interactions de caractéristiques, empêchant le modèle d'exploiter les similitudes à longue portée pour reconstruire des textures denses et répétitives, ce qui entraîne un flou des détails et des dislocations structurelles.
Perte des Priors Géométriques Spatiaux : L'art Thangka est caractérisé par d'abondantes lignes géométriques hautes fréquences, fines et cohérentes (par exemple, des traits semblables à des fils et des drapés complexes). Les mécanismes d'attention par canal existants (par exemple, dans DAT) reposent souvent sur des opérations de pooling global pour établir des dépendances de canaux. Ce processus rejette les informations topologiques spatiales cruciales, provoquant une focalisation du modèle uniquement sur les statistiques de couleurs globales tout en échouant à maintenir la cohérence structurelle des lignes directionnelles, ce qui résulte en un flou des bords et une déconnexion des trajectoires.

Méthodologie : Architecture CASPA

Pour relever ces défis, les auteurs proposent CASPA (Content-Aware Global Aggregation and Spatial prior Channel Attention), un nouveau réseau de super-résolution construit sur l'architecture Dual Aggregation Transformer (DAT). Le réseau se compose de trois étapes : l'extraction de caractéristiques de bas niveau, l'extraction de caractiques de haut niveau (comprenant 12 groupes résiduels en cascade) et la reconstruction à haute résolution. L'innovation centrale réside dans deux modules spécialisés qui alternent au sein des groupes résiduels :

1. Module d'Agrégation Globale Sensible au Contenu (CGA)

Le module CGA remplace l'auto-attention par fenêtre spatiale traditionnelle pour briser les contraintes de distance physique.

Mécanisme : Au lieu de partitionner l'image en grilles fixes, le CGA effectue un regroupement de tokens globaux basé sur la similitude des caractéristiques à travers l'image entière.
Processus : Il utilise un ensemble de centres de clusters globaux apprenables pour calculer la similitude cosinus entre les tokens d'entrée et ces centres. Les tokens sont assignés de manière adaptative à des groupes sémantiques indépendamment de leur emplacement spatial.
Interaction : L'auto-attention est exécutée au sein de ces groupes sémantiques. Cela permet au modèle de combler les distances physiques, agrégeant des pixels dispersés mais sémantiquement similaires (par exemple, des pigments identiques) pour restaurer des motifs répétitifs à longue portée avec une complexité linéaire $O(N)$ .
Efficacité : Pour assurer l'efficacité du parallélisme, les grands groupes sont partitionnés en sous-groupes, et des interactions de chevauchement sont autorisées aux frontières sémantiques.

2. Module d'Attention de Canal à Prior Spatial (SCA)

Le module SCA est conçu pour injecter des priors directionnels et spatiaux dans la branche de canal, traitant la perte d'informations topologiques.

Mécanisme : Il emploie des convolutions en bandes croisées décomposées (par exemple, des noyaux en cascade de $1 \times 21$ et $21 \times 1$ ) pour créer un champ récepteur large équivalent (par exemple, $21 \times 21$ ).
Processus :
1. Attention de Canal : Génère un vecteur d'attention de canal en utilisant un pooling moyen et maximal global parallèle suivi d'un MLP, agissant comme un classificateur de "porte douce" (soft-gating) pour mettre en évidence les canaux possédant des structures géométriques critiques.
2. Priors Spatiaux : Les caractéristiques affinées par les canaux sont traitées par des branches de convolution de profondeur (depth-wise) parallèles avec différentes tailles de noyaux pour capturer des priors géométriques spatiaux anisotropes.
3. Fusion : Ces caractéristiques spatiales sont sommées et mélangées via une convolution $1 \times 1$ pour générer une carte d'attention spatiale dynamique, qui est ensuite multipliée avec les caractéristiques affinées par le canal.
Résultat : Cette conception préserve l'intégrité structurelle des lignes continues à haute fréquence sans introduire un surcoût de calcul excessif.

Composants Auxiliaires

Gating Croisé Adaptatif (ACG) : Un mécanisme utilisant des convolutions de profondeur parallèles pour parvenir à un recalibrage de masque bidirectionnel doux, assurant une fusion transparente des sémantiques macroscopiques à longue portée et des textures microscopiques locales.
Réseau de Propagation Avant Dynamique (DFFN) : Remplace les fonctions d'activation standards par une Tangente Hyperbolique Dynamique paramétrée (DynamicTanh) pour améliorer les capacités d'ajustement non linéaire des détails complexes tout en atténuant la saturation du gradient.

Principales Contributions

L'article expose trois contributions majeures :

Module CGA : Un mécanisme d'interaction globale qui abandonne le partitionnement par grille physique au profit d'un regroupement de tokens globaux piloté par la similitude des caractéristiques. Cela active avec succès les priors de similitude auto-similaire non locale, permettant une reconstruction collaborative efficace des motifs répétitifs à longue portée et des pigments dispersés.
Module SCA : Un mécanisme d'attention de canal qui utilise des convolutions en bandes croisées décomposées pour injecter des priors spatiaux et directionnels multi-échelles robustes. Cela surmonte la perte d'information topologique causée par le pooling global traditionnel, garantissant la reconstruction haute fidélité de lignes continues complexes.
Validation Complète : La proposition d'un jeu de données Thangka personnalisé et la démonstration de l'efficacité du modèle pour restaurer à la fois la sémantique à longue portée et les détails structurels fins, surpassant les modèles SOTA existants sur les benchmarks spécifiques au domaine et généraux.

Résultats Expérimentaux

Jeu de Données et Configuration

Jeu de Données Personnalisé : 5 000 images de Thangka HR (512 $\times$ 512) pour l'entraînement, 680 pour la validation et 1 000 pour le test.
Benchmarks : Urban100 et Manga109 pour la généralisation cross-domaine.
Baselines : EDSR, SwinIR, HAT, SRFormer et DAT.
Métriques : PSNR, SSIM, LPIPS et FID.

Performance Quantitative

Jeu de Données Thangka ( $\times$ 4 Échelle) : CASPA a atteint un PSNR de 32,9045 dB et un SSIM de 0,8817, surpassant la baseline DAT (32,7774 dB) de 0,1271 dB. Il a également obtenu les meilleurs scores en LPIPS et FID, indiquant une qualité perceptuelle et un réalisme supérieurs.
Benchmarks Généraux : Sur Urban100 et Manga109 ( $\times$ 4), CASPA a établi de nouvelles performances de pointe, démontrant de fortes capacités de généralisation cross-domaine.
Efficacité : Malgré sa haute performance, CASPA est très léger avec seulement 5,02 M de paramètres et 21,97 G FLOPs (pour une entrée de 64 $\times$ 64), ce qui est nettement inférieur à des concurrents comme HAT (20,77 M paramètres) et EDSR (43,09 M paramètres). Il a également démontré des temps d'inférence plus rapides (19,38 ms) par rapport à la plupart des baselines.

Analyse Qualitative

Les comparaisons visuelles ont révélé que les méthodes traditionnelles basées sur des fenêtres produisent souvent des artefacts de grille et des dislocations structurelles dans les lignes parallèles denses. En revanche, CASPA réussit à reconstruire des lignes géométriques claires et cohérentes ainsi que des textures à haute fréquence, se rapprochant étroitement de la vérité terrain (ground truth).

Étude d'Ablation

Le retrait de l'un ou l'autre module entraîne une dégradation des performances :

Sans SCA : La perte des priors spatiaux conduit à des trajectoires déformées et des bords flous dans les lignes fines.
Sans CGA : La fragmentation du contexte spatial provoque une fusion incorrecte des détails et un flou dans les motifs répétitifs.
Modèle Complet : La combinaison des deux modules produit le PSNR le plus élevé, confirmant leurs rôles complémentaires.

Signification et Limites

L'article affirme que CASPA représente une avancée significative dans la préservation numérique du patrimoine culturel, spécifiquement pour l'art Thangka. En résolvant le compromis entre la conscience du contexte global et la fidélité géométrique locale, le modèle offre une solution robuste pour la restauration de structures complexes à longue portée et de lignes directionnelles qui ont historiquement été difficiles à traiter pour les modèles basés sur les Transformers.

Les auteurs notent également le potentiel de généralisation du modèle, l'appliquant avec succès aux fresques de Dunhuang et aux fresques d'églises médiévales européennes avec des résultats probants, suggérant une large applicabilité dans la restauration de peintures murales anciennes.

Cependant, l'article reconnaît modestement certaines limites :

Micro-structures Uniques : Le modèle présente un lissage excessif sur des détails isolés et uniques (par exemple, des traits spécifiques des yeux) qui manquent de références globales pour que le module CGA puisse les exploiter.
Intersections Complexes : Les lignes denses et non orthogonales entrelacées (par exemple, les sourcils) peuvent souffrir de flou en raison des directions d'échantillonnage fixes horizontales et verticales du module SCA.

Des travaux futurs sont proposés pour explorer des méthodes d'échantillonnage plus flexibles et des priors génératifs externes afin de traiter ces cas limites spécifiques.