Résumé Technique : Transformer Exploratoire Individualisé pour la Super-Résolution d'Images

Énoncé du Problème

La super-résolution d'image unique (SISR) vise à reconstruire des images haute résolution (HR) à partir d'entrées basse résolution (LR). Bien que les méthodes basées sur les Transformers aient atteint des performances de pointe en modélisant les dépendances à longue portée, elles souffrent de coûts de calcul élevés en raison de la complexité quadratique de l'auto-attention standard. Pour atténuer cela, les approches existantes restreignent généralement l'attention à des groupes fixes, tels que des fenêtres locales (ex. SwinIR) ou des catégories sémantiques (ex. ATD).

Cependant, les auteurs soutiennent que ces stratégies d'« attention groupée » négligent l'asymétrie inhérente des similitudes entre tokens. En SISR, un token spécifique peut nécessiter des informations provenant d'un voisin distant pour reconstruire des structures fines, tandis que ce voisin n'a pas nécessairement besoin d'informations provenant du token d'origine. Le regroupement fixe impose des frontières rigides et impose une agrégation symétrique, empêchant les tokens de sélectionner de manière adaptative leurs voisins les plus pertinents, de façon unidirectionnelle, à travers toute l'image. Cette limitation entraîne un flux d'informations redondant et une reconstruction sous-optimale.

Méthodologie : Transformer Exploratoire Individualisé (IET)

Pour répondre à ces limitations, l'article propose le Transformer Exploratoire Individualisé (IET), centré sur un nouveau mécanisme d'Attention Exploratoire Individualisée (IEA). Contrairement aux méthodes à groupes fixes, l'IEA permet à chaque token de sélectionner de manière adaptative et indépendante ses candidats d'attention en fonction de la similitude de contenu, en opérant de manière asymétrique.

Composants Clés

1. Attention Exploratoire Individualisée (IEA)
L'IEA remplace l'auto-attention standard par un processus dynamique qui évolue d'une attention locale vers une attention globale et sensible au contenu via un raffinement par couche. Il se compose de trois étapes clés :

• Initialisation : Dans le premier bloc, les candidats d'attention sont initialisés à l'aide d'une stratégie de dilatation. Celle-ci effectue une attention dense dans une petite région locale tout en échantillonnant de manière uniforme et parcimonieuse des tokens à partir de patchs de taille $d \times d$. Cela fournit un ensemble diversifié de candidats initiaux, équilibrant les détails locaux et le contexte global grossier.
• Mécanisme de Propagation : Dans les blocs suivants, le mécanisme étend le champ récepteur en explorant des connexions d'ordre supérieur. Si le token $A$ est similaire à $B$, et que $B$ est similaire à $C$, le mécanisme se propage pour inclure $C$ comme un candidat direct pour $A$ (un voisin à « deux sauts »). Cela permet à la portée de l'attention de s'étendre de manière sémantique plutôt que simplement spatiale.
• Mécanisme de Sparsification (Épuration) : Pour maintenir l'efficacité computationnelle, les connexions de faible similitude identifiées dans les couches précédentes sont supprimées. Seuls les $K$ voisins les plus similaires sont conservés pour la couche suivante. Cela garantit que les candidats d'attention restent pertinents et que le coût de calcul reste linéaire par rapport au nombre de tokens ($O(kN)$).

2. Réseau Feed-Forward à Fusion de Similitude (SF-FFN)
Les auteurs introduisent un réseau Feed-Forward modifié qui exploite les relations de similitude raffinées obtenues par l'IEA. Pour chaque token, le SF-FFN identifie son voisin le plus similaire basé sur les indices d'attention actuels, remplace le token par ce voisin, et fusionne les deux représentations à l'aide d'un MLP par tête et d'une convolution en profondeur (depthwise). Cela facilite l'interaction inter-canaux parmi les tokens hautement corrélés, complétant les limites du module d'attention en matière de modélisation des dépendances inter-canaux.

3. Architecture du Réseau
L'architecture globale de l'IET suit les conceptions de SR basées sur les Transformers, mais remplace les blocs d'attention standard par des blocs IEA et les FFN standards par des SF-FFN. Un encodage de position relatif est utilisé uniquement dans le premier bloc (où l'attention est locale), tandis qu'un encodage de position apprenable (LePE) est utilisé dans les couches suivantes.

Principales Contributions

1. Attention Exploratoire Individualisée (IEA) : Un mécanisme qui permet une sélection des candidats d'attention sensible au contenu et adaptative par token. Il étend progressivement l'ensemble des candidats avec de nouveaux tokens similaires via la propagation, tout en élaguant les de faible similitude pour l'efficacité.
2. Transformer Exploratoire Individualisé (IET) : Une nouvelle architecture utilisant l'IEA pour capturer de manière flexible les dépendances globales sans compromettre l'efficacité computationnelle. Elle modélise des relations asymétriques, permettant aux tokens de sélectionner des voisins unidirectionnels qui soutiennent au mieux l'agrégation de caractéristiques.
3. FFN à Fusion de Similitude (SF-FFN) : Un composant qui améliore l'échange d'informations entre les tokens hautement corrélés en fusionnant les caractéristiques basées sur les cartes de similitude raffinées de l'IEA.

Résultats Expérimentaux

Les auteurs ont évalué l'IET sur les benchmarks standards de SISR (Set5, Set14, BSD100, Urban100, Manga109) avec des facteurs d'échelle $\times2$, $\times3$ et $\times4$.

• Performance : Sous des budgets de calcul comparables, l'IET atteint des performances de pointe (state-of-the-art).
  • Dans le cadre de la SR standard ($\times2$), l'IET surpasse la meilleure méthode précédente, PFT, de 0,19 dB sur Urban100 et de 0,39 dB par rapport à ATD.
  • Dans le cadre de la SR légère (lightweight), IET-light surpasse PFT-light de 0,36 dB sur Urban100 ($\times2$) et obtient un gain de 0,21 dB par rapport à PFT-light sur Urban100 ($\times4$).
  • IET-light ne nécessite que 9,1 % de la complexité de calcul de SwinIR tout en le surpassant sur Set5 et Urban100.
• Études d'Ablation :
  • Le mécanisme de propagation est identifié comme le principal moteur des gains de performance, surpassant de manière significative l'initialisation simple basée sur la dilatation.
  • La sparsification réduit la redondance computationnelle et améliore légèrement la performance en supprimant les corrélations faibles.
  • Le SF-FFN apporte des gains marginaux mais constants, les meilleurs résultats étant obtenus lorsqu'il est placé dans les blocs ultérieurs où les cartes d'attention sont plus stables.
  • La performance optimale est obtenue avec un facteur de dilatation de $d=2$ pour l'entraînement et $d=3$ pour l'inférence, ainsi qu'un ratio $k_1/k_2$ de 2 dans l'étape de propagation.

Signification et Revendications

L'article affirme que l'IET proposé démontre que les relations asymétriques et individualisées sont cruciales pour restaurer les textures complexes et préserver les structures en SISR. En s'éloignant des frontières de groupes rigides vers une exploration de voisins adaptative au contenu et sensible au token, le modèle parvient à une agrégation d'informations plus précise.

Les auteurs soulignent que leur méthode atteint une qualité de reconstruction supérieure (bords nets et textures propres) tout en maintenant une efficacité computationnelle comparable aux méthodes d'attention groupée existantes. Le travail suggère que la modélisation de la nature directionnelle de la similitude permet un meilleur compromis entre les champs récepteurs globaux et le coût de calcul, offrant une direction potentielle pour des tâches de vision et de langage plus larges au-delà de la super-résolution.