Cross-Scale Pansharpening via ScaleFormer and the PanScale Benchmark

Ce papier présente PanScale, un nouveau jeu de données et une référence pour l'évaluation de la fusion d'images multispectrales à différentes échelles, ainsi que ScaleFormer, une architecture innovante qui améliore la généralisation cross-échelle en traitant les résolutions comme des longueurs de séquences variables.

L'essentiel

🌍 Le Problème : La photo floue et le puzzle géant

Imaginez que vous essayez de voir une ville depuis un avion. Vous avez deux types de photos :

1. La photo en noir et blanc (Panchromatique) : Elle est très nette, on voit chaque voiture, chaque arbre, chaque détail. Mais elle ne vous dit pas de quelle couleur est la voiture (rouge, bleue ?).
2. La photo en couleurs (Multispectrale) : Elle est magnifique, on voit les couleurs, les champs verts, l'eau bleue. Mais elle est floue, comme si vous regardiez à travers des lunettes sales. On ne distingue pas les détails.

Le but du "Pansharpening" (fusion d'images) : C'est comme un super-héros qui prend la netteté de la photo noir et blanc et la "colle" sur la photo en couleurs pour créer une image parfaite : nette et colorée.

🚧 Le Défi : Pourquoi c'est difficile aujourd'hui ?

Jusqu'à présent, les chercheurs entraînaient leurs intelligences artificielles (IA) avec de petites photos (comme des vignettes de 200x200 pixels). C'est comme apprendre à conduire sur un circuit de karting.

Mais dans la vraie vie, les satellites prennent des énormes photos (1600x1600 pixels ou plus), comme des autoroutes immenses.
Quand on essaie d'utiliser ces IA entraînées sur des petits circuits pour conduire sur une autoroute, deux choses se passent :

1. L'IA explose : Elle a besoin de trop de mémoire (comme un moteur qui surchauffe).
2. L'IA se trompe : Elle ne reconnaît plus les motifs. C'est comme si vous appreniez à faire du vélo avec des roues de 10 pouces, et qu'on vous demandait soudainement d'en faire avec des roues de 100 pouces. Tout change, et vous tombez.

De plus, pour contourner le problème de mémoire, on coupait les grandes images en petits morceaux, on les traitait, puis on les recollait. Mais cela créait des coutures visibles (des lignes bizarres entre les morceaux), comme un patchwork mal fait.

---

💡 La Solution : PanScale et ScaleFormer

L'équipe de chercheurs a créé deux choses révolutionnaires pour régler ce problème.

1. Le Nouveau Terrain de Jeu : PanScale (Le "Super-Entraînement")

Au lieu d'entraîner l'IA sur de petites images, ils ont créé PanScale, la première base de données géante qui contient des images de toutes les tailles, du petit au très grand.

• L'analogie : Imaginez qu'au lieu d'apprendre à nager dans une petite piscine pour enfants, l'IA s'entraîne directement dans l'océan, avec des vagues de toutes les tailles. Elle est prête pour n'importe quelle situation.

Ils ont aussi créé PanScale-Bench, un "examen" standardisé pour vérifier si les IA sont vraiment prêtes pour le grand large, et pas seulement pour les petits bassins.

2. Le Super-Héros : ScaleFormer (L'IA qui s'adapte)

C'est le cœur de la découverte. Les chercheurs ont inventé une nouvelle architecture appelée ScaleFormer. Voici comment elle fonctionne avec une analogie simple :

L'ancienne méthode (Le puzzle rigide) :
Les anciennes IA voyaient l'image comme un puzzle fixe. Si l'image grossissait, le puzzle devenait trop grand pour la boîte (la mémoire de l'ordinateur), et les pièces ne s'assemblaient plus bien.

La méthode ScaleFormer (La chaîne de perles flexible) :
ScaleFormer change la façon de voir l'image.

• Au lieu de voir une image géante comme un seul bloc énorme, elle la découpe en petits carrés (des "patchs") de taille fixe.
• Ensuite, elle transforme ces carrés en une longue chaîne de perles.
• Le génie : Que l'image soit petite ou gigantesque, la taille de chaque "perle" (le carré) reste la même. Seul le nombre de perles dans la chaîne change.
  • Petite image = Chaîne courte.
  • Grande image = Chaîne longue.

Pourquoi c'est magique ?

• Mémoire stable : L'IA n'a pas besoin de changer sa "boîte" pour les perles. Elle gère juste la longueur de la chaîne. Cela évite que l'ordinateur explose (OOM - Out Of Memory).
• Pas de coutures : Comme elle traite la chaîne d'un seul coup, il n'y a plus de lignes de couture entre les morceaux.
• Adaptabilité : Grâce à une technique spéciale appelée "Rotary Positional Encoding" (un peu comme un GPS qui comprend que 10 km plus loin, c'est toujours la même route, juste plus loin), l'IA comprend que la chaîne peut s'allonger sans qu'elle ait besoin de réapprendre tout depuis zéro.

🏆 Les Résultats

Les tests ont montré que ScaleFormer est bien meilleur que tout ce qui existait avant :

• Il produit des images plus nettes et plus colorées.
• Il fonctionne sur des images ultra-grandes sans planter l'ordinateur.
• Il ne laisse pas de traces de "coutures" sur l'image finale.

En résumé

Imaginez que vous vouliez lire un livre.

• Avant : On vous apprenait à lire avec des lettres de taille fixe sur de petites pages. Si on vous donnait un livre géant, vous deviez le découper en petits morceaux, lire chaque morceau séparément, et essayer de recoller le tout (ce qui rendait le texte illisible aux joints).
• Aujourd'hui (ScaleFormer) : On vous apprend à lire des "mots" de taille fixe, mais à comprendre que le livre peut être très long. Vous lisez simplement la suite, mot après mot, sans jamais vous perdre, que le livre fasse 10 pages ou 1000 pages.

C'est cela, ScaleFormer : une IA capable de lire n'importe quelle image satellite, quelle que soit sa taille, avec une précision parfaite.

Résumé technique

1. Problématique

Le pansharpening (fusion d'images) vise à générer des images multispectrales haute résolution (HRMS) en fusionnant les détails spatiaux fins des images panchromatiques (PAN) avec la richesse spectrale des images multispectrales basse résolution (LRMS).

Bien que les méthodes récentes basées sur les CNN et les Transformers aient montré des progrès, elles rencontrent deux limitations majeures dans les scénarios réels :

• Généralisation inter-échelle faible : La plupart des modèles sont entraînés sur des résolutions fixes et faibles (ex: 256x256). Lorsqu'ils sont appliqués à des résolutions beaucoup plus élevées (ex: 1600x1600 ou 2000x2000), ils subissent un décalage de distribution (changement de statistiques d'entrée) et une dégradation des performances.
• Contraintes computationnelles et mémoire : Les modèles basés sur les Transformers voient leur complexité et leur consommation mémoire augmenter de manière quadratique avec la taille de l'image. Pour traiter de grandes images, les ingénieurs sont contraints d'utiliser une inférence par tuiles (tiled inference), ce qui introduit des artefacts de bloc visibles et des discontinuités aux frontières.
• Manque de benchmarks : Il n'existait pas de jeu de données standardisé ni de protocole d'évaluation couvrant simultanément l'entraînement, les tests multi-résolutions et les tests à très haute résolution.

2. Méthodologie : ScaleFormer

Les auteurs proposent ScaleFormer, une nouvelle architecture conçue pour la fusion robuste d'images à travers différentes échelles. L'idée centrale est de reformuler le problème de la généralisation aux résolutions inconnues comme un problème de généralisation aux longueurs de séquence inconnues.

Architecture Clé

L'architecture se compose de trois modules principaux :

1. Scale-Aware Patchify (SAP) :

   • Ce module découpe l'image en patches de taille fixe, mais introduit un axe de séquence supplémentaire.
   • Stratégie d'échantillonnage par "buckets" (seaux) : Lors de l'entraînement, le modèle est exposé à des tailles de fenêtres variables (via un échantillonnage aléatoire de "buckets"). Cela permet au modèle d'apprendre à gérer différentes longueurs de séquence effectives, stabilisant ainsi la moyenne et la variance par token et réduisant l'écart entre l'entraînement et l'inférence.
   • Lors de l'inférence, une taille de fenêtre fixe est utilisée, mais la longueur de la séquence s'adapte linéairement à la taille de l'image d'entrée.

2. Modules Single-Transformer (Modélisation intra-modale) :

   • Spatial-Transformer : Modélise les dépendances spatiales à l'intérieur de chaque patch (structure fine).
   • Sequence-Transformer : Modélise les dépendances entre les patches (dépendances à l'échelle).
   • Découplage : Cette séparation permet de traiter la structure spatiale locale indépendamment de la variation d'échelle globale.
   • Encodage de Position Rotatif (RoPE) : Intégré dans les mécanismes d'attention, il permet au modèle d'extrapoler efficacement à des longueurs de séquence (et donc des résolutions) non vues durant l'entraînement.

3. Modules Cross-Transformer (Fusion inter-modale) :

   • Utilise des mécanismes d'attention croisée (Spatial-Cross et Sequence-Cross) pour faciliter l'échange d'informations bidirectionnel entre les caractéristiques panchromatiques et multispectrales, à la fois dans l'espace et le long de l'axe de séquence.

3. Contributions Clés

1. PanScale Dataset : Le premier jeu de données de fusion d'images à grande échelle et multi-échelle. Il comprend des images de trois satellites (Jilin-1, Landsat-9, Skysat) avec des résolutions natives allant de 0,5 m à 15 m. Il offre des ensembles d'entraînement et de test couvrant des résolutions de 200x200 à 2000x2000 pixels.
2. PanScale-Bench : Une suite d'évaluation complète intégrant des métriques avec référence (PSNR, SSIM, ERGAS, etc.) et sans référence (Dλ, DS, QNR) pour évaluer la qualité de fusion sur des scénarios réels sans vérité terrain.
3. ScaleFormer : Une architecture novatrice qui transforme la généralisation de résolution en généralisation de longueur de séquence, permettant une complexité linéaire contrôlable et évitant les artefacts de tuiles.
4. Stratégies d'entraînement : L'utilisation de l'échantillonnage par buckets et du RoPE pour améliorer la capacité d'extrapolation du modèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données PanScale, comparant ScaleFormer à des méthodes de l'état de l'art (GS, IHS, MSDCNN, HFIN, ARConv, Pan-mamba, etc.).

• Performance Quantitative : ScaleFormer surpasse systématiquement les méthodes concurrentes sur toutes les métriques (PSNR, SSIM, Q, ERGAS) et sur toutes les résolutions testées (de 200x200 à 2000x2000). Par exemple, sur le jeu de données Jilin à 800x800, il atteint un PSNR de 38,92 contre 37,99 pour le deuxième meilleur (ARConv).
• Généralisation et Robustesse : Contrairement aux autres méthodes dont les performances chutent drastiquement lorsque la résolution d'entrée augmente, ScaleFormer maintient une performance stable, démontrant une excellente capacité de généralisation inter-échelle.
• Efficacité Computationnelle :
  • Mémoire : ScaleFormer consomme significativement moins de mémoire GPU que les Transformers standards, évitant les erreurs "Out Of Memory" (OOM) sur les grandes images.
  • Complexité : Il présente une complexité en GFLOPs bien inférieure aux méthodes SOTA comme HFIN et ARConv, surtout à haute résolution.
• Qualité Visuelle : Les comparaisons qualitatives montrent que ScaleFormer préserve mieux les détails spatiaux fins et l'intégrité spectrale, sans les artefacts de bloc observés avec les méthodes par tuiles.

5. Signification et Impact

Ce travail adresse un fossé critique entre la recherche académique (souvent limitée à de petites résolutions) et les besoins industriels réels (images satellites très haute résolution).

• Standardisation : La création de PanScale et PanScale-Bench fournit une base de référence indispensable pour évaluer objectivement les futurs algorithmes de fusion dans des conditions réalistes.
• Viabilité Pratique : En résolvant les problèmes de mémoire et d'artefacts de tuiles, ScaleFormer rend la fusion d'images haute résolution réalisable sur du matériel grand public (GPU grand public), ouvrant la voie à des applications en surveillance environnementale, agriculture de précision et défense.
• Paradigme Nouvelle : La reformulation du problème de résolution en problème de longueur de séquence offre une nouvelle perspective pour la conception de modèles de vision par ordinateur capables de gérer des échelles variables de manière native.

En résumé, cette recherche établit un nouvel état de l'art pour le pansharpening, combinant une innovation architecturale robuste avec un benchmark rigoureux pour guider le développement futur dans le domaine de la télédétection.