EpiMask: Leveraging Epipolar Distance Based Masks in Cross-Attention for Satellite Image Matching

1. Problématique

Le domaine de la mise en correspondance d'images (image matching) a connu des avancées majeures grâce aux réseaux de neurones profonds, permettant une précision sous-pixelique et une robustesse face aux variations d'éclairage et de point de vue. Cependant, la plupart de ces modèles (comme LoFTR, SuperGlue, etc.) sont entraînés sur des images terrestres capturées par des caméras à sténopé (pinhole).

Lorsqu'ils sont appliqués aux images satellites, ces modèles montrent des performances sous-optimales pour deux raisons principales :

1. Géométrie d'acquisition différente : Les images satellites sont acquises par des caméras balayeuses (pushbroom), où une ligne de l'image est capturée à la fois alors que le satellite se déplace. Contrairement aux caméras sténopé où les lignes épipolaires sont droites, les lignes épipolaires des images satellites sont courbes.
2. Ignorance des métadonnées géométriques : Les modèles existants ne tirent pas parti des métadonnées riches (modèles RPC - Rational Polynomial Coefficients) toujours disponibles avec les images satellites, qui décrivent précisément la géométrie de la caméra.

Le défi consiste donc à adapter les architectures de mise en correspondance modernes pour intégrer cette géométrie épipolaire non linéaire spécifique aux satellites, afin d'améliorer la précision et la densité des correspondances.

2. Méthodologie : EpiMask

Les auteurs proposent EpiMask, un réseau de mise en correspondance semi-dense conçu spécifiquement pour les images satellites. L'architecture est basée sur LoFTR mais intègre trois innovations majeures :

A. Approximation Affine et Masques de Distance Épolaire

• Modélisation : Bien que la géométrie RPC soit non linéaire, elle peut être approximée localement par des caméras affines pour de petits patches d'images.
• Calcul du Masque : À partir des métadonnées RPC, le modèle calcule une matrice fondamentale affine ($F_0$) et une distance épipolaire symétrique ($d_{sym}$) entre les pixels de deux images.
• Masque de contrainte : Un masque binaire ($M_{epi}$) est généré pour chaque pixel de l'image de gauche, définissant une « bande épipolaire » dans l'image de droite où le pixel correspondant est géométriquement plausible. Cela réduit l'espace de recherche de toute l'image à une bande étroite.

B. Mécanisme d'Attention Croisée Masquée (Masked Cross-Attention - MXA)

• Intégrée dans les couches de transformateur du modèle, cette mécanisme remplace l'attention croisée standard.
• Au lieu de permettre à un pixel de l'image de gauche de s'attendre à tous les pixels de l'image de droite, le mécanisme masque les zones hors de la bande épipolaire.
• Stratégie de Warm-up : Pour éviter de figer le modèle trop tôt, la largeur de la bande épipolaire ($b$) diminue linéairement au cours des couches du transformateur (de la largeur totale de l'image jusqu'à $\gamma \times p$) et au cours de l'entraînement (pas de masque les 5 premiers epochs, puis réduction progressive).

C. Utilisation d'un Encodeur Fondamental Pré-entraîné

• Le modèle utilise un encodeur basé sur SatlasPretrain, un modèle fondamental entraîné sur des images aériennes et satellitaires à grande échelle.
• Pour adapter cet encodeur sans le réentraîner entièrement, les auteurs utilisent des couches LoRA (Low-Rank Adaptation), permettant un fine-tuning efficace et léger des poids de l'encodeur pour la tâche de mise en correspondance.

D. Architecture Globale

Le pipeline suit une approche coarse-to-fine (du grossier au fin) :

1. Extraction de caractéristiques : Utilisation de l'encodeur Satlas + LoRA et d'un décodeur FPN (Feature Pyramid Network).
2. Niveau Grossier (Coarse) : Un transformateur avec attention auto et attention croisée masquée (MXA) pour identifier des correspondances approximatives.
3. Niveau Fin (Fine) : Un module de raffinement qui extrait des crops locaux autour des correspondances grossières pour obtenir une précision sous-pixelique.

3. Contributions Clés

1. Cadre d'attention géométriquement conscient : Première intégration explicite de la géométrie épipolaire courbe des satellites via des masques d'attention dans un réseau de transformateur.
2. Adaptation de modèles fondamentaux : Démonstration de l'efficacité du fine-tuning de l'encodeur SatlasPretrain via LoRA pour la mise en correspondance satellitaire.
3. Performance Record : Obtention de performances state-of-the-art sur le jeu de données SatDepth, surpassant les modèles réentraînés de base.
4. Analyse ablation complète : Validation rigoureuse de chaque composant (largeur du masque, résolution, encodage positionnel, stratégie d'entraînement).

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données SatDepth (incluant des zones comme Jacksonville, San Fernando, Omaha, UCSD) avec des métriques de précision à 1 pixel, d'estimation de pose (AUC) et de nombre de correspondances vraies positives (TP).

• Amélioration de Précision : EpiMask améliore la précision de mise en correspondance d'environ 30 % par rapport aux meilleures architectures réentraînées (comme LoFTR ou MatchFormer adaptés aux satellites).
• Densité des correspondances : Le modèle détecte un nombre beaucoup plus élevé de correspondances fiables (ex: >1000 TP par patch contre ~100 pour les baselines), permettant une reconstruction 3D plus dense.
• Robustesse aux angles : EpiMask maintient une haute précision même avec de grandes différences d'angles de vue ($\alpha_v$) et d'angles de trajectoire ($\alpha_t$), là où les modèles baselines dégradent rapidement leurs performances.
• Ablations :
  • La configuration Haute Résolution (HR) surpasse la basse résolution.
  • La largeur du masque ($\gamma$) a un impact mineur, montrant la robustesse du modèle (une largeur de 0.4 ou 0.6 fonctionne bien).
  • L'utilisation de LoRA est cruciale pour l'adaptation de l'encodeur.
  • Une stratégie d'entraînement en deux étapes (d'abord sans LoRA, puis avec LoRA) donne de meilleurs résultats qu'un entraînement unique.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre les modèles de vision par ordinateur généraux et les spécificités géométriques de la télédétection.

• Applications : Les résultats permettent des applications critiques telles que l'alignement d'images, la reconstruction 3D sparse, la cartographie et la surveillance des changements environnementaux avec une précision accrue.
• Généralisation : Bien que conçu pour les satellites, le mécanisme d'attention masquée basée sur la géométrie est applicable à d'autres domaines disposant de métadonnées de caméra précises (ex: drones avec capteurs de pose, systèmes d'imagerie médicale multi-vues).
• Efficacité : En exploitant les métadonnées existantes (RPC) plutôt que d'apprendre la géométrie de zéro, EpiMask offre une solution efficace et performante sans nécessiter de données d'entraînement massives supplémentaires.

En résumé, EpiMask démontre que l'intégration explicite de la géométrie physique du capteur dans l'architecture du réseau d'apprentissage profond est la clé pour débloquer le plein potentiel de la mise en correspondance d'images satellitaires.