Résumé Technique : Apprentissage Contrastif Multimodal pour les Embeddings Terrestres Implicites via le Liage de Localisation

Énoncé du Problème

Les tâches de prédiction spatiale, allant de la modélisation écologique à la dynamique des populations, sont fondamentalement contraintes par la rareté des observations de vérité terrain étiquetées de haute qualité. Bien que des données géospatiales non étiquetées existent à grande échelle à travers diverses modalités (par exemple, l'imagerie satellite, les photographies géotaguées, les textes encyclopédiques), les modèles supervisés ne peuvent pas exploiter ces données sans étiquettes.

Les solutions existantes, connues sous le nom de « modèles d'embeddings terrestres » (Earth embedding models), visent à apprendre des représentations vectorielles transférables des données géospatiales. Celles-ci peuvent être explicites (extraites de données brutes comme l'imagerie) ou implicites (mappage de coordonnées géographiques vers un embedding via un encodeur de localisation). Les encodeurs implicites sont particulièrement précieux car ils stockent l'information de localisation au sein des poids du modèle, permettant l'inférence sur des tâches aval arbitraires sans entrées spécifiques à une modalité.

Actuellement, le paradigme dominant pour le pré-entraînement de ces encodeurs de localisation est l'Apprentissage Contrastif (CL). Cependant, les méthodes existantes alignent généralement les coordonnées géographiques avec une seule modalité supplémentaire (par exemple, coordonnées + imagerie satellite). Cette approche à deux modalités limite l'entropie extractible des données géographiques, car différentes modalités fournissent des contextes sémantiques et visuels distincts. Bien que le potentiel théorique de l'utilisation simultanée de plusieurs modalités non appariées ait été noté, aucun travail antérieur n'a étudié cela empiriquement dans le contexte des embeddings terrestres implicites.

Méthodologie

Le papier propose deux architectures d'apprentissage contrastif multimodal conçues pour entraîner un encodeur de localisation en utilisant des données géospatiales non appariées, en utilisant la localisation géographique comme un ancrage partagé entre plusieurs modalités.

Configuration de Base

• Modalités : Un ensemble $M = \{m_0, m_1, \dots, m_{K-1}\}$ où $m_0$ est la modalité de localisation (coordonnées géographiques) et $m_{1 \dots K-1}$ sont des modalités non liées à la localisation (par exemple, satellite, texte, images naturelles).
• Données non appariées : Les jeux de données sont non appariés ; il n'y a pas de correspondance un à un entre les modalités non liées à la localisation. Au lieu de cela, la co-localisation spatiale sert de proxy pour la pertinence sémantique.
• Paires Positives : Pour un échantillon provenant d'une modalité non liée à la localisation $m$, l'unique contrepartie positive est sa projection de localisation co-localisée.
• Encodeur : L'encodeur de localisation utilise des fonctions de base d'harmoniques sphériques (jusqu'au 10ème degré) combinées à un MLP SIREN. Les modalités non liées à la localisation utilisent des backbones pré-entraînés et gelés (par exemple, MoCo-ResNet, DINO-ViT, BGE) avec des adaptateurs linéaires entraînables.

Architectures Proposées

1. MELT (Multimodal Embedding via Location Tying) :

   • Mécanisme : Une approche de construction par batch où toutes les modalités sont entraînées conjointement à chaque étape.
   • Processus : À chaque étape d'entraînement, $N$ échantillons sont tirés de chaque modalité non liée à la localisation. Chacun est associé à son embedding de localisation co-localisé.
   • Objectif : Une perte NT-Xent symétrique est agrégée sur toutes les modalités non liées à la localisation. Tous les paramètres des encodeurs sont mis à jour conjointement, créant un espace d'embedding unique et partagé sans mises à jour alternées.

2. SALT (Sequential Alternating Location Training) :

   • Mécanisme : Un calendrier au niveau de l'époque qui alterne la modalité non liée à la localisation active tout en gardant l'encodeur de localisation permanent.
   • Processus : À chaque époque $e$, l'encodeur de localisation est associé à une seule modalité non liée à la localisation $m_{(e \mod (K-1))+1}$.
   • Objectif : Seuls les paramètres de la modalité actuellement active et de l'encodeur de localisation sont mis à jour. Les modalités ne sont jamais directement comparées ; elles sont liées uniquement via le signal d'entraînement partagé avec l'encodeur de localisation.

Contributions Clés

1. Nouvelles Architectures : Introduction de MELT et SALT, les premiers cadres pour étendre l'entraînement des embeddings terrestres implicites au-delà de deux modalités en utilisant des données non appariées et la localisation comme élément de liaison.
2. Investigation Empirique : Une étude complète évaluant si l'augmentation de la diversité des modalités (de 2 à 4 modalités) ou l'augmentation du volume de données de pré-entraînement améliore les performances en aval.
3. Identification du Plafond de Performance : L'identification que l'encodeur de localisation lui-même, plutôt que la diversité des modalités ou le volume de données de pré-entraînement, constitue le principal goulot d'étranglement des performances.

Résultats Expérimentaux

Configuration

• Données : Pré-entraînement sur environ 100K localisations échantillonnées mondialement en utilisant trois modalités non liées à la localisation : imagerie satellite Sentinel-2, images naturelles géotaguées (YFCC100M) et texte Wikipedia géotagué.
• Tâches Aval : Quatre tâches globales (Élévation [Régression], Densité de population [Régression], Codes de pays [Classification] et Biomes [Classification]).
• Baselines : Comparaison avec de puissants encodeurs de localisation existants (SATCLIP, GEOCLIP, CSP, RANGE) et des baselines non apprises (MOSAIKS, IDENTITY).

Résultats Quantitatifs

• Parité de Performance : Tant MELT que SALT égalent la performance de la plus forte baseline à deux modalités (SATCLIP-ORG) sur les quatre tâches aval.
• Aucun Gain Constant des Modalités : Augmenter le nombre de modalités (par exemple, de 2 à 3 ou 4) n'a pas amélioré les performances de manière constante. L'analyse statistique (tests t appariés) a montré que les différences de performance entre les variantes multimodales étaient largement attribuables à l'initialisation aléatoire plutôt qu'à la conception du modèle.
• Aucun Gain du Volume de Données : Le passage à l'échelle du volume de données de pré-entraînement (de 10k à 261k paires) n'a pas produit d'améliorations fiables.
• Conclusion : L'encodeur de localisation atteint sa capacité de représentation rapidement. Une fois qu'il a appris une correspondance coordonnée-région stable, les modalités supplémentaires ne fournissent aucun signal de gradient exploitable.

Résultats Qualitatifs

• Stabilité de l'Entraînement : MELT a démontré un entraînement stable avec des courbes de perte lisses. SALT a présenté des pics de perte caractéristiques aux limites d'époques lors du changement de modalité active, entraînant occasionnellement l'arrêt prématuré des sessions d'entraînement.
• Qualité de l'Embedding : Malgré l'instabilité de SALT, les deux architectures ont produit des prédictions spatialement cohérentes (par exemple, dans les cartes d'élévation) qui sont visuellement indiscernables l'une de l'autre mais supérieures aux baselines en termes de continuité spatiale.
• Visualisation des Embeddings : L'Analyse en Composantes Indépendantes (ICA) a révélé que les encodeurs auto-entraînés produisaient des gradients de couleurs géographiquement cohérents (par exemple, des couleurs similaires pour les forêts tropicales), tandis que les baselines montraient des artefacts de grille ou une variance élevée.

Signification et Revendications

Le papier affirme que le paradigme actuel consistant à simplement ajouter plus de modalités à l'apprentissage contrastif pour les embeddings terrestres implicites présente des rendements décroissants en raison de limitations architecturales.

• Le Goulot d'Étranglement : La limitation principale est l'architecture de l'encodeur de localisation et l'objectif contrastif (NT-Xent). L'objectif force toutes les modalités à s'aligner sur un ancrage unique partagé, ce qui réduit effectivement la tâche en un alignement de faible complexité que l'encodeur actuel peut résoudre rapidement. Ce processus rejette les caractéristiques spécifiques aux modalités qui pourraient distinguer, par exemple, des signatures spectrales d'un contexte textuel.
• Implications pour les Travaux Futurs :
  • Simplement ajouter des modalités ou du volume de données est insuffisant.
  • Les efforts futurs doivent se concentrer sur des architectures d'encodeurs alternatives dotées d'une capacité de représentation plus élevée.
  • Des objectifs d'alignement alternatifs (au-delà de la similitude globale par instance) sont nécessaires pour préserver les structures spécifiques aux modalités et débloquer des informations complémentaires.
• Recommandation Pratique : Entre les deux méthodes proposées, MELT est identifiée comme la fondation supérieure pour une mise à l'échelle future en raison de sa stabilité d'entraînement et de l'absence de discontinuités de représentation, malgré le fait que SALT atteigne des métriques finales comparables.

Les auteurs soulignent que bien que leurs méthodes soient techniquement viables et égalent les baselines actuelles de l'état de l'art, elles ne les surpassent pas, soulignant la nécessité de changements fondamentaux dans la conception des encodeurs et les fonctions de perte pour véritablement exploiter les données géospatiales multimodales.