Beyond AlphaEarth: Toward Human-Centered Geospatial Foundation Models via POI-Guided Contrastive Learning

1. Problématique et Contexte

Les modèles de fondation géospatiaux (GFMs), tels que AlphaEarth (AE), ont marqué une avancée majeure en générant des représentations spatiales denses (10 m de résolution) à partir de données d'observation de la Terre (EO). Ces modèles excellent dans la capture des motifs physiques, spectraux et environnementaux (ex. : classification du couvert terrestre).

Cependant, une limite fondamentale subsiste pour les applications urbaines :

• Manque de sémantique humaine : Les représentations d'AE codent principalement la forme physique et les signaux spectraux, mais peinent à capturer les fonctions urbaines, les activités humaines et les structures socio-économiques.
• Inaccessibilité linguistique : Bien que certains GFMs intègrent une supervision par le langage, leurs embeddings restent faiblement alignés avec la sémantique naturelle. Il est difficile d'interpréter ou d'interroger ces représentations via du langage naturel (ex. : "trouver les zones commerciales").
• Décalage modal : Les données EO sont continues et physiques, tandis que les données de Points d'Intérêt (POI) sont discrètes et sémantiques, créant un fossé difficile à combler pour une analyse urbaine holistique.

Question de recherche : Comment aligner les représentations physiques ancrées dans l'EO avec les signaux sémantiques centrés sur l'humain provenant des POI pour créer des représentations spatiales à la fois fonctionnellement expressives et accessibles par le langage ?

2. Méthodologie : Le Framework AETHER

Les auteurs proposent AETHER (AlphaEarth–POI Enriched Representation Learning), un cadre léger d'apprentissage contrastif multimodal. L'objectif est d'aligner les embeddings d'AlphaEarth avec les descriptions textuelles des POI.

Architecture du modèle

Le framework se compose de trois branches principales (voir Figure 1 de l'article) :

1. Encodage des POI (Texte) :

   • Les POI sont enrichis en concaténant leur nom, leur catégorie principale et leur sous-catégorie (ex: "Un lieu de type [sous-catégorie], une catégorie [catégorie], nommé [nom]").
   • Un modèle de langage pré-entraîné (LM) encode ce texte en un vecteur sémantique, projeté ensuite dans l'espace latent commun via un projecteur linéaire.

2. Encodage AlphaEarth (EO) :

   • Pour chaque POI, le modèle extrait les embeddings AE (64 dimensions) dans des fenêtres spatiales centrées sur le POI.
   • Une approche multi-échelle est utilisée : une vue de base (rayon $r_b$) et une vue augmentée (rayon $r_a > r_b$).
   • Un pooling moyen est appliqué pour obtenir des vecteurs agrégés, qui sont ensuite projetés dans l'espace latent commun via un projecteur léger (MLP).

3. Module d'Alignement Contrastif :
   L'entraînement vise à minimiser une fonction de perte combinant deux objectifs :

   • Alignement Inter-modal (AE-POI) : Utilise une perte InfoNCE pour aligner les embeddings AE (vue de base) avec les embeddings textuels des POI correspondants. Cela ancre la sémantique humaine dans l'espace physique.
   • Cohérence Intra-modal (AE-AE) : Utilise une perte contrastive entre la vue de base et la vue augmentée du même lieu. Cela assure la stabilité de la représentation spatiale à différentes échelles et agit comme régularisateur.
   • Perte Totale : $L = \lambda L_{AA} + (1 - \lambda) L_{AP}$, où $\lambda$ équilibre la cohérence spatiale et l'alignement sémantique.

Inférence et Applications

Une fois entraîné, le projecteur AE est gelé et appliqué sur l'ensemble de la carte pour générer des embeddings spatiaux enrichis sémantiquement. Ces embeddings peuvent être utilisés pour :

• Des tâches de cartographie supervisée (classification, régression).
• La récupération spatiale conditionnée par le langage : interroger la carte avec du texte naturel (ex: "Parc vert") pour localiser les zones correspondantes via la similarité cosinus.

3. Contributions Clés

1. Premier cadre d'alignement EO-POI : AETHER est le premier modèle à connecter les embeddings physiques d'AlphaEarth avec des signaux sémantiques humains via un alignement contrastif guidé par les POI.
2. Framework d'alignement multimodal léger : Une architecture efficace qui agrège les embeddings AE à plusieurs échelles spatiales et les aligne avec des embeddings textuels, sans nécessiter de réentraînement massif du modèle de fondation.
3. Amélioration de l'interprétabilité : L'espace d'embedding appris devient interprétable via le langage naturel, permettant une récupération spatiale "open-vocabulary" sans supervision spécifique à la tâche.
4. Validation empirique robuste : Des résultats state-of-the-art (SOTA) sur quatre tâches dans deux métropoles distinctes (Londres et Singapour), démontrant une grande robustesse et efficacité des données.

4. Résultats Expérimentaux

Les expériences ont été menées à Londres et à Singapour sur quatre tâches :

• Classification d'occupation des sols (LUC/LUD) : Prédiction de catégories discrètes.
• Cartographie de la distribution socio-économique (SDM) : Prédiction de la composition professionnelle.
• Prédiction du PIB (GDP) : Régression scalaire.
• Récupération spatiale par langage : Localisation de zones via requêtes textuelles.

Performances :

• Améliorations significatives : AETHER surpasse systématiquement les modèles de base (AlphaEarth seul, CaLLiPer, modèles basés sur les coordonnées ou les POI seuls). Les améliorations relatives varient de 4,5 % à 21,9 %.
• Tâches sociales vs physiques :
  • Pour les tâches purement physiques (LUC à Londres), AlphaEarth est déjà fort, mais AETHER apporte encore un gain (+6,3 % F1).
  • Pour les tâches sociales (SDM à Londres, PIB à Singapour), où les signaux physiques sont insuffisants, les gains sont massifs (réduction de 28,7 % de la divergence KL pour SDM, R² de 80,9 % pour le PIB à Singapour).
• Récupération par langage : AETHER permet une localisation précise de zones fonctionnelles (CBD, parcs, aéroports) via des requêtes textuelles, surpassant largement les baselines. La précision (Recall@Top-1%) pour des catégories comme "Art et Antiquités" atteint 54,56 % contre 16,39 % pour CaLLiPer.

Analyse spatiale :

• La visualisation par PCA montre que AETHER réorganise l'espace d'embedding pour refléter une structure urbaine plus fine et fonctionnelle, contrairement aux blocs homogènes d'AlphaEarth.
• Les améliorations ne se limitent pas aux zones denses en POI ; l'alignement sémantique se propage aux zones périphériques, prouvant la capacité de généralisation du modèle.

5. Signification et Impact

Ce travail marque une étape cruciale vers des modèles de fondation géospatiaux centrés sur l'humain et accessibles par le langage.

• Complémentarité des données : Il démontre que l'intégration des signaux EO (continus, physiques) et des POI (discrets, sémantiques) crée une représentation urbaine supérieure, combinant la complétude spatiale et la richesse fonctionnelle.
• Interprétabilité : En ancrant les embeddings dans le langage naturel, le modèle rend les représentations géospatiales "lisibles" par les humains, facilitant l'exploration interactive et la prise de décision en urbanisme.
• Efficacité : Avec seulement 0,17 M de paramètres entraînables et un temps d'entraînement très faible, AETHER offre une solution scalable et efficace pour enrichir les modèles de fondation existants sans coût computationnel prohibitif.

En conclusion, AETHER ne se contente pas d'améliorer la précision prédictive ; il transforme la nature même des représentations géospatiales, les rendant capables de répondre à des questions complexes posées en langage naturel sur la structure et la fonction des villes.