A Proxy Consistency Loss for Grounded Fusion of Earth Observation and Location Encoders

1. Problématique

L'apprentissage supervisé appliqué aux données d'observation de la Terre (EO) se heurte à une limitation majeure : la rareté des données étiquetées de haute qualité (mesures in-situ).

• Contexte : Dans des domaines comme la surveillance environnementale (qualité de l'air) ou l'économie du développement (pauvreté), les données de vérité terrain sont souvent dispersées à des points isolés (capteurs, enquêtes par clusters), rendant difficile l'entraînement de modèles généralisables sur de vastes zones.
• Défi actuel : Bien qu'il existe une abondance de données de substitution (proxy) corrélées à la variable d'intérêt mais non identiques (ex. : luminosité nocturne pour la pauvreté, réanalyses atmosphériques pour la qualité de l'air), leur intégration efficace reste complexe.
  • Les méthodes existantes (empilement de données proxy en entrée ou utilisation d'encodeurs de localité pré-entraînés et figés) montrent des limites : l'empilement apporte des gains marginaux, et le fine-tuning d'encodeurs de localité sur des données étiquetées rares conduit souvent au surapprentissage (overfitting) spatial.

2. Méthodologie : La Perte de Cohérence des Proxies (PCL)

Les auteurs proposent un nouveau cadre d'apprentissage multi-tâches intégrant une Perte de Cohérence des Proxies (Proxy Consistency Loss - PCL).

Architecture du modèle

Le modèle fusionne deux encodeurs au niveau de leurs représentations latentes (embeddings) :

1. Encodeur d'observation (EO) : Traite les données satellitaires (ex. : séries temporelles d'images, mesures d'aérosols).
2. Encodeur de localité (Trainable) : Traite les coordonnées géographiques (longitude, latitude) et temporelles. Contrairement aux approches précédentes utilisant des encodeurs figés, celui-ci est entraînable.

Le mécanisme de la PCL

L'idée centrale est d'utiliser l'encodeur de localité pour apprendre à partir de données de substitution abondantes, disponibles partout, indépendamment de la disponibilité des étiquettes principales.

• Fonctionnement : L'encodeur de localité est contraint de prédire non seulement la tâche principale $y$ (via la fusion avec l'encodeur EO), mais aussi une tâche de substitution $z$ (ex. : réanalyse de PM2.5 ou luminosité VIIRS) directement à partir de ses embeddings.
• Formulation de la perte : La fonction de coût totale est une somme pondérée :
  $$\mathcal{L} = \mathcal{L}^{\text{pred}} + \lambda \mathcal{L}^{\text{proxy-consistency}}$$
  Où $\mathcal{L}^{\text{proxy-consistency}}$ mesure l'erreur entre la prédiction du proxy $\hat{z}$ (générée uniquement par l'encodeur de localité) et la valeur réelle du proxy $z$.
• Échantillonnage : Un point clé est que les données de substitution peuvent être échantillonnées uniformément aléatoirement (UAR) sur toute la zone d'étude, et non seulement aux emplacements des capteurs étiquetés. Cela permet de régulariser l'encodeur de localité de manière spatiale et temporelle, évitant le surapprentissage aux points d'entraînement.

3. Contributions Clés

1. Nouvelle formulation de perte (PCL) : Introduction d'une perte de régularisation géospatiale qui force l'encodeur de localité à capturer la structure des variables de substitution continues, agissant comme un régularisateur puissant.
2. Encodage de localité spécifique à la tâche : Démonstration qu'un encodeur de localité entraîné conjointement avec une tâche de substitution surpasse les encodeurs pré-entraînés génériques (figés) et les méthodes d'empilement naïf.
3. Généralisation hors-échantillon : La méthode améliore significativement la capacité du modèle à généraliser vers des régions sans données d'étiquetage (extrapolation spatiale), un défi critique pour les applications EO.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux tâches : la prédiction de la qualité de l'air (PM2.5) aux États-Unis et la cartographie de la pauvreté en Afrique.

Performance In-Sample (Interpolation)

• PM2.5 : Le modèle PCL obtient la meilleure performance globale, avec une amélioration relative de 12,2 % du score R² et une réduction de 9,5 % de l'erreur quadratique moyenne (RMSE) par rapport à un encodeur d'observation seul. Il surpasse également les encodeurs de localité pré-entraînés figés (GeoCLIP, Climplicit).
• Pauvreté : Le modèle PCL surpasse largement les baselines, y compris l'empilement de données proxy et l'utilisation d'encodeurs figés, démontrant que l'apprentissage conjoint régularise mieux l'espace latent.

Performance Out-of-Sample (Extrapolation)

• Dans des scénarios de validation par "damier" (checkerboard) simulant des décalages géographiques importants, le modèle PCL maintient une robustesse supérieure.
• Il montre une capacité accrue à généraliser à des zones non vues lors de l'entraînement, là où les modèles sans PCL ou les encodeurs figés échouent ou régressent.
• Analyse qualitative : La visualisation des embeddings (via PCA) montre que le modèle PCL produit des représentations spatialement plus lisses et structurellement cohérentes dans le temps, contrairement aux modèles qui sur-apprennent aux emplacements des capteurs (artefacts entre les stations).

Impact de l'échantillonnage

L'étude montre que l'échantillonnage des données proxy de manière uniforme sur l'espace-temps (et non seulement aux sites de mesure) est crucial pour la généralisation. Un ratio d'échantillonnage $\rho$ (ratio de données proxy par rapport aux données étiquetées) d'environ 8 à 16 semble optimal.

5. Signification et Conclusion

Cet article propose une avancée significative pour l'apprentissage automatique sur les données d'observation de la Terre en présence de données étiquetées rares.

• Apport théorique : Il démontre que l'intégration de données proxy via une perte de cohérence permet de "grounder" (ancrer) les encodeurs de localité dans un espace latent riche et spécifique à la tâche, sans nécessiter de pré-entraînement coûteux ni de figer les poids.
• Impact pratique : La méthode offre une solution robuste pour les problèmes où les données de vérité terrain sont coûteuses ou impossibles à obtenir partout (surveillance environnementale, développement socio-économique).
• Limites et perspectives : L'approche dépend de la disponibilité de données proxy de bonne qualité et corrélées. Un risque existe que le modèle hérite des biais des données proxy (ex. : sous-estimation dans les réanalyses), nécessitant un réglage prudent du poids $\lambda$.

En résumé, la Proxy Consistency Loss transforme les données proxy d'une simple entrée supplémentaire en un mécanisme de régularisation géospatiale puissant, permettant de construire des modèles de prédiction plus fiables et généralisables.