Résumé technique : Augmentation de la robustesse des prédictions de modèles face aux capteurs manquants en observation de la Terre

Énoncé du problème

Les modèles d'apprentissage automatique (ML) multi-capteurs pour l'observation de la Terre (OT) intègrent des données provenant de sources diverses (par exemple, optique, radar, météo) afin d'améliorer la précision des prédictions. Cependant, la persistance des données des capteurs ne peut être garantie dans les déploiements réels en raison de pannes techniques ou de facteurs environnementaux (par exemple, la couverture nuageuse entravant l'imagerie optique). La littérature existante a abordé les données manquantes par le biais de stratégies telles que l'abandon temporel (temporal dropout) (axé sur les entrées d'un seul capteur) ou des modèles invariants aux capteurs (axés sur des images statiques). Un écart significatif subsiste dans la gestion des capteurs manquants au sein de scénarios de séries temporelles multi-capteurs, où les modèles ML standards manquent de robustesse inhérente, conduisant à des prédictions biaisées ou échouées lorsque des entrées de capteurs spécifiques sont indisponibles.

Méthodologie

Les auteurs proposent deux méthodes novatrices spécifiquement adaptées aux scénarios de séries temporelles multi-capteurs pour renforcer la robustesse des modèles face aux capteurs manquants :

1. Abandon de capteur en entrée (ISensD)

Inspiré des techniques d'augmentation de données, ISensD introduit un mécanisme d'abandon de capteur (SensD) au niveau de l'entrée pendant l'entraînement.

• Mécanisme : Pour un échantillon donné, les caractéristiques d'entrée de capteurs entiers sont masquées aléatoirement.
• Implémentation :
  • SensD standard : Utilise un hyperparamètre $r$ (ratio d'abandon) où les caractéristiques des capteurs sont masquées selon une distribution de Bernoulli ($d_s \sim \text{Bernoulli}(r)$).
  • Sans ratio (NR) : Une variante sans paramètre qui sélectionne aléatoirement une combinaison parmi toutes les combinaisons possibles de capteurs manquants ($2^{|S|} - 1$) pour chaque lot.
• Entraînement : Le modèle est entraîné sur ces entrées masquées en utilisant une architecture standard de fusion multi-capteurs (fusion au niveau de l'entrée), optimisant les paramètres pour minimiser la perte par rapport à la vérité terrain.

2. Ensemble invariant aux capteurs (ESensI)

Inspiré des modèles invariants aux capteurs, ESensI propose une architecture d'ensemble avec une tête de prédiction partagée.

• Mécanisme : Le modèle emploie des encodeurs dédiés aux capteurs ($E_{\theta_s}$) pour chaque capteur afin d'extraire des caractéristiques, mais utilise une seule tête de prédiction partagée ($P_\phi$) pour tous les capteurs.
• Encodage des capteurs : Pour s'assurer que le modèle sait quelles caractéristiques de capteur sont traitées, un vecteur d'encodage de capteur apprenable ($\rho_s$) est ajouté aux caractéristiques encodées avant la tête partagée.
• Optimisation : Contrairement aux ensembles standards où les têtes spécifiques aux capteurs sont optimisées indépendamment, ESensI optimise conjointement les paramètres dédiés aux capteurs et les paramètres de la tête partagée, forçant le modèle à apprendre des représentations invariantes à travers les capteurs.

Configuration expérimentale

Les méthodes ont été validées sur trois jeux de données temporels multi-capteurs d'observation de la Terre :

1. CropHarvest (CH) : Reconnaissance de cultures multiples utilisant Sentinel-2 (optique), Sentinel-1 (radar), ERA5 (météo) et SRTM (topographie).
2. Teneur en humidité des combustibles vivants (LFMC) : Estimation de l'humidité de la végétation utilisant Landsat-8 (optique), Sentinel-1 (radar) et divers capteurs environnementaux statiques.
3. Particules fines 2,5 (PM25) : Régression de la qualité de l'air utilisant les conditions atmosphériques, la dynamique et les données de précipitations.

Lignes de base : Les méthodes proposées ont été comparées à quatre lignes de base issues de la littérature :

• Entrée : Fusion standard au niveau de l'entrée avec imputation par la moyenne.
• ITempD : Fusion d'entrée avec abandon temporel (adapté pour les capteurs).
• Caractéristique : Fusion au niveau des caractéristiques utilisant une imputation basée sur des exemples (recherche de similarité).
• Ensemble : Agrégation de modèles dédiés aux capteurs, ignorant les prédictions des capteurs manquants.

Métrique d'évaluation : La métrique principale pour la robustesse était le Score de robustesse des performances (PRS), qui mesure l'erreur prédictive relative des modèles avec des capteurs manquants par rapport aux modèles avec une disponibilité complète des capteurs.

Résultats clés

• Robustesse face aux capteurs manquants : Tanto ISensD que ESensI ont démontré une robustesse significativement plus élevée (valeurs PRS plus élevées) à mesure que le pourcentage de capteurs manquants augmentait, surpassant les lignes de base standards (Entrée, ITempD, Caractéristique).
• Supériorité de l'ensemble : La méthode Ensemble standard (sans tête invariante) s'est révélée être l'architecture la plus robuste dans l'ensemble, surpassant souvent l'ESensI proposé dans les métriques brutes de robustesse. Cependant, ESensI a amélioré la méthode Ensemble dans des cas spécifiques (par exemple, le jeu de données PM25).
• Performance de ISensD : La méthode ISensD a montré une amélioration marquée de la robustesse par rapport à ses lignes de base directes (Entrée et ITempD). La variante sans paramètre « Sans ratio » (NR) a performé de manière comparable aux versions de ratio ajustées, suggérant qu'elle constitue une alternative viable.
• Compromis dans les performances avec capteurs complets : Une observation critique a été le compromis entre la robustesse et la précision avec capteurs complets. Bien que les méthodes Ensemble et ESensI excellent dans les scénarios de capteurs manquants, elles ont souvent présenté des performances prédictives plus faibles (F1/R2) lorsque tous les capteurs étaient disponibles par rapport à la méthode standard d'Entrée. Les auteurs notent que ISensD a performé moins bien que la ligne de base Entrée dans les scénarios avec capteurs complets, suggérant que le modèle pourrait sur-prioriser les scénarios de données manquantes pendant l'entraînement.

Importance et affirmations

L'article prétend combler une lacune critique dans la littérature sur l'OT en fournissant des méthodes spécifiquement conçues pour les scénarios de séries temporelles multi-capteurs où des capteurs peuvent manquer.

• Contribution : L'introduction de ISensD et ESensI offre des stratégies pratiques pour augmenter la robustesse des modèles sans nécessiter de réentraînement lorsque des capteurs tombent en panne.
• Affirmations modestes : Les auteurs reconnaissent que, bien que leurs méthodes améliorent la robustesse, elles ne maximisent pas nécessairement la précision prédictive lorsque toutes les données sont présentes. Ils déclarent explicitement que la source de cette robustesse n'est pas entièrement comprise ; elle peut provenir de l'adaptabilité du modèle, d'un désintérêt pour les informations de capteurs spécifiques, ou de l'irrélevance inhérente de certaines données de capteurs pour la tâche de prédiction spécifique.
• Travaux futurs : Les auteurs identifient la nécessité d'investiguer les mécanismes sous-jacents à cette robustesse et de trouver un équilibre entre la résilience face aux capteurs manquants et la précision avec capteurs complets.