Résumé technique : Modèles de fondation avec récupération augmentée pour la prédiction du niveau de l'eau dans les Everglades

1. Énoncé du problème

La prévision précise du niveau de l'eau dans les Everglades est cruciale pour l'atténuation des inondations, la gestion des sécheresses et la conservation de la biodiversité. Bien que les récents modèles de fondation pour séries temporelles (TSFM) (ex. : TimeGPT, TimesFM, Chronos) aient démontré de solides performances sur des tâches génériques grâce à un pré-entraînement sur des ensembles de données massifs, leur efficacité dans les applications hydrologiques spécifiques au domaine reste limitée.

Le principal défi identifié est que les TSFM reposent généralement uniquement sur une fenêtre de regard rétrospectif (lookback window) récente pour l'inférence. Dans les systèmes hydrologiques, cette fenêtre contient souvent des signaux insuffisants pour prédire des événements rares ou extrêmes (ex. : inondations), qui surviennent occasionnellement et fournissent peu de contexte historique pour que le modèle puisse apprendre. Par conséquent, même les modèles avancés basés sur les données peinent à anticiper les événements à faible fréquence et à fort impact sans un réentraînement spécifique à la tâche, ce qui est souvent impraticique lorsque les contextes expérimentaux ou les domaines changent.

2. Méthodologie

Les auteurs proposent un cadre de Prévision avec Récupération Augmentée (RAF) conçu pour enrichir le contexte d'entrée des modèles de fondation pré-entraînés sans nécessiter de réentraînement spécifique à la tâche. Le cadre fonctionne en trois étapes :

2.1 Construction de la base de connaissances

Un ensemble de données hydrologiques multivariées spécifique au domaine provenant du parc national des Everglades est organisé. Les données sont divisées chronologiquement :

• Base de connaissances ($D$) : Les premiers 85 % des données servent de pool de récupération contenant des paires de fenêtres de passé ($X_{past}$) et de fenêtres futures correspondantes ($Y_{future}$).
• Ensemble de test ($T$) : Les 15 % restants sont utilisés pour l'évaluation.

2.2 Récupération de la connaissance

Étant donné une fenêtre d'entrée actuelle, un récupérateur identifie des analogues historiques à haute pertinence dans la base de connaissances pour servir d'information contextuelle. L'article évalue deux stratégies de récupération distinctes :

1. Récupération basée sur la similitude : Utilise un encodeur T5 pour plonger les fenêtres de regard rétrospectif dans un espace vectoriel de longueur fixe (512 dimensions). La similitude est mesurée par la distance euclidienne entre l'encodage de l'entrée actuelle et les fenêtres historiques candidates.
2. Récupération basée sur l'Information Mutuelle (MI) : Exploite la théorie de l'information pour quantifier les dépendances statistiques entre l'entrée actuelle et les candidats historiques. L'IM capture les relations linéaires et non linéaires, servant de signal de pertinence pour identifier les contextes les plus informatifs sur l'état actuel du système.

Les $k$ échantillons ayant les scores les plus élevés sont récupérés, formant un ensemble de contexte $C$.

2.3 Stratégies d'augmentation par récupération

Le contexte récupéré est intégré à l'entrée originale en utilisant trois stratégies distinctes :

• Stratégie A (Moyenne d'abord) : Les contextes récupérés les plus pertinents ($k$) sont moyennés point par point pour créer un contexte représentatif unique ($\bar{C}$), qui est ensuite concaténé avec l'entrée originale.
• Stratégie B (Augmentation d'abord) : Chacun des $k$ contextes récupérés est individuellement concaténé avec l'entrée originale pour former $k$ entrées augmentées distinctes. Le pronostiqueur génère $k$ prédictions, qui sont ensuite moyennées pour la sortie finale.
• Stratégie C (Concaténation de contexte long) : Tous les $k$ contextes récupérés sont directement concaténés avec l'entrée originale pour former une séquence étendue unique.

2.4 Pronostiqueur

Le cadre utilise Chronos, un modèle de fondation de séries temporelles pré-entraîné, comme pronostiqueur. L'approche RAF (Sim-RAF et MI-RAF) est agnostique au modèle et a été démontrée ici avec Chronos sans ajustement fin (fine-tuning), reposant sur une inférence zéro-shot enrichie par le contexte récupéré.

3. Configuration expérimentale

• Jeu de données : Registres quotidiens du 16 octobre 2020 au 31 décembre 2024, comprenant 38 variables (niveaux d'eau, précipitations, PET, débits de vannes/pompes) à travers cinq stations de surveillance clés dans les Everglades.
• Tâche : Prédire les niveaux d'eau dans cinq stations sur des horizons de 7, 14, 21 et 28 jours en utilisant une fenêtre de regard rétrospectif de 100 jours.
• Lignes de base (Baselines) : Comparaison avec des modèles de deep learning spécifiques à la tâche (DLin, TimeMixer, KAN, iTransformer) et d'autres modèles de fondation (TimeGPT, TimesFM, Timer, Chronos).
• Métriques : Erreur Absolue Moyenne (MAE), Erreur Quadratique Moyenne (RMSE) et l'Indice de Dépendance Extrême Symétrique (SEDI) pour évaluer la prédiction des événements extrêmes.

4. Résultats clés

• Supériorité de performance : Les méthodes avec récupération augmentée (Sim-RAF et MI-RAF) ont systématiquement surpassé toutes les lignes de base, y compris le modèle pré-entraîné le plus fort (Chronos).
• Gains sur l'horizon long : Les bénéfices de la récupération augmentée étaient plus marqués pour les prévisions à long terme.
  • Pour un horizon de 7 jours, Sim-RAF a amélioré la MAE et la RMSE de 4,1 % et 5,1 % par rapport à Chronos, respectivement.
  • Pour des horizons plus longs, Sim-RAF a atteint des améliorations de 7,0 % (MAE) et 5,8 % (RMSE), tandis que MI-RAF a montré des gains encore plus importants de 13,5 % (MAE) et 7,4 % (RMSE).
• Événements extrêmes : Le cadre a produit des gains disproportionnellement plus importants lors des événements extrêmes, comme mesuré par le SEDI. Cela indique que la récupération d'épisodes historiques analogues compense efficacement le manque de signaux historiques immédiats lors d'événements hydrologiques rares.
• Variabilité spatiale : La performance variait selon les stations, la station NP205 présentant la performance la plus faible, attribuée à de plus faibles corrélations du niveau d'eau avec les autres stations.

5. Signification et affirmations

L'article affirme fournir une preuve empirique que la récupération basée sur des analogues peut considérablement bénéficier aux modèles de fondation de séries temporelles pré-entraînés en sciences de l'environnement. Plus précisément :

• Généralisabilité : Le pipeline RAF proposé est agnostique au bassin versant et peut être appliqué à d'autres systèmes hydrologiques à condition de disposer de données de séries temporelles et d'archives historiques, sans nécess plusieurs réentraînements spécifiques au domaine.
• Aide à la décision : En améliorant les prévisions à long horizon et les prévisions d'événements extrêmes, la méthode offre des perspectives pratiques pour la prise de décision environnementale dans des systèmes complexes et non stationnaires comme les Everglades.
• Aperçu méthodologique : Cette étude souligne les forces et les modes de défaillance des modèles de fondation lorsqu'ils sont appliqués à l'hydrologie, démontrant qu'enrichir le contexte d'entrée avec des analogues historiques récupérés est une stratégie viable pour surmonter les limites des courtes fenêtres de regard rétrospectif dans des régimes de données rares ou extrêmes.

Les auteurs soulignent que bien que l'évaluation soit spécifique aux Everglades, la conception du cadre permet une transférabilité à d'autres contextes hydrologiques, offrant une nouvelle direction pour améliorer la prédiction du niveau de l'eau dans les systèmes écologiquement sensibles.