Résumé Technique : Guard – Guidage par Modèles Multi-Fondations pour une Prévision de Séries Temporelles Scientifiques Légère et Robuste

1. Énoncé du Problème

Le déploiement des modèles de fondation pour séries temporelles (TSFM) dans les sciences physiques se heurte à un compromis critique. Bien que les TSFM encodent des dynamiques temporelles riches et universelles, ils souffrent d'un désalignement distributionnel sévère lorsqu'ils sont appliqués en zéro-shot à des domaines scientifiques spécifiques (ex. : humidité du sol, flux de carbone). De plus, leur coût computationnel interdit un déploiement dans les réseaux de capteurs en périphérie (edge computing) aux ressources limitées.

Les approches existantes de distillation de connaissances (KD) traitent généralement les sorties des enseignants comme des étiquettes cibles fixes. Cette hypothèse échoue dans les contextes scientifiques où les distributions de données dérivent et où le bruit des capteurs est stochastique. Par conséquent, les modèles étudiants peinent souvent à capturer les motifs temporels critiques, y compris les événements extrêmes, car ils imitent aveuglément des enseignants qui peuvent être mal alignés avec le domaine cible. Le défi central abordé est le suivant : Comment extraire la connaissance structurelle latente de modèles de fondation mal alignés pour entraîner des prévoyeurs légers et spécialisés sans encourir le coût de calcul de l'exécution de plusieurs modèles géants lors de l'inférence ?

2. Méthodologie : Cadre de travail Guard

Les auteurs proposent Guard (Gated Uncertainty-Aware Routing for Distillation), un cadre qui reformule la distillation multi-enseignants comme un processus de décision par instance. Au lieu d'exécuter tous les enseignants à l'inférence, Guard les compile en un seul étudiant léger en utilisant deux mécanismes adaptatifs :

A. Pipeline d'entraînement

Le cadre opère en deux phases :

1. Phase 1 (Hors ligne) : Les enseignants pré-entraînés (ex. : TimesFM, Chronos) sont exécutés en mode zéro-shot sur des fenêtres d'entraînement, de validation et de test. Les prédictions et les estimations d'incertitude sont mises en cache. Des poids de routage pseudo-oracles sont calculés sur la base des erreurs relatives des enseignants pour superviser le routeur pendant l'entraînement.
2. Phase 2 (Entraînement conjoint) : Un modèle étudiant léger, un Routeur Contextuel et un Réseau de Température Adaptatif sont entraînés conjointement en utilisant les sorties des enseignants mises en cache.

B. Mécanismes Adaptatifs Fondamentaux

1. Routeur Contextuel :

   • Fonction : Sélectionne et pondère dynamiquement les enseignants en fonction des statistiques locales d'entrée (caractéristiques de régime) plutôt que sur des moyennes globales.
   • Entrées : Extrait trois statistiques agnostiques au domaine à partir des 12 derniers pas de temps : écart-type mobile (variabilité), dernière valeur observée (amplitude du signal) et tendance linéaire locale.
   • Mécanisme : Un petit réseau de propagation avant (feedforward) prédit les poids de mélange ($w$) pour chaque enseignant. Il apprend à approximer le routage « oracle » (quel enseignant est meilleur pour une fenêtre spécifique) en utilisant uniquement des caractéristiques observables, permettant ainsi le routage au moment du test sans étiquettes de vérité terrain.

2. Mécanisme de Température à Porte d'Incertitude :

   • Fonction : Agit comme un « coupe-circuit » pour atténuer la force de la distillation lorsque la confiance de l'enseignant diverge de la réalité du domaine.
   • Mécanisme : Un réseau de température adaptatif ($\tau$) redimensionne la perte de distillation basée sur l'incertitude de l'enseignant. Une incertitude élevée entraîne une température élevée, ce qui supprime les gradients ($1/\tau^2$), empêchant l'étudiant d'apprendre des motifs fallacieux à partir d'enseignants peu fiables.
   • Agrégation : Le cadre agrège les prédictions et les incertitudes des enseignants en utilisant la loi de la variance totale, décomposant l'incertitude en composantes aléatoriques (dispersion individuelle de l'enseignant) et épistémiques (désaccord entre les enseignants).

C. Architecture de l'Étudiant

L'étudiant est un prévoyeur multi-horizons compact (environ 0,3 M de paramètres, ~1,15 Mo), soit environ 400 fois plus petit que TimesFM. Il utilise un traitement temporel simple (projections linéaires/convolutionnelles) suivi d'un décodeur peu profond, garantissant que les gains de performance proviennent du mécanisme de distillation plutôt que de la capacité brute du modèle.

D. Fonction de Perte

L'objectif conjoint combine trois termes :

1. Perte de Prévision : MSE par rapport à la vérité terrain.
2. Perte de Distillation : Pondérée par la porte de température effective, encourageant l'étudiant à correspondre au signal de l'enseignant pondéré de manière adaptative.
3. Régularisation d'Entropie : Empêche le routeur de s'effondrer dans un état de type « vainqueur rafle tout », assurant une distribution probabiliste à travers les enseignants dans les régimes ambigus.

3. Contributions Clés

1. Orchestration Dynamique : Introduit un mécanisme de pondération adaptatif par instance qui permet à l'étudiant de s'adapter aux dynamiques hétérogènes des séries temporelles scientifiques en exploitant les forces complémentaires de plusieurs TSFM.
2. Portage Sensible à l'Incertitude : Implémente un mécanisme qui ajuste la force de la distillation par échantillon en fonction de l'incertitude de l'enseignant, extrayant les priors structurels utiles tout en filtrant le bruit causé par le désalignement distributionnel.
3. Déploiement Edge Efficace : Produit un modèle étudiant léger qui atteint une précision de pointe sur les benchmarks scientifiques, permettant une prévision de haute précision adaptée aux déploiements en périphérie aux ressources contraintes sans requêtes répétées aux modèles de fondation.

4. Résultats Expérimentaux

Le cadre a été évalué sur quatre domaines scientifiques : Météorologie (Météo), Flux de Carbone des Écosystèmes (Flux), Humidité du Sol et Réseaux Énergétiques (ETTm1/ETTh1). Les enseignants utilisés étaient TimesFM et Chronos.

• Gains de Performance : Guard a considérablement réduit l'RMSE par rapport aux bases de distillation multi-enseignants à poids fixes.
  • A obtenu une réduction de 28,3 % de l'RMSE moyen par rapport à la moyenne des bases de pointe (SOTA) profondes.
  • A établi un nouvel RMSE global optimal de 0,095, surpassant la base la plus forte (DLinear) de 40,3 % en performance de pointe.
  • A surpassé les bases spécialisées (Transformer, PatchTST) sur les jeux de données difficiles de Flux et d'Humidité du Sol où les modèles de fondation en zéro-shot ont échoué (RMSE > 400 pour Flux).
• Gestion du Désalignement : Même lorsque les enseignants présentaient une précision zéro-shot sous-optimale due aux dérives de domaine (ex. : la turbulence à haute fréquence du flux de carbone pour TimesFM/Chronos), Guard a réussi à distiller la connaissance structurelle latente. La méthode a démontré que les enseignants mal alignés avec le domaine peuvent servir de correctifs critiques, surpassant les modèles de fondation globalement supérieurs sur 28,5 % des cas les plus difficiles.
• Études d'Ablation :
  • Amélioration Synergique : Dans les domaines volatils (Flux, Météo), le routage et le portage de température ont tous deux fourni des gains monotones (réduction de l'RMSE de 25 à 44 %).
  • Filtrage Correctif : Dans les données énergétiques structurées (ETTh1), le réseau de température a agi comme un filtre, récupérant les pertes de performance causées par le routeur sélectionnant des enseignants trop confiants mais inexacts.
• Scalabilité : Lorsqu'il a été étendu à un troisième enseignant (Moirai), le routeur a détecté de manière autonome la redondance (haute corrélation d'erreur entre Chronos et Moirai) et les a regroupés, confirmant que la sélection des enseignants doit privilégier l'indépendance de l'erreur plutôt que la simple quantité.

5. Signification et Revendications

L'article affirme que Guard parvient à combler le fossé entre les modèles de fondation massifs pour séries temporelles et la prévision scientifique pratique. En reformulant les TSFM comme des répertoires de connaissances plutôt que comme des prévoyeurs directs, la méthode distille leurs priors temporels dans un modèle adapté à l'inférence en temps réel en périphérie.

• Impact Scientifique : Le cadre permet une prévision de haute précision dans les domaines du climat, de l'agriculture et de la surveillance de l'énergie, où l'acquisition de données est coûteuse et la rareté des étiquettes est courante.
• Interprétabilité : L'utilisation de caractéristiques de routage physiques (volatilité, amplitude, tendance) fournit aux experts du domaine un chemin de décision auditable, expliquant pourquoi un enseignant spécifique a été jugé fiable pour un cas donné.
• Efficacité : L'investissement GPU initial (Phase 1 : inférence hors ligne des enseignants) est amorti sur une durée de déploiement en périphérie illimitée, l'étudiant fonctionnant avec une latence sub-milliseconde sur du matériel CPU standard.

Les auteurs concluent que bien que la méthode dépende du fait que les enseignants fournissent des priors temporels utiles et des estimations d'incertitude fiables, elle offre une solution robuste pour extraire de la valeur des modèles de fondation, même sous un désalignement de domaine significatif. Les travaux futurs visent à intégrer des contraintes informées par la physique et à étendre cette approche à la prévision spatio-temporelle.