Résumé technique : Modèles de fondation modulaires pour la perception de séries temporelles dans les jumeaux numériques

1. Énoncé du problème

La conception de jumeaux numériques (DT) d'ingénierie et de systèmes de gestion de la santé et du pronostic (PHM) nécessite des modules de perception robustes, capables d'extraire des informations exploitables à partir de données de séries temporelles hétérogènes et non stationnaires. Les approches existantes font face à trois limitations primaires :

1. Spécificité des tâches : Les méthodes actuelles sont souvent conçues pour une tâche unique, ce qui les rend difficiles à transférer vers différents conditions de fonctionnement ou différents actifs.
2. Soif de données : Les pipelines supervisés traditionnels nécessitent de vastes ensembles de données étiquetées, ce qui est rare dans les contextes industriels en raison de l'étiquetage limité et du déséquilibre des classes.
3. Non-stationnarité : Les systèmes industriels opèrent sous des régimes variables (fluctuations de charge, vieillissement, perturbations environnementales), ce qui empêche les modèles traditionnels de généraliser efficacement.

L'article soutient que la construction de modèles distincts et spécifiques à chaque tâche pour chaque nouveau scénario est coûteuse et non durable. Au lieu de cela, une couche de perception unifiée est nécessaire, capable de tirer parti des connaissances préexistantes issues de sources hétérogènes tout en s'adaptant à de nouveaux domaines non vus avec une supervision limitée.

2. Méthodologie

Les auteurs proposent un Modèle de Fondation Modulaire pour le Traitement des Séries Temporelles (FM-TSP). Contrairement aux architectures de bout en bout, ce cadre découple explicitement l'apprentissage de la représentation, la sélection de l'encodeur et l'adaptation à la tâche. L'architecture se compose de trois composants principaux :

A. Collection d'encodeurs pré-entraînés ($E$)

La base est une bibliothèque de $M$ encodeurs de représentation pré-entraînés ($E = \{E_1, \dots, E_M\}$).

• Stratégie d'entraînement : Chaque encodeur est entraîné indépendamment par apprentissage auto-supervisé (SSL) sur des ensembles de données hétérogènes (ex: signaux de vibration, acoustiques, électriques, physiologiques).
• Objectifs : Le pré-entraînement utilise une approche à double objectif :
  1. Reconstruction : Un décodeur léger reconstruit les segments d'entrée en utilisant la perte de Huber pour assurer la robustesse face aux valeurs aberrantes.
  2. Apprentissage contrastif : Un objectif contrastif (NT-Xent) impose l'invariance à la corruption partielle du signal (masquage), régularisant ainsi l'espace latent.
• Spécialisation : Les encodeurs sont entraînés sur des sous-ensemts de données et des architectures diverses (MLP, CNN, Transformer) pour capturer une large gamme de dynamiques temporelles et de régimes physiques.

B. Mécanisme de porte et de sélection ($G_{gate}$)

Pour traiter un nouvel ensemble de données cible $Y$, le modèle n'utilise pas tous les encodeurs. À la place, un mécanisme de porte sélectionne dynamiquement un sous-ensemble des encodeurs les plus pertinents ($E^*$). Cette sélection repose sur deux critères :

1. Similarité des données : Calcule la dissimilarité entre l'ensemble de données cible et les ensembles de données de pré-entraînement en utilisant des descripteurs statistiques et spectraux (ex: moments, quantiles, coefficients de Fourier).
2. Corrélation structurelle : Évalue si un encodeur préserve la structure de similarité locale (relations de voisinage) des données cibles lors de leur projection dans son espace latent.
   Cela garantit un calcul conditionnel, n'activant que les encodeurs dont les représentations apprises s'alignent avec le domaine cible.

C. Module de projection et d'agrégation ($G_{agg}$)

Les encodeurs sélectionnés produisent des représentations latentes dans des espaces hétérogènes.

• Projection : Des projecteurs linéaires apprenables projettent ces sorties hétérogènes dans un espace latent partagé de dimension $d$. Un terme de régularisation d'alignement (Maximum Mean Discrepancy, MMD) est appliqué lors du fine-tuning initial pour assurer la cohérence sémantique entre les encodeurs.
• Agrégation : Un module d'auto-attention basé sur Transformer traite les représentations projetées comme une séquence de tokens. Cela permet au modèle de capturer les interactions et les dépendances entre les encodeurs, en repondérant dynamiquement les caractéristiques selon leur pertinence pour la tâche spécifique en aval.

D. Adaptation à la tâche ($T$)

Le cadre prend en charge de multiples tâches en aval (imputation, prévision, capteur virtuel) via des têtes légères et spécifiques à la tâche. Lors de l'adaptation, les encodeurs pré-entraînés restent gelés ; seuls les projecteurs, le module d'agrégation et les têtes de tâche sont mis à jour. Cela permet un apprentissage efficace en mode "few-shot".

3. Contributions clés

• Architecture de fondation modulaire : Propose un cadre découpé où l'apprentissage de la représentation est séparé de l'adaptation à la tâche, permettant la réutilisation des encodeurs pré-entraînés à travers divers scénarios industriels.
• Mécanisme de porte à deux étapes : Introduit une stratégie de sélection d'encodeur fondée sur la similarité des données et la corrélation structurelle, allant au-delà de l'agrégation aléatoire ou naïve pour garantir l'efficacité computationnelle et la pertinence.
• Agrégation par cross-encodeur : Démontre l'utilité de l'auto-attention de type Transformer pour fusionner des représentations hétérogènes, surpassant la simple concaténation ou la moyenne de pooling.
• Pré-entraînement auto-supervisé : Valide une approche SSL à double objectif (reconstruction + contrastif) pour apprendre des représentations de séries temporelles robustes et agnostiques aux tâches à partir de données industrielles non étiquetées.

4. Résultats expérimentaux

Le cadre a été évalué sur le benchmark ETT (Electricity Transformer Temperature) et sur une étude de cas industrielle réelle.

Évaluation du benchmark (Jeu de données ETT)

Le modèle a été testé sur trois tâches : l'imputation, la prévision à long terme et la prévision en mode "few-shot".

• Imputation : Le FM-TSP a obtenu des performances comparables ou supérieures aux modèles de pointe (PatchTST, iTransformer, DLinear), bénéficiant du lien direct entre l'objectif de reconstruction du pré-entraînement et la tâche d'imputation.
• Prévision à long terme : Le modèle reste compétitif avec les meilleures lignes de base (DLinear, iTransformer), bien qu'il soit légèrement en retrait par rapport à PatchTST. Les auteurs attribuent cela au fait que les encodeurs n'ont pas été pré-entraînés sur les données spécifiques d'ETT, soulignant un potentiel d'amélioration via une bibliothèque d'encodeurs plus diversifiée.
• Prévision en mode "few-shot" : Dans des scénarios de rareté de données (utilisant seulement 5 % ou 10 % des données d'entraînement), le FM-TSP se classe parmi les meilleurs performeurs, démontant un transfert de connaissances efficace à partir de sources de pré-entraînement hétérogènes.

Étude de cas industrielle : Capteur virtuel pour la température du rotor

Un capteur virtuel a été développé pour estimer la température du rotor d'un hydro-générateur à partir de signaux opérationnels, répondant à la difficulté de mesure directe.

• Entraînement : Le modèle a été entraîné sur une unité turbine-générateur (TGU) et testé sur d'autres.
• Performance : Le modèle a réussi à suivre la moyenne de la température réelle.
• Quantification de l'incertitude : En prédisant les paramètres de distribution (moyenne et variance) via une perte de type Beta-loss, le modèle a fourni des estimations d'incertitude calibrées. Sur la TGU d'entraînement, la couverture était d'environ 93,5 % (proche des 95 % nominaux). Sur une autre TGU (transfer learning), la couverture est tombée à 65 % en raison des décalages de distribution, mais le modèle a tout de même identifié efficacement les événements critiques de haute température, cruciaux pour la surveillance de la sécurité.

5. Signification et affirmations

L'article positionne le FM-TSP comme une couche de perception scalable pour les jumeaux numériques industriels et les systèmes PHM hybrides (modèle-données). Sa signification réside dans :

• Scalabilité : En gelant les encodeurs et en n'entraînant que des têtes légères, le cadre réduit le coût de déploiement de modèles pour de nouvelles tâches ou de nouveaux actifs.
• Robustesse face à la rareté des données : La capacité à tirer parti du pré-entraînement auto-supervisé sur des données hétérogènes permet au système de fonctionner efficacement en régime "few-shot" là où les données étiquetées sont limitées.
• Modularité : L'architecture supporte un développement incrémental ; de nouveaux encodeurs peuvent être ajoutés à la bibliothèque pour couvrir de nouveaux régimes de fonctionnement sans réentraîner l'ensemble du système.
• Intégration hybride : Les auteurs affirment que le cadre sert de composant piloté par les données qui peut être naturellement intégré à des modèles physiques pour améliorer l'interprétabilité et la robustesse dans des applications critiques pour la sécurité.

Les auteurs concluent que, bien que le cadre soit compétitif avec les modèles de bout en bout de pointe, sa valeur principale réside dans la fourniture d'une fondation modulaire et réutilisable qui répond aux défis spécifiques de la non-stationnarité et de l'hétérogénéité des données inhérents aux jumeaux numériques d'ingénierie.