Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

Résumé Technique : Emplacements de Modèles de Fondation de Séries Temporelles pour l'Estimation de la Durée de Vie Utile Restante

Énoncé du Problème
La prédiction de la Durée de Vie Utile Restante (RUL - Remaining Useful Life) est une composante critique de la maintenance prédictive industrielle, visant à prévoir la défaillance des équipements afin de minimiser les temps d'arrêt. Les approches traditionnelles fondées sur les données pour l'estimation de la RUL reposent généralement soit sur une ingénierie de caractéristiques manuelles approfondie, soit sur l'entraînement de bout en bout de modèles de séquences spécifiques à la tâche (par exemple, LSTM, GRU, Transformers). Ces méthodes font souvent face à des limitations significatives : elles nécessitent de grands volumes de données étiquetées, exigent un réglage minutieux des hyperparamètres pour des types de capteurs spécifiques et peinent à se généraliser à différents jeux de données ou conditions opérationnelles sans un réentraînement gourmand en ressources. Bien que l'apprentissage auto-supervisé et contrastif ait été exploré pour réduire les besoins en étiquetage, ces méthodes nécessitent généralement encore un entraînement sur des données spécifiques à la tâche.

Méthodologie
Les auteurs proposent une approche d'apprentissage légère qui exploite un Modèle de Fondation de Séries Temporelles (TSFM) pré-entraîné et gelé pour extraire des caractéristiques de contexte temporel, qui sont ensuite injectées dans une petite tête de régression entraînable pour l'estimation de la RUL.

• Backbone (Gelé) : Le cœur de la méthode utilise Chronos-2, un TSFM probabiliste, basé sur un Transformer de type "decoder-only". Le modèle est maintenu gelé (les paramètres ne sont pas mis à jour) et sert d'extracteur de caractéristiques. Il traite les flux de capteurs multivariés en discrétisant les séries temporelles d'entrée en compartiments (bins).
• Prétraitement des Données : Les données brutes des capteurs, souvent enregistrées à des intervalles de temps irréguliers, sont interpolées linéairement sur une grille temporelle uniforme. Les valeurs aberrantes sont tronquées aux 1er et 99e percentiles, et les canaux sont normalisés avec une moyenne nulle et une variance unitaire en se basant uniquement sur les statistiques d'entraînement pour éviter toute fuite de données. Les étiquettes RUL sont construites à partir des registres de maintenance en calculant le temps restant jusqu'à l'événement de défaillance suivant, plafonné à 1000 jours.
• Architecture :
  1. Extraction de Contexte : Une fenêtre de $L$ pas de temps ($X_{t-L:t}$) provenant du flux de capteurs multivariés est injectée dans le backbone Chronos-2 gelé. Le modèle extrait une séquence de représentations cachées ($H$) capturant les dépendances temporelles au sein de la fenêtre de contexte.
  2. Tête de Régression : Un perceptron multicouche (MLP) léger, composé de deux couches linéaires et d'activations ReLU, est entraîné sur les plongements (embeddings) extraits pour prédire la RUL ($\hat{y}_t$). La sortie est contrainte à être non négative via une dernière fonction ReLU.
• Protocole d'Entraînement : Seuls les paramètres de la tête de régression sont optimisés à l'aide de la perte d'erreur quadratique moyenne (MSE) et de l'optimiseur Adam. Le backbone reste fixe, rendant le processus d'adaptation efficace sur le plan computationnel.

Contributions Clés et Résultats
L'article évalue cette approche sur des données de capteurs industriels réels provenant de deux types de disposités distincts (Dispositif A et Dispositif B) fournis par Nokia Solutions and Networks.

• Gains de Performance : La méthode proposée surpasse de manière significative un large ensemble de modèles de référence, incluant des régresseurs non séquentiels (Régression Linéaire, Forêt Aléatoire, Gradient Boosting) et des modèles profonds séquentiels (LSTM, GRU, TCN, encodeurs Transformers). Sur le Dispositif A avec une fenêtre de contexte de 5 pas, la méthode a atteint une erreur absolue moyenne (MAE) de 44, contre 88 pour le meilleur modèle de référence suivant (TCN), ce qui représente une amélioration substantielle.
• Impact de la Longueur du Contexte : Une conclusion critique est la sensibilité de la performance à la longueur du contexte ($L$). Alors que les modèles de référence traditionnels ne montraient que de légères fluctuations à mesure que $L$ augmentait, l'approche basée sur Chronos-2 a démontré des gains de performance significatifs à mesure que la fenêtre de contexte s'élargissait. Augmenter $L$ de 5 à 80 pas a réduit la MAE d'environ 2×, suggérant que les représentations de TSFM exploitent efficacement les données historiques à long terme que les modèles de séquences standards ne parviennent pas à utiliser.
• Étude d'Ablation : Les expériences faisant varier la capacité de la tête de régression ont révélé que même une tête linéaire simple sur les plongements gelés de Chronos-2 surpasse le modèle TCN (MAE de 60 contre 88). Cela indique que le modèle de fondation pré-entraîné fournit la principale puissance de représentation, la tête de régression ajoutant la non-linéarité nécessaire pour mapper les plongements vers les valeurs de RUL.

Signification et Revendications
Les auteurs positionnent ce travail comme une alternative pratique et efficace en termes de données pour l'estimation de la RUL dans les contextes industriels. En traitant la prédiction de la RUL comme un problème de régression supervisée conditionné par un TSFM gelé, l'approche élimine le besoin d'un pré-entraînement spécifique à la tâche ou de grands ensembles de données étiquetées. L'étude démontre que les modèles de fondation, initialement conçus pour la prévision, peuvent être efficacement détournés pour la prognose en extrayant des caractéristiques de contexte temporel riches. Les résultats suggèrent que les TSFM offrent un moyen robuste d'obtenir des représentations temporellement riches sans le coût computationnel de l'entraînement de modèles de séquences profonds à partir de zéro, tandis que la capacité à passer à des historiques de contexte plus longs répond à une limitation clé des méthodes précédentes. Les travaux futurs esquissés par les auteurs incluent l'utilisation des sorties probabilistes pour la quantification de l'incertitude et l'amélioration de la robustesse face aux capteurs manquants et aux changements de régime.