Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

Technische Samenvatting: Embeddings van een Foundation Model voor Tijdreeksen voor de Schatting van de Resterende Bruikbare Levensduur

Probleemstelling
De voorspelling van de resterende bruikbare levensduur (Remaining Useful Life, RUL) is een cruciaal onderdeel van industrieel voorspellend onderhoud, met als doel het voorspellen van apparatuurdefecten om stilstand te minimaliseren. Traditionele datagestuurde benaderingen voor RUL-schatting vertrouwen doorgaans op ofwel uitgebreide handmatige feature engineering, ofwel end-to-end training van taakspecifieke sequentiemodellen (bijv. LSTM's, GRU's, Transformers). Deze methoden kampen vaak met aanzienlijke beperkingen: ze vereisen grote hoeveelheden gelabelde data, behoeven zorgvuldige hyperparameterafstemming voor specifieke sensortypes en hebben moeite met het generaliseren naar verschillende datasets of operationele omstandigheden zonder arbeidsintensieve hertraining. Hoewel zelfgesuperviseerd en contrastief leren zijn verkend om de labelvereisten te verminderen, vereisen deze nog steeds training op taakspecifieke data.

Methodologie
De auteurs stellen een lichtgewicht leerbenadering voor die gebruikmaakt van een bevroren, vooraf getraind Foundation Model voor tijdreeksen (TSFM) om temporele contextkenmerken te extraheren, die vervolgens worden ingevoerd in een kleine, trainbare regressiekop voor RUL-schatting.

• Backbone (Bevroren): De kern van de methode maakt gebruik van Chronos-2, een probabilistisch, decoder-only Transformer-gebaseerd TSFM. Het model wordt bevroren gehouden (parameters worden niet bijgewerkt) en dient als feature extractor. Het verwerkt multivariate sensorstromen door input-tijdreeksen te tokeniseren in discrete bins.
• Data Preprocessing: Ruwe sensordata, die vaak op onregelmatige tijdstippen worden geregistreerd, worden lineair geïnterpoleerd naar een uniform tijdsraster. Uitschieters worden afgeknipt op de 1e en 99e percentielen, en kanalen worden genormaliseerd naar een gemiddelde van nul en een eenheidvariantie op basis van uitsluitend de trainingsstatistieken om datalekken te voorkomen. RUL-labels worden geconstrueerd uit onderhoudslogs door de resterende tijd tot het volgende geregistreerde defect te berekenen, met een maximum van 1000 dagen.
• Architectuur:
  1. Context Extractie: Een venster van $L$ tijdstappen ($X_{t-L:t}$) uit de multivariate sensorstroom wordt ingevoerd in de bevroren Chronos-2 backbone. Het model extraheert een sequentie van verborgen representaties ($H$) die de temporele afhankelijkheden binnen het contextvenster vastleggen.
  2. Regressiekop: Een lichtgewicht Multi-Layer Perceptron (MLP) met twee lineaire lagen en ReLU-activaties wordt getraind op de geëxtraheerde embeddings om de RUL ($\hat{y}_t$) te voorspellen. De output wordt via een finale ReLU beperkt tot niet-negatieve waarden.
• Trainingsprotocol: Alleen de parameters van de regressiekop worden geoptimaliseerd met behulp van Mean Squared Error (MSE) loss en de Adam-optimizer. De backbone blijft gefixeerd, wat het adaptatieproces computationeel efficiënt maakt.

Belangrijkste Bijdragen en Resultaten
Het artikel evalueert deze benadering op echte industriële sensordata van twee verschillende typen apparaten (Device A en Device B) geleverd door Nokia Solutions and Networks.

• Prestatiewinst: De voorgestelde methode presteert aanzienlijk beter dan een brede set baselines, inclus\n bij niet-sequentiële regressoren (Lineaire Regressie, Random Forest, Gradient Boosting) en sequentiële deep learning modellen (LSTM, GRU, Temporal CNN, Transformer encoders). Op Device A met een contextvenster van 5 stappen bereikte de methode een Mean Absolute Error (MAE) van 44, vergeleken met 88 voor de op één na beste baseline (TCN), wat een substantiële verbetering betekent.
• Impact van Contextlengte: Een cruciale bevinding is de gevoeligheid van de prestaties voor de contextlengte ($L$). Terwijl traditionele baselines slechts milde fluctuaties vertoonden naarmate $L$ toenam, vertoonde de Chronos-2-gebaseerde benadering significante prestatiewinsten naarmate het contextvenster groter werd. Het vergroten van $L$ van 5 naar 80 stappen verminderde de MAE met ongeveer 2×, wat suggereert dat TSFM-representaties effectief langetermijnhistorische data benutten die standaard sequentiemodellen niet kunnen gebruiken.
• Ablatieonderzoek: Experimenten waarbij de capaciteit van de regressiekop werd gevarieerd, toonden aan dat zelfs een eenvoudige lineaire kop op de bevroren Chronos-2 embeddings beter presteerde dan de TCN-baseline (MAE 60 vs. 88). Dit geeft aan dat het vooraf getrainde foundation model de primaire representatieve kracht levert, waarbij de regressiekop de noodzakelijke niet-lineariteit toevoegt voor het mappen van embeddings naar RUL-waarden.

Betekenis en Claims
De auteurs positioneren dit werk als een praktisch en data-efficiënt alternatief voor RUL-schatting in industriële omgevingen. Door RUL-voorspelling te behandelen als een gesuperviseerd regressieprobleem geconditioneerd op een bevroren TSFM, elimineert de benadering de noodzaak voor uitgebreide taakspecifieke pretraining of grote gelabelde datasets. De studie toont aan dat foundation modellen, oorspronkelijk ontworpen voor forecasting, effectief kunnen worden hergebruikt voor prognostics door rijke temporele contextkenmerken te extraheren. De resultaten suggereren dat TSFM's een robuuste manier bieden om temporeel rijke representaties te verkrijgen zonder de computationele kosten van het vanaf nul trainen van diepe sequentiemodellen, terwijl het vermogen om te schalen met langere contextgeschiedenissen een belangrijke beperking van eerdere methoden aanpakt. Toekomstig werk dat door de auteurs wordt geschetst, omvat het benutten van probabilistische outputs voor onzekerheidskwantificering en het verbeteren van de robuustheid tegen ontbrekende sensoren en regimeverschuivingen.