Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

Technisches Resümee: Zeitreihen-Foundation-Modell-Embeddings zur Schätzung der Restlebensdauer (Remaining Useful Life)

Problemstellung
Die Schätzung der Restlebensdauer (Remaining Useful Life, RUL) ist eine kritische Komponente der industriellen vorausschauenden Wartung (Predictive Maintenance), mit dem Ziel, den Ausfall von Geräten vorherzusagen, um Ausfallzeiten zu minimieren. Traditionelle datengesteuerte Ansätze zur RUL-Schätzung stützen sich typischerweise entweder auf umfangreiches, handgefertigtes Feature Engineering oder auf das End-to-End-Training aufgabenspezifischer Sequenzmodelle (z. B. LSTMs, GRUs, Transformer). Diese Methoden stehen oft vor erheblichen Einschränkungen: Sie erfordern große Mengen an gelabelten Daten, benötigen eine sorgfältige Hyperparameter-Abstimmung für spezifische Sensortypen und haben Schwierigkeiten, über verschiedene Datensätze oder Betriebsbedingungen hinweg zu generalisieren, ohne dass ein ressourcenintensives Retraining erforderlich ist. Obwohl selbstüberwachtes und kontrastives Lernen untersucht wurden, um den Labeling-Aufwand zu reduzieren, erfordern sie im Allgemeinen immer noch ein Training auf aufgabenspezifischen Daten.

Methodik
Die Autoren schlagen einen leichtgewichtigen Lernansatz vor, der ein eingefrorenes, vortrainiertes Zeitreihen-Foundation-Modell (TSFM) nutzt, um zeitliche Kontextmerkmale zu extrahieren, die anschließend in einen kleinen, trainierbaren Regressionskopf zur RUL-Schätzung eingespeist werden.

• Backbone (eingefroren): Der Kern der Methode ist die Nutzung von Chronos-2, einem probabilistischen, Decoder-only Transformer-basierten TSFM. Das Modell wird eingefroren (die Parameter werden nicht aktualisiert) und dient als Merkmalsextraktor. Es verarbeitet multivariate Sensorströme, indem es die Zeitreihen in diskrete Bins tokenisiert.
• Datenvorverarbeitung: Rohsensordaten, die oft in unregelmäßigen Zeitabständen aufgezeichnet werden, werden mittels linearer Interpolation auf ein einheitliches Zeitgitter gebracht. Ausreißer werden auf die 1. und 99. Perzentile begrenzt, und die Kanäle werden basierend ausschließlich auf den Trainingsstatistiken auf Mittelwert Null und Varianz Eins normiert, um Data Leakage zu vermeiden. RUL-Labels werden aus Wartungsprotokollen erstellt, indem die bis zum nächsten dokumentierten Ausfallereignis verbleibende Zeit berechnet wird, gedeckelt auf 1000 Tage.
• Architektur:
  1. Kontext-Extraktion: Ein Fenster von $L$ Zeitschritten ($X_{t-L:t}$) aus dem multivariaten Sensorstrom wird in den eingefrorenen Chronos-2-Backbone eingespeist. Das Modell extrahiert eine Sequenz von verborgenen Repräsentationen ($H$), welche die zeitlichen Abhängigkeiten innerhalb des Kontextfensters erfassen.
  2. Regressionskopf: Ein leichtgewichtiger Multi-Layer-Perzeptron (MLP) mit zwei linearen Schichten und ReLU-Aktivierungen wird auf Basis der extrahierten Embeddings trainiert, um die RUL ($\hat{y}_t$) vorherzusagen. Die Ausgabe wird über eine abschließende ReLU auf Nicht-Negativität beschränkt.
• Trainingsprotokoll: Nur die Parameter des Regressionskopfs werden unter Verwendung des Mean Squared Error (MSE) Verlusts und des Adam-Optimierers optimiert. Der Backbone bleibt fixiert, was den Anpassungsprozess recheneffizient macht.

Wesentliche Beiträge und Ergebnisse
Die Arbeit evaluiert diesen Ansatz anhand realer industrieller Sensordaten von zwei verschiedenen Gerätetypen (Gerät A und Gerät B), die von Nokia Solutions and Networks bereitgestellt wurden.

• Leistungssteigerungen: Die vorgeschlagene Methode übertrifft eine breite Palette von Baselines signifikant, einschließlich nicht-sequentieller Regressoren (Lineare Regression, Random Forest, Gradient Boosting) und sequentieller Deep-Learning-Modelle (LSTM, GRU, Temporal CNN, Transformer-Encoder). Bei Gerät A mit einem Kontextfenster von 5 Schritten erreichte die Methode einen mittleren absoluten Fehler (MAE) von 44, verglichen mit 88 für die nächstbeste Baseline (TCN), was eine erhebliche Verbesserung darstellt.
• Einfluss der Kontextlänge: Ein entscheidender Befund ist die Sensitivität der Leistung gegenüber der Kontextlänge ($L$). Während traditionelle Baselines nur geringfügige Schwankungen zeigten, wenn $L$ anstieg, demonstrierte der Chronos-2-basierte Ansatz signifikante Leistungssteigerungen, wenn sich das Kontextfenster vergrößerte. Eine Erhöhung von $L$ von 5 auf 80 Schritte reduzierte den MAE um etwa den Faktor 2, was darauf hindeutet, dass TSFM-Repräsentationen effektiv langfristige historische Daten nutzen können, die Standard-Sequenzmodelle nicht nutzen können.
• Ablationsstudie: Experimente, welche die Kapazität des Regressionskopfs variierten, zeigten, dass selbst ein einfacher linearer Kopf auf top von eingefrorenen Chronos-2-Embeddings die TCN-Baseline (MAE 60 gegenüber 88) übertraf. Dies deutet darauf hin, dass das vortrainierte Foundation-Modell die primäre Repräsentationskraft liefert, während der Regressionskopf die notwendige Nichtlinearität zur Abbildung der Embeddings auf die RUL-Werte hinzufügt.

Bedeutung und Ansprüche
Die Autoren positionieren diese Arbeit als eine praktische und dateneffiziente Alternative für die RUL-Schätzung in industriellen Umgebungen. Indem sie die RUL-Vorhersage als ein überwachtes Regressionsproblem behandeln, das auf einem eingefrorenen TSFM konditioniert ist, eliminiert dieser Ansatz die Notwendigkeit eines umfangreichen aufgabenspezifischen Vortrainings oder großer gelabelter Datensätze. Die Studie zeigt, dass Foundation-Modelle, die ursprünglich für die Vorhersage (Forecasting) entwickelt wurden, effektiv für die Prognostik umfunktioniert werden können, indem reichhaltige zeitliche Kontextmerkmale extrahiert werden. Die Ergebnisse legen nahe, dass TSFMs eine robuste Möglichkeit bieten, zeitlich reiche Repräsentationen ohne den Rechenaufwand zu erhalten, der mit dem Training tiefer Sequenzmodelle von Grund auf verbunden ist, während die Fähigkeit, mit längeren Kontextgeschichten zu skalieren, eine Schlüsselbeschränkung früherer Methoden adressiert. Zukünftige Arbeiten, die von den Autoren skizziert wurden, umfassen die Nutzung probabilistischer Ausgaben zur Quantifizierung der Unsicherheit sowie die Verbesserung der Robustheit gegenüber fehlenden Sensoren und Regimewechseln.