Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

Resumen Técnico: Embeddings de Modelos Fundacionales de Series Temporales para la Estimación de la Vida Útil Remanente

Planteamiento del Problema
La predicción de la Vida Útil Remanente (RUL, por sus siglas en inglés) es un componente crítico del mantenimiento predictivo industrial, cuyo objetivo es pronosticar la falla de los equipos para minimizar el tiempo de inactividad. Los enfoques tradicionales basados en datos para la estimación de RUL dependen típicamente de una extensa ingeniería de características manual o del entrenamiento de extremo a extremo de modelos de secuencias específicos para la tarea (por ejemplo, LSTM, GRU, Transformers). Estos métodos suelen enfrentar limitaciones significativas: requieren grandes volúmenes de datos etiquetados, necesitan un ajuste cuidadoso de hiperparámetros para tipos de sensores específicos y tienen dificultades para generalizarse a través de diferentes conjuntos de datos o condiciones operativas sin un reentrenamiento intensivo de recursos. Aunque se ha explorado el aprendizaje autosupervisado y el aprendizaje contrastivo para reducir los requisitos de etiquetado, estos siguen requiriendo generalmente el entrenamiento sobre datos específicos de la tarea.

Metodología
Los autores proponen un enfoque de aprendizaje ligero que aprovecha un Modelo Fundacional de Series Temporales (TSFM) preentrenado y congelado para extraer características de contexto temporal, las cuales se introducen en una pequeña cabeza de regresión entrenable para la estimación de RUL.

• Backbone (Congelado): El núcleo del método utiliza Chronos-2, un TSFM probabilístico basado en Transformer de tipo solo decodificador. El modelo se mantiene congelado (sus parámetros no se actualizan) y sirve como extractor de características. Procesa flujos de sensores multivariantes tokenizando las series temporales de entrada en contenedores (bins) discretos.
• Preprocesamiento de Datos: Los datos brutos de los sensores, a menudo registrados en marcas de tiempo irregulares, se interpolan linealmente a una rejilla de tiempo uniforme. Los valores atípicos (outliers) se recortan a los percentiles 1 y 99, y los canales se normalizan con media cero y varianza unitaria basándose únicamente en las estadísticas de entrenamiento para evitar la fuga de datos (data leakage). Las etiquetas de RUL se construyen a partir de registros de mantenimiento mediante el cálculo del tiempo restante hasta el siguiente evento de falla registrado, con un tope de 1000 días.
• Arquitectura:
  1. Extracción de Contexto: Una ventana de $L$ pasos de tiempo ($X_{t-L:t}$) del flujo de sensores multivariantes se introduce en el backbone congelado de Chronos-2. El modelo extrae una secuencia de representaciones ocultas ($H$) que capturan las dependencias temporales dentro de la ventana de contexto.
  2. Cabeza de Regresión: Se entrena sobre las embeddings extraídas una Perceptrón Multicapa (MLP) ligera con dos capas lineales y activaciones ReLU para predecir la RUL ($\hat{y}_t$). La salida se restringe a ser no negativa mediante una ReLU final.
• Protocolo de Entrenamiento: Solo los parámetros de la cabeza de regresión se optimizan utilizando la pérdida de Error Cuadrático Medio (MSE) y el optimizador Adam. El backbone permanece fijo, lo que hace que el proceso de adaptación sea computacionalmente eficiente.

Contribuciones Clave y Resultados
El artículo evalúa este enfoque en datos de sensores industriales reales de dos tipos de dispositivos distintos (Dispositivo A y Dispositivo B) proporcionados por Nokia Solutions and Networks.

• Ganancias de Rendimiento: El método propuesto supera significativamente a un amplio conjunto de líneas base, incluyendo regresores no secuenciales (Regresión Lineal, Random Forest, Gradient Boosting) y modelos de aprendizaje profundo secuencial (LSTM, GRU, TCN, codificadores Transformer). En el Dispositivo A con una ventana de contexto de 5 pasos, el método logró un Error Absoluto Medio (MAE) de 44, comparado con 88 del siguiente mejor baseline (TCN), lo que representa una mejora sustancial.
• Impacto de la Longitud del Contexto: Un hallazgo crítico es la sensibilidad del rendimiento a la longitud del contexto ($L$). Mientras que los baselines tradicionales mostraron solo fluctuaciones leves a medida que $L$ aumentaba, el enfoque basado en Chronos-2 demostró ganancias de rendimiento significativas conforme la ventana de contexto se expandía. Aumentar $L$ de 5 a 80 pasos redujo el MAE en aproximadamente 2×, sugiriendo que las representaciones de TSFM aprovechan eficazmente los datos históricos de largo alcance que los modelos de secuencias estándar no logran utilizar.
• Estudio de Ablación: Los experimentos que variaron la capacidad de la cabeza de regresión revelaron que incluso una cabeza lineal simple sobre las embeddings congeladas de Chronos-2 superó al baseline TCN (MAE 60 vs. 88). Esto indica que el modelo fundacional preentrenado proporciona la principal potencia de representación, mientras que la cabeza de regresión añade la no linealidad necesaria para mapear las embeddings a los valores de RUL.

Significado y Reivindicaciones
Los autores posicionan este trabajo como una alternativa práctica y eficiente en términos de datos para la estimación de RUL en entornos industriales. Al tratar la predicción de RUL como un problema de regresión supervisada condicionado a un TSFM congelado, el enfoque elimina la necesidad de un extenso preentrenamiento específico de la tarea o de grandes conjuntos de datos etiquetados. El estudio demuestra que los modelos fundacionales, diseñados originalmente para el pronóstico (forecasting), pueden ser efectivamente reutilizados para la prognosis mediante la extracción de representaciones de contexto temporal ricas. Los resultados sugieren que los TSFM ofrecen una forma robusta de obtener representaciones temporalmente ricas sin el costo computacional de entrenar modelos de secuencias profundos desde cero, mientras que la capacidad de escalar con historias de contexto más largas aborda una limitación clave de los métodos anteriores. El trabajo futuro delineado por los autores incluye el aprovechamiento de salidas probabilísticas para la cuantificación de la incertidumbre y la mejora de la robustez ante sensores faltantes y cambios de régimen.