Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

Resumo Técnico: Embeddings de Modelos de Fundação de Séries Temporais para Estimativa de Vida Útil Remanescente

Definição do Problema
A previsão da Vida Útil Remanescente (RUL - Remaining Useful Life) é um componente crítico na manutenção preditiva industrial, visando prever falhas em equipamentos para minimizar o tempo de inatividade. As abordagens tradicionais baseadas em dados para estimativa de RUL dependem tipicamente de uma extensa engenharia de atributos feita à mão ou do treinamento de ponta a ponta de modelos de sequência específicos para a tarefa (ex: LSTMs, GRUs, Transformers). Esses métodos frequentemente enfrentam limitações significativas: exigem grandes volumes de dados rotulados, necessitam de um ajuste cuidadoso de hiperparâmetros para tipos específicos de sensores e têm dificuldade em generalizar para diferentes conjuntos de dados ou condições operacionais sem um retreinamento intensivo de recursos. Embora o aprendizado autossupervisionado e o aprendizado contrastivo tenham sido explorados para reduzir os requisitos de rotulagem, eles ainda geralmente exigem treinamento em dados específicos para a tarefa.

Metodologia
Os autores propõem uma abordagem de aprendizado leve que utiliza um Modelo de Fundação de Séries Temporais (TSFM) pré-treinado e congelado para extrair características de contexto temporal, que são então alimentadas em uma pequena cabeça de regressão treinável para estimativa de RUL.

• Backbone (Congelado): O núcleo do método utiliza o Chronos-2, um TSFM probabilístico baseado em Transformer do tipo decoder-only. O modelo é mantido congelado (parâmetros não atualizados) e serve como um extrator de características. Ele processa fluxos multivariados de sensores ao tokenizar séries temporais de entrada em bins discretos.
• Pré-processamento de Dados: Dados de sensores brutos, frequentemente registrados em intervalos de tempo irregulares, são interpolados linearmente para uma grade temporal uniforme. Outliers são limitados aos percentis 1 e 99, e os canais são normalizados para média zero e variância unitária baseando-se exclusivamente nas estatísticas de treinamento para evitar o vazamento de dados (data leakage). Os rótulos de RUL são construídos a partir de logs de manutenção, calculando o tempo restante até o próximo evento de falha registrado, limitado a 1000 dias.
• Arquitetura:
  1. Extração de Contexto: Uma janela de $L$ passos de tempo ($X_{t-L:t}$) do fluxo de sensores multivariados é enviada para o backbone congelado do Chronos-2. O modelo extrai uma sequência de representações ocultas ($H$) que capturam dependências temporais dentro da janela de contexto.
  2. Cabeça de Regressão: Um MLP (Multi-Layer Perceptron) leve com duas camadas lineares e ativações ReLU é treinado sobre os embeddings extraídos para prever a RUL ($\hat{y}_t$). A saída é restringida para ser não negativa através de um ReLU final.
• Protocolo de Treinamento: Apenas os parâmetros da cabeça de regressão são otimizados usando perda de Erro Quadrático Médio (MSE) e o otimizador Adam. O backbone permanece fixo, tornando o processo de adaptação computacionalmente eficiente.

Contribuições Principais e Resultados
O artigo avalia esta abordagem em dados de sensores industriais reais de dois tipos distintos de dispositivos (Dispositivo A e Dispositivo B) fornecidos pela Nokia Solutions and Networks.

• Ganhos de Desempenho: O método proposto supera significativamente um amplo conjunto de baselines, incluindo regressores não sequenciais (Regressão Linear, Random Forest, Gradient Boosting) e modelos de aprendizado profundo sequenciais (LSTM, GRU, Temporal CNN, codificadores Transformer). No Dispositivo A com uma janela de contexto de 5 passos, o método alcançou um Erro Médio Absoluto (MAE) de 44, comparado a 88 do melhor baseline subsequente (TCN), representando uma melhoria substancial.
• Impacto do Comprimento do Contexto: Uma descoberta crítica é a sensibilidade do desempenho ao comprimento do contexto ($L$). Enquanto os baselines tradicionais mostraram apenas flutuações leves conforme $L$ aumentava, a abordagem baseada no Chronos-2 demonstrou ganhos de desempenho significativos conforme a janela de contexto se expandia. Aumentar $L$ de 5 para 80 passos reduziu o MAE em aproximadamente 2×, sugerindo que as representações do TSFM aproveitam efetivamente dados históricos de longo alcance que modelos de sequência padrão não conseguem utilizar.
• Estudo de Ablação: Experimentos variando a capacidade da cabeça de regressão revelaram que mesmo uma cabeça linear simples sobre os embeddings congelados do Chronos-2 superou o baseline TCN (MAE 60 vs. 88). Isso indica que o modelo de fundação pré-treinado fornece o principal poder de representação, com a cabeça de regressão adicionando a não-linearidade necessária para mapear os embeddings para os valores de RUL.

Significância e Alegações
Os autores posicionam este trabalho como uma alternativa prática e eficiente em termos de dados para a estimativa de RUL em ambientes industriais. Ao tratar a previsão de RUL como um problema de regressão supervisionada condicionado a um TSFM congelado, a abordagem elimina a necessidade de pré-treinamento extensivo específico para a tarefa ou grandes conjuntos de dados rotulados. O estudo demonstra que modelos de fundação, originalmente projetados para previsão (forecasting), podem ser efetivamente reaproveitados para prognósticos através da extração de características de contexto temporal ricas. Os resultados sugerem que os TSFMs oferecem uma maneira robusta de obter representações temporalmente ricas sem o custo computacional de treinar modelos de sequência profundos do zero, enquanto a capacidade de escalar com históricos de contexto mais longos aborda uma limitação chave de métodos anteriores. O trabalho futuro delineado pelos autores inclui o uso de saídas probabilísticas para quantificação de incerteza e a melhoria da robustez a sensores ausentes e mudanças de regime.