Evaluating deep learning models for fault diagnosis of a rotating machinery with epistemic and aleatoric uncertainty

Resumo Técnico: Avaliação de Modelos de Aprendizado Profundo para Diagnóstico de Falhas com Incerteza Epistêmica e Aleatória

Definição do Problema
Maquinário rotativo, como motores e turbinas, é crítico para operações industriais, mas propenso a falhas que podem causar perdas financeiras significativas e riscos à segurança. Embora o Aprendizado Profundo (DL - Deep Learning) tenha melhorado o diagnóstico de falhas ao extrair características automaticamente, a maioria dos métodos existentes opera sob a premissa de que os dados de treinamento e de predição futura compartilham a mesma distribuição. Na prática, essa premissa é frequentemente violada por dados Fora da Distribuição (OOD - Out-of-Distribution). Os dados OOD surgem de duas fontes primárias de incerteza:

1. Incerteza Epistêmica (Incerteza de Conhecimento): Causada pela falta de conhecimento, como o encontro de tipos de falhas não vistos que não estavam presentes no conjunto de treinamento.
2. Incerteza Aleatória (Incerteza de Dados): Causada pela variabilidade inerente aos dados, como ruído de sensores (Gaussiano ou não Gaussiano) ou erros de medição.

Os modelos de DL atuais frequentemente falham em quantificar essa incerteza, levando a predições não confiáveis onde o modelo pode classificar erroneamente, com alta confiança, falhas não vistas ou dados ruidosos. Há uma necessidade de uma comparação abrangente de arquiteturas de DL conscientes de incerteza para determinar quais métodos distinguem efetivamente dados dentro da distribuição (ID - In-Distribution) e dados fora da distribuição (OOD) sob diferentes condições.

Metodologia
Os autores conduziram um estudo comparativo utilizando o conjunto de dados de rolamentos da Case Western Reserve University (CWRU). O estudo avaliou três arquiteturas de DL de ponta conscientes de incerteza:

1. ConvLSTM-D: Uma ConvLSTM com dropout de Bernoulli, utilizando dropout de Monte Carlo (MC) durante a inferência para gerar distribuições de predição.
2. Rede Neural Bayesiana (BNN): Uma rede onde os pesos são tratados como variáveis aleatórias seguindo uma distribuição Gaussiana, gerando distribuições de resultados através de múltiplas amostragens de pesos.
3. Ensemble Profundo (Deep Ensemble): Foram testadas duas configurações:
   • De1: Quatro aprendizes base idênticos treinados em paralelo.
   • De2: Quatro aprendizes base com arquiteturas mistas (dois idênticos ao De1, dois combinando Conv+Pool com LSTM).

Design Experimental:

• Cenários Epistêmicos: Criados via estratégia de hold-out, onde uma classe de falha foi excluída do treinamento e utilizada como dado OOD durante a validação/teste. Seis cenários foram gerados, um para cada classe.
• Cenários Aleatórios: Criados pela injeção de ruído nos dados. Quatro tipos de ruído foram testados: Gaussiano, Impulso, Rayleigh e Weibull. Estes foram aplicados em três níveis de intensidade (Relações Sinal-Ruído de -5 dB, 0 dB e 5 dB).
• Quantificação de Incerteza: A entropia foi utilizada como métrica para incerteza. Dois limiares foram aplicados para distinguir dados ID de OOD:
  • $\tau_1$ (Detecção de Outliers de Incerteza): Baseado na Amplitude Interquartil (IQR) dos valores de entropia dos dados de validação ID.
  • $\tau_2$ (F1-Score de Incerteza): Um limiar inovador proposto neste artigo, otimizado para maximizar o F1-score no conjunto de validação, equilibrando Verdadeiros Positivos (OOD detectado) e Verdadeiros Negativos (ID corretamente identificado).

Principais Resultados

• Incerteza Epistêmica: Todos os modelos conseguiram detectar uma parte dos dados OOD, mas os modelos de Ensemble Profundo (De1 e De2) demonstraram desempenho superior. O De2, em particular, mostrou uma capacidade excepcional de detectar dados OOD independentemente do limiar utilizado. O ConvLSTM-D e a BNN mostraram limitações notáveis, especialmente em cenários específicos (ex: excluir Classe 0 ou Classe 2).
  • Compromisso de Limiar (Trade-off): O uso de $\tau_1$ resultou em maiores taxas de detecção de OOD, mas também em maiores falsos positivos (classificando dados ID como não confiáveis). O $\tau_2$ ofereceu um equilíbrio mais pragmático, reduzindo a necessidade de extensa reavaliação humana de dados ID mal classificados.
• Incerteza Aleatória: O nível de ruído impactou significativamente o desempenho.
  • Ruído Alto (Forte): A detecção de OOD melhorou significativamente em todos os modelos conforme o ruído amplificou a entropia da predição. Os Ensembles Profundos mantiveram a superioridade, detectando 80–100% dos dados OOD.
  • Ruído Baixo (Leve): O desempenho declinou drasticamente para todos os modelos conforme as distribuições de entropia de ID e OOD se sobrepuseram. No entanto, os Ensembles Profundos ainda superaram o ConvLSTM-D e a BNN, exibindo uma degradação de desempenho mais suave.
  • Tipo de Ruído: Os ruídos Weibull e Rayleigh foram geralmente mais detectáveis pelos Ensembles Profundos sob condições de ruído forte.
• Eficiência Computacional:
  • Treinamento: Os Ensembles Profundos (De1/De2) exigiram mais tempo de treinamento devido ao treinamento paralelo de múltiplos aprendizes base.
  • Inferência: Os Ensembles Profundos foram significativamente mais rápidos (aprox. 3x) durante a fase de predição em comparação ao ConvLSTM-D e à BNN, que exigem $K=10$ passagens diretas repetidas para amostragem de MC.

Significância e Contribuições
O artigo afirma ser o primeiro estudo comparativo abrangente de arquiteturas de DL conscientes de incerteza especificamente para o diagnóstico de falhas em maquinário rotativo, abordando tanto a incerteza epistêmica quanto diversas formas de incerteza aleatória (incluindo ruído não Gaussiano).

As principais contribuições incluem:

1. Orientação Empírica: O estudo identifica as arquiteturas de Ensemble Profundo (especificamente De2) como a escolha preferencial para implantação no mundo real. Elas oferecem um equilíbrio superior de alta precisão de detecção de OOD, robustez contra níveis variados de ruído e tempos de inferência mais rápidos.
2. Limiarização Inovadora: A introdução do limiar $\tau_2$ (baseado em F1-score) fornece uma alternativa prática ao método padrão de detecção de outliers ($\tau_1$), ajudando profissionais a minimizar falsos positivos e reduzir o custo de intervenção humana no pós-processamento.
3. Alinhamento com o Mundo Real: Ao testar tipos de ruído não Gaussianos (Impulso, Rayleigh, Weibull) ao lado do ruído Gaussiano, o estudo preenche a lacuna entre a análise teórica de incerteza e os ambientes de ruído complexos encontrados em dados de sensores industriais reais.

Conclusão
Os autores concluem que, embora o DL consciente de incerteza seja essencial para um diagnóstico de falhas confiável, a escolha da arquitetura e do limiar é crítica. Os Ensembles Profundos são recomendados por sua robustez e eficiência. A seleção do limiar de entropia deve depender da criticidade da aplicação: um limiar conservador ($\tau_1$) para ambientes de alto risco onde perder dados OOD é inaceitável, e um limiar equilibrado ($\tau_2$) para cenários onde minimizar alarmes falsos é prioridade. Sugere-se que trabalhos futuros estendam esses achados para outros conjuntos de dados (ex: Universidade de Paderborn) e investiguem abordagens de aprendizado ativo envolvendo especialistas do domínio.