Evaluating deep learning models for fault diagnosis of a rotating machinery with epistemic and aleatoric uncertainty

Technische Samenvatting: Evaluatie van Deep Learning-modellen voor foutdiagnose met epistemische en aleatorische onzekerheid

Probleemstelling
Roterende machines, zoals motoren en turbines, zijn cruciaal voor industriële operaties maar zijn gevoelig voor defecten die aanzienlijke financiële verliezen en veiligheidsrisico's kunnen veroorzaken. Hoewel Deep Learning (DL) de foutdiagnose heeft verbeterd door automatisch kenmerken te extraheren, werken de meeste bestaande methoden onder de aanname dat de trainingsdata en toekomstige voorspellingsdata dezelfde distributie delen. In de praktijk wordt deze aanname vaak geschonden door Out-of-Distribution (OOD) data. OOD-data ontstaan uit twee primaire bronnen van onzekerheid:

1. Epistemische Onzekerheid (Kennisonzekerheid): Veroorzaakt door een gebrek aan kennis, zoals het tegenkomen van niet-geziene fouttypen die niet aanwezig waren in de trainingsset.
2. Aleatorische Onzekerheid (Dataonzekerheid): Veroorzaakt door inherente variabiliteit in de data, zoals sensorgruis (Gaussiaans of niet-Gaussiaans) of meetfouten.

Huidige DL-modellen falen vaak in het kwantificeren van deze onzekerheid, wat leidt tot onbetrouwbare voorspellingen waarbij het model met hoge zekerheid ongeziene fouten of ruizige data verkeerd kan classificeren. Er is behoefte aan een uitgebreide vergelijking van onzekerheid-bewuste DL-architecturen om te bepalen welke methoden effectief onderscheid maken tussen in-distribution (ID) en OOD-data onder variërende omstandigheden.

Methodologie
De auteurs hebben een vergelijkende studie uitgevoerd met behulp van de Case Western Reserve University (CWRU) lagerdataset. De studie evalueerde drie state-of-the-art onzekerheid-bewuste DL-architecturen:

1. ConvLSTM-D: Een Convolutional LSTM met Bernoulli dropout, die Monte Carlo (MC) dropout gebruikt tijdens de inferentie om voorspellingsdistributies te genereren.
2. Bayesian Neural Network (BNN): Een netwerk waarbij gewichten worden behandeld als willekeurige variabelen die een Gaussische distributie volgen, wat uitkomstdistributies genereert door middel van meerdere gewichtssamples.
3. Deep Ensemble: Twee configuraties werden getest:
   • De1: Vier identieke basismodellen die parallel worden getraind.
   • De2: Vier basismodellen met gemengde architecturen (twee identiek aan De1, twee combinerend Conv+Pool met LSTM).

Experimenteel Ontwerp:

• Epistemische Scenario's: Gecreëerd via een hold-out strategie waarbij één foutklasse werd uitgesloten van training en werd gebruikt als OOD-data tijdens validatie/testfases. Zes scenario's werden gegenereerd, één voor elke klasse.
• Aleatorische Scenario's: Gecreëerd door ruis in de data te injecteren. Vier ruistypes werden getest: Gaussisch, Impuls, Rayleigh en Weibull. Deze werden toegepast bij drie intensiteitsniveaus (Signal-to-Noise Ratios van -5 dB, 0 dB en 5 dB).
• Onzekerheidskwantificatie: Entropie werd gebruikt als de metriek voor onzekerheid. Twee drempelwaarden werden toegepast om ID van OOD-data te onderscheiden:
  • $\tau_1$ (Onzekerheid Outlier Detectie): Gebaseerd op de Inter-Quartile Range (IQR) van de entropiewaarden van de ID-validatiedata.
  • $\tau_2$ (Onzekerheid F1-score): Een nieuwe drempelwaarde voorgesteld in dit artikel, geoptimaliseerd om de F1-score op de validatieset te maximaliseren door een balans te vinden tussen True Positives (gedetecteerde OOD) en True Negatives (correct geïdentificeerde ID).

Belangrijkste Resultaten

• Epistemische Onzekerheid: Alle modellen konden een deel van de OOD-data detecteren, maar Deep Ensemble-modellen (De1 en De2) vertoonden superieure prestaties. Vooral De2 toonde een uitzonderlijk vermogen om OOD-data te detecteren, ongeacht de gebruikte drempelwaarde. ConvLSTM-D en BNN vertoonden duidelijke beperkingen, vooral in specifieke scenario's (bijv. het uitsluiten van Klasse 0 of Klasse 2).
  • Drempelwaarde Afweging: Het gebruik van $\tau_1$ resulteerde in hogere OOD-detectiepercentages, maar ook in hogere fout-positieven (het onterecht als onbetrouwbaar classificeren van ID-data). $\tau_2$ bood een meer pragmatische balans, waardoor de noodzaak voor uitgebreide menselijke herbeoordeling van foutief geclassificeerde ID-data werd verminderd.
• Aleatorische Onzekerheid: Het ruisniveau had een significante impact op de prestaties.
  • Hoge Ruis (Sterk): OOD-detectie verbeterde aanzienlijk over alle modellen naarmate de ruis de voorspellingsentropie versterkte. Deep Ensembles behielden hun superioriteit en detecteerden 80–100% van de OOD-data.
  • Lage Ruis (Zwak): De prestaties daalden scherp voor alle modellen naarmate de ID- en OOD-entropiedistributies elkaar overlapten. Echter, Deep Ensembles presteerden nog steeds beter dan ConvLSTM-D en BNN, waarbij ze een minder sterke degradatie in prestaties vertoonden.
  • Ruis Type: Weibull- en Rayleigh-ruis waren over het algemeen beter detecteerbaar door Deep Ensembles onder sterke ruisomstandigheden.
• Computationele Efficiëntie:
  • Training: Deep Ensembles (De1/De2) vereisten meer trainingstijd vanwege de parallelle training van meerdere basismodellen.
  • Inferentie: Deep Ensembles waren aanzienlijk sneller (ongeveer 3x) tijdens de voorspellingsfase vergeleken met ConvLSTM-D en BNN, die $K=10$ herhaalde forward passes vereisen voor MC-sampling.

Significantie en Bijdragen
Het artikel claimt de eerste uitgebreide vergelijkende studie te zijn van state-of-the-art onzekerheid-bewuste DL-architecturen specifiek voor foutdiagnose van roterende machines, waarbij zowel epistemische als diverse vormen van aleatorische onzekerheid (inclusclusief niet-Gaussische ruis) worden geadresseerd.

Belangrijkste bijdragen zijn:

1. Empirische Begeleiding: De studie identificeert Deep Ensemble-architecturen (specifiek De2) als de voorkeurskeuze voor implementatie in de echte wereld. Ze bieden een superieur evenwicht tussen hoge OOD-detectie-accuratesse, robuustheid tegen variërende ruisniveaus en snellere inferentietijden.
2. Nieuwe Drempelwaarde Methode: De introductie van de $\tau_2$ (F1-score gebaseerde) drempelwaarde biedt een praktisch alternatief voor de standaard outlier detectiemethode ($\tau_1$), wat praktischaren helpt om fout-positieven te minimaliseren en de kosten van menselijke interventie in de nabewerking te verlagen.
3. Afstemming op de Werkelijkheid: Door niet-Gaussische ruistypes (Impuls, Rayleigh, Weibull) naast Gaussische ruis te testen, overbrugt de studie de kloof tussen theoretische onzekerheidsanalyse en de complexe ruisomgevingen die voorkomen in werkelijke industriële sensordata.

Conclusie
De auteurs concluderen dat hoewel onzekerheid-bewuste DL essentieel is voor betrouwbare foutdiagnose, de keuze van architectuur en drempelwaarde cruciaal is. Deep Ensembles worden aanbevolen vanwege hun robuustheid en efficiëntie. De selectie van de entropiedrempelwaarde hangt af van de kritikaliteit van de toepassing: een conservatieve drempel ($\tau_1$) voor omgevingen met een hoog risico waar het missen van OOD-data onacceptabel is, en een gebalanceerde drempel ($\tau_2$) voor scenario's waarbij het minimaliseren van valse alarmen prioriteit heeft. Toekomstig werk wordt gesuggereerd om deze bevindingen uit te breiden naar andere datasets (bijv. Paderborn University) en om active learning-benaderingen met domeinexperts te onderzoeken.