🤖 machine learning

Evaluating deep learning models for fault diagnosis of a rotating machinery with epistemic and aleatoric uncertainty

Diese Arbeit präsentiert die erste umfassende vergleichende Studie über unsicherheitsbewusste Deep-Learning-Modelle für die Fehlerdiagnose von rotierenden Maschinen und zeigt auf, dass Deep-Ensemble-Architekturen andere State-of-the-Art-Methoden bei der Erkennung sowohl epistemischer als auch aleatorischer Unsicherheiten übertreffen und gleichzeitig kürzere Inferenzzeiten bieten.

Ursprüngliche Autoren: Reza Jalayer, Masoud Jalayer, Andrea Mor, Carlotta Orsenigo, Carlo Vercellis

Veröffentlicht 2026-06-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Reza Jalayer, Masoud Jalayer, Andrea Mor, Carlotta Orsenigo, Carlo Vercellis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Mechaniker, der versucht, ein Problem bei einem riesigen, rotierenden Industriemotor zu diagnostizieren. Sie haben ein Computerprogramm (ein „Deep Learning Model“), das mit tausenden Aufnahmen dieses Motors im fehlerfreien Betrieb sowie mit Aufnahmen von drei spezifischen, bekannten Problemen (wie einem defekten Kugellager oder einem Riss im Innenring) trainiert wurde.

Das Problem ist: Was passiert, wenn der Motor ein Geräusch macht, das der Computer noch nie gehört hat? Oder was, wenn die Mikrofonaufnahme des Geräusches sehr verrauscht ist?

Diese Arbeit ist wie ein massiver „Stresstest“ für verschiedene Arten von Computerprogrammen, um zu sehen, welches am besten sagen kann: „Hey, ich weiß nicht, was das ist, oder die Daten sind zu unordentlich, um ihnen zu vertrauen!“, anstatt selbstbewusst die falsche Antwort zu raten.

Hier ist die Aufschlüsselung der Studie unter Verwendung einfacher Analogien:

1. Die zwei Arten der „Verwirrung“

Die Forscher testeten die Computer gegen zwei verschiedene Arten der Verwirrung:

Epistemische Unsicherheit (Der „blinde Fleck“): Stellen Sie sich vor, der Computer wurde nur auf Hunde und Katzen trainiert. Wenn man ihm ein Bild eines Hamsters zeigt, weiß er nicht, dass es ein Hamster ist. Er könnte selbstbewusst „Hund“ oder „Katze“ raten, aber er liegt falsch. In der Fabrik passiert das, wenn ein völlig neuer Typ von Fehler auftritt, den der Computer noch nie gesehen hat. Dem Computer fehlt das Wissen, um ihn zu identifizieren.
Aleatorische Unsicherheit (Das „Rauschen“): Stellen Sie sich vor, der Computer versucht, ein Lied zu hören, aber neben dem Mikrofon schreit jemand. Die Daten sind da, aber sie sind verrauscht. Der Computer könnte verwirrt sein, weil das Signal „schmutzig“ ist. In der Fabrik wird dies durch elektrische Interferenzen oder einen wackeligen Sensor verursacht.

2. Die Kontrahenten: Drei verschiedene „Detektive“

Die Arbeit verglich drei verschiedene Wege, diese Computerprogramme aufzubauen, um zu sehen, welcher Detektiv am besten darin ist, das „Unbekannte“ oder das „Rauschen“ zu erkennen:

Der „Zocker“ (ConvLSTM-D): Dieses Modell versucht, die Antwort zu erraten, aber jedes Mal, wenn es eine Vermutung anstellt, vergisst es zufällig ein paar Fakten (wie ein Schüler, der die Augen schließt und rät). Es macht dies 10 Mal. Wenn es 10 verschiedene Antworten erhält, weiß es, dass es verwirrt ist.
Der „Wahrscheinlichkeitstheoretiker“ (Bayesian Neural Network): Dieses Modell besitzt nicht nur einen Satz von Fakten, sondern eine ganze Bibliothek mit möglichen Versionen seiner selbst. Es fragt alle dieser Versionen nach ihrer Meinung. Wenn sich die Mitglieder der Bibliothek uneinig sind, weiß es, dass es unsicher ist.
Der „Rat“ (Deep Ensemble): Dies ist der Star der Show. Anstatt eines einzelnen Detektivs stellt man ein Team aus vier verschiedenen Detektiven ein. Alle schauen sich unabhängig vone von demselben Problem an. Wenn sich das Team einig ist, ist es eine sichere Sache. Wenn sie alle anfangen zu streiten, weiß das System: „Warte, hier stimmt etwas nicht.“

3. Die Spielregeln

Um dies zu testen, entwarfen die Forscher zwei Szenarien:

Der „Unbekannte Fehler“-Test: Sie trainierten die Computer auf 5 Arten von Motorproblemen und testeten sie dann heimlich an einem 6. Typ (den sie noch nie gesehen hatten).
Der „Rausch“-Test: Sie nahmen saubere Aufnahmen und fügten verschiedene Arten von statischem Rauschen hinzu (wie das Zischen eines Radios, das Knistern eines Funkens oder zufälliges Rauschen), um zu sehen, ob die Computer immer noch zwischen einem gesunden Motor und einem defekten unterscheiden konnten.

Sie testeten auch zwei verschiedene „Alarmsignale“ (Schwellenwerte), um zu entscheiden, wann die rote Flagge gehievt werden sollte:

Der „Panikknopf“ (Schwellenwert 1): Dies ist ein sehr sensibler Alarm. Er schreit „GEFAHR“, sobald er auch nur den geringsten Hinweis auf Verwirrung bemerkt. Er erfasst fast alle schlechten Zustände, löst aber auch bei vielen normalen, gesunden Motoren Fehlalarme aus.
Der „Ausgewogene Richter“ (Schwellenwert 2): Dies ist eine neue Methode, die die Autoren erfunden haben. Sie versucht, den perfekten Mittelweg zu finden, an dem die schlechten Zustände erkannt werden, ohne dass bei den guten Motoren zu oft Fehlalarme ausgelöst werden.

4. Die Ergebnisse: Wer hat gewonnen?

Beim Umgang mit „Unbekannten Fehlern“ (Epistemisch): Das Deep Ensemble (Der Rat) war der klare Gewinner. Es war am besten darin, zu sagen: „Ich weiß das nicht“, ohne eine falsche Vermutung anzustellen. Die anderen beiden Modelle rieten oft selbstbewusst den falschen Fehler.
Beim Umgang mit „Rauschen“ (Aleatorisch): Auch hier war das Deep Ensemble der Gewinner. Interessanterweise war es für die Computer leichter, etwas falsch zu machen, je mehr Rauschen vorhanden war (da das Rauschen das Datum sehr seltsam aussehen ließ). Wenn das Rauschen jedoch sehr gering war (nur ein wenig statisches Rauschen), war es für keines der Modelle einfach, den Unterschied zu erkennen. Selbst in diesem Fall handhabte das Deep Ensemble die Situation besser als die anderen.
Geschwindigkeit: Das Deep Ensemble benötigte länger für das Training (das Erlernen der Abläufe), weil es vier Detektive lehren musste anstatt nur einen. Sobin es jedoch trainiert war, war es tatsächlich schneller bei der Diagnose als die anderen Modelle. Warum? Weil die anderen Modelle ihr „Ratespiel“ für jede einzelne Prüfung 10 Mal durchlaufen mussten, während das Deep Ensemble seine vier Mitglieder nur einmal fragte.

5. Das Fazit

Wenn Sie ein System bauen, das Maschinen in der realen Welt überwacht, legt die Arbeit nahe, dass Sie den Deep Ensemble-Ansatz verwenden sollten.

Es ist am zuverlässigsten darin, neue, unbekannte Probleme zu erkennen.
Es ist robuster gegenüber verrauschten Sensoren.
Es ist schneller im Betrieb, sobald es einmal eingerichtet ist.

Die Autoren schlagen außerdem vor: Wenn Sie sich in einer hochkritischen Situation befinden (wie in einem Kernkraftwerk), sollten Sie den „Panikknopf“-Alarm (Schwellenwert 1) verwenden, um alles zu erfassen, selbst wenn dies bedeutet, einige Fehlalarme in Kauf zu nehmen. Wenn Sie sich in einer weniger kritischen Situation befinden, nutzen Sie den „Ausgewogenen Richter“ (Schwellenwert 2), um Zeit und Aufwand zu sparen.

Kurz gesagt: Wenn Sie brauchen, dass eine Maschine Ihnen sagt, wann sie krank ist, oder wenn sie durch ein neues Krankheitsbild verwirrt ist oder das Mikrofon defekt ist, funktioniert es besser, ein Team aus vielfältigen Experten (Deep Ensemble) einzusetzen, als sich auf einen einzelnen Experten zu verlassen, der entweder nur rät oder sich seiner eigenen Fakten unsicher ist.

Technisches Resümee: Evaluierung von Deep-Learning-Modellen zur Fehlerdiagnose unter Berücksichtigung von epistemischer und aleatorischer Unsicherheit

Problemstellung
Rotierende Maschinen wie Motoren und Turbinen sind entscheidend für industrielle Abläufe, aber anfällig für Fehler, die erhebliche finanzielle Verluste und Sicherheitsrisiken verursachen können. Während Deep Learning (DL) die Fehlerdiagnose durch automatische Merkmalsextraktion verbessert hat, operieren die meisten bestehenden Methoden unter der Annahme, dass Trainings- und zukünftige Prädiktionsdaten dieselbe Verteilung aufweisen. In der Praxis wird diese Annahme oft durch Out-of-Distribution (OOD)-Daten verletzt. OOD-Daten entstehen aus zwei primären Quellen der Unsicherheit:

Epistemische Unsicherheit (Wissensunsicherheit): Verursacht durch mangelndes Wissen, wie etwa das Auftreten nicht im Trainingsdatensatz vorhandener, unbekannter Fehlertypen.
Aleatorische Unsicherheit (Datenunsicherheit): Verursacht durch inhärente Datenvariabilität, wie z. B. Sensorauschen (Gaußsch oder Nicht-Gaußsch) oder Messfehler.

Aktuelle DL-Modelle versagen oft bei der Quantifizierung dieser Unsicherheit, was zu unzuverlässigen Vorhersagen führt, bei denen das Modell unerkannte Fehler oder verrauschte Daten mit hoher Konfidenz falsch klassifizieren kann. Es besteht ein Bedarf an einem umfassenden Vergleich unsicherheitsbewusster DL-Architekturen, um zu bestimmen, welche Methoden effektiv zwischen In-Distribution (ID)- und OOD-Daten unter variierenden Bedingungen unterscheiden können.

Methodik
Die Autoren führten eine Vergleichsstudie unter Verwendung des Case Western Reserve University (CWRU) Lager-Datensatzes durch. Die Studie evaluierte drei hochmoderne, unsicherheitsbewusste DL-Architekturen:

ConvLSTM-D: Ein Convolutional LSTM mit Bernoulli-Dropout, das zur Generierung von Vorhersageverteilungen Monte Carlo (MC) Dropout während der Inferenz nutzt.
Bayesian Neural Network (BNN): Ein Netzwerk, bei dem die Gewichte als Zufallsvariablen einer Gaußschen Verteilung behandelt werden, wodurch Ergebnisverteilungen durch mehrfache Gewichtsproben generiert werden.
Deep Ensemble: Es wurden zwei Konfigurationen getestet:
- De1: Vier identische Basis-Lerner, die parallel trainiert werden.
- De2: Vier Basis-Lerner mit gemischten Architekturen (zwei identisch zu De1, zwei kombinierend Conv+Pool mit LSTM).

Experimentelles Design:

Epistemische Szenarien: Erstellt mittels einer Hold-out-Strategie, bei der eine Fehlerklasse aus dem Training ausgeschlossen wurde und als OOD-Daten während der Validierung/Testung diente. Sechs Szenarien wurden generiert, eines für jede Klasse.
Aleatorische Szenarien: Erstellt durch das Injizieren von Rauschen in die Daten. Vier Rauschtypen wurden getestet: Gaußsch, Impuls, Rayleigh und Weibull. Diese wurden bei drei Intensitätsstufen (Signal-Rausch-Verhältnisse von -5 dB, 0 dB und 5 dB) angewendet.
Unsicherheitsquantifizierung: Entropie wurde als Metrik für die Unsicherheit verwendet. Zwei Schwellenwerte wurden angewendet, um ID von OOD-Daten zu unterscheiden:
- $\tau_1$ (Unsicherheit-Ausreißererkennung): Basierend auf dem Interquartilsabstand (IQR) der Entropiewerte aus den ID-Validierungsdaten.
- $\tau_2$ (Unsicherheit F1-Score): Ein in dieser Arbeit vorgeschlagener, neuartiger Schwellenwert, der optimiert wurde, um den F1-Score auf dem Validierungssatz zu maximieren, indem er True Positives (erkanntes OOD) und True Negatives (korrekt identifiziertes ID) ausbalanciert.

Wichtigste Ergebnisse

Epistemische Unsicherheit: Alle Modelle konnten einen Teil der OOD-Daten erkennen, aber Deep Ensemble-Modelle (De1 und De2) zeigten eine überlegene Leistung. De2 zeigte insbesondere eine außergewöhnliche Fähigkeit, OOD-Daten unabhängig vom verwendeten Schwellenwert zu erkennen. ConvLSTM-D und BNN zeigten merkliche Einschränkungen, insbesondere in spezifischen Szenarien (z. B. Ausschluss von Klasse 0 oder Klasse 2).
- Schwellenwert-Trade-off: Die Verwendung von $\tau_1$ führte zu höheren OOD-Erkennungsraten, aber auch zu höheren False Positives (falsche Klassifizierung von ID-Daten als unzuverlässig). $\tau_2$ bot eine pragmatischere Balance und reduzierte den Bedarf an umfangreicher menschlicher Re-Evaluierung fehlklassifizierter ID-Daten.
Aleatorische Unsicherheit: Das Rauschniveau beeinflusste die Leistung signifikant.
- Hohes Rauschen (Stark): Die OOD-Erkennung verbesserte sich bei allen Modellen signifikant, da Rauschen die Vorhersageentropie verstärkte. Deep Ensembles behielten ihre Überlegenheit bei und erkannten 80–100 % der OOD-Daten.
- Niedriges Rauschen (Gering): Die Leistung sank für alle Modelle drastisch, da sich die ID- und OOD-Entropieverteilungen überschnitten. Dennoch übertrafen Deep Ensembles ConvLSTM-D und BNN und zeigten eine mildere Leistungsdegradation.
- Rauschtyp: Weibull- und Rayleigh-Rauschen waren unter starken Rauschbedingungen generell besser durch Deep Ensembles detektierbar.
Recheneffizienz:
- Training: Deep Ensembles (De1/De2) erforderten mehr Trainingszeit aufgrund des parallelen Trainings mehrerer Basis-Lerner.
- Inferenz: Deep Ensembles waren während der Vorhersagephase signifikant schneller (ca. 3-mal) als ConvLSTM-D und BNN, die $K=10$ wiederholte Vorwärtsläufe für das MC-Sampling benötigen.

Bedeutung und Beiträge
Das Papier beansprucht für sich, die erste umfassende Vergleichsstudie von hochmodernen unsicherheitsbewussten DL-Architekturen speziell für die Fehlerdiagnose rotierender Maschinen zu sein, wobei sowohl epistemische als auch diverse Formen aleatorischer Unsicherheit (einschließlich nicht-gaußscher Rauscharten) adressiert werden.

Zentrale Beiträge sind:

Empirische Orientierungshilfe: Die Studie identifiziert Deep Ensemble-Architekturen (speziell De2) als die bevorzugte Wahl für den realen Einsatz. Sie bieten eine überlegene Balance aus hoher OOD-Erkennungsgenauigkeit, Robustheit gegenüber variierenden Rauschpegeln und schnelleren Inferenzzeiten.
Neuartige Schwellenwertbildung: Die Einführung des $\tau_2$ (F1-Score-basierten) Schwellenwerts bietet eine praktische Alternative zur Standardmethode der Ausreißererkennung ($\tau_1) und hilft Praktikern, False Positives zu minimieren und die Kosten für menschliche Interventionen in der Post-Processing-Phase zu senken.
Realitätsnähe: Durch das Testen von nicht-gaußschen Rauschtypen (Impuls, Rayleigh, Weibull) neben Gaußschem Rauschen schließt die Studie die Lücke zwischen theoretischer Unsicherheitsanalyse und den komplexen Rauschumgebungen in der tatsächlichen industriellen Sensorik.

Fazit
Die Autoren kommen zu dem Schluss, dass die Wahl der Architektur und des Schwellenwerts entscheidend ist, auch wenn unsicherheitsbewusstes DL für eine zuverlässige Fehlerdiagnose unerlässlich ist. Deep Ensembles werden aufgrund ihrer Robustheit und Effizienz empfohlen. Die Auswahl des Entropie-Schwellenwerts sollte von der Kritikalität der Anwendung abhängen: ein konservativer Schwellenwert ( $\tau_1$ ) für Hochrisiko-Umgebungen, in denen das Übersehen von OOD-Daten inakzeptabel ist, und ein ausgewogener Schwellenwert ( $\tau_2$ ) für Szenarien, in denen die Minimierung von Fehlalarmen Priorität hat. Zukünftige Arbeiten sollen diese Erkenntnisse auf andere Datensätze (z. B. Paderborn University) ausweiten und Active-Learning-Ansätze unter Einbeziehung von Domänenexperten untersuchen.

1. Die zwei Arten der „Verwirrung“

2. Die Kontrahenten: Drei verschiedene „Detektive“

3. Die Spielregeln

4. Die Ergebnisse: Wer hat gewonnen?

5. Das Fazit

Mehr davon