Towards a more realistic evaluation of machine learning models for bearing fault diagnosis

Diese Arbeit stellt eine rigorose, datenlecksfreie Evaluierungsmethode für die Lagerfehlerdiagnose mittels maschinellem Lernen vor, die durch eine trennscharfe Aufteilung nach physischen Bauteilen und die Formulierung als Multi-Label-Klassifikationsproblem realistische Generalisierungsfähigkeiten sicherstellt und so die Zuverlässigkeit industrieller Anwendungen erhöht.

Das Wesentliche

Das große Problem: Der „Spickzettel"-Effekt

Stell dir vor, du bereitest dich auf eine wichtige Prüfung vor. Deine Lehrerin gibt dir 20 verschiedene Mathe-Aufgaben zum Üben. Wenn du diese Aufgaben mit den Lösungen auswendig lernst und dann in der Prüfung genau dieselben Aufgaben (oder nur leicht veränderte Versionen davon) bekommst, wirst du eine 100%ige Note schreiben. Das ist aber kein Beweis dafür, dass du Mathe wirklich verstanden hast. Du hast nur die Lösungen auswendig gelernt.

Genau das passiert in der aktuellen Forschung zu Maschinellem Lernen bei Lagerfehlern (Rotierende Maschinen wie Motoren haben Lager, die kaputt gehen können).

Die Forscher haben herausgefunden, dass viele Studien, die behaupten, ihre KI-Modelle seien „fast perfekt" (oft über 99% Genauigkeit), einen riesigen Fehler gemacht haben: Sie haben den KI-Modellen im Testteil Spickzettel gegeben.

Was ist der Fehler genau? (Daten-Leckage)

In der echten Welt muss eine KI lernen, einen neuen, unbekannten Motor zu diagnostizieren. Aber in vielen Studien wurde die KI so trainiert:

1. Sie bekam Daten von Motor A, Motor B und Motor C.
2. Zum Testen bekam sie wieder Daten von Motor A, B und C, nur dass die Messungen etwas später gemacht wurden.

Die Analogie:
Stell dir vor, du lernst einen Freund (Motor A) so gut kennen, dass du seinen Husten, seine Stimme und seine Gangart auswendig kennst. Wenn du dann in einem Test gefragt wirst: „Ist das hier ein kranker Mensch?", und du siehst wieder deinen Freund, sagst du sofort: „Ja, das ist er!" – nicht weil du krankheitssymptome erkannt hast, sondern weil du die Identität des Freundes erkannt hast.

Das nennt man Daten-Leckage (Data Leakage). Die KI lernt nicht die Krankheit (den Fehler im Lager), sondern sie lernt die „Fingerabdrücke" des spezifischen Motors. Wenn man sie dann auf einen neuen Motor trifft, scheitert sie kläglich.

Die Lösung: Der „Blind-Test"

Die Autoren dieses Papiers sagen: „Hört auf, die gleichen Motoren zum Trainieren und Testen zu verwenden!"

Sie schlagen eine neue Methode vor:

• Trainings-Gruppe: Wir nehmen 10 Motoren. Die KI lernt an diesen.
• Test-Gruppe: Wir nehmen 5 ganz andere Motoren, die die KI noch nie gesehen hat.

Erst wenn die KI diese neuen, unbekannten Motoren richtig diagnostiziert, können wir sagen: „Wow, die KI versteht wirklich, wie ein defektes Lager klingt."

Was haben sie herausgefunden?

Als sie ihre neue, ehrliche Methode anwandten, geschah etwas Überraschendes:

1. Die „perfekten" Noten verschwanden: Die Genauigkeit, die vorher bei fast 100% lag, stürzte oft auf 40% bis 80% ab. Das klingt erst mal schlecht, ist aber ehrlich. Es zeigt, wie schwer die Aufgabe in der Realität ist.
2. Einfache Modelle sind manchmal besser: Viele Forscher dachten, man braucht riesige, komplexe „Deep Learning"-Neuronale Netze (wie ein riesiges Gehirn). Aber auf den ehrlichen Tests schnitten oft einfachere, klassische Methoden (wie ein „Random Forest", ein bisschen wie ein Entscheidungsbaum) genauso gut oder sogar besser ab.
   • Vergleich: Manchmal reicht ein guter Taschenrechner, um eine Aufgabe zu lösen, man braucht nicht unbedingt einen Supercomputer.
3. Vielfalt ist der Schlüssel: Es ist nicht wichtig, wie viele Daten die KI hat, sondern wie vielfältig sie sind. Wenn die KI 1000 Messungen von nur einem Motor sieht, lernt sie nichts. Wenn sie 10 Messungen von 10 verschiedenen Motoren sieht, lernt sie viel mehr.

Warum ist das wichtig für die Industrie?

Stell dir vor, eine Fabrik baut eine KI, die sagt: „Alles okay!" basierend auf den perfekten (aber gefälschten) Tests. Dann wird die KI in der echten Fabrik installiert. Plötzlich bricht ein Motor aus, weil die KI ihn nicht erkannt hat, weil er sich von den Trainingsmotoren unterscheidet. Das kostet Millionen und kann zu Unfällen führen.

Die Botschaft der Autoren:
Wir müssen aufhören, uns selbst zu belügen. Wir müssen KI-Systeme so testen, wie sie im echten Leben funktionieren: Mit völlig neuen Maschinen, die sie noch nie gesehen haben. Nur so können wir vertrauenswürdige Systeme bauen, die uns wirklich vor Maschinenausfällen schützen.

Zusammenfassung in einem Satz

Die Studie warnt davor, dass viele KI-Tests für Maschinenfehler wie ein Schultest sind, bei dem man die Lösungen auswendig gelernt hat; die Autoren fordern stattdessen echte „Blindtests" mit neuen Maschinen, um sicherzustellen, dass die KI wirklich versteht, was sie tut, und nicht nur die Motoren erkennt, an denen sie trainiert wurde.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein kritisches methodisches Problem im Bereich der maschinellen Lernens (ML) für die Fehlerdiagnose von Wälzlagern: Datenlecks (Data Leakage).

• Hintergrund: Obwohl ML-Modelle, insbesondere Deep Learning, in kontrollierten Umgebungen oft hohe Genauigkeiten (>99 %) erreichen, versagen sie häufig in realen industriellen Anwendungen.
• Die Ursache: Viele Studien partitionieren Datensätze fehlerhaft (z. B. zufällige Aufteilung von Signalen desselben physikalischen Wälzlagers in Trainings- und Testset). Dies führt dazu, dass das Modell nicht robuste Fehlermerkmale lernt, sondern spezifische Artefakte des jeweiligen Wälzlagers „auswendig lernt" (Memorization).
• Folgen: Die Evaluierungsergebnisse sind künstlich aufgebläht und geben keine realistische Einschätzung der Generalisierungsfähigkeit auf unbekannte Komponenten.
• Zusätzliches Problem: Die Verwendung von Mehrklassen-Klassifizierung (Multiclass) und Genauigkeitsmetriken (Accuracy) ist bei unausgewogenen Datensätzen irreführend und erlaubt keine Unterscheidung zwischen Fehlalarmen und übersehenen Fehlern.

2. Methodik

Die Autoren schlagen einen rigorosen, lecksfreien Evaluierungsrahmen vor, der auf drei Säulen basiert:

A. Strikte Wälzler-basierte Partitionierung (Bearing-wise Splitting)

• Prinzip: Alle Daten, die von einem physikalischen Wälzlager stammen, müssen ausschließlich entweder im Trainings- oder im Testset enthalten sein. Eine Überlappung ist strengstens zu vermeiden.
• Ziel: Sicherstellen, dass das Modell auf völlig neue, unbekannte Wälzlager generalisieren muss, anstatt Identitätsmerkmale bekannter Lager zu nutzen.
• Kontrollierte Experimente: Um zu beweisen, dass Leistungsabfälle durch Datenlecks und nicht durch reduzierte Trainingsvielfalt verursacht werden, halten die Autoren das trainierte Modell fix und variieren nur die Testdaten (Leakage vs. No-Leakage).

B. Formulierung als Multi-Label-Klassifizierung

• Statt einer Mehrklassen-Klassifizierung (z. B. „Gesund", „Innenringfehler", „Außenringfehler") wird das Problem als Multi-Label-Binary-Classification neu formuliert.
• Jeder Fehlertyp (Innenring, Außenring, Wälzkörper, Käfig) wird als unabhängiger binärer Klassifikator behandelt.
• Vorteile:
  • Ermöglicht die Erkennung von gleichzeitig auftretenden Fehlern (Co-occurring faults).
  • Fehlerhafte Signale eines Labels können als „True Negatives" für andere Labels genutzt werden (wichtig bei wenigen gesunden Daten).
  • Vermeidung der Annahme, dass Fehler sich gegenseitig ausschließen.

C. Evaluierungsmetriken und Protokoll

• Metriken: Statt Accuracy wird der Macro AUROC (Area Under the Receiver Operating Characteristic Curve) verwendet. Dieser ist unabhängig von der Klassenverteilung (Prevalence-independent) und bewertet die Trennschärfe über alle Schwellenwerte hinweg.
• Protokoll (Double Cross-Validation - CVM-CV):
  1. Hyperparameter-Optimierung (Inner Loop): Auswahl der besten Hyperparameter auf Basis von Validierungs-Splits.
  2. Leistungsabschätzung (Outer Loop): Evaluation des finalen Modells auf 100 verschiedenen, disjunkten Trainings-Test-Splits, um eine stabile Schätzung der Generalisierungsleistung zu erhalten.

3. Experimentelle Ergebnisse

Die Methodik wurde auf drei weit verbreiteten Datensätzen getestet: CWRU, Paderborn University (PU) und University of Ottawa (UORED-VAFCLS).

• Auswirkung von Datenlecks:

  • Bei Verwendung von fehlerhaften Partitionierungen (z. B. condition-wise oder repetition-wise splits) erreichen Modelle fast immer 100 % Genauigkeit oder AUROC.
  • Bei strikter Wälzler-basierter Trennung (Leakage-free) bricht die Leistung drastisch ein (z. B. von ~100 % auf 40–80 %), was die reale Generalisierungsfähigkeit widerspiegelt.
  • Beispiel PU-Datensatz: Ein WDCNN-Modell erreichte mit Envelope-Spectrum-Eingaben ohne Leakage nur ~79,6 % Macro AUROC, während Leakage-bedingte Splits nahe 100 % lagen.

• Einfluss der Datenvielfalt (Bearing Diversity):

  • Die Anzahl der einzigartigen Wälzlager im Trainingsset ist der entscheidende Faktor für die Leistung, nicht die reine Anzahl der Samples.
  • Experimente zeigten, dass bei konstanter Sample-Anzahl eine Erhöhung der Anzahl der Trainings-Wälzlager die Leistung signifikant steigert.

• Deep Learning vs. Shallow Learning:

  • Die Annahme, dass Deep Learning immer überlegen ist, wurde widerlegt.
  • Auf dem CWRU-Datensatz (begrenzte Vielfalt) schnitten Shallow Learning-Modelle (Random Forest mit handgefertigten Merkmalen) mit 84,25 % Macro AUROC besser ab als alle Deep-Learning-Architekturen.
  • Auf dem UORED-VAFCLS-Datensatz (höhere Vielfalt) war WDCNN mit Frequenzbereich-Eingaben am besten (93,12 %).
  • Auf dem PU-Datensatz war WDCNN mit Envelope-Spectrum am besten, aber die Leistung war insgesamt niedriger, was auf mangelnde Vielfalt im Datensatz hindeutet.

4. Wichtige Beiträge

1. Nachweis der Datenlecks: Systematischer Nachweis, dass Datenlecks in der Literatur allgegenwärtig sind und zu unrealistischen Leistungsangaben führen.
2. Neue Evaluierungs-Methodik: Einführung eines strengen, leakage-freien Protokolls mit Wälzler-basierter Trennung und Multi-Label-Formulierung.
3. Vielfalt als kritischer Faktor: Demonstration, dass die Generalisierung primär von der Anzahl der verschiedenen Wälzlager im Training abhängt, nicht von der Sample-Menge.
4. Benchmarking: Umfassender Vergleich von Deep Learning (WDCNN, CDCN, etc.) und Shallow Learning (Random Forest, SVM) unter fairen Bedingungen.
5. Open Source: Bereitstellung des Codes zur Reproduzierbarkeit.

5. Bedeutung und Schlussfolgerungen

Das Paper ist ein Meilenstein für die Zuverlässigkeit von ML-Forschung in der industriellen Fehlerdiagnose.

• Warnung vor „Overfitting": Viele bisherige „State-of-the-Art"-Ergebnisse sind wahrscheinlich Artefakte von Datenlecks und nicht auf reale Maschinen übertragbar.
• Praxisempfehlungen:
  • Forscher müssen strikt Wälzler-basierte Splits verwenden.
  • Die Verwendung von Macro AUROC und Multi-Label-Ansätzen ist vorzuziehen.
  • Shallow Learning sollte als robuste Baseline betrachtet werden, da es bei begrenzter Datenvielfalt oft besser funktioniert als komplexe Deep-Learning-Modelle.
  • Die Wahl des Modells und der Eingabedarstellung (Zeitbereich vs. Frequenzbereich) ist stark datensatzabhängig.

Zusammenfassend fordert das Paper die Community auf, ihre Evaluierungsprotokolle zu überdenken, um ML-Systeme zu entwickeln, die in der realen Industrie tatsächlich verlässlich funktionieren und nicht nur auf spezifischen Benchmarks „auswendig gelernt" haben.