Towards a more realistic evaluation of machine learning models for bearing fault diagnosis

Dit paper introduceert een rigoureuze, lek-vrije evaluatiemethodologie voor machine learning-modellen in de diagnose van lagerfouten, die datalekken door onjuiste dataset-splitsing aanpakt en generalisatie verbetert via een lager-gerichte verdeling en multi-label classificatie.

De kern

De "Valstrik" in de Machine Learning: Waarom AI-voorspellingen voor Lagers vaak te mooi zijn om waar te zijn

Stel je voor dat je een chef-kok bent die een nieuwe, perfecte saus moet leren maken. Je hebt een receptboek (de data) en je wilt een kok (het computermodel) trainen om deze saus te maken.

In de wereld van machine learning, en dan specifiek voor het opsporen van defecten in lagers (die draaiende onderdelen in machines die slijten), hebben onderzoekers vaak een groot probleem: ze trainen hun koks op een manier die ze niet voorbereidt op de echte wereld. Ze creëren een "valstrik" genaamd Data Leakage (datalek).

Hier is wat dit paper vertelt, vertaald naar begrijpelijke taal met een paar creatieve vergelijkingen.

1. Het Probleem: De "Luie Kok" die het antwoordboekje heeft

Stel je voor dat je je kok traint door hem de saus te laten proeven en daarna direct het antwoordboekje te laten zien met de juiste naam van de saus. Vervolgens test je hem met exact dezelfde saus, maar dan in een ander potje.

Natuurlijk haalt hij 100% score! Maar dat is niet omdat hij echt kan koken; het is omdat hij het antwoord heeft uit het hoofd geleerd (memoriseren).

In de wetenschap over lagers gebeurde dit vaak:

• Onderzoekers namen geluidssignalen van één specifiek lager.
• Ze sneden dit signaal in stukjes.
• Ze gebruikten sommige stukjes om het model te trainen en andere stukjes van dezelfde lager om het te testen.

Het resultaat? Het model leerde niet hoe een defect klinkt. Het leerde hoe dat specifieke lager klinkt. Het was alsof de kok het geluid van de pan herkende in plaats van de saus. De resultaten leken fantastisch (vaak 99% of 100% nauwkeurigheid), maar in de echte fabriek, waar een ander lager draait, faalde het model volledig.

2. De Oplossing: De "Onbekende Gast" Test

De auteurs van dit paper zeggen: "Stop met dat trucje!"

Ze stellen een nieuwe regel voor: De Lager-Verdeling (Bearing-wise Split).

• De oude manier: Deel de data willekeurig op. (Gevaarlijk!)
• De nieuwe manier: Zorg dat als je een lager in de trainingsset hebt, geen enkel stukje van datzelfde lager in de testset zit.

De Analogie:
Stel je voor dat je een model traint om gezichten te herkennen.

• Fout: Je traint het op foto's van Jan en test het ook op foto's van Jan. Het model leert "Dit is Jan" en haalt 100%.
• Goed: Je traint het op foto's van Jan, Piet en Klaas. Vervolgens test je het op een nieuwe persoon, Sanne, die het model nog nooit heeft gezien. Als het model Sanne herkent, dan is het echt slim.

In dit paper zeggen ze: "Test je model op lagers die het nooit eerder heeft gezien." Alleen dan weten we of het echt werkt.

3. De "Meerdere Ziektes" Probleem (Multi-label)

Vaak hebben lagers niet maar één probleem. Een lager kan tegelijkertijd een gat hebben in de binnenkant én de buitenkant.

• De oude manier: De machine leerde: "Ofwel is het gezond, OF het is gat A, OF gat B." Het moest één keuze maken.
• De nieuwe manier: De machine leert: "Is er een gat in de binnenkant? (Ja/Nee). Is er een gat in de buitenkant? (Ja/Nee)."

Dit is als een dokter die niet zegt: "Je hebt ofwel griep of migraine", maar zegt: "Je hebt griep (Ja) én migraine (Nee)." Dit is veel realistischer voor de industrie, waar machines vaak meerdere problemen tegelijk hebben.

4. Wat vonden ze? (De Verbluffende Resultaten)

Toen ze hun nieuwe, eerlijke methode toepasten op drie beroemde datasets, gebeurde er iets verrassends:

1. De scores zakten dramatisch: Waar modellen eerder 99% haalden, zakte dit soms naar 60% of zelfs 50% (wat betekent dat het model net zo goed was als raden). Dit klinkt slecht, maar het is eerlijk. Het laat zien dat de oude scores nep waren.
2. Simpele modellen wonnen: In veel gevallen waren de "slimme" en dure Deep Learning-modellen (die lijken op menselijke hersenen) niet beter dan simpele, oude statistische methoden. Soms was een simpele "Random Forest" (een soort beslissingsboom) zelfs beter.
3. Aantal lagers is cruciaal: Het bleek dat het niet gaat om hoeveel data je hebt, maar om hoeveel verschillende lagers je hebt gezien. Als je 1000 metingen hebt van slechts 2 lagers, leer je niets. Als je 100 metingen hebt van 10 verschillende lagers, leer je veel meer. Variatie is de sleutel tot intelligentie.

5. De Conclusie voor de Wereld

Dit paper is een wake-up call voor de wetenschappelijke wereld.

• Stop met nep-resultaten: Veel gepubliceerde papers tonen resultaten die in de echte fabriek niet werken omdat ze data hebben "gelekt".
• Wees eerlijk: Gebruik de "Lager-Verdeling" methode. Test op onbekende lagers.
• Kies de juiste tool: Soms is een simpele, goedkope oplossing beter dan een complexe AI.

Kortom:
De auteurs zeggen: "Laten we stoppen met het trainen van onze AI's op een test die ze al kennen. Laten we ze in de echte wereld zetten, met nieuwe lagers en nieuwe situaties. Alleen dan bouwen we systemen die echt veilig en betrouwbaar zijn voor onze machines."

Het is alsof je een piloot traint: je traint hem niet alleen in een simulator met dezelfde weersomstandigheden, maar je laat hem ook vliegen in stormen die hij nog nooit heeft gezien. Alleen dan is hij echt klaar voor de lucht.

Technische samenvatting

Titel: Naar een realistischere evaluatie van machine learning-modellen voor het diagnosticeren van lagerfouten

1. Het Probleem: Datalekken en Overoptimalisme

Het artikel identificeert een kritieke methodologische fout in het huidige onderzoek naar het diagnosticeren van lagerfouten (rolling bearings) met machine learning (ML): datalekken (data leakage).

• De Kern: Veel studies rapporteren extreem hoge nauwkeurigheidspercentages (vaak >99%), maar deze resultaten zijn vaak kunstmatig opgeblazen omdat de trainings- en testsets niet onafhankelijk zijn.
• Oorzaak: Veelgebruikte splitsingsstrategieën, zoals het willekeurig verdelen van signaalsegmenten of het splitsen op basis van bedrijfsomstandigheden (bijv. toerental of belasting), zorgen ervoor dat metingen van hetzelfde fysieke lager in zowel de trainings- als de testset terechtkomen.
• Gevolg: Het model leert in plaats van robuuste foutpatronen te herkennen, eerder de specifieke "vingerafdruk" of artefacten van dat ene lager te memoriseren. Dit leidt tot modellen die in de praktijk (op onbekende lagers) volledig falen, terwijl ze in de literatuur als perfect worden gepresenteerd.

2. Methodologie

De auteurs stellen een rigoureuze, lek-vrije evaluatiemethodologie voor die de volgende pijlers omvat:

• Lager-gebaseerde Splitsing (Bearing-wise Splitting):
  De enige veilige manier om data te splitsen is door ervoor te zorgen dat alle data van één fysiek lager uitsluitend in de trainingsset of de testset zit, maar nooit in beide. Dit garandeert dat het model moet generaliseren naar volledig nieuwe hardwarecomponenten.
• Multi-label Classificatie Formulering:
  In plaats van een traditionele multiclass-aanpak (waarbij een sample als "gezond", "binnenringfout" of "buiteringfout" wordt geclassificeerd), wordt het probleem geformuleerd als multi-label binary classification.
  • Elk type fout (binnenring, buitenring, kogel, kooi) wordt behandeld als een onafhankelijke binaire classificatie (fout aanwezig/afwezig).
  • Dit maakt het mogelijk om gelijktijdig optredende fouten te detecteren en om gezonde data als "true negatives" te gebruiken voor alle foutklassen, wat cruciaal is bij datasets met weinig gezonde data.
• Evaluatiemetriek:
  De auteurs verwerpen "Accuracy" als hoofdmetriek vanwege het gevoelig zijn voor class-imbalance (ongelijke verdeling van klassen). In plaats daarvan gebruiken ze de Macro AUROC (Area Under the Receiver Operating Characteristic curve). Deze metriek is onafhankelijk van de prevalentie van de klassen en biedt een eerlijker beeld van de prestaties, vooral bij zeldzame fouten.
• Dubbele Cross-Validatie (CVM-CV):
  Om bias te minimaliseren bij hyperparameter-tuning, gebruiken ze een protocol waarbij de hyperparameters worden geoptimaliseerd op een interne validatieset, waarna de geselecteerde configuratie wordt geëvalueerd op 100 verschillende, onafhankelijke train-test splits.

3. Datasets en Experimenten

De methodologie werd getest op drie veelgebruikte datasets:

1. UORED-VAFCLS (Universiteit van Ottawa): Een moderne dataset met meerdere lagers en verschillende zwaartegradaties van fouten.
2. Paderborn University (PU): Bevat lagers met kunstmatige en natuurlijke (versnelde levensduur) fouten.
3. Case Western Reserve University (CWRU): De meest gebruikte dataset, maar met beperkte diversiteit (weinig unieke lagers).

Er werden zowel shallow learning-modellen (Random Forest, SVM met handgemaakte kenmerken) als deep learning-modellen (WDCNN en andere 1D-CNN's) getest.

4. Belangrijkste Resultaten

• Grootte van het Datalek:
  De experimenten tonen aan dat datalekken de prestaties dramatisch opblazen.
  • Bij segmentatie-niveau lekken (zelfde signaal, verschillende delen) en herhalings-niveau lekken (zelfde conditie, zelfde lager) bereikten modellen vaak 100% nauwkeurigheid.
  • Bij een lek-vrije lager-splitsing daalden de prestaties drastisch. Op de PU-dataset bijvoorbeeld daalde de Macro AUROC van ~90% naar ~60-70%, en op de CWRU-dataset naar ~63-74% voor deep learning.
• Aantal Unieke Lagers is Cruciaal:
  Een van de belangrijkste bevindingen is dat de diversiteit van de trainingslagers (aantal unieke fysieke componenten) een veel sterkere voorspeller is voor succes dan het totale aantal samples.
  • Zelfs als het totale aantal samples gelijk blijft, verbetert de prestatie significant naarmate het aantal unieke lagers in de trainingsset toeneemt.
  • Deep learning-modellen lijken te lijden onder gebrek aan diversiteit (ze "memoriseren" de lagers), terwijl shallow models soms robuuster zijn op kleine, diverse datasets.
• Modelkeuze hangt af van de Dataset:
  • Op de UORED-VAFCLS dataset presteerde WDCNN (Deep Learning) met frequentiedomein-input het beste (Macro AUROC ~93%).
  • Op de CWRU dataset (beperkte diversiteit) presteerde Random Forest (Shallow Learning) met handgemaakte kenmerken het beste (Macro AUROC ~84%), beter dan alle deep learning baselines.
  • Op de PU dataset gaf WDCNN met enveloppespectrum de beste resultaten, maar met hoge variantie.

5. Belangrijkheid en Conclusies

Dit artikel biedt een fundamentele verschuiving in hoe ML voor industriële fault diagnosis moet worden geëvalueerd:

1. Validiteit: Veel bestaande "state-of-the-art" resultaten in de literatuur zijn ongeldig vanwege datalekken. Zonder strikte lager-splitsing zijn resultaten niet generaliseerbaar.
2. Realisme: De voorgestelde methodologie (multi-label, lager-splitsing, Macro AUROC) biedt een realistischere weergave van hoe een model zal presteren in de echte wereld, waar het moet werken op onbekende machines.
3. Dataset Diversiteit: Onderzoekers moeten datasets kiezen die voldoende unieke lagers bevatten om een zinvolle evaluatie mogelijk te maken. De CWRU-dataset wordt geïdentificeerd als problematisch voor strikte evaluatie vanwege zijn beperkte structuur.
4. Geen "One-size-fits-all": Deep learning is niet per se superieur. De keuze tussen diepe en ondiepe modellen is sterk afhankelijk van de diversiteit en structuur van de dataset.

Aanbeveling voor de gemeenschap:
De auteurs pleiten voor het delen van code en splitsingsstrategieën, het gebruik van multi-label formuleringen, en het vermijden van willekeurige splitsingen. Alleen door strikte, lek-vrije protocollen te hanteren, kunnen betrouwbare ML-systemen worden ontwikkeld voor industriële toepassingen.