Conditional Diffusion-Based Data Augmentation for Imbalanced Multi-Mode Fault Diagnosis in Predictive Maintenance

Technische Samenvatting: Conditionele Diffusie-gebaseerde Data-augmentatie voor Imbalanced Multi-Mode Foutdiagnose

Probleemstelling
Voorspellend onderhoud (Predictive Maintenance, PdM) in Industrie 4.0 vertrouwt op datagestuurde modellen om defecten aan apparatuur te anticiperen. Echter, industriële data is structureel ongebalanceerd: gezonde bedrijfscondities genereren het overgrote deel van de observaties, terwijl specifieke foutmodi zeldzaam en ongelijk verdeeld zijn. Deze klassenimbalans zorgt ervoor dat standaardclassificatoren, die geoptimaliseerd zijn voor algemene nauwkeurigheid, een bias ontwikkelen naar de meerderheidsklasse ("gezond"), waardoor ze de zeldzame, kostbare defecten die PdM-systemen juist moeten detecteren, systematisch missen. Klassieke resamplingtechnieken zoals random oversampling (die geen nieuwe informatie toevoegt) en SMOTE (die interpoleert tussen bestaande punten) falen vaak in het vatten van de complexe, multimodale aard van faalmechanismen of creëren onwaarschijnlijke samples in gebieden met een lage dichtheid. Hoewel deep generative models zoals GANs en VAEs alternatieven bieden, zijn GANs berucht instabiel op kleine tabulaire datasets, en hebben VAEs de neiging om overmatig gesmoothde samples met een lage diversiteit te produceren.

Methodologie
De auteurs stellen een gecontroleerde benchmark voor om class-conditional denoising diffusion probabilistic models (DDPMs) te evalueren als een strategie voor data-augmentatie bij ongebalanceerde foutdiagnose. De studie maakt gebruik van de AI4I 2020 Predictive Maintenance dataset, een synthetische benchmark van 10.000 records die een industriële freesmachine simuleert. Het probleem wordt geformuleerd als een vijfklasse, single-label foutdiagnosetaak met één meerderheidsklasse (No Failure) en vier minderheidsmodi: Tool Wear Failure (TWF), Heat Dissipation Failure (HDF), Power Failure (PWF) en Overstrain Failure (OSF).

De experimentele pipeline isoleert de augmentatiestrategie door alle andere componenten constant te houden:

1. Data Preprocessing: Kenmerken worden gestandaardiseerd en categorische variabelen worden via one-hot encoding verwerkt. De dataset wordt gesplitst in 70% trainingsdata en 30% testdata, waarbij de testset onaangetast blijft.
2. Augmentatiestrategie: De vier minderheidsklassen worden geaugmenteerd naar een doelstelling van 500 samples elk. De voorgestelde methode gebruikt een conditionele DDPM die getraind is op gepoolde minderheidsdata om nieuwe samples te synthetiseren.
3. Baselines: Het diffusiemodel wordt vergeleken met:
   • Geen augmentatie.
   • Random Oversampling (ROS).
   • SMOTE.
   • Conditional GAN (cGAN).
   • Conditional VAE (cVAE).
4. Evaluatie: Twee structureel verschillende downstream classifiers—een Multilayer Perceptron (MLP) en een Random Forest (RF)—worden getraind op de geaugmenteerde data en geëvalueerd op de werkelijke testset. Het gehele proces wordt herhaald over acht random seeds om robuustheid te garanderen.
5. Metrieken: Prestaties worden beoordeeld op twee assen:
   • Intrinsieke Getrouwheid (Fidelity): Maximum Mean Discrepancy (MMD) en Classifier Two-Sample Test (C2ST) om te meten hoe goed synthetische data de werkelijke distributie nabootst.
   • Extrinsieke Nut (Utility): Macro-gemiddelde F1, Balanced Accuracy, en specifiek Minority Recall (het vermogen om zeldzame defecten te detecteren), wat wordt geprioriteerd als de operationele metriek.

Belangrijkste Bijdragen

1. Uniforme Benchmarking: Het artikel biedt een reproduceerbaar kader voor het vergelijken van klassieke resampling, GANs, VAEs en diffusiemodellen onder identieke protocollen, doelstellingen en classifiers.
2. Dual-Axis Evaluatie: Het evalueert methoden niet alleen op basis van downstream classificatiescores, maar ook op de distributionele getrouwheid van de synthetische data.
3. Statistische Rigor: Resultaten worden gevalideerd over acht random seeds met non-parametrische significantietoetsen (Wilcoxon signed-rank test), wat garandeert dat bevindingen geen artefacten zijn van specifieke data-splits of initialisaties.
4. Transparante Trade-off Analyse: De studie analyseert expliciet de precisie-recall trade-off die door diffusie-augmentatie wordt geïnduceerd, waarbij de operationele implicaties worden verduidelijkt.

Resultaten

• Downstream Prestaties: De diffusie-gebaseerde augmentatie behaalde consistent de hoogste minority-class recall en balanced accuracy voor zowel de MLP als de Random Forest classifiers.
  • Voor de MLP verbeterde de minority recall van 0.61 (geen augmentatie) naar 0.76 met diffusie.
  • Voor de Random Forest verbeterde de minority recall van 0.41 naar 0.76.
  • Deze verbeteringen waren statistisch significant ($p = 0.008$) en consistent over alle acht seeds tegen alle vijf de baselines.
• Distributionele Getrouwheid: Hoewel SMOTE de laagste MMD bereikte (vanwege de interpolerende aard), produceerde het diffusiemodel de meest realistische samples onder de generatieve modellen, zoals aangetoond door een C2ST AUC van 0.70 (dichter bij 0.5, wat duidt op ononderscheidbaarheid van echte data) vergeleken met 0.85 voor cVAE en 0.88 voor cGAN.
• Precisie-Recall Trade-off: De hoge recall van het diffusiemodel ging gepaard met een reductie in de minority precision (toename van valse alarmen). De auteurs merken op dat dit een bewuste en acceptabele trade-off is in veiligheidskritische PdM-contexten waar het missen van een defect veel kostbaarder is dan een vals alarm.
• Per-Class Analyse: Diffusie-augmentatie verbeterde de recall voor alle foutmodi, inclusief de moeilijkste (TWF), waar de recall toenam van 0.06 naar 0.21.
• Computationele Kosten: Het diffusiemodel was computationeel efficiënt en vereiste minder trainingstijd dan de cGAN en was vergelijkbaar met de cVAE op een enkele CPU-core.

Betekenis en Claims
Het artikel claimt dat conditionele diffusiemodellen een concurrerend en reproduceerbaar instrument zijn voor het mitigeren van klasse-imbalans in voorspellend onderhoud, met name wanneer de operationele prioriteit ligt bij het maximaliseren van de detectie van zeldzame defecten. De auteurs stellen dat de meest nuttige augmentatie niet degene is die de trainingsdata het meest getrouw kopieert (zoals SMOTE), maar degene die informatieve, plausibele diversiteit toevoegt aan de minderheidsmanifold.

De studie concludeert dat diffusie-augmentatie de trainingsdistributie zelf verbetert in plaats van de eigenaardigheden van een specifieke classifier uit te buiten, zoals blijkt uit de consistente winst over twee verschillende modelfamilies. Hoewel de dataset synthetisch is en de studie beperkt is tot tabulaire data, stellen de auteurs dat de aanpak een praktische standaard biedt voor nieuwe assets, mits de augmentatie-doelstelling wordt afgestemd om de kosten van gemiste defecten af te wegen tegen de kosten van valse alarmen. Toekomstig werk wordt geïdentificeerd als het uitbreiden van deze aanpak naar tijdreeksgegevens en real-world veldgegevens.