Neural Network Implementation of the Renormalization Group for Fault Diagnosis with Class Imbalance

Technische Samenvatting: Neurale Netwerkimplementatie van de Renormalisatiegroep voor Foutdiagnose met Klasse-imbalans

Probleemstelling
Het artikel behandelt twee primaire uitdagingen in voorspellend onderhoud (Predictive Maintenance, PdM) met behulp van machine learning:

1. Ernstige Klasse-imbalans: In industriële datasets beslaan foutgevallen vaak minder dan 5% van de totale data. Standaardalgoritmen die optimaliseren voor algemene nauwkeurigheid hebben de neiging om de zeldzame foutklasse te negeren, wat leidt tot catastrofale missers in de detectie van defecten.
2. Multischalige Ruis en Datacomplexiteit: Foutsignalen manifesteren zich vaak gelijktijdig op verschillende schalen. Het analyseren van data op een enkele schaal kan deze signalen onderdrukken tegen de achtergrondruis. Bovorm bovendien beperkt de schaarste aan gelabelde zeldzame foutdata de inzetbaarheid van complexe modellen.

Ho'ewel ensemblemethoden (bijv. XGBoost, LightGBM) en resamplingtechnieken veelgebruikt worden, is er een kloof in het toepassen van expliciete gecascadeerde coarse-graining architecturen op tabulaire engineeringdata. Daarnaast bieden bestaande explainable AI-methoden vaak verklaringen voor individuele voorspellingen zonder een globale verstandhouding van de datastructuur over verschillende schalen te bieden.

Methodologie: RGNet Architectuur
De auteurs stellen RGNet voor, een neurale netwerkarchitectuur die geworteld is in het concept van de Renormalisatiegroep (RG) uit de wiskundige fysica. De kernfilosofie is dat het gedrag van een complex systeem afhangt van de observatieschaal, en dat essentiële collectieve eigenschappen kunnen worden geëxtraheerd door variabelen sequentieel te "coarse-grainen" (grover te maken).

• Hiërarchische Coarse-Graining: RGNet implementeert een reeks RG-blokken waarbij groepen variabelen op fijne schaal worden vervangen door effectieve variabelen op grove schaal. In tegen tegenstelling tot PCA, dat de variantie maximaliseert, zijn de RG-lagen getraind om informatie te behouden die cruciaal is voor de specifieke classificatietaak.
• Schaal-Concatenatie: Om het verlies van fijnmazige details (die vroege indicatoren van defecten kunnen bevatten) te voorkomen, concateneert RGNet de outputs van alle schalen (van de ruwe input tot de meest grove representatie) vóór de uiteindelijke classificatielaag. Dit bootst de "skip connections" na die worden gevonden in architecturen zoals U-Net.
• RG-Flows: De tussenliggende outputs van de RG-blokken worden "RG-flows" genoemd. Deze dienen als interpreteerbare, laag-dimensionale representaties van de data op specifieke schalen.
• Training en Regularisatie: Het model maakt gebruik van Batch Normalization en Dropout om representatieve instorting te voorkomen en generalisatie te verbeteren. Het wordt getraind met de Adam-optimizer met een gewogen binaire cross-entropy loss om klasse-imbalans aan te pakken.
• Theoretische Fundering: Het artikel biedt een Lemma dat bewijst dat als RG-lagen lidmaatschap van een klasse behouden (door normale en defecte staten naar disjuncte compacte attractoren te mappen op elke schaal), de klassen onderscheidbaar blijven, zelfs na sterke compressie. De architectuur waarborgt ruisbestendigheid en behoudt de klasse-scheidbaarheid met diepte.

Belangrijkste Bijdragen

1. RGNet Architectuur: Een nieuwe neurale netwerkimplementatie van de renormalisatiegroep, specifiek ontworpen voor tabulaire data, die expliciet hiërarchische coarse-graining modelleert.
2. Schaal-Concatenatie Strategie: De demonstratie dat gecascadeerde compressie in combinatie met de concatenatie van alle schalen een hoge sensitiviteit voor zeldzame fouten oplevert door zowel lokale anomalieën als globale patronen te vangen.
3. RG-Flows en Interpreteerbaarheid: De introductie van "RG-flows" als visualisatietool. Het artikel laat zien dat het visualiseren van deze flows via t-SNE een discrete curvilineaire structuur onthult, wat een brug slaat tussen de "black box" van neurale netwerken en het fysieke begrip van het proces.

Experimentele Resultaten
De studie evalueert RGNet op twee datasets:

1. Synthetische Gebalanceerde Dataset:

   • RGNet bereikte een nauwkeurigheid van 0,98, waarmee het XGBoost (0,92), LightGBM (0,90), Random Forest (0,89) en een standaard MLP (0,96) overtrof. Dit valideert het vermogen van de architectuur op gebalanceerde data.

2. AI4I2020 Industriële Dataset (Imbalanced):

   • Dataset: 10.000 records met een foutpercentage van 3,4%.
   • High Recall Configuratie (Drempelwaarde 0,5): RGNet bereikte een Recall van 0,9265, wat XGBoost (0,750) en LightGBM (0,764) significant overtreft. Dit duidt op een superieur vermogen om zeldzame fouten te detecteren, hoewel dit ten koste gaat van een lagere precisie (0,2582) en PR-AUC (0,670) vergeleken met gradient boosting methoden.
   • Gebalanceerde Configuratie (Drempelwaarde 0,92): Door de beslissingsdrempel te kalibreren, bereikte het model een gebalanceerde afweging met een Recall van 0,588, Precisie van 0,678 en een F1-score van 0,630.
   • RG-Flow Visualisatie: t-SNE projecties van de meest grove RG-flows toonden aan dat normale staten zich langs een gladde "snelweg" (curvilineaire structuur) bewegen, terwijl fouten ofwel samensmelten met deze snelweg (waardoor fijnere schalen nodig zijn voor detectie) of geïsoleerde clusters vormen. Deze structuur werd niet waargenomen in standaard MLP-outputs of ruwe feature-projecties.

Betekenis en Claims
Het artikel beweert dat RGNet een universele, interpreteerbare en concurrerende oplossing is voor foutvoorspelling in imbalanced scenario's.

• Prestaties: Het demonstreert dat expliciete coarse-graining een hogere sensitiviteit voor zeldzame fouten kan opleveren dan traditionele ensemblemethoden, vooral wanneer de prioriteit ligt bij het minimaliseren van gemiste detecties (hoge recall).
• Interpreteerbaarheid: De RG-flow visualisatie biedt ingenieurs een globaal overzicht van de datastructuur. Het maakt het mogelijk om drempelregels te formuleren op basis van de positie van datapunten in de RG-flow ruimte (bijv. het betreden van een geïsoleerd cluster signaleert een hoog risico), een capaciteit die klassieke black-box modellen niet bieden.
• Theoretische Geldigheid: Het werk stelt vast dat het concept van de renormalisatiegroep succesvol kan worden vertaald naar een trainbare neurale netwerkarchitectuur die klasse-scheidbaarheid behoudt onder compressie.

De auteurs concluderen dat hoewel de methode veelbelovend is, toekomstig werk zich moet richten op de automatische selectie van RG-laag dimensies en de integratie van RGNet in real-time systemen met online leren.