Neural Network Implementation of the Renormalization Group for Fault Diagnosis with Class Imbalance

Sintesi Tecnica: Implementazione di Reti Neurali del Gruppo di Rinormalizzazione per la Diagnosi dei Guasti con Sbilanciamento delle Classi

Enunciato del Problema
Il documento affronta due sfide primarie nella manutenzione predittiva (PdM) mediante l'apprendimento automatico:

1. Sbilanciamento Severo delle Classi: Nei dataset industriali, gli esempi di guasto costituiscono spesso meno del 5% del totale dei dati. Gli algoritmi standard che ottimizzano l'accuratezza complessiva tendono a ignorare la rara classe di guasto, portando a mancate rilevazioni catastrofiche nella diagnosi dei guasti.
2. Rumore Multiscala e Complessità dei Dati: I segnali di guasto si manifestano spesso simultaneamente su varie scale. L'analisi dei dati a una singola scala può sopprimere questi segnali rispetto al rumore di fondo. Inoltre, la scarsità di dati etichettati relativi ai rari guasti limita l'impiego di modelli complessi.

Sebbene i metodi d'insieme (es. XGBoost, LightGBM) e le tecniche di ricampionamento siano comunemente utilizzati, esiste una lacuna nell'applicazione di architetture esplicite di grossolano raggruppamento (coarse-graining) a cascata per i dati ingegneristici tabulari. Inoltre, i metodi esistenti di intelligenza artificiale spiegabile spesso spiegano le singole predizioni senza offrire una comprensione globale della struttura dei dati attraverso diverse scale.

Metodologia: Architettura RGNet
Gli autori propongono RGNet, un'architettura di rete neurale basata sul concetto di Gruppo di Rinormalizzazione (RG) della fisica matematica. La filosofia centrale è che il comportamento di un sistema complesso dipende dalla scala di osservazione, e le proprietà collettive essenziali possono essere estratte tramite un progressivo "grossolano raggruppamento" (coarse-graining) delle variabili.

• Grossolano Raggruppamento Gerarchico: RGNet implementa una serie di blocchi RG in cui gruppi di variabili a scala fine vengono sostituiti da variabili efficaci a scala più grossolana. A differenza della PCA, che massimizza la varianza, gli strati RG sono addestrati per preservare le informazioni critiche per il compito di classificazione target.
• Concatenazione delle Scale: Per evitare la perdita di dettagli a scala fine (che possono contenere indicatori precoci di guasto), RGNet concatena gli output di tutte le scale (dall'input grezzo alla rappresentazione più grossolana) prima dello strato di classificazione finale. Ciò imita le "connessioni skip" presenti in architetture come U-Net.
• RG-Flows: Gli output intermedi dei blocchi RG sono definiti "RG-flows". Essi fungono da rappresentazioni interpretabili e a bassa dimensionalità dei dati a scale specifiche.
• Addestramento e Regolarizzazione: Il modello utilizza la Batch Normalization e il Dropout per prevenire il collasso rappresentazionale e migliorare la generalizzazione. Viene addestrato con l'ottimizzatore Adam e una funzione di perdita weighted binary cross-entropy per gestire lo sbilanciamento delle classi.
• Fondamento Teorico: Il documento fornisce un Lemma che dimostra come, se gli strati RG preservano l'appartenenza alla classe (mappando stati normali e di guasto verso attrattori compatti disgiunti ad ogni scala), le classi rimangano distinguibili anche dopo una forte compressione. L'architettura garantisce la robustezza al rumore e preserva la separabilità delle classi con la profondità.

Contributi Chiave

1. Architettura RGNet: Un'innovativa implementazione di rete neurale del gruppo di rinormalizzazione progettata specificamente per dati tabulari, che modella esplicitamente il grossolano raggruppamento gerarchico.
2. Strategia di Concatenazione delle Scale: Dimostrazione che il grossolano raggruppamento a cascata combinato con la concatenazione di tutte le scale produce un'alta sensibilità ai guasti rari, catturando sia le anomalie locali che i pattern globali.
3. RG-Flows e Interpretabilità: Introduzione degli "RG-flows" come strumento di visualizzazione. Il documento mostra che la visualizzazione di questi flussi tramite t-SNE rivela una struttura curvilinea discreta, offrendo un ponte tra la "scatola nera" delle reti neurali e la comprensione fisica del processo.

Risultati Sperimentali
Lo studio valuta RGNet su due dataset:

1. Dataset Sintetico Bilanciato:

   • RGNet ha raggiunto un'accuratezza di 0,98, superando XGBoost (0,92), LightGBM (0,90), Random Forest (0,89) e un MLP standard (0,96). Ciò valida la capacità dell'architettura su dati bilanciati.

2. Dataset Industriale AI4I2020 (Sbilanciato):

   • Dataset: 10.000 record con un tasso di guasto del 3,4%.
   • Configurazione ad Alta Sensibilità (Soglia 0,5): RGNet ha raggiunto un Recall di 0,9265, superando significativamente XGBoost (0,750) e LightGBM (0,764). Ciò indica una capacità superiore di rilevare guasti rari, sebbene a scapito di una precisione inferiore (0,2582) e PR-AUC (0,670) rispetto ai metodi di gradient boosting.
   • Configurazione Bilanciata (Soglia 0,92): Calibrando la soglia decisionale, il modello ha ottenuto un compromesso bilanciato con Recall 0,588, Precision 0,678 e F1-score 0,630.
   • Visualizzazione RG-Flow: Le proiezioni t-SNE degli RG-flow più grossolani hanno mostrato che gli stati normali si allineano lungo un "autostrada" fluida (struttura curvilinea), mentre i guasti o si fondono con questa autostrada (richiedendo scale più fini per la rilevazione) o formano cluster isolati. Questa struttura non è stata osservata negli output di un MLP standard o nelle proiezioni delle feature grezze.

Significatività e Rivendicazioni
Il documento sostiene che RGNet sia una soluzione universale, interpretabile e competitiva per la previsione dei guasti in scenari sbilanciati.

• Performance: Dimostra che il grossolano raggruppamento esplicito può produrre una sensibilità ai guasti rari maggiore rispetto ai tradizionali metodi d'insieme, particolarmente quando la priorità è minimizzare le mancate rilevazioni (alto recall).
• Interpretabilità: La visualizzazione dell'RG-flow fornisce agli ingegneri una visione globale della struttura dei dati. Permette di formulare regole di soglia basate sulla posizione dei punti dati nello spazio dell'RG-flow (ad esempio, l'ingresso in un cluster isolato segnala un alto rischio), una capacità non offerta dai classici modelli black-box.
• Validità Teorica: Il lavoro stabilisce che il concetto di gruppo di rinormalizzazione può essere tradotto con successo in un'architettura di rete neurale addestraibile che mantiene la separabilità delle classi sotto compressione.

Gli autori concludono che, sebbene il metodo sia promettente, il lavoro futuro dovrebbe concentrarsi sulla selezione automatica delle dimensioni degli strati RG e sull'integrazione di RGNet in sistemi in tempo reale con apprendimento online.