🤖 machine learning

Evaluating deep learning models for fault diagnosis of a rotating machinery with epistemic and aleatoric uncertainty

Questo articolo presenta il primo studio comparativo completo di modelli di deep learning consapevole dell'incertezza per la diagnosi dei guasti di macchine rotanti, dimostrando che le architetture di deep ensemble superano altri metodi allo stato dell'arte nel rilevare sia le incertezze epistemiche che quelle aleatorie, offrendo al contempo tempi di inferenza più brevi.

Autori originali: Reza Jalayer, Masoud Jalayer, Andrea Mor, Carlotta Orsenigo, Carlo Vercellis

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Reza Jalayer, Masoud Jalayer, Andrea Mor, Carlotta Orsenigo, Carlo Vercellis

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un meccanico che cerca di diagnosticare un problema in un enorme motore industriale rotante. Hai un programma per computer (un "Modello di Deep Learning") che è stato addestrato su migliaia di registrazioni di questo motore che funziona perfettamente, oltre a registrazioni con tre problemi specifici e noti (come una sfera danneggiata o una pista interna crepata).

Il problema è: Cosa succede quando il motore emette un suono che il computer non ha mai sentito prima? O, cosa succede se il microfono che registra il suono è molto disturbato dal fruscio?

Questo articolo è come un enorme "stress test" per diversi tipi di programmi per computer, per vedere quale sia il migliore nel dire: "Ehi, non so cos'a questo, o i dati sono troppo sporchi per fidarsi!" invece di indovinare con sicurezza la risposta sbagliata.

Ecco la suddivisione dello studio utilizzando analogie semplici:

1. I due tipi di "Confusione"

I ricercatori hanno testato i computer contro due diversi tipi di confusione:

Incertezza Epistemica (Il "Punto Cieco"): Immagina che il computer sia stato addestrato solo su cani e gatti. Se gli mostri la foto di un criceto, non sa che si tratta di un criceto. Potrebbe indovinare "cane" o "gatto" con sicurezza, ma sbaglia. In fabbrica, questo accade quando appare un nuovo tipo di guasto che il computer non ha mai visto. Il computer manca della conoscenza per identificarlo.
Incertezza Aleatoria (Il "Fruscio"): Immagina che il computer stia cercando di ascoltare una canzone, ma qualcuno stia urlando accanto al microfono. I dati ci sono, ma il segnale è sporco. Il computer potrebbe confondersi perché il segnale è degradato. In fabbrica, questo è causato da interferenze elettriche o un sensore instabile.

2. I Concorrenti: Tre diversi "Detective"

L'articolo ha confrontato tre diversi modi di costruire questi programmi per computer per vedere quale detective sia il migliore nel individuare gli "sconosciuti" o il "rumore":

Il "Giocatore d'azzardo" (ConvLSTM-D): Questo modello cerca di indovinare la risposta, ma ogni volta che fa una previsione, dimentica casualmente alcuni fatti (come uno studente che chiude gli occhi e tira a indovinare). Lo fa 10 volte. Se ottiene 10 risposte diverse, sa di essere confuso.
Il "Probabilista" (Rete Neurale Bayesiana): Questo modello non ha solo un insieme di fatti, ma ha un'intera biblioteca di versioni possibili di se stesso. Chiede a tutte di dare un parere. Se i membri della biblioteca non sono d'accordo, sa di essere incerto.
Il "Consiglio" (Deep Ensemble): Questo è il protagonista. Invece di un solo detective, ne assume un team di quattro diversi. Tutti guardano lo stesso problema in modo indipendente. Se il team è d'accordo, è una scommessa sicura. Se iniziano tutti a discutere, il sistema capisce: "Aspetta, qualcosa di strano sta succedendo qui".

3. Le Regole del Gioco

Per testarli, i ricercatori hanno creato due scenari:

Il Test del "Guasto Sconosciuto": Hanno addestrato i computer su 5 tipi di problemi del motore, poi li hanno testati segretamente su un 6° tipo (che non avevano mai visto prima).
Il Test del "Rumore": Hanno preso registrazioni pulite e aggiunto diversi tipi di disturbo (come il fruscio di una radio, lo scoppiettio di una scintilla o rumore casuale) per vedere se i computer potevano ancora distinguere tra un motore sano e uno rotto.

Hanno anche testato due diversi "allarmi" (soglie) per decidere quando alzare la bandiera rossa:

Il "Pulsante di Panico" (Soglia 1): Questo è un allarme molto sensibile. Grida "PERICOLO" al minimo accenno di confusione. Cattura quasi tutte le cose brutte, ma grida anche per molti motori sani (falsi allarmi).
Il "Giudice Equilibrato" (Soglia 2): Questo è un nuovo metodo inventato dagli autori. Cerca di trovare il perfetto punto di equilibrio dove cattura le cose brutte senza urlare troppo per quelle buone.

4. I Risultati: Chi ha vinto?

Di fronte a "Guasti Sconosciuti" (Epistemica): Il Deep Ensemble (Il Consiglio) è stato il vincitore assoluto. È stato il migliore nel dire: "Non lo so questo", senza indovinare la risposta sbagliata. Gli altri due modelli spesso hanno indovinato il guasto sbagliato con troppa sicurezza.
Di fronte al "Rumore" (Aleatoria): Anche in questo caso, il Deep Ensemble è stato il vincitore. Interessantemente, più il rumore era presente, più era facile per i computer capire che qualcosa non andava (perché il rumore rendeva i dati molto strani). Tuttavia, quando il rumore era molto basso (solo un po' di fruscio), era molto difficile per qualsiasi modello distinguere la differenza. Anche in quel caso, il Deep Ensemble ha gestito la situazione meglio degli altri.
Velocità: Il Deep Ensemble ha richiesto più tempo per l'addestramento (imparare le basi) perché doveva insegnare a quattro detective invece che a uno. Tuttavia, una volta addestrati, erano in realtà più veloci nel fare una diagnosi rispetto agli altri modelli. Perché? Perché gli altri modelli dovevano eseguire il loro "gioco delle ipotesi" 10 volte per ogni singolo controllo, mentre il Deep Ensemble chiedeva ai suoi quattro membri una sola volta.

5. La Conclusione

Se stai costruendo un sistema per monitorare macchine nel mondo reale, l'articolo suggerisce di utilizzare l'approccio Deep Ensemble.

È il più affidabile nel individuare nuovi problemi sconosciuti.
È il più robusto quando i sensori sono rumorosi.
È più veloce da eseguire una volta configurato.

Gli autori suggeriscono anche che se ti trovi in una situazione super-critica (come una centrale nucleare), dovresti usare l'allarme "Pulsante di Panico" (Soglia 1) per catturare tutto, anche se ciò comporta alcuni falsi allarmi. Se ti trovi in una situazione meno critica, usa il "Giudice Equilibrato" (Soglia 2) per risparmiare tempo ed energie.

In breve: Quando hai bisogno che una macchina ti dica quando è malata, o quando è confusa da una nuova malattia, o quando il microfono è rotto, assumere un team di esperti diversi (Deep Ensemble) funziona meglio che fare affidamento su un singolo esperto che prova a indovinare o su un singolo esperto che è incerto sui propri fatti.

Sintesi Tecnica: Valutazione di Modelli di Deep Learning per la Diagnosi dei Guasti con Incertezza Epistemica e Aleatoria

Definizione del Problema
I macchinari rotanti, come motori e turbine, sono critici per le operazioni industriali ma sono soggetti a guasti che possono causare significative perdite finanziarie e rischi per la sicurezza. Sebbene il Deep Learning (DL) abbia migliorato la diagnosi dei guasti estraendo automaticamente le caratteristiche, la maggior parte dei metodi esistenti opera sotto l'assunto che i dati di addestramento e quelli di previsione futura condividano la stessa distribuzione. Nella pratica, questo assunto è spesso violato da dati Out-of-Distribution (OOD). I dati OOD derivano da due fonti primarie di incertezza:

Incertezza Epistemica (Incertezza della Conoscenza): Causata dalla mancanza di conoscenza, come l'incontro con tipi di guasto non presenti nel set di addestramento.
Incertezza Aleatoria (Incertezza dei Dati): Causata dalla variabilità intrinseca dei dati, come il rumore dei sensori (Gaussiano o non Gaussiano) o errori di misurazione.

Gli attuali modelli di DL spesso non riescono a quantificare questa incertezza, portando a previsioni inaffidabili in cui il modello può classificare erroneamente, con eccessiva fiducia, guasti sconosciuti o dati rumorosi. È necessaria una comparazione esaustiva di architetture DL sensibili all'incertezza per determinare quali metodi distinguono efficacemente tra dati in-distribution (ID) e OOD in condizioni variabili.

Metodologia
Gli autori hanno condotto uno studio comparativo utilizzando il dataset dei cuscinetti della Case Western Reserve University (CWRU). Lo studio ha valutato tre architetture DL all'avanguardia sensibili all'incertezza:

ConvLSTM-D: Una ConvLSTM con dropout di Bernoulli, che utilizza il Monte Carlo (MC) dropout durante l'inferenza per generare distribuzioni di previsione.
Rete Neurale Bayesiana (BNN): Una rete in cui i pesi sono trattati come variabili casuali che seguono una distribuzione Gaussiana, generando distribuzioni di esito attraverso molteplici campionamenti dei pesi.
Deep Ensemble: Sono state testate due configurazioni:
- De1: Quattro apprendisti base identici addestrati in parallelo.
- De2: Quattro apprendisti base con architetture miste (due identici a De1, due che combinano Conv+Pool con LSTM).

Disegno Sperimentale:

Scenari Epistemici: Creati tramite una strategia di hold-out in cui una classe di guasto è stata esclusa dall'addestramento e utilizzata come dato OOD durante la validazione/test. Sono stati generati sei scenari, uno per ogni classe.
Scenari Aleatori: Creati iniettando rumore nei dati. Sono stati testati quattro tipi di rumore: Gaussiano, Impulsivo, Rayleigh e Weibull. Questi sono stati applicati a tre livelli di intensità (Rapporti Segnale-Rumore di -5 dB, 0 dB e 5 dB).
Quantificazione dell'Incertezza: L'entropia è stata utilizzata come metrica per l'incertezza. Due soglie sono state applicate per distinguere i dati ID dai dati OOD:
- $\tau_1$ (Rilevamento Outlier dell'Incertezza): Basata sull'Interquartile Range (IQR) dei valori di entropia dai dati di validazione ID.
- $\tau_2$ (F1 Score dell'Incertezza): Una soglia innovativa proposta in questo articolo, ottimizzata per massimizzare l'F1-score sul set di validazione bilanciando i Veri Positivi (OOD rilevati) e i Veri Negativi (ID correttamente identificati).

Risultati Chiave

Incertezza Epistemica: Tutti i modelli sono stati in grado di rilevare una parte dei dati OOD, ma i modelli Deep Ensemble (De1 e De2) hanno dimostrato prestazioni superiori. De2, in particolare, ha mostrato una capacità eccezionale di rilevare i dati OOD indipendentemente dalla soglia utilizzata. ConvLSTM-D e BNN hanno mostrato limitazioni notevoli, specialmente in scenari specifici (es. esclusione della Classe 0 o della Classe 2).
- Compromesso della Soglia: L'uso di $\tau_1$ ha portato a tassi più elevati di rilevamento OOD ma anche a un numero maggiore di falsi positivi (classificazione errata di dati ID come inaffidabili). $\tau_2$ ha offerto un equilibrio più pragmatico, riducendo la necessità di una vasta ri-valutazione umana dei dati ID classificati erroneamente.
Incertezza Aleatoria: Il livello di rumore ha impattato significativamente le prestazioni.
- Rumore Elevato (Forte): Il rilevamento OOD è migliorato significativamente in tutti i modelli poiché il rumore ha amplificato l'entropia di previsione. I Deep Ensemble hanno mantenuto la superiorità, rilevando l'80–100% dei dati OOD.
- Rumore Basso (Lieve): Le prestazioni sono declinate bruscamente per tutti i modelli poiché le distribuzioni di entropia di ID e OOD si sono sovrapposte. Tuttavia, i Deep Ensemble hanno comunque superato ConvLSTM-D e BNN, mostrando un degrado delle prestazioni meno marcato.
- Tipo di Rumore: I rumori Weibull e Rayleigh sono stati generalmente più rilevabili dai Deep Ensemble in condizioni di rumore forte.
Efficienza Computazionale:
- Addestramento: I Deep Ensemble (De1/De2) hanno richiesto più tempo di addestramento a causa dell'addestramento in parallelo di molteplici apprendisti base.
- Inferenza: I Deep Ensemble sono stati significativamente più veloci (circa 3x) durante la fase di predizione rispetto a ConvLSTM-D e BNN, che richiedono $K=10$ passaggi forward ripetuti per il campionamento MC.

Significatività e Contributi
L'articolo sostiene di essere il primo studio comparativo esaustivo di architetture DL sensibili all'incertezza specificamente per la diagnosi dei guasti di macchine rotanti, affrontando sia l'incertezza epistemica che diverse forme di incertezza aleatoria (incluso il rumore non Gaussiano).

I contributi chiave includono:

Guida Empirica: Lo studio identifica le architetture Deep Ensemble (specificamente De2) come la scelta preferibile per l'implementazione nel mondo reale. Esse offrono un equilibrio superiore tra alta accuratezza di rilevamento OOD, robustezza contro livelli di rumore variabili e tempi di inferenza più rapidi.
Sogliatura Innovativa: L'introduzione della soglia $\tau_2$ (basata su F1-score) fornisce un'alternativa pratica al metodo standard di rilevamento degli outlier ( $\tau_1$ ), aiutando i professionisti a minimizzare i falsi positivi e ridurre il costo dell'intervento umano nel post-processing.
Allineamento con il Mondo Reale: Testando tipi di rumore non Gaussiani (Impulsivo, Rayleigh, Weibull) insieme al rumore Gaussiano, lo studio colma il divario tra l'analisi teorica dell'incertezza e gli ambienti di rumore complessi presenti nei reali dati dei sensori industriali.

Conclusione
Gli autori concludono che, sebbene il DL sensibile all'incertezza sia essenziale per una diagnosi affidabile dei guasti, la scelta dell'architettura e della soglia è critica. I Deep Ensemble sono raccomandati per la loro robustezza ed efficienza. La selezione della soglia di entropia deve dipendere dalla criticità dell'applicazione: una soglia conservativa ( $\tau_1$ ) per ambienti ad alto rischio dove mancare dati OOD è inaccettabile, e una soglia bilanciata ( $\tau_2$ ) per scenari in cui si dà priorità alla minimizzazione dei falsi allarmi. Il lavoro futuro suggerisce di estendere questi risultati ad altri dataset (es. Paderborn University) e di investigare approcci di apprendimento attivo che coinvolgano esperti del dominio.