Evaluating deep learning models for fault diagnosis of a rotating machinery with epistemic and aleatoric uncertainty

Résumé Technique : Évaluation de Modèles de Deep Learning pour le Diagnostic de Défaillances avec Incertitude Épistémique et Aléatoire

Énoncé du Problème
Les machines tournantes, telles que les moteurs et les turbines, sont critiques pour les opérations industrielles mais sujettes à des défaillances qui peuvent causer des pertes financières importantes et des risques pour la sécurité. Bien que le Deep Learning (DL) ait amélioré le diagnostic de défaillances en extrayant automatiquement les caractéristiques, la plupart des méthodes existantes opèrent sous l'hypothèse que les données d'entraînement et de prédiction future partagent la même distribution. En pratique, cette hypothèse est souvent violée par des données hors distribution (Out-of-Distribution ou OOD). Les données OOD proviennent de deux sources principales d'incertitude :

1. Incertitude Épistémique (Incertitude de la Connaissance) : Causée par un manque de connaissances, comme la rencontre de types de défaillances inédits non présents dans l'ensemble d'entraînement.
2. Incertitude Aléatoire (Incertitude des Données) : Causée par la variabilité intrinsèque des données, telle que le bruit des capteurs (gaussien ou non gaussien) ou les erreurs de mesure.

Les modèles de DL actuels échouent souvent à quantifier cette incertitude, menant à des prédictions peu fiables où le modèle peut classer avec une confiance erronée des défaillances inconnues ou des données bruitées. Il est nécessaire de procéder à une comparaison exhaustive des architectures de DL sensibles à l'incertitude afin de déterminer quelles méthodes distinguent efficacement les données de distribution interne (ID) et les données OOD sous diverses conditions.

Méthodologie
Les auteurs ont mené une étude comparative utilisant le jeu de données de roulements de l'Université Case Western Reserve (CWRU). L'étude a évalué trois architectures de DL de pointe sensibles à l'incertitude :

1. ConvLSTM-D : Un ConvLSTM avec un dropout de Bernoulli, utilisant le dropout de Monte Carlo (MC) lors de l'inférence pour générer des distributions de prédiction.
2. Réseau de Neurones Bayésien (BNN) : Un réseau où les poids sont traités comme des variables aléatoires suivant une distribution gaussienne, générant des distributions de résultats via de multiples échantillonnages de poids.
3. Ensemble de Deep Learning (Deep Ensemble) : Deux configurations ont été testées :
   • De1 : Quatre apprenants de base identiques entraînés en parallèle.
   • De2 : Quatre apprenants de base avec des architectures mixtes (deux identiques à De1, deux combinant Conv+Pool avec LSTM).

Conception Expérimentale :

• Scénarios Épistémiques : Créés via une stratégie de maintien (hold-out) où une classe de défaillance a été exclue de l'entraînement et utilisée comme donnée OOD lors de la validation/test. Six scénarios ont été générés, un pour chaque classe.
• Scénarios Aléatoires : Créés par l'injection de bruit dans les données. Quatre types de bruit ont été testés : Gaussien, Impulsionnel, Rayleigh et Weibull. Ceux-ci ont été appliqués à trois niveaux d'intensité (Rapports Signal sur Bruit de -5 dB, 0 dB et 5 dB).
• Quantification de l'Incertitude : L'entropie a été utilisée comme métrique d'incertitude. Deux seuils ont été appliqués pour distinguer les données ID des données OOD :
  • $\tau_1$ (Détection d'Anomalies par l'Incertitude) : Basé sur l'écart interquartile (IQR) des valeurs d'entropie des données de validation ID.
  • $\tau_2$ (Score F1 de l'Incertitude) : Un nouveau seuil proposé dans cet article, optimisé pour maximiser le score F1 sur l'ensemble de validation en équilibrant les Vrais Positifs (OOD détectés) et les Vrais Négatifs (ID correctement identifiés).

Résultats Clés

• Incertitude Épistémique : Tous les modèles ont pu détecter une partie des données OOD, mais les modèles de Deep Ensemble (De1 et De2) ont démontré une performance supérieure. De2, en particulier, a montré une capacité exceptionnelle à détecter les données OOD quel que soit le seuil utilisé. ConvLSTM-D et BNN ont montré des limitations notables, particulièrement dans certains scénarios (ex: exclusion de la Classe 0 ou de la Classe 2).
  • Compromis de Seuil : L'utilisation de $\tau_1$ a entraîné des taux de détection OOD plus élevés mais aussi plus de faux positifs (classant des données ID comme non fiables). $\tau_2$ a offert un équilibre plus pragmatique, réduisant le besoin de réévaluation humaine étendue des données ID mal classées.
• Incertitude Aléatoire : Le niveau de bruit a considérablement impacté la performance.
  • Bruit Élevé (Fort) : La détection OOD s'est améliorée de manière significative pour tous les modèles car le bruit a amplifié l'entropie de prédiction. Les Deep Ensembles ont maintenu leur supériorité, détectant 80 à 100 % des données OOD.
  • Bruit Faible (Léger) : La performance a chuté brutalement pour tous les modèles car les distributions d'entropie ID et OOD se chevauchaient. Cependant, les Deep Ensembles ont tout de même surpassé ConvLSTM-D et BNN, affichant une dégradation de performance plus modérée.
  • Type de Bruit : Les bruits de type Weibull et Rayleigh ont été généralement plus détectables par les Deep Ensembles dans des conditions de bruit fort.
• Efficacité Computationnelle :
  • Entraînement : Les Deep Ensembles (De1/De2) ont nécessité plus de temps d'entraînement en raison de l'entraînement parallèle de plusieurs apprenants de base.
  • Inférence : Les Deep Ensembles étaient nettement plus rapides (environ 3x) lors de la phase de prédiction par rapport à ConvLSTM-D et BNN, qui nécessitent $K=10$ passages avant (forward passes) répétés pour l'échantillonnage MC.

Signification et Contributions
L'article affirme être la première étude comparative complète des architectures de DL sensibles à l'incertitude spécifiquement pour le diagnostic de défaillances de machines tournantes, traitant à la fois l'incertitude épistémique et diverses formes d'incertitude aléatoire (incluant le bruit non gaussien).

Les contributions clés incluent :

1. Orientation Empirique : L'étude identifie les architectures de Deep Ensemble (spécifiquement De2) comme le choix privilégié pour un déploiement en conditions réelles. Ils offrent un équilibre supérieur entre précision de détection OOD, robustesse face aux variations de bruit et temps d'inférence plus rapides.
2. Seuillage Novel : L'introduction du seuil $\tau_2$ (basé sur le score F1) fournit une alternative pratique à la méthode standard de détection d'anomalies ($\tau_1$), aidant les praticiens à minimiser les faux positifs et à réduire le coût de l'intervention humaine lors du post-traitement.
3. Alignement avec le Réel : En testant des bruits non gaussiens (Impulsionnel, Rayleigh, Weibull) aux côtés du bruit gaussien, l'étude comble le fossé entre l'analyse théorique de l'incertitude et les environnements de bruit complexes rencontrés dans les données de capteurs industriels réels.

Conclusion
Les auteurs concluent que bien que le DL sensible à l'incertitude soit essentiel pour un diagnostic de défaillance fiable, le choix de l'architecture et du seuil est critique. Les Deep Ensembles sont recommandés pour leur robustesse et leur efficacité. La sélection du seuil d'entropie doit dépendre de la criticité de l'application : un seuil conservateur ($\tau_1$) pour les environnements à enjeux élevés où manquer des données OOD est inacceptable, et un seuil équilibré ($\tau_2$) pour les scénarios où la minimisation des fausses alertes est prioritaire. Des travaux futurs sont suggérés pour étendre ces résultats à d'autres jeux de données (ex: Université de Paderborn) et pour étudier les approches d'apprentissage actif impliquant des experts du domaine.