Neural Network Implementation of the Renormalization Group for Fault Diagnosis with Class Imbalance

Résumé Technique : Implémentation par Réseau de Neurones du Groupe de Renormalisation pour le Diagnostic de Pannes avec Déséquilibre de Classes

Énoncé du Problème
L'article traite de deux défis primordiaux dans la maintenance prédictive (PdM) utilisant l'apprentissage automatique :

1. Déséquilibre de Classes Sévère : Dans les ensembles de données industrielles, les exemples de défaillances constituent souvent moins de 5 % du total des données. Les algorithmes standards optimisant l'exactitude globale ont tendance à ignorer la classe de panne rare, ce qui entraîne des ratés catastrophiques dans la détection des pannes.
2. Bruit Multi-échelle et Complexité des Données : Les signaux de défaillance se manifestent souvent simultanément à diverses échelles. L'analyse des données à une seule échelle peut supprimer ces signaux face au bruit de fond. De plus, la rareté des données de pannes rares étiquetées limite le déploiement de modèles complexes.

Bien que les méthodes d'ensemble (ex. XGBoost, LightGBM) et les techniques de rééchantillonnage soient couramment utilisées, il existe un fossé dans l'application d'architectures de grossissement progressif (coarse-graining) en cascade explicites aux données d'ingénierie tabulaires. De plus, les méthodes existantes d'IA explicable expliquent souvent des prédictions individuelles sans offrir une compréhension globale de la structure des données à travers différentes échelles.

Méthodologie : Architecture RGNet
Les auteurs proposent RGNet, une architecture de réseau de neurones fondée sur le concept de Groupe de Renormalisation (RG) issu de la physique mathématique. La philosophie centrale est que le comportement d'un système complexe dépend de l'échelle d'observation, et que les propriétés collectives essentielles peuvent être extraites en procédant par « grossissement » séquentiel des variables.

• Grossissement Hiérarchique : RGNet implémente une série de blocs RG où des groupes de variables à échelle fine sont remplacés par des variables effectives à échelle grossière. Contra à la PCA, qui maximise la variance, les couches RG sont entraînées pour préserver l'information critique pour la tâche de classification cible.
• Concaténation d'Échelles : Pour éviter la perte de détails à grain fin (qui peuvent contenir des indicateurs de panne précoces), RGNet concatène les sorties de toutes les échelles (de l'entrée brute à la représentation la plus grossière) avant la couche de classification finale. Cela imite les « connexions de saut » (skip connections) présentes dans des architectures comme U-Net.
• RG-Flows (Fluxs de RG) : Les sorties intermédiaires des blocs RG sont nommées « RG-flows ». Ils servent de représentations interprétables et de faible dimension des données à des échelles spécifiques.
• Entraînement et Régularisation : Le modèle utilise la Normalisation par Lot (Batch Normalization) et le Dropout pour prévenir l'effondrement de la représentation et améliorer la généralisation. Il est entraîné avec l'optimiseur Adam et une perte de cross-entropie binaire pondérée pour gérer le déséquilibre des classes.
• Fondement Théorique : L'article fournit un Lemme prouvant que si les couches RG préservent l'appartenance aux classes (mappant les états normaux et de défaillance vers des attracteurs compacts disjoints à chaque échelle), les classes restent distinguables même après une forte compression. L'architecture garantit la robustesse au bruit et préserve la séparabilité des classes avec la profondeur.

Contributions Clés

1. Architecture RGNet : Une nouvelle implémentation par réseau de neurones du groupe de renormalisation spécifiquement conçue pour les données tabulaires, modélisant explicitement le grossissement hiérarchique.
2. Stratégie de Concaténation d'Échelles : Démonstration que la compression en cascade combinée à la concaténation de toutes les échelles permet d'obtenir une haute sensibilité aux pannes rares en capturant à la fois les anomalies locales et les motifs globaux.
3. RG-Flows et Interprétabilité : Introduction des « RG-flows » comme outil de visualisation. L'article montre que la visualisation de ces flux via t-SNE révèle une structure curviligne discrète, offrant un pont entre la « boîte noire » des réseaux de neurones et la compréhension physique du processus.

Résultats Expérimentaux
L'étude évalue RGNet sur deux ensembles de données :

1. Ensemble de Données Équilibré Synthétique :

   • RGNet a atteint une exactitude de 0,98, surpassant XGBoost (0,92), LightGBM (0,90), Random Forest (0,89) et un MLP standard (0,96). Cela valide la capacité de l'architecture sur des données équilibrées.

2. Jeu de Données Industriel AI4I2020 (Déséquilibré) :

   • Données : 10 000 enregistrements avec un taux de défaillance de 3,4 %.
   • Configuration de Rappel Élevé (Seuil 0,5) : RGNet a atteint un Rappel de 0,9265, surpassant de manière significative XGBoost (0,750) et LightGBM (0,764). Cela indique une capacité supérieure à détecter les pannes rares, bien qu'au prix d'une précision (0,2582) et d'un PR-AUC (0,670) plus faibles par rapport aux méthodes de boosting de gradient.
   • Configuration Équilibrée (Seuil 0,92) : En calibrant le seuil de décision, le modèle a obtenu un compromis équilibré avec un Rappel de 0,588, une Précision de 0,678 et un F1-score de 0,630.
   • Visualisation des RG-Flows : Les projections t-SNE des RG-flows les plus grossiers ont montré que les états normaux s'alignent le long d'une « autoroute » lisse (structure curviligne), tandis que les défaillances soit fusionnent avec cette autoroute (nécessitant des échelles plus fines pour la détection), soit forment des clusters isolés. Cette structure n'a pas été observée dans les sorties MLP standard ou les projections de caractéristiques brutes.

Signification et Revendications
L'article affirme que RGNet est une solution universelle, interprétable et compétitive pour la prédiction de pannes dans des scénarios déséquilibrés.

• Performance : Il démontre qu'un grossissement expliciste peut produire une sensibilité plus élevée aux pannes rares que les méthodes d'ensemble traditionnelles, particulièrement lorsque la priorité est de minimiser les non-détections (rappel élevé).
• Interprétabilité : La visualisation des RG-flows offre aux ingénieurs une vue globale de la structure des données. Elle permet de formuler des règles de seuil basées sur la position des points de données dans l'espace des RG-flows (ex. l'entrée dans un cluster isolé signale un risque élevé), une capacité que n'offrent pas les modèles classiques de type boîte noire.
• Validité Théorique : Ce travail établit que le concept de groupe de renormalisation peut être traduit avec succès en une architecture de réseau de neurones entraînable qui maintient la séparabilité des classes sous compression.

Les auteurs concluent que bien que la méthode soit prometteuse, les travaux futurs devraient se concentrer sur la sélection automatique des dimensions des couches RG et sur l'intégration de RGNet dans des systèmes en temps réel avec apprentissage en ligne.