FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

Résumé Technique : FusionNet Lite pour la maintenance prédictive sous hétérogénéité de labels et généralisation temporelle

Énoncé du problème
L'apprentissage fédéré (Federated Learning - FL) offre une voie vers la maintenance prédictive (PdM) collaborative en entraînant des modèles sur des données industrielles distribuées sans partager les observations brutes. Cependant, les approches existantes font face à des défis importants : les données des clients sont souvent non indépendantes et non identiquement distribuées (non-IID), particulièrement en ce qui concerne l'hétérogénéité des labels ; les dépendances temporelles et les événements de défaillance rares compliquent l'évaluation ; et la nécessité d'une efficacité computationnelle sur les appareils de bord (edge devices) entre en conflit avec l'exigence d'une haute précision prédictive et d'une explicabilité. Il existe une lacune critique pour déterminer si un modèle de deep learning compact peut maintenir une détection de défaillance utile et une attribution de caractéristiques cohérente sous ces conditions fédérées contraintes.

Méthodologie
L'étude évalue FusionNet Lite, un classificateur compact d'axes de caractéristiques ne possédant que 1 420 paramètres entraînables, contre quatre bases de référence légères : le réseau de neurones convolutionnel (CNN), le LSTM bidirectionnel (BiLSTM), le perceptron multicouche (MLP) et le CNN-LSTM.

• Architecture : FusionNet Lite traite les observations individuelles (forme $F \times 1$) en utilisant des convolutions séparables, un mélange de caractéristiques de type ConvMixer, des connexions résiduelles et un repondération de canaux par Squeeze-and-Excitation (SE). Il est conçu pour opérer sur une observation unique plutôt que sur une séquence temporelle, bien que des découpages chronologiques soient utilisés pour l'évaluation.
• Jeux de données : Deux jeux de données ont été utilisés avec des stratégies de partitionnement distinctes :
  • AI4I 2020 : Un jeu de données synthétique avec des découpages aléatoires stratifiés (65/15/20).
  • MetroPT3 : Un enregistrement réel de compresseur avec un découpage chronologique par lignes fixes (55/20/25) pour simuler la généralisation temporelle.
• Design expérimental :
  • Modes d'entraînement : Les modèles ont été entraînés sous des configurations centralisées et sous une simulation de moyenne fédérée synchrone (FedAvg) avec trois clients.
  • Hétérogénéité des labels : Les partitions de clients ont été générées à l'aide d'une distribution de Dirichlet ($\alpha=0,5$) pour créer des conditions non-IID contrôlées sur les labels.
  • Évaluation : L'étude a employé dix graines aléatoires (seeds) appariées pour les comparaisons de base. Les points de contrôle (checkpoints) ont été sélectionnés selon l'AUROC de validation. La performance a été mesurée via l'AUROC, l'AUPRC et les scores F2 (avec une sélection de seuil sur grille étendue pour traiter le déséquilibre des classes).
  • Explicabilité : Des gradients intégrés (Integrated Gradients - IG) spécifiques aux classes ont été calculés pour comparer l'accord d'attribution entre les modèles centralisés et fédérés.
  • Efficacité : Un indice d'efficacité énergétique (EEI), défini comme le produit du nombre de paramètres et de la latence d'inférence par lot mesurée, a été utilisé comme proxy du coût computationnel.

Contributions clés

1. Architecture compacte : Introduction et évaluation d'une architecture de 1 420 paramètres combinant des opérations établies (conv séparable, SE, résidus) dans une empreinte minimale adaptée à l'échange fédéré.
2. Benchmark contrôlé : Une comparaison rigoureuse entre cinq architectures et deux jeux de données utilisant dix graines appariées, des points de contrôle sélectionnés par validation et des politiques de seuil spécifiques (optimisation F1 vs F2) pour isoler les effets architecturaux des artefacts de réglage.
3. Analyse de sensibilité : Examen systématique des composants architecturaux (ablations), de l'ordre des caractéristiques, du nombre de clients (3 vs 10), de la concentration des labels ($\alpha$), des taux de participation et des taux d'apprentissage.
4. Accord d'attribution : Une évaluation quantitative de l'accord central-fédéré utilisant les corrélations d'IG par classe, l'accord de signe et le chevauchement de Jaccard, distinguant la qualité de la détection de la cohérence explicative.

Résultats

• Performance prédictive :
  • Sur AI4I, FusionNet Lite a obtenu des résultats compétitifs sous FedAvg (AUROC $0,8289 \pm 0,0621$, F2 $0,3508 \pm 0,0908$), bien qu'il n'ait pas montré de supériorité statistiquement significative par rapport au MLP sur tous les indicateurs après ajustement de multiplicité.
  • Sur MetroPT3, FusionNet Lite a atteint une discrimination de rang élevée (AUROC $0,9351 \pm 0,0462$ sous FedAvg) mais a présenté une détection des défaillances rares plus faible et plus variable (AUPRC $0,2197 \pm 0,1971$, F2 $0,1566 \pm 0,2044$) par rapport aux bases de référence BiLSTM et CNN-LSTM.
  • Sensibilité au seuil : Le passage d'une sélection F1 sur grille originale à une sélection F2 sur grille étendue a considérablement amélioré la F2 moyenne de test sur MetroPT3 (de $0,0423$à$0,1566$), bien que la variabilité soit restée élevée.
• Efficacité : FusionNet Lite possédait le plus petit nombre de paramètres et le plus bas EEI par lot fixe (indice paramètre-latence) parmi les cinq architectures sur les deux jeux de données, confirmant son efficacité comme proxy pour un déploiement à ressources contraintes.
• Attribution : L'accord d'attribution central-fédéré variait selon le modèle et le jeu de données. Sur MetroPT3, FusionNet Lite a montré un accord d'IG plus faible et plus variable (corrélation de Spearman $\approx 0,24-0,27$) par rapport au MLP, malgré la performance prédictive plus faible de ce dernier. Cela indique qu'un accord explicatif élevé ne corrèle pas nécessairement avec une qualité de détection supérieure.
• Sensibilité : Les classements de performance étaient sensibles à l'ordre des caractéristiques, à l'allocation des clients et aux taux d'apprentissage. Le retrait de composants spécifiques (ex: attention SE ou résidus de tige) a donné des résultats mitigés, améliorant parfois la performance sur un jeu de données tout en la dégradant sur l'autre.

Signification et affirmations
L'article affirme établir un compromis performance-complexité conditionnel. Il démontre qu'un modèle nettement plus petit (FusionNet Lite) peut fournir une performance prédictive utile et le plus bas proxy de coût computationnel (EEI) sous des conditions fédérées contrôlées. Cependant, les auteurs précisent explicitement que :

• La compacité seule ne garantit pas une détection de défaillance supérieure ou des explications cohérentes.
• Un AUROC élevé n'équivaut pas à une détection fiable des défaillances rares dans des contextes déséquilibrés et temporels.
• L'accord explicatif (IG) n'est pas un substitut direct de l'utilité prédictive.
• Les conclusions sont limitées par les conditions spécifiques du benchmark (données synthétiques et données réelles à enregistrement unique, FedAvg synchrone, graines fixes).

L'étude conclut que bien que FusionNet Lite offre une option efficace et viable pour la PdM fédérée, son déploiement nécessite une attention particulière aux points de fonctionnement (seuils), à l'hétérogénéité des données et à la distinction entre la discrimination de rang et la détection réelle de défaillances. Les auteurs ne prétendent pas que le modèle est universellement supérieur ou prêt pour un déploiement industriel immédiat sans validation indépendante supplémentaire sur des équipements et des épisodes de défaillance divers.