Résumé Technique : Sur les Compromis des Modèles Génératifs sur Périphérie dans les Systèmes de Maintenance Prédictive Fédérés

1. Énoncé du Problème

L'article aborde le déploiement de systèmes de Maintenance Prédictive (PdM) au sein d'environnements Internet Industriel des Objets (IIoT). Bien que la Détection d'Anomalies (AD) soit cruciale pour passer de stratégies de maintenance réactives à proactives, les approches centralisées traditionnelles se heurtent à trois obstacles majeurs dans les contextes industriels :

1. Propriété et Confidentialité des Données : Les flux de capteurs contiennent souvent des données opérationnelles sensibles, rendant la centralisation inenvisageable en raison de contraintes de propriété intellectuelle et de conformité (par exemple, le RGPD).
2. Hétérogénéité des Données (Non-IID) : Les actifs industriels fonctionnent dans des conditions diverses (âge, charge, environnement), ce qui génère des données non identiquement et indépendamment distribuées (non-IID). L'agrégation de ces distributions divergentes conduit souvent à un « moyennage de modes », où un modèle global échoue à capturer des dynamiques locales spécifiques.
3. Contraintes de Ressources : Les périphériques de bord et les passerelles disposent d'une bande passante, d'une capacité de calcul et d'une énergie limitées, rendant la transmission fréquente de grands paramètres de modèles génératifs (souvent des millions de paramètres) prohibitif.

Bien que l'Apprentissage Fédéré (FL) offre une solution en permettant un entraînement collaboratif sans échange de données brutes, son application aux modèles génératifs non supervisés (VAE, GAN, Modèles de Diffusion) pour l'AD sur séries temporelles reste sous-explorée. Les méthodes FL existantes supposent souvent des tâches supervisées où la séparation entre l'apprentissage de représentations et la classification est directe ; cette séparation est moins claire dans la modélisation générative non supervisée, où l'architecture entière contribue à la reconstruction et au score d'anomalie.

2. Méthodologie

2.1 Perspective Architecturale Unifiée

Les auteurs proposent un cadre unifié pour analyser trois familles de modèles génératifs : les Autoencodeurs Variationnels (VAE), les Réseaux Antagonistes Génératifs (GAN) et les Modèles Probabilistes de Diffusion Débruiteurs (DDPM). Ils décomposent ces architectures en deux composants fonctionnels :

• Composant d'Analyse ($\phi$) : Mappe les observations de haute dimension vers des représentations latentes ou notées (par exemple, Encodeur VAE, Discriminateur/Critique GAN, Encodeur U-Net DDPM).
• Composant de Synthèse ($\theta$) : Reconstruit ou génère des données à partir des représentations (par exemple, Décodeur VAE, Générateur GAN, Décodeur U-Net DDPM).

2.2 Paradigme de Fédération Partielle

S'appuyant sur cette décomposition, l'article introduit une stratégie de Fédération Partielle. Au lieu de partager tous les paramètres (Fédération Complète) ou d'entraîner en isolation (Apprentissage Indépendant), les paramètres du modèle sont partitionnés :

• Paramètres Partagés ($w_{share}$) : Communiqués entre les clients et le serveur.
• Paramètres Privés ($w_{priv}$) : Conservés localement sur le client.

Cette approche permet des politiques de fédération spécifiques :

• Fédération de l'Encodeur/Discriminateur : Seul le composant d'analyse est partagé.
• Fédération du Décodeur/Générateur : Seul le composant de synthèse est partagé.

Cette stratégie vise à équilibrer la découverte de connaissances globales avec la personnalisation locale, réduisant la surcharge de communication et atténuant l'instabilité (par exemple, l'effondrement de modes) causée par l'agrégation de modèles génératifs hétérogènes.

2.3 Configuration Expérimentale

• Ensembles de Données :
  • ARAMIS : Une référence principale pour la PdM présentant des anomalies persistantes et des processus de dégradation. Utilisé pour des métriques sensibles au temps.
  • SWaT : Un ensemble de données de traitement de l'eau sécurisé utilisé pour la validation inter-domaines des métriques de détection standard.
• Modèles Évalués :
  • LSTM-VAE : Utilise des couches LSTM pour les dépendances temporelles.
  • TAnoWGAN : Une variante GAN de Wasserstein avec pénalités de gradient pour la stabilité.
  • FedSW-TSAD : Une approche de super-réseau fédéré utilisant des contraintes de Sobolev–Wasserstein.
  • TAnoDDPM : Un Modèle de Diffusion basé sur un U-Net 1D.
• Métriques :
  • Standard : F1-score, Précision, Rappel, PR-AUC.
  • Sensibles au Temps (Spécifiques à la PdM) : Délai moyen pour la détection précoce ($\Delta t_{FP}$) et la détection tardive ($\Delta t_{FN}$), et une fonction de coût pénalisant davantage la détection tardive.
• Analyse de Communication : Quantifiée par les paramètres transmis, le volume de trafic (Mo) et la latence par tour.

3. Contributions Clés

1. Revue Structurée et Cadrage du Problème : L'article met en évidence le fossé entre les récentes avancées en AD générative (VAE, GAN, DDPM) et leur étude limitée dans des configurations de PdM fédérée.
2. Perspective Architecturale Unifiée : Il introduit une décomposition commune analyse/synthèse pour les VAE, GAN et DDPM, permettant une comparaison cohérente des stratégies d'entraînement complet, partiel et local à travers des familles de modèles hétérogènes.
3. Cadre Systématique de Fédération Partielle : Les auteurs développent un cadre pour analyser les effets du partitionnement architectural partagé versus privé indépendamment des mécanismes de personnalisation spécifiques à l'optimiseur.
4. Étude Empirique Étendue : Étendant un travail antérieur de conférence, l'article fournit une analyse comparative des approches VAE, GAN et DDPM, les évaluant par rapport aux métriques de PdM sensibles au temps et aux coûts de communication.
5. Analyse Orientée Déploiement : L'étude quantifie la surcharge de communication et déduit des lignes directrices pratiques pour la sélection d'architectures dans les réseaux IoT industriels contraints en ressources.

4. Résultats

4.1 Performance sur ARAMIS (Configuration PdM)

• Centralisé vs Indépendant : L'entraînement local indépendant produit de faibles performances (par exemple, le F1 du LSTM-VAE chute de 0,952 à 0,753), confirmant la nécessité de la collaboration. La Fédération Complète récupère la majeure partie des performances centralisées.
• Robustesse des Modèles :
  • VAE et DDPM : Ces modèles démontrent une robustesse et une stabilité supérieures dans les contextes fédérés par rapport aux GAN.
  • GAN (TAnoWGAN, FedSW-TSAD) : Bien que la Fédération Complète améliore la stabilité des GAN par rapport à l'entraînement indépendant, ils restent moins robustes que les alternatives VAE et DDPM. Les stratégies de fédération partielle dégradent généralement les performances des GAN, probablement en raison de la fragilité de l'équilibre antagoniste lors de la découplage des mises à jour du générateur et du critique.
• Stratégies de Fédération Partielle :
  • VAE : Performe mieux lors du partage de l'Encodeur (Analyse). Cela aligne la cartographie de l'espace latent entre les clients tout en permettant aux décodeurs locaux de se spécialiser dans le bruit spécifique aux capteurs.
  • DDPM : Performe mieux lors du partage du Décodeur (Synthèse). Cela permet à la fédération de s'accorder sur la structure fondamentale de génération de signal tout en gardant l'encodeur (extraction de caractéristiques) local pour la personnalisation. Notamment, la configuration DDPM avec partage du Décodeur a surpassé la Fédération Complète en F1-score (0,885 contre 0,875).
  • GAN : Le partage de l'Encodeur et du Décodeur a tous deux entraîné des F1-scores inférieurs par rapport à la Fédération Complète.

4.2 Analyse Temporelle et des Coûts

• Latence de Détection : TAnoWGAN a présenté les plus grands délais temporels et retards de détection, en particulier dans les configurations de fédération partielle. Le LSTM-VAE a fourni les signaux de détection les plus fiables et rapides.
• Efficacité des Coûts : Le LSTM-VAE et le TAnoDDPM (spécifiquement avec partage du Décodeur) ont maintenu les coûts de désalignement les plus bas, imitant de près les références centralisées.

4.3 Surcharge de Communication

• La fédération partielle a réduit la charge de communication d'environ 50 % par rapport à la Fédération Complète.
• FedSW-TSAD a montré le potentiel de réduction le plus élevé (jusqu'à 90 % dans les configurations Encodeur-seulement) car son composant prédictif reste local dans les configurations partielles, alors qu'il est transmis dans la Fédération Complète.
• Malgré la surcharge, les stratégies de fédération partielle ont considérablement réduit la latence par tour (par exemple, de ~6 s à ~3 s sur un lien de 10 Mbps) tout en maintenant une haute précision de détection.

4.4 Validation Inter-Domaine (SWaT)

Les résultats sur l'ensemble de données SWaT ont confirmé les tendances qualitatives observées sur ARAMIS :

• L'entraînement indépendant a sous-performé par rapport à l'entraînement collaboratif.
• Les VAE ont davantage bénéficié du partage du composant d'analyse.
• Les DDPM ont davantage bénéficié du partage du composant de synthèse.
• Les modèles basés sur les GAN sont restés moins robustes que les configurations VAE et DDPM.

5. Signification et Affirmations

L'article affirme que l'Apprentissage Fédéré stabilise avec succès l'entraînement génératif sur des données de séries temporelles distribuées et non-IID, récupérant la majeure partie de l'utilité de l'entraînement centralisé sans partager de données brutes.

Les points clés concernant la signification incluent :

• Aucune Architecture Universelle : Aucune architecture unique n'est universellement optimale, mais des tendances distinctes émergent : les VAE offrent la stabilité la plus élevée et les coûts de déploiement les plus bas, tandis que les DDPM montrent un potentiel supérieur dans des conditions de bande passante contrainte lors de l'utilisation de fédération partielle (spécifiquement le partage du Décodeur).
• Limites des GAN : Dans les configurations testées, les références basées sur les GAN étaient moins efficaces que les alternatives VAE et DDPM dans l'AD de séries temporelles fédérée. Les auteurs notent que cela est spécifique aux architectures et configurations d'entraînement sélectionnées, et non une conclusion générale pour toutes les méthodes basées sur les GAN.
• Fédération Partielle comme Personnalisation : L'approche proposée n'est pas simplement une technique de compression mais un facilitateur de personnalisation. Le partage de l'Encodeur bénéficie aux VAE, tandis que le partage du Décodeur bénéficie aux DDPM.
• Lignes Directrices Pratiques : L'étude fournit des lignes directrices concrètes pour la sélection d'architectures et de politiques de fédération dans l'IoT industriel, suggérant que le LSTM-VAE et le TAnoDDPM sont les choix les plus fiables et rentables, capables de réduire la surcharge de communication d'environ 50 % tout en atteignant des F1-scores élevés et de faibles délais de détection.

Les auteurs déclarent modestement qu'ils ne revendiquent pas un théorème formel de convergence monotone pour ces objectifs fédérés non convexes, mais fournissent plutôt des interprétations structurelles et des preuves empiriques concernant la stabilité, l'utilité et l'efficacité de la communication.