MAFL-PdM: A Multi-Agent Federated Learning Framework for Personalised Predictive Maintenance Across Heterogeneous Industrial IoT Sites

तकनीकी सारांश: MAFL-PdM

समस्या विवरण

इंडस्ट्रियल इंटरनेट ऑफ थिंग्स (IIoT) वातावरण परिचालन दक्षता को अनुकूलित करने और शेष उपयोगी जीवन (Remaining Useful Life - RUL) का अनुमान लगाने के लिए प्रेडिक्टिव मेंटेनेंस (PdM) पर तेजी से निर्भर हो रहे हैं। हालांकि, डेटा संप्रभुता, मालिकाना प्रतिबंधों और नियामक आवश्यकताओं (जैसे, GDPR) के कारण क्रॉस-साइट सहयोग बाधित होता है, जो कच्चे सेंसर डेटा के केंद्रीकरण को रोकता है। जबकि फेडरेटेड लर्निंग (FL) बिना डेटा साझा किए वितरित प्रशिक्षण की अनुमति देकर एक समाधान प्रदान करता है, मानक FL प्रोटोकॉल को विषम औद्योगिक साइटों पर लागू करने में दो महत्वपूर्ण चुनौतियां आती हैं:

1. डेटा विषमता (Non-IID): औद्योगिक साइटों में मशीन के प्रकार, सेंसिंग कॉन्फ़िगरेशन और क्षरण पैटर्न (degradation patterns) भिन्न होते हैं। मानक एकत्रीकरण रणनीतियाँ (जैसे, FedAvg) अक्सर अस्थिर अभिसरण (convergence) और कम मॉडल गुणवत्ता से ग्रस्त होती हैं जब स्थानीय अपडेट परस्पर विरोधी दिशाओं में चलते हैं।
2. गोपनीयता अनुकूलन (Privacy Adaptation): मौजूदा FL फ्रेमवर्क अक्सर स्थिर, समान गोपनीयता सेटिंग्स का उपयोग करते हैं। PdM में, जहाँ दुर्लभ दोष संकेत (fault signatures) महत्वपूर्ण होते हैं, अंधाधुंध शोर इंजेक्शन (noise injection) विफलता-संवेदनशील पैटर्न को असमान रूप से खराब कर सकता है। इसके अलावा, वर्तमान दृष्टिकोण कारखानों को स्वायत्त एजेंटों के बजाय निष्क्रिय क्लाइंट के रूप में देखते हैं जिनके अपने विशिष्ट परिचालन संबंधी प्रतिबंध होते हैं।

कार्यप्रणाली: MAFL-PdM

यह शोध पत्र MAFL-PdM का प्रस्ताव करता है, जो विषम साइटों के लिए व्यक्तिगत (personalized) PdM हेतु डिज़ाइन किया गया एक मल्टी-एजेंट फेडरेटेड लर्निंग फ्रेमवर्क है। सिस्टम आर्किटेक्चर में चार स्वायत्त फैक्ट्री एजेंट और एक फेडरेटेड ऑर्केस्ट्रेटर एजेंट शामिल हैं।

मुख्य घटक

1. स्थानीय मॉडल आर्किटेक्चर: प्रत्येक फैक्ट्री एजेंट टेम्पोरल अटेंशन (temporal attention) के साथ दो-परत वाले लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क का उपयोग करके एक स्थानीय मॉडल को प्रशिक्षित करता है। मॉडल FedProx रेगुलराइजेशन के साथ एक भारित हबर लॉस (weighted Huber loss) का उपयोग करके RUL की भविष्यवाणी करता है ताकि स्थानीय अनुकूलन को नियंत्रित किया जा सके।
2. क्लस्टर-ड्रिवन एकत्रीकरण (CMFL-PdM): ऑर्केस्ट्रेटर, समान परिचालन व्यवहार वाले कारखानों को समूहबद्ध करने के लिए ग्रेडिएंट अपडेट के कोसाइन समानता (cosine similarity) पर K-मीन्स क्लस्टरिंग (K=2) करता है। अल्पसंख्यक साइटों को बाहर करने से बचने के लिए प्राथमिक और अल्पसंख्यक क्लस्टरों के बीच 80/20 वेटिंग के साथ एकत्रीकरण किया जाता है।
3. पोस्ट-फेडरेशन पर्सनलाइजेशन: 30 फेडरेटेड राउंड के बाद, प्रत्येक फैक्ट्री एजेंट आगे के आठ एपोच के लिए अपने स्वयं के स्थानीय डेटा पर ग्लोबल कंसेंसस मॉडल को फाइन-ट्यून करता है। यह चरण महत्वपूर्ण है क्योंकि यह साझा ग्रेडिएंट शेयरिंग के बिना मॉडल को स्थानीय डेटा वितरण के अनुकूल बनाता है।
4. प्राइवेसी अकाउंटिंग: फ्रेमवर्क रेनी अकाउंटेंट (Opacus) का उपयोग करके प्रति-फैक्ट्री डिफरेंशियल प्राइवेसी (DP) अकाउंटिंग लागू करता है। हालांकि, रिपोर्ट की गई कॉन्फ़िगरेशन में, ग्रेडिएंट नॉइज़ इंजेक्शन अक्षम (disabled) है। सिस्टम प्राइवेसी बजट ($\epsilon = [3.0, 5.0, 8.0, 7.0]$) को ट्रैक करता है लेकिन वर्तमान प्रयोगों में औपचारिक DP गारंटी लागू नहीं करता है।
5. ड्रिफ्ट-अवेयर सिलेक्शन: कारखाने स्थानीय डेटा ड्रिफ्ट की निगरानी के लिए कोलमोगोरोव-स्मिरनोव (Kolmogorov–Smirnov) परीक्षणों का उपयोग करते हैं, जिससे ऑर्केस्ट्रेटर को महत्वपूर्ण वितरण बदलाव वाले क्लाइंट्स को प्राथमिकता देने की अनुमति मिलती है।

डेटासेट

फ्रेमवर्क का मूल्यांकन दो विषम वास्तविक दुनिया के औद्योगिक डेटासेट पर किया गया है:

• एलिवेटर डोर मॉनिटरिंग: तीन कारखाने (फैक्ट्री 0–2) जो डोर बॉल-बेयरिंग रिवोल्यूशन, ह्यूमिडिटी और वाइब्रेशन डेटा का उपयोग करते हैं।
• मेटलवर्किंग फ्लूइड मॉनिटरिंग: एक कारखाना (फैक्ट्री 3) जो pH, कंडक्टिविटी, कंसंट्रेशन और तापमान का उपयोग करता है।
• RUL लेबल्स: एक्सपोनेंशियलली डिकेइंग कर्व और एडिटिव गॉसियन नॉइज़ के साथ सिंथेटिक स्टोकेस्टिक सिग्नल जनरेट किए गए हैं, जिन्हें [0, 1] तक नॉर्मलाइज किया गया है।

मुख्य परिणाम

प्रयोग पांच रैंडम सीड्स (42–46) पर सेंट्रलाइज्ड ट्रेनिंग, लोकल-ओनली ट्रेनिंग, वेनिला FedAvg, FedProx और नॉइज़-परटर्बड बेसलाइन्स की तुलना में आयोजित किए गए।

• प्रदर्शन: MAFL-PdM ने 0.0498 ± 0.0012 का RMSE और 0.819 ± 0.016 का F1 स्कोर प्राप्त किया।
  • इसने सभी पांच सीड्स में सेंट्रलाइज्ड ट्रेनिंग से कम RMSE प्राप्त किया।
  • इसने डेटा लोकैलिटी को बनाए रखते हुए F1 स्कोर पर सेंट्रलाइज्ड ट्रेनिंग के बराबर प्रदर्शन किया।
  • इसने सभी फेडरेटेड बेसलाइन्स (जैसे, वेनिला FedAvg RMSE: 0.2444) को काफी पीछे छोड़ दिया।
• एब्लेशन स्टडी: एक घटक एब्लेशन ने खुलासा किया कि पोस्ट-फेडरेशन पर्सनलाइजेशन मुख्य रूप से पूरे प्रदर्शन लाभ के लिए जिम्मेदार है।
  • पर्सनलाइजेशन को हटाने से F1 में 0.457 की गिरावट आई, जिससे फ्रेमवर्क वेनिला FedAvg के समान हो गया।
  • क्लस्टर-अवेयर एकत्रीकरण और फेल्योर-सेन्सिटिव लॉस वेटिंग को हटाने से नगण्य परिवर्तन (F1 गिरावट क्रमशः -0.0019 और -0.0096) हुए, जो सीड-टू-सीड वेरिएशन के भीतर हैं।
• क्लस्टरिंग विश्लेषण: K-मीन्स क्लस्टरिंग तंत्र इच्छित डेटा पार्टीशन (एलिवेटर बनाम मेटलवर्किंग) को लगातार रिकवर करने में विफल रहा। इसके बजाय, इसने कारखानों को डेटा को फिट करने की कठिनाई के आधार पर समूहबद्ध किया (उदाहरण के लिए, क्रॉस-डोमेन फैक्ट्री 3 को सबसे कठिन-से-फिट होने वाली एलिवेटर फैक्ट्री 2 के साथ समूहबद्ध करना)। परिणामस्वरूप, क्लस्टरिंग तंत्र ने इस छोटे फेडरेशन साइज (N=4) में कोई मापने योग्य लाभ में योगदान नहीं दिया।

महत्व और दावे

यह शोध पत्र अपने योगदान और सीमाओं के संबंध में निम्नलिखित विशिष्ट दावे करता है:

1. प्राथमिक तंत्र: अध्ययन यह पहचान करता है कि पोस्ट-फेडरेशन पर्सनलाइजेशन ही वह महत्वपूर्ण तंत्र है जो विषम साइटों में फेडरेटेड PdM को सक्षम बनाता है, न कि एकत्रीकरण रणनीति या लॉस वेटिंग। यह प्रदर्शित करता है कि साझा इनिशियलाइजेशन के बाद स्थानीय फाइन-ट्यूनिंग, रिग्रेशन एरर (RMSE) में सेंट्रलाइज्ड पूलिंग से बेहतर प्रदर्शन कर सकती है और वर्गीकरण प्रदर्शन (F1) में इसके बराबर हो सकती है।
2. क्लस्टरिंग पर नकारात्मक परिणाम: पेपर स्पष्ट रूप से रिपोर्ट करता है कि क्लस्टर-अवेयर एकत्रीकरण ने इस विशिष्ट प्रयोगात्मक सेटिंग (4 क्लाइंट, K=2) में कोई मापने योग्य लाभ प्रदान नहीं किया। इसका कारण क्लस्टरिंग पार्टीशन की अस्थिरता और छोटा फेडरेशन साइज है, जो यह सुझाव देता है कि इस तंत्र को प्रभावी ढंग से वेट्स को पुनर्वितरित करने के लिए बड़े पैमाने की आवश्यकता है।
3. प्राइवेसी स्टैंड: लेखक स्पष्ट हैं कि रिपोर्ट किए गए परिणामों के लिए कोई औपचारिक डिफरेंशियल प्राइवेसी गारंटी का दावा नहीं किया गया है। हालांकि फ्रेमवर्क में DP अकाउंटिंग और बजट ट्रैकिंग शामिल है, लेकिन ग्रेडिएंट नॉइज़ इंजेक्शन अक्षम था। परिणाम एक ऐसे सिस्टम का प्रतिनिधित्व करते हैं जो डेटा लोकैलिटी को सुरक्षित रखता है लेकिन अभी तक DP-SGD की गणितीय आवश्यकताओं को पूरा नहीं करता है (पर-सैंपल क्लिपिंग और सबसैंपलिंग धारणाओं के कारण)।
4. पुनरुत्पादकता (Reproducibility): पेपर एक पूर्ण रूप से पुनरुत्पादक पाइपलाइन प्रदान करता है, जिसमें कोड, डेटासेट और सभी तालिकाओं और चित्रों को फिर से बनाने के लिए स्क्रिप्ट शामिल हैं, जो उन विशिष्ट स्थितियों को रेखांकित करती है जिनके तहत परिणाम मान्य हैं।

सीमाएं

लेखक कई बाधाओं को स्वीकार करते हैं:

• सिंथेटिक लेबल्स: RUL लेबल्स सिंथेटिक हैं, जो ग्राउंड-ट्रुथ डिग्रेडेशन डेटासेट्स पर सत्यापन के बिना वास्तविक दुनिया के अनुप्रयोग को सीमित करते हैं।
• प्राइवेसी गैप: नॉइज़ इंजेक्शन की कमी का अर्थ है कि सिस्टम औपचारिक रूप से डिफरेंशियल प्र的に प्राइवेट नहीं है।
• स्केल: मूल्यांकन चार कारखानों तक सीमित है; क्लस्टरिंग के लाभ इस पैमाने पर सिद्ध नहीं हुए हैं।
• फीचर मिसअलाइनमेंट: फैक्ट्री 3 (मेटलवर्किंग) के फीचर स्पेस को अन्य कारखानों के साथ मेल खाने के लिए ट्रंकेट (छोटा) करना पड़ा, जिसके परिणामस्वरूप सिमेंटिक मिसअलाइनमेंट हुआ।
• सांख्यिकीय महत्व: केवल पांच सीड्स के साथ, सेंट्रलाइज्ड ट्रेनिंग के विरुद्ध तुलना $p$-वैल्यू 0.063 तक पहुँचती है, जो पारंपरिक 0.05 थ्रेशोल्ड से थोड़ा ही पीछे है।