FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

तकनीकी सारांश: लेबल विषमता और टेम्पोरल जनरलाइजेशन के तहत प्रेडिक्टिव मेंटेनेंस के लिए FusionNet Lite

समस्या विवरण
फेडरेटेड लर्निंग (FL) वितरित औद्योगिक डेटा पर कच्चे अवलोकनों को साझा किए बिना सहयोगी प्रेडिक्टिव मेंटेनेंस (PdM) के लिए एक मार्ग प्रदान करता है। हालाँकि, मौजूदा दृष्टिकोण महत्वपूर्ण चुनौतियों का सामना करते हैं: क्लाइंट डेटा अक्सर गैर-स्वतंत्र और गैर-समान रूप से वितरित (non-IID) होता है, विशेष रूप से लेबल विषमता के संबंध में; टेम्पोरल डिपेंडेंसी और दुर्लभ विफलता की घटनाएँ मूल्यांकन को जटिल बनाती हैं; और एज डिवाइसेस के लिए कम्प्यूटेशनल दक्षता की आवश्यकता उच्च भविष्य कहनेवाला सटीकता और व्याख्यात्मकता (explainability) की मांग के साथ संघर्ष करती है। एक महत्वपूर्ण अंतराल यह निर्धारित करने में मौजूद है कि क्या एक संक्षिप्त डीप लर्निंग मॉडल इन सीमित, फेडरेटेड स्थितियों के तहत उपयोगी विफलता का पता लगाने और सुसंगत फीचर एट्रिब्यूशन स्पष्टीकरण बनाए रख सकता है।

कार्यप्रणाली
यह अध्ययन FusionNet Lite का मूल्यांकन करता है, जो केवल 1,420 ट्रेन करने योग्य मापदंडों (parameters) वाला एक संक्षिप्त फीचर-एक्सिस क्लासिफायर है, और इसकी तुलना चार लाइटवेट बेसलाइन्स: CNN, BiLSTM, MLP, और CNN-LSTM से करता है।

• आर्किटेक्चर: FusionNet Lite सेपरेबल कनवल्शन, ConvMixer-शैली के फीचर मिक्सिंग, रेसिडुअल कनेक्शन, और Squeeze-and-Excitation (SE) चैनल रीवेटिंग का उपयोग करके व्यक्तिगत अवलोकनों (आकार $F \times 1$) को प्रोसेस करता है। इसे टेम्पोरल सीक्वेंस के बजाय एकल अवलोकन पर संचालित होने के लिए डिज़ाइन किया गया है, हालांकि मूल्यांकन के लिए क्रोनोलॉजिकल स्प्लिट्स का उपयोग किया गया है।
• डेटासेट्स: दो डेटासेट्स का उपयोग किया गया था जिनमें अलग-अलग पार्टिशनिंग रणनीतियाँ थीं:
  • AI4I 2020: एक सिंथेटिक डेटासेट जिसमें स्ट्रैटिफाइड रैंडम स्प्लिट्स (65/15/20) का उपयोग किया गया।
  • MetroPT3: एक वास्तविक दुनिया का कंप्रेसर रिकॉर्डिंग जिसमें फिक्स्ड-रो क्रोनोलॉजिकल स्प्लिट (55/20/25) का उपयोग किया गया ताकि टेम्पोरल जनरलाइजेशन का अनुकरण किया जा सके।
• प्रायोगिक डिज़ाइन:
  • ट्रेनिंग मोड: मॉडल्स को सेंट्रलाइज्ड सेटिंग्स और तीन क्लाइंट्स के साथ सिम्युलेटेड सिंक्रोनस फेडरेटेड एवरेजिंग (FedAvg) के तहत प्रशिक्षित किया गया था।
  • लेबल विषमता: नियंत्रित लेबल non-IID स्थितियों को बनाने के लिए क्लाइंट पार्टिशन को डिरिचलेट डिस्ट्रीब्यूशन ($\alpha=0.5$) का उपयोग करके जेनरेट किया गया था।
  • मूल्यांकन: अध्ययन में कोर तुलनाओं के लिए दस मैच किए गए रैंडम सीड्स का उपयोग किया गया। चेकपॉइंट्स का चयन वैलिडेशन AUROC के आधार पर किया गया था। प्रदर्शन को AUROC, AUPRC, और F2 स्कोर (क्लास इम्बैलेंस को संबोधित करने के लिए विस्तारित ग्रिड थ्रेशोल्ड सिलेक्शन के साथ) का उपयोग करके मापा गया।
  • व्याख्यात्मकता (Explainability): एट्रिब्यूशन एग्रीमेंट की तुलना करने के लिए क्लास-स्पेसिफिक इंटीग्रेटेड ग्रेडिएंट्स (IG) की गणना की गई।
  • दक्षता: एक एनर्जी एफिशिएंसी इंडेक्स (EEI), जिसे पैरामीटर काउंट और मापे गए बैच इन्फरेंस लेटेंसी का उत्पाद के रूप में परिभाषित किया गया है, का उपयोग कम्प्यूटेशनल लागत के प्रॉक्सी के रूप में किया गया।

प्रमुख योगदान

1. संक्षिप्त आर्किटेक्चर: स्थापित ऑपरेशन्स (सेपरेबल कंवलशन, SE, रेसिडुअल्स) को न्यूनतम फुटप्रिंट में संयोजित करते हुए एक 1,420-पैरामीटर वाले आर्किटेक्चर का परिचय और मूल्यांकन।
2. नियंत्रित बेंचमार्क: आर्किटेक्चरल प्रभावों को ट्यूनिंग आर्टिफैक्ट्स से अलग करने के लिए दस मैच किए गए सीड्स, वैलिडेशन-सिलेक्टेड चेकपॉइंट्स और विशिष्ट थ्रेशोल्ड पॉलिसी (F1 बनाम F2 ऑप्टिमाइजेशन) का उपयोग करके दो डेटासेट्स और पांच आर्किटेक्चर के बीच एक कठोर तुलना।
3. सेंसिटिविटी एनालिसिस: आर्किटेक्चरल घटकों (एब्लेशन), फीचर ऑर्डरिंग, क्लाइंट संख्या (3 बनाम 10), लेबल कंसंट्रेशन ($\alpha$), पार्टिसिपेशन रेट्स, और लर्निंग रेट्स का व्यवस्थित परीक्षण।
4. एट्रिब्यूशन एग्रीमेंट: क्लास-स्पेसिफिक IG कोरिलेशन, साइन एग्रीमेंट और जैकार्ड ओवरलैप का उपयोग करके डिटेक्शन क्वालिटी और एक्सप्लेनेटरी कंसिस्टेंसी के बीच अंतर करते हुए, सेंट्रल-फेडरेटेड एट्रिब्यूशन एग्रीमेंट का मात्रात्मक मूल्यांकन।

परिणाम

• भविधिक प्रदर्शन (Predictive Performance):
  • AI4I पर, FusionNet Lite ने FedAvg के तहत प्रतिस्पर्धी परिणाम (AUROC $0.8289 \pm 0.0621$, F2 $0.3508 \pm 0.0908$) प्राप्त किए, हालांकि मल्टीप्लिसिटी एडजस्टमेंट के बाद सभी मेट्रिक्स पर यह MLP की तुलना में सांख्यिकीय रूप से श्रेष्ठ नहीं दिखा।
  • MetroPT3 पर, FusionNet Lite ने उच्च रैंकिंग डिस्क्रिमिनेशन (FedAvg के तहत AUROC $0.9351 \pm 0.0462$) प्राप्त किया, लेकिन BiLSTM और CNN-LSTM बेसलाइन्स की तुलना में कम और अधिक परिवर्तनशील दुर्लभ-विफलता डिटेक्शन (AUPRC $0.2197 \pm 0.1971$, F2 $0.1566 \pm 0.2044$) प्रदर्शित किया।
  • थ्रेशोल्ड सेंसिटिविटी: ओरिजिनल-ग्रिड F1 सिलेक्शन से विस्तारित-ग्रिड F2 सिलेक्शन पर स्विच करने से MetroPT3 पर औसत टेस्ट F2 में महत्वपूर्ण सुधार (0.0423 से 0.1566) हुआ, हालांकि परिवर्तनशीलता बनी रही।
• दक्षता: FusionNet Lite दोनों डेटासेट्स पर पांचों आर्किटेक्चर में सबसे कम पैरामीटर काउंट और सबसे कम फिक्स्ड-बैच EEI (पैरामीटर-लेटेंसी इंडेक्स) रखता था, जो संसाधन-बाधित परिनियोजन के लिए इसके दक्षता प्रॉक्सी के रूप में पुष्टि करता है।
• एट्रिब्यूशन: सेंट्रल-फेडरेटेड एट्रिब्यूशन एग्रीमेंट मॉडल और डेटासेट के अनुसार भिन्न हुआ। MetroPT3 पर, FusionNet Lite ने MLP की तुलना में कमजोर और अधिक परिवर्तनशील IG एग्रीमेंट (Spearman कोरिलेशन $\approx 0.24-0.27$) दिखाया, जबकि MLP का प्रेडिक्टिव परफॉरमेंस कमजोर था। यह दर्शाता है कि उच्च व्याख्यात्मक एग्रीमेंट आवश्यक रूप से बेहतर डिटेक्शन क्वालिटी के साथ सहसंबंधित नहीं है।
• संवेदनशीलता: प्रदर्शन रैंकिंग फीचर ऑर्डरिंग, क्लाइंट एलोकेशन और लर्निंग रेट्स के प्रति संवेदनशील थी। विशिष्ट घटकों (जैसे SE अटेंशन या स्टेम रेसिडुअल्स) को हटाने से मिश्रित परिणाम मिले, जिससे कभी एक डेटासेट पर प्रदर्शन में सुधार हुआ तो कभी दूसरे पर गिरावट आई।

महत्व और दावे
पेपर का दावा है कि यह एक कंडीशनल परफॉरमेंस-कॉम्प्लेक्सिटी ट्रेड-ऑफ स्थापित करता है। यह प्रदर्शित करता है कि एक काफी छोटा मॉडल (FusionNet Lite) नियंत्रित फेडरेटेड स्थितियों के तहत उपयोगी प्रेडिक्टिव प्रदर्शन और सबसे कम कम्प्यूटेशनल कॉस्ट प्रॉक्सी (EEI) प्रदान कर सकता है। हालांकि, लेखक स्पष्ट रूप से कहते हैं कि:

• केवल संक्षिप्तता (Compactness) बेहतर विफलता का पता लगाने या सुसंगत स्पष्टीकरण की गारंटी नहीं देती है।
• उच्च AUROC का अर्थ इम्बैलेंस्ड, टेम्पोरल सेटिंग्स में विश्वसनीय दुर्लभ-विफलता डिटेक्शन नहीं है।
• व्याख्यात्मक एग्रीमेंट (IG) प्रेडिक्टिव यूटिलिटी का सीधा सरोगेट नहीं है।
• निष्कर्ष विशिष्ट बेंचमार्क स्थितियों (सिंथेटिक और सिंगल-रिकॉर्ड रियल डेटा, सिंक्रोनस FedAvg, फिक्स्ड सीड्स) तक सीमित हैं।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि FusionNet Lite फेडरेटेड PdM के लिए एक व्यवहार्य, कुशल विकल्प प्रदान करता है, लेकिन इसके परिनियोजन के लिए ऑपरेटिंग पॉइंट्स (थ्रेशोल्ड्स), डेटा विषमता, और रैंकिंग डिस्क्रिमिनेशन एवं वास्तविक विफलता डिटेक्शन के बीच अंतर पर सावधानीपूर्वक विचार करने की आवश्यकता है। लेखक यह दावा नहीं करते हैं कि उनका मॉडल सार्वभौमिक रूप से श्रेष्ठ है या विविध उपकरणों और विफलता प्रकरणों पर आगे के स्वतंत्र सत्यापन के बिना तत्काल औद्योगिक परिनियोजन के लिए तैयार है।