Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

तकनीकी सारांश: वाइल्ड में फेडरेटेड लर्निंग: नॉन-आईआईडी (Non-IID) और अनबैलेंस्ड सेटिंग्स के तहत साइबर सुरक्षा के लिए एक तुलनात्मक अध्ययन

समस्या विवरण
मशीन लर्निंग (ML) ने नेटवर्क ट्रैफ़िक विश्लेषण और घुसपैठ का पता लगाने (इंट्रूज़न डिटेक्शन) में महत्वपूर्ण क्षमता प्रदर्शित की है। हालाँकि, इसकी प्रभावशीलता अक्सर प्रतिनिधि, अद्यतित डेटासेट की आवश्यकता से बाधित होती है, जिन्हें गोपनीयता नियमों और डेटा-साझाकरण प्रतिबंधों के कारण एकत्रित करना कठिन होता है। फेडरेटेड लर्निंग (FL) एक समाधान प्रदान करता है जो संवेदनशील डेटा को स्थानीय रखते हुए सहयोगात्मक मॉडल प्रशिक्षण को सक्षम बनाता है। इस वादे के बावजूद, मानक FL एल्गोरिदम, फेडरेटेड एवरेजिंग (FedAvg), विषम वातावरणों में खराब अभिसरण (convergence) और प्रदर्शन प्रदर्शित करता है, जो नॉन-इंडिपेंडेंट एंड आइडेंटिकली डिस्ट्रीब्यूटेड (non-i.i.d.) डेटा और असंतुलित डेटासेट आकारों द्वारा चिह्नित हैं। ये स्थितियाँ साइबर सुरक्षा में प्रचलित हैं, जहाँ विभिन्न क्लाइंट्स (जैसे, नेटवर्क नोड्स) विशिष्ट हमले के पैटर्न और विविध ट्रैफ़िक वॉल्यूम का सामना करते हैं। मौजूदा साहित्य में अक्सर नेटवर्क घुसपैठ का पता लगाने वाले सिस्टम (NIDS) के विशिष्ट संदर्भ में, ऐसे "पैथोलॉजिकल" सेटिंग्स के तहत वैकल्पिक FL एल्गोरिदम के व्यापक मूल्यांकन का अभाव है।

कार्यप्रणाली
यह अध्ययन डिस्ट्रीब्यूटेड डिनायल ऑफ सर्विस (DDoS) हमलों के लिए नेटवर्क घुसपैठ का पता लगाने हेतु सात FL एल्गोरिदम का एक व्यवस्थित तुलनात्मक मूल्यांकन प्रस्तुत करता है। मूल्यांकन एक गंभीर नॉन-आईआईडी और अनबैलेंस्ड सेटिंग के तहत किया गया है, जिसे "पैथोलॉजिकल" परिदृश्य के रूप में वर्णित किया गया है। इस सेटअप में:

• डेटा वितरण: 15 क्लाइंट्स का उपयोग किया गया है, जहाँ प्रत्येक क्लाइंट के पास एक डेटासेट है जिसमें बेनग्न (benign) ट्रैफ़िक और ठीक एक विशिष्ट प्रकार का DDoS हमला शामिल है।
• असंतुलन: क्लाइंट्स के बीच डेटा का वॉल्यूम चार आदेशों (orders of magnitude) से अधिक भिन्न होता है। जबकि व्यक्तिगत क्लाइंट डेटासेट स्थानीय रूप से बेनग्न और मैलिसियस (malicious) नमूनों के बीच संतुलित हैं, संपूर्ण फेडरेशन डेटा आकार और हमले के प्रकार के प्रतिनिधित्व के संबंध में अत्यधिक असंतुलित है।
• मूल्यांकित एल्गोरिदम: यह अध्ययन बेसलाइन FedAvg के विरुद्ध छह उन्नत विधियों का तुलना करता है:
  • सामान्य-उद्देश्य: FedProx (रेगुलराइजेशन), SCAFFOLD (कंट्रोल वेरिएट्स), और FedALA (एडेप्टिव लोकल एग्रीगेशन)।
  • साइबर सुरक्षा-विशिष्ट: DAFL (डिस्पैरिटी-अवेयर), FedSBS (ग्रीडी क्लाइंट सिलेक्शन), और FLAD (DDoS के लिए एडेप्टिव दृष्टिकोण)।
• प्रायोगिक सेटअप: प्रयोग हाल के बेंचमार्क डेटासेट्स (CIC-IDS2017, CIC-IDS2018, और CIC-DDoS2019) का उपयोग करते हैं जो 15 विशिष्ट DDoS हमले के प्रकारों को कवर करते हैं। ग्लोबल मॉडल एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) है जिसे लाइटवेट बाधाओं को दर्शाने के लिए केवल CPU-ओनली संसाधनों पर फ्लावर (Flower) फ्रेमवर्क का उपयोग करके प्रशिक्षित किया गया है।
• मेट्रिक्स: प्रदर्शन का आकलन डिटेक्शन सटीकता (F1 स्कोर), प्रशिक्षण अवधि, संचार ओवरहेड (communication overhead), और क्लाइंट चयन पैटर्न के आधार पर किया जाता है। परिणाम की विश्वसनीयता सुनिश्चित करने के लिए अलग-अलग रैंडम सीड्स के साथ दस स्वतंत्र रन किए गए हैं।

प्रमुख योगदान

1. अनुकूलन और समीक्षा: लेखक कंप्यूटर विज़न के लिए डिज़ाइन किए गए मूल एल्गोरिदम सहित अत्याधुनिक FL एल्गोरिदम की समीक्षा और अनुकूलन करते हैं, जो NIDS के लिए DDoS डिटेक्शन की विशिष्ट आवश्यकताओं के अनुरूप हैं।
2. बहु-आयामी मूल्यांकन: केवल सटीकता पर ध्यान केंद्रित करने वाले अध्ययनों के विपरीत, यह कार्य डिटेक्शन प्रदर्शन, मॉडल जनरलाइजेशन, प्रशिक्षण समय और संचार ओवरहेड के माध्यम से एक व्यापक तुलना प्रदान करता है।
3. पैथोलॉजिकल स्थितियों के तहत विश्लेषण: यह अध्ययन अत्यधिक विषमता के तहत एल्गोरिथम व्यवहार की जांच करता है जहाँ प्रत्येक क्लाइंट एक अद्वितीय हमले के प्रोफाइल को देखता है, जो विभिन्न क्लाइंट चयन, एकत्रीकरण और स्थानीय प्रशिक्षण रणनीतियों की शक्तियों और सीमाओं को उजागर करता है।
4. पुनरुत्पादकता (Reproduachility): पुनरुत्पादकता को सक्षम करने के लिए मूल्यांकित एल्गोरिदम और प्रायोगिक सेटअप (डेटासेट कॉन्फ़िगरेशन सहित) का एक ओपन-सोर्स कार्यान्वयन प्रदान किया गया है।

परिणाम
तुलनात्मक विश्लेषण कई महत्वपूर्ण निष्कर्ष प्रदान करता है:

• सटीकता और सामान्यीकरण: अधिकांश एल्गोरिदम सभी हमले के प्रकारों में प्रभावी ढंग से सामान्यीकरण करने में संघर्ष करते हैं, विशेष रूप से WebDDoS, LDAP, और LOIC हमलों के लिए, जो कम प्रतिनिधित्व वाले हैं या जिनका फीचर वितरण अलग है। FedAvg, FedProx, SCAFFORD, और FedSBS आम तौर पर इन विशिष्ट हमलों के लिए 0.8 से नीचे F1 स्कोर प्राप्त करते हैं। FedALA TCP-आधारित हमलों पर खराब प्रदर्शन करता है। इसके विपरीत, FLAD उत्कृष्ट मजबूती प्रदर्शित करता है, जो क्लाइंट प्रदर्शन के आधार पर प्रशिक्षण को गतिशील रूप से समायोजित करके सभी हमले के प्रकारों में उच्च F1 स्कोर (औसत 0.97) प्राप्त करता है।
• प्रशिक्षण समय और दक्षता:
  • DAFL में सबसे लंबा प्रशिक्षण समय लगता है क्योंकि इसमें हर राउंड में सभी 15 क्लाइंट्स को स्थानीय प्रशिक्षण करने की आवश्यकता होती है, जिससे प्रक्रिया सबसे धीमे क्लाइंट द्वारा बाधित होती है।
  • FLAD कुल प्रशिक्षण समय को काफी कम कर देता है (उच्च संचार ओवरहेड के बावजूद) कम क्लाइंट्स को प्रति राउंड चुनने और केवल उन क्लाइंट्स को अधिक प्रशिक्षण स्टेप्स असाइन करके, जिनकी सटीकता कम है, जो कि उन क्लाइंट्स को प्रभावी रूप से बाहर कर देता है जो पहले ही कन्वर्ज हो चुके हैं।
  • मानक विधियाँ (FedAvg, FedProx, SCAFFOLD, FedALA) तुलनीय प्रशिक्षण समय दिखाती हैं, जहाँ स्थानीय संचालन कुल अवधि का लगभग 60% हिस्सा होता है।
• संचार ओवरहेड:
  • FedAvg, FedProx, FedALA, और FedSBS बेसलाइन के समान कम संचार ओवरहेड बनाए रखते हैं।
  • SCAFFOLD, DAFL, और FLAD अधिक ओवरहेड पेश करते हैं। SCAFFOLD कंट्रोल वेरिएट्स का आदान-प्रदान करता है; DAFL को वैलिडेशन के लिए सभी क्लाइंट्स को ग्लोबल मॉडल डाउनलोड करने की आवश्यकता होती है; FLAD को सटीकता स्कोर और एडेप्टिव ट्रेनिंग पैरामीटर्स के ट्रांसमिशन की आवश्यकता होती है।
• क्लाइंट चयन: सूचित क्लाइंट चयन (DAFL, FLAD) या एडेप्टिव वर्कलोड वितरण का उपयोग करने वाले एल्गोरिदम, नॉन-आईआईडी स्थितियों में अंतिम मॉडल सटीकता के मामले में रैंडम चयन (FedAvg, FedProx, SCAFFOLD, FedALA) पर निर्भर एल्गोरिदम की तुलना में बेहतर प्रदर्शन करते हैं।

महत्व और दावे
यह पेपर दावा करता है कि अत्यधिक विषम और असंतुलित डेटा वितरण वाले साइबर सुरक्षा परिदृश्यों के लिए, सूचित क्लाइंट चयन और एडेप्टिव वर्कलोड वितरण, स्थानीय प्रशिक्षण या ग्लोबल एकत्रीकरण में संशोधन की तुलना में डिटेक्शन प्रदर्शन में सुधार के लिए अधिक प्रभावी तंत्र हैं।

लेखक तर्क देते हैं कि सभी क्लाइंट्स को समान रूप से मानना (निश्चित संभाव्यता चयन या समान वर्कलोड के माध्यम से) यह सुनिश्चित करने में विफल रहता है कि दुर्लभ या कठिन हमले के पैटर्न ग्लोबल मॉडल में पर्याप्त योगदान दें। इसके बजाय, वे रणनीतियाँ जो क्लाइंट के वर्तमान योगदान के आधार पर उन्हें गतिशील रूप से प्राथमिकता देती हैं (जैसा कि FLAD और DAFL में देखा गया है), फेडरेशन को विषम जानकारी का अधिक प्रभावी ढंग से उपयोग करने की अनुमति देती हैं। हालांकि ये एडेप्टिव दृष्टिकोण अतिरिक्त संचार और समन्वय लागत उत्पन्न करते हैं, अध्ययन निष्कर्ष निकालता है कि नेटवर्क घुसपैठ का पता लगाने के लिए, जहाँ उभरते खतरों को कम करने के लिए समय पर अपडेट महत्वपूर्ण हैं, ट्रेड-ऑफ स्ट्रिक्ट कम्युनिकेशन एफिशिएंसी के बजाय एडेप्टिविटी के पक्ष में है। निष्कर्ष बताते हैं कि भविष्य के FL समाधानों को सीधे चयन और वर्कलोड प्रबंधन के माध्यम से क्लाइंट-स्तरीय विषमता को संबोधित करने वाले तंत्रों को प्राथमिकता देनी चाहिए।