🤖 machine learning

VARS-FL: Validation-Aligned Client Selection for Non-IID Federated Learning in IoT Systems

यह शोध पत्र VARS-FL का प्रस्ताव करता है, जो IoT सिस्टम में non-IID फेडरेटेड लर्निंग के लिए एक क्लाइंट चयन ढांचा है, जो सर्वर-साइड वैलिडेशन लॉस रिडक्शन को एक हिस्ट्री-अवेयर रेप्यूटेशन स्कोर में एकत्रित करके अभिसरण (convergence) और स्थिरता में सुधार करता है, और Edge-IIoTset डेटासेट पर FedAvg और Oort जैसे मौजूदा तरीकों से बेहतर प्रदर्शन करता है।

मूल लेखक: Mohamed Lakas, Mohamed Amine Ferrag

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohamed Lakas, Mohamed Amine Ferrag

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, वैश्विक कक्षा है जहाँ सैकड़ों छात्र (जिन्हें क्लाइंट्स कहा जाता है) विभिन्न प्रकार के साइबर-हमलों को पहचानने का हुनर सीखने की कोशिश कर रहे हैं। हालाँकि, एक सख्त नियम है: कोई भी अपना होमवर्क या नोट्स साझा नहीं कर सकता। उन्हें अपने स्वयं के उपकरणों पर सीखना होगा और केवल अपने अंतिम उत्तर (मॉडल अपडेट) ही शिक्षक (सर्वर) को भेजने होंगे।

यह फेडरेटेड लर्निंग (Federated Learning) है। यह गोपनीयता के लिए बेहतरीन है, लेकिन इसमें एक बड़ी समस्या है: छात्रों का होमवर्क एक-दूसरे से बहुत अलग है। कुछ छात्र केवल "रैंसमवेयर" (Ransomware) हमलों को देखते हैं, कुछ केवल "डी-डॉस" (DDoS) हमलों को देखते हैं, और कुछ केवल सामान्य ट्रैफिक देखते हैं। इसे Non-IID डेटा (गैर-समान वितरण) कहा जाता है।

समस्या: "रैंडम रोल" और "ऊँची आवाज़"

मानक प्रणालियों (जैसे FedAvg) में, शिक्षक हर दिन पूरी तरह से रैंडम तरीके से छात्रों को अपने उत्तर साझा करने के लिए चुनता है।

समस्या: यदि किसी ऐसे छात्र को, जो दुर्लभ लेकिन खतरनाक हमलों को देखता है, कभी-कभी ही चुना जाता है, तो शिक्षक उन हमलों को पहचानना कभी नहीं सीख पाता।
"ऊँची आवाज़" का जाल (The "Loud Voice" Trap): कुछ पुराने तरीके उन छात्रों को चुनने की कोशिश करते हैं जो सबसे अधिक संघर्ष कर रहे हैं (उच्च "लोकल लॉस")। लेकिन इस अराजक कक्षा में, एक छात्र इसलिए संघर्ष कर रहा हो सकता है क्योंकि उसका होमवर्क अजीब है, न कि इसलिए कि वह वास्तव में पूरी कक्षा के लिए मददगार है। उन्हें बार-बार चुनने से पूरी कक्षा का प्रदर्शन बिगड़ सकता है।

समाधान: VARS-FL (एक "रिपोर्ट कार्ड" प्रणाली)

लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे VARS-FL कहा जाता है। यह अनुमान लगाने के बजाय कि कौन मददगार है, शिक्षक एक वैलिडेशन-अलाइन्ड रेप्यूटेशन सिस्टम (Validation-Aligned Reputation System) का उपयोग करता है।

यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखें:

1. "मॉक एग्जाम" (वैलिडेशन लॉस)

हर बार जब कोई छात्र अपने अपडेट किए गए उत्तर भेजता है, तो शिक्षक केवल उनके होमवर्क को नहीं देखता। इसके बजाय, शिक्षक एक मानकीकृत मॉक एग्जाम (वैलिडेशन सेट) लेता है जिस पर सभी सहमत हैं।

शिक्षक छात्र के अपडेट से पहले परीक्षा के स्कोर की जाँच करता है।
फिर, शिक्षक छात्र के अपडेट को लागू करता है और स्कोर की दोबारा जाँच करता है।
स्कोर: यदि छात्र के अपडेट ने परीक्षा के स्कोर को बेहतर बनाया, तो उसे अंक मिलते हैं। यदि इसने स्कोर को खराब किया, तो उसे शून्य अंक मिलते हैं।
यह क्यों महत्वपूर्ण है: यह सुनिश्चित करता है कि शिक्षक केवल उन्हीं छात्रों को पुरस्कृत करता है जो वास्तव में पूरी कक्षा को परीक्षा पास करने में मदद करते हैं, न कि केवल उन छात्रों को जो अपने अजीब होमवर्क में अच्छे हैं।

2. "रेप्यूटेशन स्कोर" (इतिहास मायने रखता है)

शिक्षक केवल आज के स्कोर को नहीं देखता। वे प्रत्येक छात्र के लिए एक रेप्यूटेशन स्कोर (प्रतिष्ठा स्कोर) रखते हैं।

स्लाइडिंग विंडो: शिक्षक छात्र के पिछले कुछ "मॉक एग्जाम" सुधारों को देखता है। यदि वे हाल ही में लगातार मददगार रहे हैं, तो उनकी प्रतिष्ठा बढ़ती है।
"भागीदारी" बोनस: सिस्टम यह भी ट्रैक करता है कि छात्र कितनी बार भाग लेता है। हालाँकि, यह एक विशेष गणितीय ट्रिक (लॉगारिदमिक स्केलिंग) का उपयोग करता है ताकि केवल उपस्थिति से उच्च स्कोर की गारंटी न मिले। आपको दिखने में अच्छा होना होगा।
परिणाम: एक छात्र जो दुर्लभ है लेकिन लगातार मददगार है, उसे उच्च प्रतिष्ठा मिलती है। एक छात्र जो शोर मचाने वाला या अनुपयोगी है, उसे कम प्रतिष्ठा मिलती है।

3. "क्लास सिलेक्शन" (एक्सप्लोर बनाम एक्सप्लॉइट)

जब शिक्षक को अगले दौर के लिए 10 छात्रों को चुनना होता है:

एक्सप्लॉइट (सितारे): अधिकांश स्थान उन छात्रों को दिए जाते जिनके रेप्यूटेशन स्कोर सबसे अधिक हैं (वे जो लगातार मॉक एग्जाम में सुधार करते हैं)।
एक्सप्लोर (नए लोग): कुछ स्थान रैंडम छात्रों को दिए जाते हैं। यह सुनिश्चित करता है कि शिक्षक उस छात्र को न चूक जाए जो बेहतरीन हो सकता है लेकिन प्रतिष्ठा बनाने के लिए अभी तक पर्याप्त रूप से नहीं चुना गया है।

परिणाम: प्रयोग में क्या हुआ?

लेखकों ने 15 प्रकार के साइबर-हमलों का पता लगाने के लिए 100 "छात्रों" (IoT डिवाइस) के एक विशाल डेटासेट पर इसका परीक्षण किया। उन्होंने VARS-FL की तुलना मानक रैंडम विधि और अन्य "संघर्ष करने वाले छात्र" वाली विधियों से की।

तेजी से सीखना: VARS-FL ने मानक विधि की तुलना में 36% तेजी से 80% सटीकता प्राप्त की। काम पूरा करने के लिए इसे कम "राउंड्स" (कक्षा के दिनों) की आवश्यकता पड़ी।
दुर्लभ हमलों में बेहतर: क्योंकि इसने उन छात्रों को पुरस्कृत किया जिन्होंने पूरी परीक्षा में मदद की, यह उन दुर्लभ हमलों (जैसे "रैंसमवेयर" या "फिंगरप्रिंटिंग") को पकड़ने में बहुत बेहतर रहा जिन्हें रैंडम विधि अक्सर छोड़ देती थी।
स्थिरता: अन्य विधियाँ एक रोलरकोस्टर की तरह थीं, जिनकी सटीकता ऊपर-नीचे होती रहती थी। VARS-FL एक सुचारू, स्थिर चढ़ाई थी।
कोई अतिरिक्त लागत नहीं: छात्रों को कोई अतिरिक्त डेटा नहीं भेजना पड़ा। शिक्षक ने सारा अतिरिक्त गणित (मॉक एग्जाम की जाँच) अपने स्वयं के कंप्यूटर पर किया।

निष्कर्ष

VARS-FL एक स्मार्ट शिक्षक की तरह है जो छात्रों को इस आधार पर नहीं चुनता कि वे "सबसे तेज़ शोर" मचा रहे हैं या "रैंडम" हैं, बल्कि इस आधार पर चुनता है कि उनका मानकीकृत परीक्षा पास करने में पूरी कक्षा की मदद करने का प्रमाणित ट्रैक रिकॉर्ड क्या है। यह सीखने की प्रक्रिया को तेज़, अधिक स्थिर और इंटरनेट ऑफ थिंग्स (IoT) की दुनिया में सबसे महत्वपूर्ण दुर्लभ, खतरनाक खतरों को पकड़ने में बेहतर बनाता है।

तकनीकी सारांश: VARS-FL

समस्या विवरण

फेडरेटेड लर्निंग (FL) सिस्टम, विशेष रूप से इंटरनेट ऑफ थिंग्स (IoT) और इंडस्ट्रियल इंटरनेट ऑफ थिंग्स (IIoT) परिवेश में, डेटा विषमता (Non-IID) और संचार ओवरहेड (communication overhead) के कारण महत्वपूर्ण चुनौतियों का सामना करते हैं। मौजूदा क्लाइंट चयन रणनीतियाँ, जैसे कि मानक FedAvg, आमतौर पर स्टेटलेस चयन (stateless selection) का उपयोग करती हैं, जो ऐतिहासिक क्लाइंट प्रदर्शन का लाभ उठाए बिना प्रत्येक संचार दौर को स्वतंत्र रूप से देखती हैं। यह अक्षम प्रशिक्षण और धीमी अभिसरण (convergence) की ओर ले जाता है, विशेष रूप से तब जब क्लाइंट्स के पास दुर्लभ लेकिन महत्वपूर्ण डेटा क्लास (जैसे कि घुसपैठ का पता लगाने में विशिष्ट हमले के प्रकार) होते हैं।

एक अधिक सूक्ष्म लेकिन महत्वपूर्ण मुद्दा उद्देश्य मिसअलाइनमेंट (objective misalignment) है। कई चयन विधियाँ स्थानीय प्रॉक्सी (जैसे, स्थानीय प्रशिक्षण हानि या ग्रेडिएंट नॉर्म्स) पर निर्भर करती हैं ताकि क्लाइंट उपयोगिता का अनुमान लगाया जा सके। Non-IID स्थितियों के तहत, एक क्लाइंट जिसकी स्थानीय हानि (local loss) अधिक है, वह केवल वैश्विक मॉडल से विचलित वितरण वाला हो सकता है, न कि वैश्विक रूप से सूचनात्मक। ऐसे क्लाइंट्स को प्राथमिकता देने से वैश्विक मॉडल स्थानीय इष्टतम (local optima) की ओर पक्षपाती हो सकता है, जिससे अस्थिर प्रशिक्षण गतिशीलता और अभिसरण में विफलता होती है। इसके अलावा, अत्यधिक विषम IoT सेटिंग्स में, अल्पसंख्यक वर्गों (minority classes) को रखने वाले क्लाइंट्स को रैंडम सैंपलिंग के कारण अक्सर कम चुना जाता है, जिससे दुर्लभ हमलों के प्रकारों पर खराब सामान्यीकरण (generalization) होता है।

कार्यप्रणाली: VARS-FL

लेखक VARS-FL (Validation-Aligned Reputation Scoring for Federated Learning) का प्रस्ताव करते हैं, जो एक क्लाइंट चयन ढांचा है जिसे स्थानीय प्रशिक्षण या एकत्रीकरण प्रोटोकॉल को संशोधित किए बिना स्टेटलेसनेस और उद्देश्य मिसअलाइनमेंट को संबोधित करने के लिए डिज़ाइन किया गया है।

मुख्य घटक

वैलिडेशन-अलाइन्ड क्वालिटी स्कोरिंग (Validation-Aligned Quality Scoring):
स्थानीय प्रॉक्सी के बजाय, सर्वर प्रत्येक क्लाइंट के योगदान का मूल्यांकन क्लाइंट के अपडेट द्वारा प्रेरित सर्वर-साइड वैलिडेशन लॉस में कमी को मापकर करता है।
- मान लीजिए कि $L_{val}(\theta)$ वैलिडेशन लॉस है। दौर $t$ में क्लाइंट $i$ के लिए, सुधार $\delta_i^t$ की गणना इस प्रकार की जाती है: $\max(0, L_{val}(\theta^{t-1}) - L_{val}(\theta_i^t))$ ।
- यह सिग्नल स्वाभाविक रूप से वैश्विक अनुकूलन उद्देश्य के साथ संरेखित है, यह सुनिश्चित करता है कि चयनित क्लाइंट केवल स्थानीय फिटिंग के बजाय वैश्विक सामान्यीकरण में योगदान देते हैं।
- सापेक्ष योगदान पर जोर देने के लिए दौर के भीतर स्कोर को सामान्यीकृत (normalize) किया जाता है।
रेप्यूटेशन मैकेनिज्म (Reputation Mechanism):
एकल-दौर संकेतों के शोर को दूर करने के लिए, VARS-FL समय के साथ साक्ष्य को एक रेप्यूटेशन स्कोर ( $R_i^t$ ) में एकत्रित करता है।
- यह हालिया क्वालिटी स्कोर के स्लाइडिंग-विंडो एवरेज ( $\bar{Q}_i^{(t)}$ ) को एक लॉगारिदमिक रूप से स्केल किए गए पार्टिसिपेशन टर्म ( $\log(1 + p_i^t)$ ) के साथ जोड़ता है।
- लॉगरिदमिक टर्म यह सुनिश्चित करता है कि केवल बार-बार भागीदारी ही चयन की गारंटी नहीं देती है; निरंतर गुणवत्ता आवश्यक है। यह "रिच गेट र richer" (अमीर और अमीर होता जाता है) की घटना को रोकता है जबकि मजबूती बनाए रखता है।
एक्सप्लोर-एक्सप्लॉइट चयन रणनीति (Explore–Exploit Selection Strategy):
क्लाइंट चयन को एक मल्टी-आर्म्ड बैंडिट (MAB) समस्या के रूप में तैयार किया गया है।
- एक्सप्लॉइटेशन (Exploitation): अधिकांश स्लॉट्स ( $m_{rep}$ ) उच्चतम रेप्यूटेशन स्कोर वाले क्लाइंट्स द्वारा भरे जाते हैं।
- एक्सप्लोरेशन (Exploration): शेष स्लॉट्स ( $m_{rnd}$ ) को यूनिफॉर्म रैंडम सैंपलिंग के माध्यम से भरा जाता है ताकि यह सुनिश्चित हो सके कि संभावित रूप से सूचनात्मक क्लाइंट्स (विशेष रूप से जिनके पास दुर्लभ डेटा है) को स्थायी रूप से बाहर न किया जाए।
- एक "कोल्ड-स्टार्ट" अवधि ( $T_0$ ) रेप्यूटेशन स्कोर स्थापित होने से पहले रैंडम चयन का उपयोग करती है।

सिस्टम गुण

अनुकूलता (Compatibility): VARS-FL मानक FedAvg एकत्रीकरण के साथ पूरी तरह से संगत है। इसके लिए स्थानीय प्रशिक्षण, क्लाइंट-साइड गणना, या संचार प्रोटोकॉल में किसी बदलाव की आवश्यकता नहीं है।
ओवरहेड (Overhead): यह कोई अतिरिक्त संचार ओवरहेड नहीं जोड़ता है (क्लाइंट केवल मॉडल अपडेट भेजते हैं)। अतिरिक्त कम्प्यूटेशनल लागत पूरी तरह से सर्वर-साइड है (वैलिडेशन सेट पर फॉरवर्ड पास) और कुल क्लाइंट्स की संख्या के स्वतंत्र रूप से, चयनित क्लाइंट्स की संख्या और वैलिडेशन सेट के आकार के साथ रैखिक रूप से स्केल करती है।

प्रयोगात्मक परिणाम

ढांचे का मूल्यांकन Edge-IIoTset डेटासेट पर किया गया, जो 15 क्लास (दुर्लभ हमलों सहित) के साथ एक बड़े पैमाने का IoT घुसपैठ पहचान बेंचमार्क है और इसमें Non-IID विभाजन के तहत 100 क्लाइंट्स हैं।

प्रदर्शन: VARS-FL ने कई रैंडम सीड्स के तहत FedAvg, Oort, और Power-of-Choice को लगातार पछाड़ दिया।
- सटीकता (Accuracy): 0.8185 का औसत सटीकता प्राप्त किया (FedAvg के 0.7671 के मुकाबले)।
- F1-मैक्रो: महत्वपूर्ण रूप से सुधरकर 0.6422 हो गया (FedAvg के 0.5565 के मुकाबले), जो क्लास असंतुलन और अल्पसंख्यक हमले के प्रकारों को बेहतर ढंग से संभालने का संकेत देता है।
- लॉस (Loss): टेस्ट लॉस को घटाकर 0.4937 कर दिया (FedAvg के 0.5852 के मुकाबले)।
अभिसरण गति (Convergence Speed): VARS-FL ने अभिसरण को तेज किया, बेसलाइन्स की तुलना में 80% सटीकता तक पहुँचने के लिए 36% कम दौर की आवश्यकता पड़ी। कुछ सीड्स में, बेसलाइन्स 100 दौरों के भीतर 80% तक पहुँचने में विफल रहे, जबकि VARS-FL लगातार सफल रहा।
स्थिरता (Stability): Oort के विपरीत, जिसमें लोकल-लॉस मिसअलाइनमेंट के कारण उच्च-आयाम दोलन (oscillations) देखे गए थे, VARS-FL ने स्थिर प्रशिक्षण गतिशीलता और सीड्स के बीच कम विचरण (variance) प्रदर्शित किया।
प्रति-क्लास रिकॉल (Per-Class Recall): इस पद्धति ने उन छह क्लास के लिए रिकॉल में महत्वपूर्ण सुधार किया जहाँ FedAvg का प्रदर्शन खराब था (जैसे, पोर्ट स्कैनिंग, रैनसमवेयर), जो दुर्लभ लेकिन महत्वपूर्ण डेटा को सामने लाने की इसकी क्षमता को प्रदर्शित करता है।
मजबूती (Robustness): फ्रेमवर्क सर्वर-साइड वैलिडेशन सेट की संरचना के प्रति मजबूत साबित हुआ। एक छोटा, क्लास-बैलेंस्ड वैलिडेशन सेट (2,250 सैंपल्स) एक बड़े स्ट्रैटिफाइड सेट (110,407 सैंपल्स) के तुलनीय प्रदर्शन करता है, जो IIoT डिप्लॉयमेंट के लिए व्यावहारिक व्यवहार्यता का सुझाव देता है जहाँ वैश्विक वितरण अज्ञात होता है।

महत्व और दावे

पेपर दावा करता है कि VARS-FL विषम, Non-IID वातावरण में क्लाइंट चयन के लिए एक सिद्धांतिक और व्यावहारिक समाधान प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

उद्देश्य संरेखण (Objective Alignment): स्थानीय प्रॉक्सी के स्थान पर सर्वर-साइड वैलिडेशन लॉस रिडक्शन का उपयोग करके, यह क्लाइंट चयन को सीधे वैश्विक अनुकूलन लक्ष्य के साथ संरेखित करता है, जिससे स्थानीय वितरण बदलावों के कारण होने वाली अस्थिरता कम होती है।
इतिहास-जागरूकता (History-Awareness): रेप्यूटेशन मैकेनिज्म दीर्घकालिक योगदान रुझानों को कैप्चर करता है, जो लगातार उपयोगी क्लाइंट्स और उन क्लाइंट्स के बीच अंतर करता है जो केवल एक दौर में शोर वाले या भाग्यशाली थे।
IoT उपयुक्तता (IoT Suitability): यह बिना किसी अतिरिक्त क्लाइंट-साइड संचार के कार्य करके और प्रभावी ढंग से छोटे, स्वतंत्र वैलिडेशन सेट के साथ काम करके IoT/IIoT की विशिष्ट बाधाओं (बैंडविड्थ, डेटा संप्रभुता, विषमता) को संबोधित करता है।

लेखक VARS-FL को पहले ऐसे ढांचे के रूप में प्रस्तुत करते हैं जो एक मानक FL पाइपलाइन के भीतर वैश्विक रूप से संरेखित उपयोगिता संकेतों, टेम्पोरल एग्रीगेशन (रेप्यूटेशन), और एक्सप्लोर-एक्सप्लॉइट चयन को एक साथ जोड़ता है, जो स्टेटलेस या प्रॉक्सी-आधारित रणनीतियों के लिए एक विश्वसनीय विकल्प प्रदान करता है।