⚡ electrical engineering

EH-FedSAG: Variance-Reduced Federated Learning with Energy-Aware Participation in Energy-Harvesting IoT

यह शोध पत्र EH-FedSAG का प्रस्ताव करता है, जो एक सर्वर-मेमोरी-आधारित वेरिएंस-रिड्यूस्ड फेडरेटेड लर्निंग एल्गोरिदम है जो मानक EH-FedAvg की तुलना में टेस्ट एक्यूरेसी और स्थिरता में बेहतर प्रदर्शन करता है, विशेष रूप से ऊर्जा-हार्वेस्टिंग IoT नेटवर्क में सीमित ऊर्जा उपलब्धता और नॉन-IID डेटा वितरण के तहत।

मूल लेखक: Shahab Jahanbazi, Mateen Ashraf, Richard Demo Souza, Onel L. A. Lopez

प्रकाशित 2026-06-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shahab Jahanbazi, Mateen Ashraf, Richard Demo Souza, Onel L. A. Lopez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह मिलकर एक विशाल पहेली (puzzle) को हल करने की कोशिश कर रहा है, लेकिन वे व्यक्तिगत रूप से मिल नहीं सकते। इसके बजाय, वे में से प्रत्येक अपने घर पर पहेली के एक हिस्से पर काम करता है और अपनी प्रगति एक केंद्रीय "टीम कैप्टन" को भेजता है, जो सभी के काम को मिलाकर एक बड़ी तस्वीर बनाता है। यह फेडरेटेड लर्निंग (Federated Learning) का मूल विचार है: एक ऐसा तरीका जिससे कई उपकरण अपने निजी डेटा को साझा किए बिना मिलकर सीख सकते हैं।

हालाँकि, इस विशिष्ट शोध पत्र में, "दोस्त" सौर ऊर्जा से चलने वाले गैजेट्स (जैसे कि जंगल या स्मार्ट सिटी में लगे सेंसर) हैं जो एनर्जी हार्वेस्टिंग (EH) पर निर्भर करते हैं। इसका मतलब है कि उनके पास कोई स्थिर पावर कॉर्ड नहीं है; उन्हें ऊर्जा तभी मिलती है जब सूरज चमकता है या हवा चलती है। कभी-कभी उनके पास पर्याप्त बिजली होती है; कभी-कभी उनकी बैटरी पूरी तरह खाली होती है।

समस्या: "अविश्वसनीय टीम"

एक सामान्य सीखने वाली प्रणाली में, टीम कैप्टन को उम्मीद होती है कि हर दिन कुछ निश्चित संख्या में दोस्त अपडेट भेजने के लिए उपस्थित होंगे। लेकिन इस ऊर्जा-संचय (energy-harvesting) वाली दुनिया में, स्थिति अराजक है:

"बैटरी" की समस्या: यदि किसी गैजेट की बैटरी कम है, तो वह गणित (लोकल ट्रेनिंग) नहीं कर सकता या संदेश नहीं भेज सकता (ट्रांसमिशन)।
"अनिश्चितता" की समस्या: क्योंकि ऊर्जा अनियमित रूप से आती है, इसलिए भाग लेने वाले दोस्तों का समूह हर राउंड में बदल जाता है। एक दिन, केवल 5 लोग आते हैं; अगले दिन, 20 लोग आते हैं।
परिणाम: टीम कैप्टन को एक बिखरी हुई, असंगत तस्वीर मिलती है। सीखने की प्रक्रिया अस्थिर, धीमी और गलतियों से भरी हो जाती है क्योंकि "टीम" का आकार और संरचना लगातार बदल रही है।

मानक विधि (जिसे EH-FedAvg कहा जाता है) बस उस औसत को लेती है जो उस दिन उपस्थित होता है। यदि समूह छोटा है या प्रतिनिधि नहीं है, तो औसत गलत होता है, और सीखने की प्रक्रिया लड़खड़ा जाती है।

समाधान: EH-FedSAG (द "मेमोरी कीपर")

लेखक एक स्मार्ट विधि प्रस्तावित करते हैं जिसे EH-FedSAG कहा जाता है। इसे एक नोटबुक (सर्वर मेमोरी) देने के रूप में समझें।

यह रोजमर्रा के शब्दों में इस प्रकार काम करता है:

नोटबुक: भले ही कोई दोस्त आज उपस्थित न हो पाए क्योंकि उसकी बैटरी खत्म हो गई है, कैप्टन याद रखता है कि पिछली बार जब वह भाग लेने में सक्षम था, तब उसने क्या योगदान दिया था।
सुधार: जब कैप्टन नया समूह औसत (group average) की गणना करता है, तो वह केवल वर्तमान में मौजूद लोगों को नहीं देखता। वह वर्तमान अपडेट्स और नोटबुक से प्राप्त "भूतिया" (ghost) अपडेट्स (अनुपस्थित दोस्तों के पिछले ज्ञात अच्छे काम) दोनों को देखता है।
लाभ: यह उतार-चढ़ाव को कम करता है। यदि आज केवल 3 दोस्त उपस्थित होते हैं, तो कैप्टन उनके नए काम का उपयोग करता है और साथ ही अन्य 7 दोस्तों की संग्रहीत स्मृति (memory) के साथ "अंतराल को भर देता है"। यह सीखने की प्रक्रिया को अचानक से इधर-उधर होने से रोकता है।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने 100 गैजेट्स के साथ एक सिमुलेशन चलाया जो छवियों (जैसे बिल्ली बनाम कुत्ता) को पहचानना सीख रहे थे। उन्होंने दो परिदृश्यों का परीक्षण किया:

विभिन्न ऊर्जा स्तर: कभी-कभी गैजेट्स को बहुत कम ऊर्जा मिलती थी (कम धूप), और कभी-कभी उन्हें अधिक ऊर्जा मिलती थी।
विभिन्न डेटा: कभी-कभी सभी गैजेट्स के पास समान तस्वीरें होती थीं (आसान), और कभी-कभी उनके पास बहुत अलग तस्वीरें होती थीं (कठिन)।

परिणाम: क्यों "नोटबुक" जीतती है

शोध से पता चला कि EH-FedSAG विधि (नोटबुक के साथ) मानक विधि की तुलना में बहुत बेहतर थी:

सुचारू सीखना (Smoother Learning): मानक विधि एक ऊबड़-खाबड़ सड़क पर गाड़ी चलाने जैसी थी, जो लगातार ऊपर-नीचे झटका ले रही थी। EH-FedSAG विधि एक चिकनी हाईवे पर गाड़ी चलाने जैसी थी।
बेहतर सटीकता: विशेष रूप से जब ऊर्जा दुर्लभ थी (गैजेट्स अक्सर "सो रहे" थे), नोटबुक विधि ने तेजी से और अधिक सटीकता से सीखा।
अंतरों को संभालना: जब गैजेट्स के पास बहुत अलग प्रकार का डेटा था (कुछ ने केवल बिल्लियाँ देखीं, दूसरों ने केवल कुत्ते), तो मानक विधि बहुत भ्रमित हो गई। नोटबुक विधि ने पिछले राउंड से "बड़ी तस्वीर" को याद रखकर सीखने को सही दिशा में बनाए रखा।

मुख्य निष्कर्ष

एक ऐसी दुनिया में जहाँ उपकरण अप्रत्याशित, संचित ऊर्जा पर चलते हैं, आप हर दिन सभी के आने पर भरोसा नहीं कर सकते। यह शोध पत्र दिखाता है कि सर्वर को पिछले योगदानों की "स्मृति" देकर, आप सीखने की प्रक्रिया को स्थिर कर सकते हैं। यह एक ऐसी टीम रखने जैसा है जो कभी नहीं भूलती कि किसने क्या किया, भले ही टीम के कुछ सदस्य आज काम करने के लिए बहुत थके हुए हों, जिससे यह सुनिश्चित होता है कि समूह अभी भी समाधान की ओर निरंतर आगे बढ़ रहा है।

"EH-FedSAG: एनर्जी-हार्वेस्टिंग IoT में वेरिएन्स-रिड्यूस्ड फेडरेटेड लर्निंग" का तकनीकी सारांश

समस्या विवरण
एनर्जी-हार्वेस्टिंग (EH) नेटवर्क में फेडरेटेड लर्निंग (FL) ऊर्जा के रुक-रुक कर आने और अनिश्चित स्वभाव के कारण महत्वपूर्ण चुनौतियों का सामना करता है। स्थिर शक्ति वाले पारंपरिक एज डिवाइसेस के विपरीत, EH डिवाइसेस पर्यावरणीय ऊर्जा स्रोतों पर निर्भर करते हैं, जिससे समय के साथ बदलती ऊर्जा उपलब्धता होती है। यह दोहरी परत वाली अनिश्चितता पेश करता है:

अस्थिर भागीदारी (Unstable Participation): डिवाइसेस के पास किसी दिए गए राउंड में स्थानीय गणना (local computation) या अपलिंक ट्रांसमिशन के लिए पर्याप्त ऊर्जा नहीं हो सकती है, जिससे भाग लेने वाले डिवाइसेस का एक स्टोकेस्टिक (stochastic) उपसमुच्चय (subset) बनता है।
अभिसरण अस्थिरता (Convergence Instability): FedAvg जैसे मानक FL एल्गोरिदम में, आंशिक भागीदारी अपडेट के एकत्रीकरण (aggregation) में परिवर्तनशीलता लाती है, जिसके परिणामस्वरूप अक्सर एक नॉन-वेनिशिंग एरर फ्लोर (non-vanishing error floor) और अस्थिर अभिसरण व्यवहार होता है। यह समस्या EH सिस्टम में और भी बढ़ जाती है जहाँ ऊर्जा संबंधी बाधाएं डिवाइस की भागीदारी की निरंतरता को सीमित करती हैं।

जबकि पूर्व कार्यों ने ऊर्जा-जागरूक डिवाइस चयन और कुशल प्रोटोकॉल को संबोधित किया है, सर्वर-साइड मेमोरी-आधारित वेरिएन्स रिडक्शन को एक एकीकृत ढांचे के भीतर ऊर्जा-जागरूक भागीदारी और EH बाधाओं के साथ संयुक्त रूप से नहीं अध्ययन किया गया है।

कार्यप्रणाली: EH-FedSAG
यह शोध पत्र EH-FedSAG का प्रस्ताव करता है, जो EH वातावरण के लिए अनुकूलित एक सर्वर-मेमोरी-आधारित वेरिएन्स-रिड्यूस्ड FL विधि है। यह सिस्टम एक स्लॉट-आधारित EH मॉडल के तहत कार्य करता है जहाँ:

ऊर्जा गतिशीलता (Energy Dynamics): डिवाइसेस एक सीमित बैटरी क्षमता के साथ "हार्वेस्ट-स्टोर-यूज़" प्रतिमान (paradigm) का पालन करते हैं। ऊर्जा आगमन को i.i.d. बर्नौली प्रक्रियाओं (Bernoulli processes) के रूप में मॉडल किया गया है।
व्यवहार्यता बाधाएं (Feasibility Constraints): एक डिवाइस केवल तभी भाग ले सकता है जब उसके पास एक विशिष्ट शुरुआती स्लॉट ( $s^*$ ) पर स्थानीय प्रशिक्षण ( $\Omega$ स्लॉट्स) और ट्रांसमिशन (1 स्लॉट) दोनों को कवर करने के लिए पर्याप्त बैटरी स्तर हो।
डिवाइस चयन: सर्वर एक आयु-आधारित चयन नीति (age-based selection policy) का उपयोग करता है। पर्याप्त ऊर्जा वाले डिवाइसेस में से, जिन्हें हाल ही में चुना नहीं गया है (उच्च "चयन आयु"), उन्हें दीर्घकालिक निष्पक्षता सुनिश्चित करने के लिए प्राथमिकता दी जाती है। ऑर्थोगोनल चैनल सीमाओं के कारण प्रति राउंड अधिकतम $M$ डिवाइसेस को शेड्यूल किया जा सकता है।

एल्गोरिदम का मूल (Algorithmic Core):
EH-FedSAG, EH-FL प्रोटोकॉल में SAGA (स्टोकेस्टिक एवरेज ग्रेडिएंट एल्गोरिदम) सिद्धांत को एकीकृत करता है:

स्थानीय अपडेट: चयनित डिवाइसेस $B$ स्टेप्स के स्थानीय स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) करते हैं और मॉडल अंतर $\delta_t^{(k)} = w_t - w_{t,B}^{(k)}$ ट्रांसमिट करते हैं।
सर्वर मेमोरी: सर्वर प्रत्येक डिवाइस $k$ के लिए एक मेमोरी वेक्टर $m_t^{(k)}$ बनाए रखता है, जो हाल ही में प्राप्त अंतिम अपडेट को संग्रहीत करता है।
वेरिएंस रिडक्शन: एक साधारण औसत के बजाय, सर्वर सभी संग्रहीत मेमोरी के माध्य (mean) को सक्रिय डिवाइसेस के ताज़ा अपडेट के साथ जोड़कर एक वेरिए-रिड्यूस्ड दिशा $v_t$ की गणना करता है:
$v_t = \bar{m}_t + \frac{1}{|P_t|} \sum_{k \in P_t} (\delta_t^{(k)} - m_t^{(k)})$
जहाँ $\bar{m}_t$ सभी संग्रहीत मेमोरी का माध्य है।
ग्लोबल अपडेट: ग्लोबल मॉडल को इस रिड्यूस्ड-वेरिएंस दिशा का उपयोग करके अपडेट किया जाता है। यदि कोई डिवाइस भाग नहीं लेता है, तो मॉडल अपरिवर्तित रहता है।

प्रमुख योगदान

एकीकृत ढांचा (Unified Framework): लेखक एक ऊर्जा-जागरूक EH-FL ढांचा प्रस्तावित करते हैं जो स्पष्ट रूप से स्लॉट-स्तरीय बैटरी गतिशीलता को मॉडल करता है, ऊर्जा व्यवहार्यता के आधार पर प्रति-राउंड भागीदारी बाधाओं को लागू करता है, और एक आयु-आधारित डिवाइस चयन तंत्र का उपयोग करता है।
एल्गोरिदम विकास: वे EH-FedAvg के एक मेमोरी-आधारित वेरिएंट EH-FedSAG को विकसित करते हैं, जो समय के साथ बदलने वाली डिवाइस उपलब्धता और आंशिक भागीदारी के कारण होने वाले वेरिएन्स को कम करने के लिए सर्वर-साइड मेमोरी का लाभ उठाता है।
अनुभवजन्य लक्षण वर्णन (Empirical Characterization): यह शोध पत्र दो नेटवर्क आर्किटेक्चर (SmallCNN और SmallResNet) में विभिन्न ऊर्जा आगमन संभावनाओं ( $P_h$ ) और डेटा विषमता (Dirichlet पैरामीटर $\alpha$ द्वारा नियंत्रित) के तहत टेस्ट सटीकता और ट्रेनिंग राउंड के बीच संबंध को स्पष्ट करता है।

प्रायोगिक परिणाम
प्रस्तावित विधि का मूल्यांकन CIFAR-10 इमेज क्लासिफिकेशन के लिए $K=100$ डिवाइसेस और $M=25$ चैनल्स के साथ 1,000 राउंड्स के माध्यम से एक वेनिला EH-FedAvg बेसलाइन के विरुद्ध किया गया।

ऊर्जा की कमी के तहत प्रदर्शन: कम ऊर्जा आगमन संभावना ( $P_h = 0.02$ ) के तहत, EH-FedAvg में महत्वपूर्ण दोलन (oscillations) देखे गए। EH-FedSAG ने लगभग 3% अधिक टेस्ट सटीकता प्राप्त की और भागीदारी-प्रेरित उतार-चढ़ाव के प्रति अधिक मजबूती प्रदर्शित की।
वेरिएंस रिडक्शन: EH-FedSAG ने EH-FedAvg की तुलना में लगातार काफी कम लेट-स्टेज एक्यूरेसी वेरिएंस प्राप्त किया। उदाहरण के लिए, $P_h = 0.06$ पर, वेरिएंस 0.9401 (FedAvg) से घटकर 0.0421 (FedSAG) हो गया।
अभिसरण गति (Convergence Speed): EH-FedSAG ने $P_h = 0.06$ परिदृश्य में EH-FedAvg की तुलना में लगभग 26% तेजी से 50% टेस्ट एक्यूरेसी थ्रेशोल्ड प्राप्त किया।
Non-I.I.D. डेटा: विषम डेटा वितरण (कम $\alpha$ ) के तहत, सक्रिय उपसमुच्चय की गैर-प्रतिनिधि प्रकृति के कारण EH-FedAvg की सटीकता में भारी गिरावट आई। EH-FedSAG ने पहले से सक्रिय डिवाइसेस से प्राप्त जानकारी का लाभ उठाकर एक सुचारू प्रक्षेपवक्र (trajectory) बनाए रखा, जिससे ग्लोबल अपडेट को सक्रिय डिवाइसेस के तात्कालिक सेट से प्रभावी रूप से अलग किया जा सका।

महत्व और दावे
शोध पत्र का दावा है कि EH-FL में सर्वर-साइड वेरिएन्स रिडक्शन को शामिल करना प्रशिक्षण स्थिरता को बढ़ाने के लिए एक प्रभावी रणनीति है। EH-FedSAG का प्राथमिक लाभ तब सबसे अधिक स्पष्ट होता है जब ऊर्जा की उपलब्धता कम होती है और डेटा वितरण नॉन-आई.आई.डी. (non-i.i.d.) होता है। अनुपलब्ध डिवाइसेस से गायब अपडेट की भरपाई के लिए संग्रहीत मेमोरी का उपयोग करके, एल्गोरिदम संचार राउंड के दौरान अधिक सुसंगत और अनुमानित मॉडल प्रदर्शन प्रदान करता है। यह विशेष रूप से कम-पावर वाले IoT डिप्लॉयमेंट के लिए फायदेमंद है जहाँ रुक-रुक कर होने वाली भागीदारी और सीमित संचार बजट, अर्ली स्टॉपिंग और स्थिर प्रदर्शन को अत्यधिक वांछनीय बनाते हैं।

लेखक उल्लेख करते हैं कि भविष्य के कार्य इस ढांचे को अविश्वसनीय वायरलेस लिंक, EH बाधाओं के तहत सैद्धांतिक अभिसरण विश्लेषण, और कम्प्यूटेशनल रूप से विषम डिवाइसेस तक विस्तारित कर सकते हैं।

समस्या: "अविश्वसनीय टीम"

समाधान: EH-FedSAG (द "मेमोरी कीपर")

उन्होंने इसका परीक्षण कैसे किया

परिणाम: क्यों "नोटबुक" जीतती है

मुख्य निष्कर्ष

इसी तरह के और पेपर