🤖 machine learning

Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination

यह शोधपत्र फेडरेटेड सुदृढीकरण शिक्षण (Federated Reinforcement Learning) के लिए एक हल्का, दंड-आधारित एकत्रीकरण नियम प्रस्तावित करता है जो सर्वर-साइड अपडेट में अनुमानित बाधा उल्लंघन (constraint violations) को शामिल करता है, जो सिंथेटिक और वास्तविक दुनिया के डेटासेट दोनों में माइक्रोग्रिड ऊर्जा समन्वय कार्यों के माध्यम से FedAvg जैसी मानक विधियों की तुलना में बेहतर सुरक्षा और पुरस्कार ट्रेड-ऑफ प्रदर्शित करता है।

मूल लेखक: Usman Haider, Karl Mason

प्रकाशित 2026-07-15

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Usman Haider, Karl Mason

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसे पड़ोस की कल्पना करें जहाँ हर घर में एक स्मार्ट बैटरी और एक लचीला उपकरण है, जैसे कि एक वॉशिंग मशीन जो कभी भी चल सकती है जब बिजली सस्ती हो। लक्ष्य यह है कि सभी घर मिलकर पैसे बचा सकें बिना मुख्य ग्रिड से जुड़ने वाली एक सिंगल पावर लाइन पर बोझ डाले। यदि कुल बिजली का खिंचाव बहुत अधिक हो जाता है, तो लाइन ट्रिप हो जाती है, और सभी की बिजली चली जाती है। यह "माइ्रोग्रिड" (Microgrid) समस्या है।

आमतौर पर, एक केंद्रीय बॉस (एक सर्वर) होगा जो सबको बताता है कि क्या करना है। लेकिन वास्तविक दुनिया में, घर अपना निजी ऊर्जा डेटा किसी अजनबी के साथ साझा नहीं करना चाहते। इसलिए, वे एक चतुर तकनीक का उपयोग करते हैं जिसे फेडरेटेड रीइन्फोर्समेंट लर्निंग (Federated Reinforcement Learning) कहा जाता है। यह एक समूह के छात्रों द्वारा व्यक्तिगत रूप से परीक्षा देने जैसा है, फिर केवल अपने अंतिम उत्तर (न कि अपना रफ कार्य/स्क्रैच पेपर) शिक्षक को भेजते हैं, जो अगले दौर के लिए बेहतर "कक्षा औसत" उत्तर बनाने के लिए उन्हें जोड़ता है।

समस्या: "नाइव" (Naive) शिक्षक

इन उत्तरों को मिलाने का मानक तरीका FedAvg (फेडरेटेड एवरेजिंग) कहलाता है। यह एक ऐसे शिक्षक जैसा है जो कहता है, "मैं बस सभी के स्कोर का औसत लूँगा और मान लूँगा कि यही सबसे अच्छी रणनीति है।"

लेकिन यहाँ एक पेंच है: इस ऊर्जा खेल में, एक छात्र एक जोखिम भरा काम करके शानदार स्कोर (बहुत पैसा बचाकर) प्राप्त कर सकता है, जैसे कि ठीक उसी समय अपनी बैटरी चार्ज करना जब बाकी सब भी कर रहे हों। स्थानीय स्तर पर, वह छात्र एक जीनियस दिखता है। लेकिन जब शिक्षक उस "जीनियस" चाल को बाकी लोगों के साथ औसत करता है, तो अचानक पूरा पड़ोस एक साथ चार्ज करने की कोशिश करता है, जिससे साझा पावर लाइन का फ्यूज उड़ जाता है। मानक शिक्षक यह जाँच नहीं करता कि उस "जीनियस" चाल ने नियमों को तोड़ा या नहीं; वे बस उसे औसत में शामिल कर देते हैं।

समाधान: "सुरक्षा-प्रथम" शिक्षक

इस शोध पत्र के लेखक एक नए प्रकार के शिक्षक का प्रस्ताव करते हैं जो कन्स्ट्रेंट-अवेयर एग्रीगेशन (Constraint-Aware Aggregation) का उपयोग करता है। केवल यह देखने के बजाय कि किसने उच्चतम स्कोर प्राप्त किया, यह शिक्षक प्रत्येक छात्र से दो प्रश्न पूछता है:

आपने कितने पैसे बचाए? (रिवॉर्ड/पुरस्कार)
आपने ग्रिड के फटने के जोखिम में कितना योगदान दिया? (वायलेशन/उल्लंघन)

वे एक सरल नियम पेश करते हैं: पेनल्टी-बेस्ड एग्रीगेशन (Penalty-based Aggregation)। इसे एक स्कोरकार्ड के रूप में सोचें जहाँ शिक्षक उन प्रत्येक बार के लिए अंक काटता है जब किसी छात्र की चाल ने ग्रिड को जोखिम में डाला। फॉर्मूला लगभग इस प्रकार है:
फाइनल वेट = (बचाया गया पैसा) − (जोखिम दंड)

यदि किसी छात्र ने बहुत पैसा बचाया लेकिन बहुत बड़ा जोखिम पैदा किया, तो उनका "वेट" (भार) गिर जाता है, और उनकी रणनीति को अनदेखा कर दिया जाता है। यदि उन्होंने पैसा भी बचाया और वे सुरक्षित भी थे, तो उनकी रणनीति को बढ़ाया जाता है।

प्रयोग: डेयरी फार्म टेस्ट

इस परीक्षण के लिए, शोधकर्ताओं ने एक वीडियो गेम बनाया जिसे DairyGridEnv कहा जाता है। कल्पना करें कि 5 डेयरी फार्म (एजेंट) एक सिंगल पावर लाइन से जुड़े हैं जिसकी क्षमता 12 (सामान्यीकृत इकाइयों में) है।

लक्ष्य: प्रत्येक फार्म एक बैटरी को नियंत्रित करता है ताकि वह चार्ज या डिस्चार्ज कर सके।
ट्विस्ट: वे केवल अपने स्वयं के फार्म का डेटा देख सकते हैं, दूसरों का नहीं।
प्रतिबंध: सभी 5 फार्मों द्वारा कुल बिजली का खिंचाव 12 से अधिक नहीं होना चाहिए। यदि यह होता है, तो एक "वायलेशन" (उल्लंघन) होता है।

उन्होंने संचार के 30 राउंड चलाए, परिणामों की पुष्टि के लिए 5 अलग-अलग सीड्स (रैंडम शुरुआती बिंदु) का परीक्षण किया ताकि यह सुनिश्चित हो सके कि परिणाम केवल किस्मत नहीं थे। उन्होंने वास्तविक बिजली डेटा का उपयोग करके नियमों का परीक्षण किया, जिसमें फिनलैंड और जर्मनी के फार्मों का डेटा शामिल था, ताकि यह देखा जा सके कि क्या गेम का तर्क वास्तविक दुनिया में भी काम करता है।

परिणाम: सुरक्षा की जीत

परिणाम स्पष्ट और निरंतर थे, सिमुलेशन और वास्तविक दुनिया के डेटा दोनों में:

पुराना तरीका (FedAvg): औसत वायलेशन 9.77 था। फार्म ग्रिड को ट्रिप करते रहे।
नया तरीका (Penalty-based): औसत वायलेशन घटकर 0.90 रह गया। यह एक बहुत बड़ा सुधार है!
स्कोर: न केवल नए तरीके ने ग्रिड को ट्रिप होने से रोका, बल्कि इसने फार्मों को अधिक पैसा बचाने में भी मदद की। औसत रिवॉर्ड (जो कि नकारात्मक लागत है, यानी शून्य के करीब होना बेहतर है) पुराने तरीके के −50.71 से सुधरकर नए तरीके के साथ −16.06 हो गया।

उन्होंने "कंबाइंड एग्रीगेशन" नामक एक अधिक जटिल विधि का भी परीक्षण किया, जो सुरक्षा और रिवॉर्ड को संतुलित करने के लिए एक ट्यूनिंग नॉब (जिसे λ कहा जाता है) का उपयोग करती है। हालांकि उन्होंने पाया कि λ = 1.5 (जिसने 0.90 का वायलेशन और −15.99 का रिवॉर्ड दिया) पर एक स्वीट स्पॉट मिलता है, लेकिन यह विधि "कम स्थिर" (less stable) थी। कभी-कभी यह बहुत अच्छा काम करती थी, कभी-कभी नहीं। सरल "पेनल्टी" नियम सबसे विश्वसनीय था।

उन्होंने क्या खारिज किया

यह शोध पत्र स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि इस समस्या को हल करने के लिए आपको जटिल, भारी-भरकम गणित की आवश्यकता है।

उन्होंने "ड्यूल ऑप्टिमाइज़ेशन" (एक जटिल गणितीय तकनीक जहाँ आप दो अलग-अलग लक्ष्यों को एक साथ संभालते हैं) का उपयोग नहीं किया।
उन्होंने स्थानीय स्तर पर फार्मों के सीखने के तरीके को नहीं बदला। फार्म अभी भी उसी मानक प्रशिक्षण पद्धति (PPO) का उपयोग कर रहे थे।
उन्हें फार्मों के निजी डेटा या उनके कार्यों के पूर्ण इतिहास को साझा करने की आवश्यकता नहीं थी। वे केवल दो छोटे नंबर साझा करते थे: उनका कुल स्कोर और उनका कुल जोखिम। हालाँकि, प्रत्येक फार्म के "जोखिम" (वायलेशन) की गणना करने के लिए, सिस्टम को एक सिंक्रोनाइज्ड रन की आवश्यकता होती है जहाँ सर्वर सभी फार्मों के संयुक्त कार्यों को एक साथ देखता है ताकि यह निर्धारित किया जा सके कि कुल सीमा टूट गई है या नहीं।

वे कितने आश्वस्त हैं?

लेखक इन निष्कर्षों को लेकर बहुत आश्वस्त हैं, लेकिन एक विशिष्ट सीमा के साथ:

सिमुलेशन में प्रमाणित: परिणाम DairyGridEnv सिमुलेशन और उसमें फीड किए गए वास्तविक दुनिया के डेटा पर आधारित हैं।
सांख्यिकीय रूप से महत्वपूर्ण: उन्होंने सांख्यिकीय परीक्षण (जैसे t-test) चलाए और पाया कि सुधार वास्तविक था, रैंडम चांस नहीं (रिवॉर्ड के लिए p-value 0.0126 और वायलेशन के लिए 0.0103)।
हर चीज़ के लिए जादू की छड़ी नहीं: उन्होंने नोट किया कि हालांकि उनकी विधि बहुत अच्छी है, लेकिन एक "सेंट्रलाइज्ड" (केंद्रीयकृत) शिक्षक (जो सब कुछ देखता है) अभी भी थोड़ा बेहतर प्रदर्शन करता है (लगभग शून्य वायलेशन)। यह सुझाव देता है कि मुख्य चुनौती विकेंद्रीकृत (decentralized) प्रकृति की है, न कि नियंत्रण कार्य की।

मुख्य निष्कर्ष (Takeaway)

यह शोध पत्र सुझाव देता है कि ऊर्जा ग्रिड के लिए फेडरेटेड रीइन्फोर्समेंट लर्निंग को सुरक्षित बनाने के लिए आपको पूरे सिस्टम को बदलने की आवश्यकता नहीं है। आपको बस सर्वर द्वारा उत्तरों को मिलाने के तरीके को बदलने की आवश्यकता है। रणनीतियों को मिलाने वाले गणित में बस एक "सेफ्टी पेनल्टी" जोड़ने से, आप ग्रिड को ट्रिप होने से रोक सकते हैं और साथ ही पैसा भी बचा सकते हैं। यह एक हल्का, सर्वर-साइड फिक्स है जो गोपनीयता बनाए रखता है और बिजली चालू रखता है।

तकनीकी सारांश: माइक्रोग्रिड ऊर्जा समन्वय में फेडरेटेड सुदृढीकरण शिक्षण (Federated Reinforcement Learning) के लिए बाधा-जागरूक एकत्रीकरण (Constraint-Aware Aggregation)

समस्या विवरण

वितरित ऊर्जा संसाधन (DERs), जैसे कि फार्म-स्तर की बैटरियां, कृषि माइक्रोग्रिड में लागत और लचीलेपन को अनुकूलित करने के लिए तेजी से तैनात किए जा रहे हैं। हालांकि, ये प्रणालियाँ एक बाधित समन्वय समस्या का सामना करती हैं: जबकि व्यक्तिगत फार्म अपने स्थानीय ऊर्जा उपयोग को अनुकूलित करते हैं, उनके सामूहिक कार्य साझा वैश्विक बुनियादी ढांचे की सीमाओं (जैसे, फीडर क्षमता) का उल्लंघन कर सकते हैं।

मानक सुदृढीकरण शिक्षण (RL) दृष्टिकोण अक्सर वैश्विक डेटा तक पहुंच के साथ केंद्रीकृत प्रशिक्षण पर निर्भर करते हैं, जो गोपनीयता, स्वामित्व और संचार बाधाओं के कारण वितरित सेटिंग्स में अव्यावहारिक है। फेडरेटेड सुदृढीकरण शिक्षण (FedRL) एक विकेंद्रीकृत विकल्प प्रदान करता है जहाँ एजेंट स्थानीय रूप से प्रशिक्षण लेते हैं और मॉडल पैरामीटर साझा करते हैं। हालांकि, मौजूदा FedRL एकत्रीकरण रणनीतियाँ, जैसे कि फेडरेटेड एवरेजिंग (FedAvg), सभी क्लाइंट अपडेट्स के साथ समान व्यवहार करती हैं। वे इस बात पर ध्यान नहीं देतीं कि क्या किसी विशिष्ट क्लाइंट की नीति वैश्विक बाधा उल्लंघन में असमान रूप से योगदान दे रही है। फलस्वरूप, सहज एकत्रीकरण असुरक्षित वैश्विक व्यवहारों की ओर ले जा सकता है जहाँ उच्च स्थानीय पुरस्कार (rewards) प्रणालीगत सुरक्षा जोखिमों को छिपा देते हैं।

कार्यप्रणाली

लेखक एक बाधा-जागरूक एकत्रीकरण ढांचे (constraint-aware aggregation framework) का प्रस्ताव करते हैं जो स्थानीय प्रशिक्षण उद्देश्यों को बदले बिना या कच्चे ट्राजेक्टरी (raw trajectories) साझा करने की आवश्यकता के बिना, सर्वर-साइड अपडेट प्रक्रिया को संशोधित करता है।

1. वातावरण: DairyGridEnv
अध्ययन बाधित फेडरेटेड नियंत्रण के लिए एक बेंचमार्क के रूप में DairyGridEnv पेश करता है। यह एक साझा ग्रिड (क्षमता $L$ के साथ) से जुड़े $N=5$ फार्मों का अनुकरण करता है।

स्थानीय अवलोकन (Local Observations): प्रत्येक एजेंट समय-परिवर्तित बिजली लागत, अपनी बैटरी स्टेट-ऑफ-चार्ज (SOC), और स्थानीय मांग का अवलोकन करता है।
क्रियाएं (Actions): एजेंट निरंतर बैटरी चार्ज/डिस्चार्ज दरों को नियंत्रित करते हैं।
वैश्विक बाधा (Global Constraint): एक उल्लंघन तब होता है जब सभी एजेंटों का शुद्ध ग्रिड योगदान फीडर क्षमता से अधिक हो जाता है।
डेटा स्रोत: प्रयोग सिंथेटिक स्टोकेस्टिक डिमांड प्रक्रिया और फिनलैंड (फार्म लोड, PV, विंड) और जर्मन FIELD डेटासेट (30 फार्म, 1-सेकंड रिज़ॉल्यूशन) से वास्तविक दुनिया के लोड प्रोफाइल का उपयोग करते हैं।

2. एकत्रीकरण तंत्र (Aggregation Mechanism)
मानक औसत के बजाय, सर्वर प्रत्येक क्लाइंट द्वारा रोलआउट के बाद रिपोर्ट किए गए दो हल्के वजन वाले स्केलर सारांशों के आधार पर एकत्रीकरण भार ( $w_i$ ) की गणना करता है:

$R_i$ : औसत स्थानीय पुरस्कार (Average local reward)।
$V_i$ : क्लाइंट द्वारा जिम्मेदार अनुमानित बाधा उल्लंघन (Estimated constraint violation)।

उल्लंघन का निर्धारण एक ह्यूरिस्टिक (heuristic) विधि है: $V^t_i = \text{viol}_t \cdot \frac{g^t_i}{\sum g^t_j}$ , जहाँ $g^t_i$ एजेंट का शुद्ध ग्रिड योगदान है। यह सर्वर को पूर्ण ट्राजेक्टरी दृश्यता के बिना वैश्विक उल्लंघनों के लिए जिम्मेदारी सौंपने की अनुमति देता है।

3. मूल्यांकित एकत्रीकरण नियम
पेपर कई वेटिंग रणनीतियों का मूल्यांकन करता है:

प्रदर्शन-आधारित (Performance-based): $w_i \propto e^{R_i}$
उल्लंघन-आधारित (Violation-based): $w_i \propto \frac{1}{1+V_i}$
संयुक्त (Combined): $w_i \propto \frac{e^{R_i}}{1+\lambda e^{V_i}}$ (एक ट्यूनेबल ट्रेड-ऑफ पैरामीटर $\lambda$ पेश करता है)
दंड-आधारित (Penalty-based - प्रस्तावित): $w_i \propto \max(\epsilon, R_i - \alpha V_i - \min_j(R_j - \alpha V_j))$ $w_{i} \propto max (ϵ, R_{i} - α V_{i} - min_{j} (R_{j} - α V_{j}))$
- यह नियम एक दंड पद $\alpha V_i$ का उपयोग करके प्रदर्शन और सुरक्षा के बीच सीधा व्यापार करता है। इसके लिए किसी ड्युअल ऑप्टिमाइज़ेशन वेरिएबल्स या स्थानीय PPO एल्गोरिदम में संशोधन की आवश्यकता नहीं होती है।

मुख्य योगदान

फ्रेमवर्क प्रस्ताव: एक बाधा-जागरूक एकत्रीकरण ढांचा जो सर्वर अपडेट को पुन: भारित (reweight) करने के लिए रिवॉर्ड और उल्लंघन सारांशों का उपयोग करता है, जिससे मानक संचार प्रोटोकॉल और स्थानीय शिक्षण प्रक्रियाओं को सुरक्षित रखा जाता है।
बेंचमार्क परिचय: DairyGridEnv का निर्माण और सिंथेटिक सेटिंग्स से परे सामान्यीकरण का परीक्षण करने के लिए फिनलैंड और जर्मनी के वास्तविक फार्म-लोड डेटासेट तक मूल्यांकन का विस्तार।
अनुभवजन्य प्रदर्शन (Empirical Demonstration): साक्ष्य कि एक सरल दंड-आधारित एकत्रीकरण नियम ( $w_i \propto R_i - \alpha V_i$ ) FedAvg और अन्य एकत्रीकरण रणनीतियों की तुलना में पुरस्कार और सुरक्षा के बीच एक बेहतर और स्थिर ट्रेड-ऑफ प्रदान करता है।
डिज़ाइन अंतर्दृष्टि: यह निष्कर्ष कि एकत्रीकरण डिज़ाइन, फेडरेटेड RL में सुरक्षा के लिए एक महत्वपूर्ण लीवर है, जो स्थानीय प्रशिक्षण या संचार ओवरहेड को बढ़ाए बिना अनुभवजन्य सुरक्षा में सुधार करने में सक्षम है।

परिणाम

प्रयोग 30 कम्युनिकेशन राउंड और 5 सीड्स (seeds) के माध्यम से किए गए, जिसमें FedAvg और केंद्रीकृत PPO बेसलाइन के विरुद्ध प्रस्तावित विधियों की तुलना की गई।

सिंथेटिक बेंचमार्क: दंड-आधारित एकत्रीकरण ने सबसे अच्छा समग्र ट्रेड-ऑफ हासिल किया। FedAvg की तुलना में, इसने औसत उल्लंघन को 9.77 से घटाकर 0.90 कर दिया और औसत पुरस्कार को -50.71 से बढ़ाकर -16.06 कर दिया। इसने रिवॉर्ड और सुरक्षा दोनों मेट्रिक्स में FedAvg, प्रदर्शन-भारित, और उल्लंघन-भारित एकत्रीकरण को लगातार पछाड़ दिया।
वास्तविक डेटा: वास्तविक लोड-संचालित सेटिंग्स में भी लाभ बने रहे।
- फिनलैंड प्रोफाइल: औसत उल्लंघन को 12.90 (FedAvg) से घटाकर 2.26 कर दिया।
- जर्मन FIELD प्रोफाइल: इसने औसत उल्लंघन को 0.92 (FedAvg) से घटाकर 0.00 कर दिया, जिससे उल्लंघन प्रभावी रूप से समाप्त हो गए।
स्थिरता: जबकि "संयुक्त" नियम (ट्यून किए गए $\lambda$ के साथ) कम उल्लंघन प्राप्त कर सकता था, यह दंड-आधारित दृष्टिकोण की तुलना में सीड्स के बीच उच्च विचरण (variance) प्रदर्शित करता था।
केंद्रीकृत बेसलाइन: केंद्रीकृत PPO ने लगभग शून्य उल्लंघन प्राप्त किया, जो यह दर्शाता है कि फेडरेटेड सेटिंग में मुख्य चुनौती विकेंद्रीकृत अपडेट के तहत बाधाओं को लागू करना है, न कि स्वयं नियंत्रण कार्य।

महत्व और दावे

पेपर का दावा है कि फेडरेटेड RL को सुरक्षा-महत्वपूर्ण ऊर्जा प्रणालियों में तैनात करने के लिए एकत्रीकरण चरण में सिस्टम-स्तरीय बाधाओं को शामिल करना आवश्यक है। लेखक जोर देते हैं कि उनका दृष्टिकोण हल्का (lightweight) है: यह नगण्य संचार लागत जोड़ता है (केवल स्केलर सारांश) और इसके लिए स्थानीय नीति अनुकूलन या ड्युअल वेरिएबल के आदान-प्रदान में बदलाव की आवश्यकता नहीं होती है।

परिणाम बताते हैं कि सरल सर्वर-साइड एकत्रीकरण रणनीतियाँ फेडरेटेड सुदृढीकरण शिक्षण में अनुभवजन्य सुरक्षा में काफी सुधार कर सकती हैं। दंड-आधारित नियम को एक मजबूत, ट्यूनेबल तंत्र के रूप में रेखांकित किया गया है जो ड्युअल ऑप्टिमाइज़ेशन की जटिलता या संयुक्त रिवॉर्ड-उल्लंघन योजनाओं की अस्थिरता के बिना प्रदर्शन और सुरक्षा के बीच संतुलन बनाता है। यह कार्य एकत्रीकरण डिज़ाइन को वितरित ऊर्जा समन्वय में सुरक्षा सुनिश्चित करने के लिए एक प्रमुख, अक्सर अनदेखा किया जाने वाला घटक मानता है।