⚡ electrical engineering

Comparative Evaluation of RL-TD3 PID Control against Hybrid and Conventional Optimizers in Renewable -Based Islanded Microgrids

यह शोध पत्र यह प्रदर्शित करता है कि एक सुदृढीकरण लर्निंग-आधारित ट्विन डिलेड डीप डिटर्मिनिस्टिक पॉलिसी ग्रेडिएंट (RL-TD3) अनुकूलित PID नियंत्रक, नवीकरणीय-आधारित द्वीपयुक्त माइक्रोग्रिड के भीतर लोड फ्रीक्वेंसी कंट्रोल स्थिरता और व्यवधान अस्वीकृति को बढ़ाने में कोआटी ऑप्टिमाइज़ेशन और ग्रे वुल्फ-कुकू सर्च जैसे पारंपरिक और हाइब्रिड अनुकूलन विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Dana Rajaa Shaaban, Ali Nasser Hussain, Ahmed K. Ali, Mohammed Alruwaili, Moustafa Ahmed Ibrahim

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dana Rajaa Shaaban, Ali Nasser Hussain, Ahmed K. Ali, Mohammed Alruwaili, Moustafa Ahmed Ibrahim

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि बिजली का एक छोटा सा, अलग-थलग द्वीप है जिसे माइक्रोग्रिड (Microgrid) कहा जाता है। यह एक आत्मनिर्भर पावर सिटी की तरह है जो बड़े राष्ट्रीय ग्रिड से नहीं जुड़ता है। इसके बजाय, यह विभिन्न स्रोतों के मिश्रण पर चलता है: कुछ विश्वसनीय हैं (जैसे डीजल जनरेटर), और कुछ मौसम की तरह अनिश्चित हैं (जैसे सोलर पैनल और विंड टर्बाइन)।

बड़ी समस्या क्या है? रोशनी को बिल्कुल सही गति पर चालू रखना। बिजली की दुनिया में, इस गति को फ्रीक्वेंसी (आवृत्ति) कहा जाता है। यदि फ्रीक्वेंसी बहुत अधिक डगमगाती है, तो पूरे द्वीप की बिजली प्रणाली क्रैश हो सकती है।

इसे ठीक करने के लिए, द्वीप को एक लोड फ्रीक्वेंसी कंट्रोल (LFC) सिस्टम की आवश्यकता होती है। इस सिस्टम को द्वीप का ऑटोपायलट समझें। इसका काम फ्रीक्वेंसी को स्थिर रखने के लिए बिजली के स्रोतों को लगातार थोड़ा-थोड़ा सहारा देना है। लंबे समय तक, इन ऑटोपायलटों ने एक मानक रेसिपी का उपयोग किया जिसे PID कंट्रोलर कहा जाता है। यह एक ऐसे ड्राइवर की तरह है जो नियमों को तो जानता है लेकिन जब सड़क अचानक कीचड़ भरे, अप्रत्याशित दलदल में बदल जाए, तो प्रतिक्रिया देने के लिए पर्याप्त तेज़ नहीं होता।

नए खिलाड़ी का आगमन: "सुपर-लर्नर" ड्राइवर

शोधकर्ताओं ने यह देखना चाहा कि क्या वे एक स्मार्ट ऑटोपायलट बना सकते हैं। वे केवल एक ऐसा ड्राइवर नहीं चाहते थे जो नियमों का पालन करता है; वे एक ऐसा ड्राइवर चाहते थे जो अनुभव से सीखता है।

उन्होंने एक नया सिस्टम बनाया जिसे RL-TD3 PID कहा गया।

PID मानक ऑटोपायलट है।
RL का अर्थ है रीइन्फोर्समेंट लर्निंग (Reinforcement Learning)। कल्पना कीजिए कि एक वीडियो गेम पात्र है जो लाखों अलग-अलग चालें चलकर, असफल होकर और हर बार बेहतर होकर जीतना सीखता है।
TD3 वह विशिष्ट "मस्तिष्क" एल्गोरिदम है जिसका उन्होंने उपयोग किया। यह एक सुपर-स्मार्ट कोच की तरह है जो खिलाड़ी को देखता है, उसकी गलतियों को सुधारता है, और उसे अपनी क्षमताओं का बहुत अधिक आकलन करने (सीखने का एक सामान्य जाल) से बचने में मदद करता है।

टीम ने इस "सुपर-लर्नर" को एक कंप्यूटर सिमुलेशन में प्रशिक्षित किया। उन्होंने इसमें हर तरह की अराजकता डाली: बिजली की मांग में अचानक उछाल, मौसम में अचानक बदलाव, और यहाँ तक कि "टूटे हुए" हिस्से भी जहाँ सिस्टम के नंबर थोड़े गलत थे।

बड़ा मुकाबला: दौड़ कौन जीतता है?

यह देखने के लिए कि क्या यह नया "सुपर-लर्नर" वास्तव में बेहतर था, शोधकर्ताओं ने इसे दो अन्य विधियों के खिलाफ खड़ा किया:

COA (कोटी ऑप्टिमाइज़ेशन एल्गोरिदम): एक विधि जो कोआटी (एक प्रकार का रैकून जैसा जानवर) के भोजन खोजने के तरीके से प्रेरित है।
GWO-CS (ग्रे वुल्फ + कुकू सर्च): एक हाइब्रिड विधि जो भेड़ियों के शिकार करने की रणनीतियों को कुकू पक्षी के चालाकी से अंडे देने की आदतों के साथ मिलाती है।

ये दो अन्य विधियाँ विशेष नेविगेटर की तरह हैं जो यात्रा शुरू होने से पहले सबसे अच्छा रास्ता खोजने के लिए जटिल मानचित्रों और गणित का उपयोग करती हैं। वे बेहतरीन हैं, लेकिन वे स्थिर (static) हैं; वे ड्राइविंग के दौरान नहीं सीखते।

परिणाम:
कंप्यूटर सिमुलेशन में, RL-TD3 PID "सुपर-लर्नर" ने गति और समग्र त्रुटि के मामले में अन्य दोनों को लगातार हराया, हालांकि यह हर एक मीट्रिक में पूर्ण नहीं था।

तेज़ रिकवरी: जब बिजली की मांग बढ़ी, तो सुपर-लर्नर ने फ्रीक्वेंसी को अन्य की तुलना में बहुत तेज़ी से (या लगभग समान गति से) सामान्य स्थिति में वापस ला दिया।
बेहतर समग्र त्रुटि: इसने समय के साथ संचयी त्रुटि (cumulative error) को कम रखा। शोधकर्ताओं ने इसे ITAE जैसे विशिष्ट "स्कोरकार्ड" का उपयोग करके मापा (जो यह गिनता है कि समय के साथ कितनी त्रुटि हुई)। सुपर-लर्नर का स्कोर कम रहा। उदाहरण के लिए, एक परीक्षण में, सुपर-लर्नर का ITAE 2.65E-02 था, जबकि कोआटी विधि का 8.40E-02 था। छोटी संख्याओं की दुनिया में यह एक बड़ा अंतर है!
अराजकता में बेहतर: जब शोधकर्ताओं ने सिस्टम की सेटिंग्स के साथ छेड़छाड़ की (सिस्टम के टूटे हुए या अनिश्चित हिस्सों का अनुकरण करते हुए), तो सुपर-लर्नर उल्लेखनीय रूप से स्थिर रहा। डेटा से पता चला कि जब सिस्टम पैरामीटर ±25% बदले गए, तब भी सेटलिंग टाइम (settling time) लगभग 0.043 सेकंड के आसपास समान रहा, जो साबित करता है कि यह कंट्रोलर अनिश्चितता के प्रति मजबूत (robust) है।

नोट "डगमगाहट" (Wobble) पर: दिलचस्प बात यह है कि "सुपर-लर्नर" के पास हर परीक्षण में सबसे छोटा प्रारंभिक "झटका" (overshoot या undershoot) नहीं था। कुछ विशिष्ट परिदृश्यों में, स्थिर होने से पहले इसमें अन्य विधियों की तुलना में थोड़े बड़े उतार-चढ़ाव थे। हालाँकि, क्योंकि इसने खुद को बहुत तेज़ी से सुधारा और कुल त्रुटि को कम रखा, इसलिए यह समग्र रूप से बेहतर प्रदर्शन करता रहा। इसने लंबी अवधि की स्थिरता के लिए थोड़े शुरुआती उतार-चढ़ाव का त्याग किया।

यह पेपर क्या नहीं कहता

यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है।

यह एक सिमुलेशन है, वास्तविक दुनिया की जीत नहीं: लेखकों ने स्पष्ट रूप से कहा है कि यह सब MATLAB का उपयोग करके एक कंप्यूटर सिमुलेशन में किया गया था। उन्होंने अभी तक वास्तविक डीजल इंजन और सोलर पैनलों के साथ वास्तविक द्वीप नहीं बनाया और उसका परीक्षण नहीं किया है। "सुपर-लर्नर" एक आशाजनक विचार है, लेकिन इसे अभी वास्तविक हार्डवेयर पर सिद्ध नहीं किया गया है।
यह हर जगह पूर्ण नहीं है: कुछ विशिष्ट, जटिल व्यवधान परिदृश्यों में, सुपर-लर्नर में अन्य विधियों की तुलना में थोड़े बड़े प्रारंभिक उतार-चढ़ाव (overshoots या undershoots) देखे गए। यह कोई जादुई समाधान नहीं है जो हर एक मीट्रिक को हर बार पूरी तरह से ठीक कर देता है; यह पूर्ण न्यूनतम प्रारंभिक गिरावट के बजाय तीव्र सुधार और कम कुल त्रुटि को प्राथमिकता देता है।
यह हर चीज़ का विकल्प नहीं है: पेपर सुझाव देता है कि यह इन विशिष्ट आइलैंडेड माइक्रोग्रिड्स के लिए एक बेहतर दृष्टिकोण है, लेकिन यह दावा नहीं करता कि यह ब्रह्मांड की हर बिजली समस्या को हल कर सकता है।

निचोड़ (The Bottom Line)

पेपर सुझाव देता है कि एक कंट्रोलर को वास्तविक समय में सीखने और अनुकूलन करने (TD3 मस्तिष्क का उपयोग करके) के लिए प्रशिक्षित करना, एक द्वीप की बिजली को स्थिर रखने का एक शक्तिशाली तरीका है, विशेष रूप से जब मौसम अप्रत्याशित हो।

जबकि "सुपर-लर्नर" ने कंप्यूटर की दुनिया में अराजकता को संभालने में "विशेष नेविगेटर्स" (COA और GWO-CS) से बेहतर प्रदर्शन किया—विशेष रूप से कुल त्रुटि को कम करके और सिस्टम के हिस्सों के "टूटे" होने पर भी स्थिरता बनाए रखकर—लेखक सावधानी बरतते हुए कहते हैं कि यह केवल पहला कदम है। वे स्वीकार करते हैं कि वास्तविक बिजली के साथ इस सिस्टम पर भरोसा करने से पहले, इसे वास्तविक हार्डवेयर पर परीक्षण करने की आवश्यकता है। लेकिन फिलहाल, सिमुलेशन के परिणाम एक बहुत मजबूत संकेत हैं कि यह "सीखने वाला ड्राइवर" हमारे पावर ग्रिड को स्थिर रखने का भविष्य हो सकता है।

तकनीकी सारांश: नवीकरणीय-आधारित आइलैंडेड माइक्रोग्रिड्स में RL-TD3 PID नियंत्रण का हाइब्रिड और पारंपरिक ऑप्टिमाइज़र के विरुद्ध तुलनात्मक मूल्यांकन

समस्या विवरण
आइलैंडेड माइक्रोग्रिड्स (IMGs) में नवीकरणीय ऊर्जा स्रोतों (RES) का एकीकरण लोड फ्रीक्वेंसी कंट्रोल (LFC) के लिए महत्वपूर्ण चुनौतियां पेश करता है। ये चुनौतियां मुख्य रूप से कम सिस्टम जड़त्व (Inertia), अविश्वसनीय उत्पादन पैटर्न और अप्रत्याशित लोड डायनेमिक्स से उत्पन्न होती हैं। पारंपरिक नियंत्रण प्रणाली, विशेष रूप से फिक्स्ड-गेन प्रोपोर्शनल-इंटीग्रल-डेरिवेटिव (PID) नियंत्रक या ज़िग्लर-निकोल्स (Ziegler–Nichols) जैसी मानक ट्यूनिंग विधियों पर निर्भर प्रणाली, गैर-मानक परिचालन स्थितियों और परिवर्तनशील सिस्टम मापदंडों के तहत फ्रीक्वेंसी स्थिरता बनाए रखने में विफल रहती है। मेटाहेयुरिस्टिक ऑप्टिमाइज़ेशन एल्गोरिदम (जैसे जेनेटिक एल्गोरिदम, पार्टिकल स्वार्म ऑप्टिमाइज़ेशन) का उपयोग PID गेन्स को ट्यून करने के लिए प्रस्तावित किया गया है, लेकिन वे अक्सर रैंडम लोड डिस्टर्बेंस के साथ संघर्ष करते हैं और हाइपरपैरामीटर्स को संतुलित करने के लिए व्यापक कम्प्यूटेशनल संसाधनों की आवश्यकता होती है। नवीकरणीय-आधारित IMGs की स्टोकेस्टिक प्रकृति को संभालने के लिए अनुकूलन क्षमता, मजबूती (Robustness) और रीयल-टाइम डेटा-संचालित अनुकूलन प्रदान करने वाली नियंत्रण रणनीतियों की तत्काल आवश्यकता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक नवीन नियंत्रण ढांचे का प्रस्ताव करता है जो एक सुदृढीकरण लर्निंग (Reinforcement Learning - RL) एजेंट, विशेष रूप से ट्विन डिलेड डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (TD3) एल्गोरिदम को PID नियंत्रक के साथ एकीकृत करता है। TD3 एजेंट को सिस्टम इंटरैक्शन के आधार पर वास्तविक समय में PID गेन्स ( $K_p, K_i, K_d$ ) को अनुकूल रूप से ट्यून करने के लिए डिज़ाइन किया गया है, न कि पूर्व-निर्धारित इष्टतम मानों पर निर्भर रहने के लिए।

सिस्टम मॉडलिंग: एक IMG का गतिशील गणितीय मॉडल विकसित किया गया, जिसमें विविध डिस्ट्रिब्यूटेड जनरेशन (DG) इकाइयाँ (डीजल इंजन जनरेटर, सोलर फोटोवोल्टिक, विंड टर्बाइन जनरेटर, बायोगैस टर्बाइन, फ्यूल सेल) और एनर्जी स्टोरेज सिस्टम (बैटरी, फ्लाईव्हील, इलेक्ट्रिक वाहन) शामिल हैं। इन घटकों को स्वायत्त संचालन का अनुकरण करने के लिए फर्स्ट-ऑर्डर ट्रांसफर फंक्शन और स्विंग समीकरणों का उपयोग करके मॉडल किया गया था।
RL-TD3 फ्रेमवर्क: फ्रीक्वेंसी विचलन को कम करने के लिए TD3 एल्गोरिदम (एक एक्टर-क्रिटिक विधि) का उपयोग किया गया। एजेंट को 1,000 एपिसोड (प्रत्येक 90 सेकंड) में ऑफलाइन प्रशिक्षित किया गया, जिसमें एक रिवॉर्ड फंक्शन का उपयोग किया गया जो फ्रीक्वेंसी एरर को दंडित (Penalize) करता है। प्रशिक्षण में ओवरएस्टिमेशन त्रुटियों को कम करने के लिए रीप्ले बफर, डुअल क्रिटिक नेटवर्क और स्थिरता बढ़ाने के लिए टारगेट पॉलिसी स्मूथिंग का उपयोग किया गया।
तुलनात्मक बेंचमार्क: प्रस्तावित RL-TD3-PID नियंत्रक की तुलना दो मेटाहेयुरिस्टिक ऑप्टिमाइज़ेशन दृष्टिकोणों के विरुद्ध की गई:
1. COA-PID: कोआटी ऑप्टिमाइज़ेशन एल्गोरिदम (Coati Optimization Algorithm) द्वारा अनुकूलित।
2. CS-GWO-PID: ग्रे वुल्फ ऑप्टिमाइज़ेशन और कुकू सर्च के हाइब्रिड द्वारा अनुकूलित।
सिमुलेशन परिदृश्य: MATLAB में दो परिदृश्यों के तहत प्रदर्शन का मूल्यांकन किया गया:
1. परिदृश्य I: दो-चरणीय लोड परिवर्तन (0.06 से 0.075 p.u.)।
2. परिदृश्य II: 0.02 और 0.09 p.u. के बीच भिन्न होने वाले रैंडम स्टेप लोड डिस्टर्बेंस।
मजबूती विश्लेषण (Robustness Analysis): प्रमुख सिस्टम मापदंडों (जड़त्व स्थिरांक $M$ , डैम्पिंग गुणांक $D$ , और फ्यूल सेल एवं डीजल जनरेटर के टाइम कांस्टेंट) को यूनिएक्सियल और मल्टीएक्सियल कॉन्फ़िगरेशन में ±25% बदलकर संवेदनशीलता विश्लेषण किया गया।

प्रमुख योगदान

एक अनुकूल फ्रेमवर्क का विकास: लेखकों ने एक TD3-आधारित RL एजेंट फ्रेमवर्क विकसित किया जो नवीकरणीय परिवर्तनशीलता और लोड डिस्टर्बेंस का मुकाबला करने के लिए IMGs में PID मापदंडों को अनुकूल रूप से नियंत्रित करने में सक्षम है।
डायनेमिक सिमुलेशन मॉडल: प्रस्तावित नियंत्रक की फ्रीक्वेंसी रेगुलेशन क्षमताओं को मान्य करने के लिए एक व्यापक डायनेमिक सिमुलेशन मॉडल बनाया गया।
ऑनलाइन अनुकूलन: यह अध्ययन RL-TD3-PID नियंत्रक की ऑनलाइन, डेटा-संचालित अनुकूलन करने की क्षमता को प्रदर्शित करता है, जो पर्यावरण के निश्चित गणितीय मॉडल की आवश्यकता के बिना सिस्टम अनिश्चितताओं के विरुद्ध मजबूती बढ़ाता है।
व्यापक तुलनात्मक अध्ययन: यह शोध पत्र प्रस्तावित RL दृष्टिकोण और स्थापित मेटाहेयुरिस्टिक विधियों (COA और GWO-CS) के बीच एक संरचित तुलना प्रदान करता है, जिसमें डायनेमिक रिस्पॉन्स, डिस्टर्बेंस रिजेक्शन और पैरामीटर अनिश्चितता का मूल्यांकन किया गया है।

परिणाम
सिमुलेशन परिणाम संकेत देते हैं कि RL-TD3-PID नियंत्रक डायनेमिक रिस्पॉन्स और डिस्टर्बेंस रिजेक्शन के मामले में COA-PID और CS-GWO-PID नियंत्रकों की तुलना में आम तौर पर बेहतर प्रदर्शन करता है।

प्रदर्शन मेट्रिक्स: परिदृश्य I और परिदृश्य II दोनों में, TD3-PID नियंत्रक ने ऑप्टिमाइज़ेशन-आधारित नियंत्रकों की तुलना में इंटीग्रल प्रदर्शन इंडेक्स, जिसमें इंटीग्रल ऑफ टाइम-वेटेड एब्सोल्यूट एरर (ITAE) और इंटीग्रल ऑफ टाइम-वेटेड स्क्वेर्ड एरर (ITSE) शामिल हैं, के निम्नतम मान प्राप्त किए।
ट्रांजिएंट रिस्पॉन्स: TD3-PID नियंत्रक ने तेज़ सेटलिंग टाइम और फ्रीक्वेंसी ऑसिलेशन के बेहतर दमन का प्रदर्शन किया। उदाहरण के लिए, परिदृश्य I में, TD3-PID के लिए ITAE $2.65 \times 10^{-2}$ था, जो CS-GWO-PID के $7.09 \times 10^{-2}$ और COA-PID के $8.40 \times 10^{-2}$ की तुलना में काफी कम है।
मजबूती (Robustness): पैरामेट्रिक अनिश्चितताओं (±25% भिन्नता) के तहत, TD3-PID नियंत्रक ने टाइम-डोमेन इंडेक्स में न्यूनतम विचलन के साथ स्थिर संचालन बनाए रखा। हालांकि जटिल मल्टीएक्सियल डिस्टर्बेंस के तहत कुछ ओवरशूट और अंडरशूट मान बढ़ गए, लेकिन नियंत्रक ने लगातार सिस्टम को कम स्थिर-अवस्था त्रुटि (Steady-state error) के साथ एक क्वासी-स्टेडी स्टेट में वापस लाया।
अभिसरण (Convergence): प्रशिक्षण प्रक्रिया ने दिखाया कि RL एजेंट सफलतापूर्वक स्थिर PID गेन मानों तक अभिसरित हुआ, जिसमें रिवॉर्ड फंक्शन ने 1,000 एपिसोड के दौरान बेहतर नियंत्रण प्रदर्शन का संकेत दिया।

महत्व और दावे
यह शोध पत्र दावा करता है कि डीप रिइनफोर्समेंट लर्निंग को क्लासिकल PID कंट्रोल के साथ एकीकृत करना नवीकरणीय-आधारित आइलैंडेड माइक्रोग्रिड्स के लिए विश्वसनीय और कुशल फ्रीक्वेंसी रेगुलेशन के लिए एक आशाजनक दृष्टिकोण प्रदान करता है। अध्ययन इस बात पर जोर देता है कि RL-TD3 दृष्टिकोण स्थिर ऑप्टिमाइज़ेशन विधियों की तुलना में सिस्टम अनिश्चितताओं और लोड विविधताओं के प्रति बेहतर अनुकूलन क्षमता प्रदान करता है।

लेखक इस कार्य को लो-इनर्शिया सिस्टम में पारंपरिक और मेटाहेयुरिस्टिक-ट्यून्ड नियंत्रकों की सीमाओं को संबोधित करने की दिशा में एक महत्वपूर्ण कदम के रूप में प्रस्तुत करते हैं। हालांकि, यह शोध अपने सीमाओं के संबंध में एक मध्यम स्वर बनाए रखता है, यह स्वीकार करते हुए कि परिणाम सिमुलेशन अध्ययनों पर आधारित हैं और अभी तक हार्डवेयर-इन-द-लूप या रीयल-टाइम प्रयोगात्मक कार्यान्वयन के माध्यम से मान्य नहीं किए गए हैं। लेखक नोट करते हैं कि हालांकि प्रस्तावित विधि ने अधिकांश परीक्षण किए गए परिदृश्यों में बेहतर प्रदर्शन दिखाया, लेकिन चुनी गई ऑप्टिमाइज़ेशन एल्गोरिदम विशिष्ट डिस्टर्बेंस मामलों में RL-TD3-PID के प्रदर्शन से थोड़ा आगे निकल गईं। भविष्य के कार्यों को प्रयोगात्मक सत्यापन और अधिक जटिल माइक्रोग्रिड टोपोलॉजी और संचार-विलंब (Communication-delayed) वातावरण में इस फ्रेमवर्क के विस्तार के लिए आवश्यक बताया गया है।

नए खिलाड़ी का आगमन: "सुपर-लर्नर" ड्राइवर

बड़ा मुकाबला: दौड़ कौन जीतता है?

यह पेपर क्या नहीं कहता

निचोड़ (The Bottom Line)

इसी तरह के और पेपर