⚡ electrical engineering

Sizing of Battery Considering Renewable Energy Bidding Strategy with Reinforcement Learning

यह शोध पत्र एक नवीन, गणनात्मक रूप से कुशल एल्गोरिदम प्रस्तावित करता है जो अनिश्चितताओं को प्रभावी ढंग से प्रबंधित करने और समानांतर गणना को सक्षम करने के लिए एम्बॉडीड कॉग्निशन (embodied cognition) से प्रेरित एक वितरित सुदृढीकरण शिक्षण ढांचे के साथ डीप रिकरेंट क्यू-नेटवर्क्स को एकीकृत करके बैटरी ऊर्जा भंडारण प्रणाली (BESS) के आकार और नवीकरणीय ऊर्जा बोली रणनीतियों का सह-अनुकूलन करता है।

मूल लेखक: Taiyo Mantani, Hikaru Hoshino, Tomonari Kanazawa, Eiko Furutani

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taiyo Mantani, Hikaru Hoshino, Tomonari Kanazawa, Eiko Furutani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक किसान हैं जो सेब (नवीकरणीय ऊर्जा) उगाते हैं। आपके पास एक बड़ा खलिहान (बैटरी) है जहाँ आप सेबों को जमा कर सकते हैं, और आप अपने सेब एक हलचल भरे साप्ताहिक बाजार (बिजली बाजार) में बेचते हैं।

यहाँ समस्या है:

मौसम अप्रत्याशित है: कभी बहुत बड़ी फसल होती है, तो कभी बहुत कम।
बाजार की कीमतें बदलती रहती हैं: कभी सेबों की कीमत बहुत अधिक होती है; तो कभी वे लगभग मुफ्त होते हैं।
जुर्माना: यदि आपने 100 सेब बेचने का वादा किया लेकिन आपके पास केवल 80 हैं, तो आपको जुर्माना देना होगा। यदि आपके पास 100 हैं लेकिन आपने केवल 50 का वादा किया था, तो आप अतिरिक्त 50 पर पैसा खो देंगे।

पुराना तरीका ("दो-चरण" विधि)
पारंपरिक रूप से, किसानों ने दो अलग चरणों में समस्या को हल करने की कोशिश की:

चरण 1: एक खलिहान खरीदें। आप अनुमान लगाते हैं, "शायद 500 सेब रखने वाला खलिहान सबसे अच्छा होगा।"
चरण 2: एक मैनेजर रखें जो यह तय करे कि कब सेब बेचे या स्टोर करे, जो उस विशिष्ट खलिहान के आकार पर आधारित हो।
समस्या क्या है? यदि आपने गलत खलिहान का आकार चुना, तो आपको मैनेजर को हटाना होगा, एक नया खलिहान खरीदना होगा, एक नया मैनेजर रखना होगा और फिर से शुरुआत करनी होगी। यह धीमा, महंगा है, और हो सकता है कि आप कभी भी सही संयोजन न खोज पाएं।

नया तरीका (इस शोध पत्र का समाधान)
ह्योगो विश्वविद्यालय के शोधकर्ताओं ने सुदृढीकरण लर्निंग (Reinforcement Learning - RL) का उपयोग करके एक स्मार्ट दृष्टिकोण प्रस्तावित किया है। इसे एक सुपर-स्मार्ट AI मैनेजर के रूप में सोचें जो गलतियों से सीखता है, जैसे कि एक वीडियो गेम का पात्र।

लेकिन इसमें एक मोड़ है: वे AI को सेबों का प्रबंधन करने के तरीके को सीखते समय ही खलिहान का आकार बदलने की अनुमति देते हैं।

रचनात्मक उपमा: "आकार बदलने वाला" वीडियो गेम

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको एक भूलभुलैया (बाजार) में रास्ता बनाना है ताकि सिक्के (लाभ) एकत्र किए जा सकें।

पुराना तरीका: आप खेल शुरू करने से पहले एक बैकपैक का आकार (छोटा, मध्यम, बड़ा) चुन लेते हैं। आप छोटे बैकपैक के साथ 100 बार खेलते हैं, फिर मध्यम के साथ 100 बार, और इसी तरह। फिर आप तुलना करते हैं कि कौन सा बैकपैक सबसे अच्छा था।
नया तरीका: आप गेम खेलते हैं, लेकिन हर बार जब आप मर जाते हैं और पुनरारंभ (restart) करते हैं, तो गेम आपको यादृच्छिक रूप से (randomly) एक थोड़ा अलग बैकपैक आकार देता है। जैसे-जैसे आप अधिक खेलते हैं, गेम सीखता है: "हे, जब भूलभुलैया कठिन होती है और कीमतें कम होती हैं, तो एक मध्यम बैकपैक सबसे अच्छा काम करता है। जब यह आसान होता है, तो एक छोटा बैकपैक पैसे बचाने में मदद करता है।"

AI केवल यह नहीं सीख रहा है कि कैसे खेलना है; वह यह भी सीख रहा है कि खेलने के लिए क्या गियर पहनना है।

यह कैसे काम करता है (जादुई सामग्रियां)

"मस्तिष्क" (DRQN): AI एक विशेष प्रकार की मेमोरी (जिसे डीप रिकरेंट Q-नेटवर्क कहा जाता है) का उपयोग करता है जो अतीत को याद रखता है। वह जानता है, "पिछले सप्ताह कीमत कम थी, इसलिए मुझे सेब बचा लेना चाहिए था।" यह मौसम की अनिश्चितता और बाजार को पुराने गणितीय सूत्रों की तुलना में बेहतर तरीके से संभालता है।
"सह-अनुकूलन" (Co-Optimization): बैटरी के आकार (खलिहान) को पहले से तय करने के बजाय, एल्गोरिदम आकार को एक चर (variable) के रूप में मानता है। यह प्रशिक्षण के दौरान आकार को लगातार ऊपर-नीचे करता रहता है।
- यदि एक बड़ा बैटरी आकार अधिक पैसा बनाने में मदद करता है, तो AI बड़े बैटरी को पसंद करना "सीख" जाता है।
- यदि एक छोटा बैटरी आकार निर्माण लागत बचाने में पर्याप्त बचत करता है, तो वह बड़े बैटरी के बजाय छोटे को "सीख" जाता है।
समानांतर खेल (Parallel Play): इसे तेज़ बनाने के लिए, उन्होंने एक साथ गेम खेलने के लिए 12 अलग-अलग "श्रमिकों" (कंप्यूटरों) का उपयोग किया। यह एक साथ विभिन्न खलिहान आकारों का परीक्षण करने वाले 12 किसानों की तरह है, न कि एक किसान द्वारा एक-एक करके किया जाने वाला कार्य।

यह क्यों महत्वपूर्ण है

गति: पुराने तरीके से हर संभावित खलिहान के आकार का एक-एक करके परीक्षण करना वैसा ही है जैसे हर एक तिनके को चेक करके सुई खोजने की कोशिश करना। यह नया तरीका सुई को बहुत तेज़ी से ढूंढ लेता है।
सुरक्षा: शोधकर्ताओं ने पाया कि जब उन्होंने AI को सीखते समय खलिहान का आकार समायोजित करने की अनुमति दी, तो AI के "विफल" होने (एक खराब रणनीति में फंसने) की संभावना कम थी। यह एक सुरक्षा जाल देने जैसा था; यदि वर्तमान रणनीति काम नहीं कर रही है, तो उपकरण (बैटरी का आकार) बदलना उन्हें उबरने में मदद करता है।
वास्तविक दुनिया का पैसा: नवीकरणीय ऊर्जा कंपनियों के लिए, इसका मतलब है कि वे अधिकतम लाभ कमाने के लिए कितनी बड़ी बैटरी खरीदनी है, इसका सटीक पता लगा सकते हैं, बिना ऐसी बैटरी पर पैसा बर्बाद किए जो बहुत बड़ी या बहुत छोटी हो।

निष्कर्ष

यह शोध पत्र नवीकरणीय ऊर्जा प्रणालियों को डिजाइन करने का एक स्मार्ट, कुशल तरीका पेश करता है। बैटरी के आकार का अनुमान लगाने और फिर उसके उपयोग का तरीका तय करने के बजाय, यह नया तरीका कंप्यूटर को एक साथ सर्वश्रेष्ठ आकार और सर्वश्रेष्ठ उपयोग रणनीति दोनों सीखने की अनुमति देता है। यह एक रोबोट को कार ठीक करने का तरीका सीखने के साथ-साथ अपना खुद का आदर्श टूलबॉक्स बनाने के लिए सिखाने जैसा है, जिससे यह सुनिश्चित होता है कि उसके पास काम के लिए एकदम सही सेटअप हो।

यहाँ मंतनी एवं अन्य द्वारा लिखित शोध पत्र "Sizing of Battery Considering Renewable Energy Bidding Strategy with Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बिजली बाजारों में सौर और पवन जैसे परिवर्तनीय नवीकरणीय ऊर्जा (Variable Renewable Energy - VRE) स्रोतों का एकीकरण, उत्पादन अनिश्चितता और मूल्य अस्थिरता के कारण महत्वपूर्ण चुनौतियाँ पैदा करता है। नवीकरणीय उत्पादकों को पेनाल्टी (जुर्माने) को कम करने और लाभ को अधिकतम करने के लिए वास्तविक समय (real-time) बाजारों में भाग लेना आवश्यक है।

मुख्य चुनौती: बैटरी ऊर्जा भंडारण प्रणाली (BESS) का इष्टतम आकार निर्धारित करना परिचालन लचीलेपन (आर्बिट्रेज और असंतुलन शमन) के लिए महत्वपूर्ण है। हालाँकि, BESS का इष्टतम आकार स्वाभाविक रूप से बिडिंग रणनीति (bidding strategy) से जुड़ा हुआ है।
मौजूदा विधियों की सीमाएँ:
- दो-चरणीय दृष्टिकोण (Two-Stage Approaches): अधिकांश मौजूदा विधियाँ समस्या को दो चरणों में विभाजित करती हैं: पहले एक निश्चित बैटरी आकार के लिए बिडिंग नीति को प्रशिक्षित करना, फिर आकार को अनुकूलित करना। इसके लिए एक विशाल सर्च स्पेस में मॉडल को प्रशिक्षित करने की आवश्यकता होती है, जिससे अत्यधिक गणनात्मक लागत (computational costs) आती है।
- सरलीकरण: कई वर्तमान साइजिंग विधियाँ जटिल बाजार गतिशीलता और मूल्य अनिश्चितताओं को अनदेखा करते हुए 'रूल-ऑफ-थंब' (rule-of-thumb) मॉडल का उपयोग करती हैं।
- गणना का बोझ: गणितीय अनुकूलन तकनीकें (जैसे स्टोकेस्टिक प्रोग्रामिंग) अनेक परिदृश्यों (scenarios) के सिमुलेशन की मांग करती हैं, जबकि रोबस्ट ऑप्टिमाइज़ेशन (robust optimization) अत्यधिक रूढ़िवादी हो सकता है।

2. कार्यप्रणाली (Methodology)

लेखक एक गणना-कुशल सह-अनुकूलन एल्गोरिदम (computationally efficient co-optimization algorithm) प्रस्तावित करते हैं जो एक विस्तारित सुदृढीकरण लर्निंग (Reinforcement Learning - RL) ढांचे का उपयोग करके BESS के आकार और बिडिंग नीति दोनों को एक साथ अनुकूलित करता है।

A. बाजार और प्रणाली मॉडल (Market and System Model)

बाजार संरचना: एक सामान्य वास्तविक समय बाजार जहाँ उत्पादक एक समय कदम (time step) आगे की बोली ( $b_t$ ) लगाते हैं। बोली और वास्तविक डिस्पैच ( $x^D_t$ ) के बीच का अंतर अधिशेष (surplus) और घाटे (deficit) की कीमतों के आधार पर असंतुलन दंड (imbalance penalties) को जन्म देता है।
उद्देश्य: कुल शुद्ध लाभ ( $F$ ) को अधिकतम करना, जिसे बाजार राजस्व में से असंतुलन दंड और बैटरी क्षरण (degradation) लागत घटाकर परिभाषित किया गया है।
बाधाएं (Constraints): मॉडल स्टेट ऑफ चार्ज (SOC) सीमाओं, चार्जिंग/डिस्चार्जिंग दक्षता और बैटरी क्षमता ( $E_{max}$ ) के आनुपातिक पावर सीमाओं को ध्यान में रखता है।

B. सुदृढीकरण लर्निंग ढांचा (Reinforcement Learning Framework)

एल्गोरिदम आधार: सिस्टम एक डीप रिकरेंट Q-नेटवर्क (DRQN) का उपयोग करता है जो एक वितरित RL ढांचे (Ape-X से प्रेरित) के साथ संयुक्त है।
- DRQN क्यों? यह आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रियाओं (POMDPs) को संभालने के लिए LSTM को एकीकृत करता है, जिससे एजेंट केवल तात्कालिक अवस्थाओं के बजाय अवलोकनों के अनुक्रमों (पिछले उत्पादन, कीमतें और SOC) से सीख सकता है।
एक्शन स्पेस (Action Space): एजेंट बोली ( $b_t$ ) और ऊर्जा आर्बिट्रेज के लिए एक स्केलिंग कारक ( $\rho_t$ ) निर्धारित करता है। चार्जिंग और डिस्चार्जिंग पावर, जनरेशन और बोली के बीच के अंतर से प्राप्त की जाती है, जिसे $\rho_t$ द्वारा स्केल किया जाता है।
रिवॉर्ड फंक्शन (Reward Function): इसे शुद्ध लाभ को अधिकतम करने और सीखने में भिन्नता (variance) को कम करने के लिए डिज़ाइन किया गया है, जिसे सीधे जनरेशन बेचने से प्राप्त बेसलाइन राजस्व को घटाकर बनाया गया है।

C. सह-अनुकूलन विस्तार (The Co-Optimization Extension)

नवाचार मानक RL लूप को BESS के आकार ( $E_{max}$ ) को एक सीखने योग्य पैरामीटर के रूप में शामिल करने के लिए विस्तारित करना है:

वर्धित Q-फंक्शन: Q-फंक्शन को $Q(o_t, h_t, c_t, a_t, \omega)$ में विस्तारित किया गया है, जहाँ $\omega = \{E_{max}\}$ डिज़ाइन पैरामीटर है।
डिज़ाइन के लिए नीति: $\omega$ को स्थिर रखने के बजाय, एक वितरण $p_\mu(\omega)$ (गाऊसी/Gaussian) बनाए रखा जाता है। इसका माध्य $\mu$ एक सीखने योग्य पैरामीटर है जो इष्टतम बैटरी आकार के बारे में "विश्वास" (belief) को दर्शाता है।
प्रशिक्षण लूप (Training Loop):
- प्रत्येक एपिसोड की शुरुआत में, $p_\mu$ से एक विशिष्ट बैटरी आकार $\omega$ को सैंपल किया जाता है।
- उस विशिष्ट आकार के साथ उत्पन्न प्रक्षेपवक्र (trajectory) के आधार पर DRQN वेट ( $\theta$ ) को अपडेट किया जाता है।
- प्रत्येक $N_{up}$ एपिसोड के बाद, कुल रिटर्न (स्थापना लागत को घटाकर लाभ) के आधार पर पॉलिसी ग्रेडिएंट थ्योरम का उपयोग करके $\mu$ को अपडेट किया जाता है।
समानांतरकरण (Parallelization): फ्रेमवर्क डेटा एकत्र करने के लिए कई वर्कर्स का उपयोग करता है, जिससे दीर्घकालिक डेटा को कुशलतापूर्वक संभाला जा सके।

3. मुख्य योगदान (Key Contributions)

नया सह-अनुकूलन एल्गोरिदम: यह भौतिक डिजाइन (बैटरी साइज) और नियंत्रण नीति (बिडिंग रणनीति) को एक साथ अनुकूलित करने के लिए "एम्बोडीड कॉग्निशन" (embodied cognition) से प्रेरित सह-अनुकूलन एल्गोरिदम का पहला अनुप्रयोग है।
गणना दक्षता: दो-चरणीय विधियों के लिए आवश्यक व्यापक खोज (exhaustive search) से बचकर, प्रस्तावित विधि गणना के समय को काफी कम करती है और वैश्विक या निकट-वैश्विक इष्टतम (optima) पाती है।
प्रशिक्षण विफलता के प्रति मजबूती: अध्ययन यह प्रदर्शित करता है कि सिस्टम कॉन्फ़िगरेशन का सह-अनुकूलन प्रशिक्षण विफलताओं (नकारात्मक रिवॉर्ड) को रोकने में मदद करता है, जो अक्सर तब होता है जब निश्चित सिस्टम डिज़ाइन Learned Policy के लिए उप-इष्टतम होता है।
DRQN और वितरित RL का एकीकरण: DRQN (कालिक निर्भरता के लिए) और वितरित सैंपलिंग (दीर्घकालिक डेटा हैंडलिंग के लिए) का संयोजन नवीकरणीय उत्पादन और बाजार कीमतों की अनिश्चितताओं को प्रभावी ढंग से प्रबंधित करता है।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने जापानी बिजली बाजार (JEPX) और सौर जनरेशन डेटा (METPV-20) के अल्पकालिक (1 सप्ताह) और दीर्घकालिक (1 वर्ष) डेटा का उपयोग करके पद्धति को मान्य किया।

अल्पकालिक सत्यापन (1 सप्ताह):
- सटीकता: सह-अनुकूलन एल्गोरिदम सफलतापूर्वक इष्टतम बैटरी आकार (जैसे, कम स्थापना लागत के लिए ~120% क्षमता, मध्यम लागत के लिए ~50%) तक पहुँच गया, जो व्यापक दो-चरणीय खोज के परिणामों से मेल खाता है।
- दक्षता: हालांकि सह-अनुकूलन को स्थिर आकार प्रशिक्षण (48 मिनट बनाम 8 मिनट) की तुलना में अभिसरण (converge) करने में अधिक समय लगा, लेकिन यह दो-चरणीय दृष्टिकोण में इष्टतम आकार खोजने के लिए आवश्यक व्यापक खोज की तुलना में काफी तेज़ था।
दीर्घकालिक प्रयोज्यता (1 वर्ष):
- प्रशिक्षण स्थिरता: एक पूर्ण वर्ष के डेटा का उपयोग करते समय, निश्चित बैटरी आकार के साथ प्रशिक्षण 87.5% प्रयोगों में विफल रहा (नकारात्मक रिवॉर्ड के साथ)। इसके विपरीत, सह-अनुकूलन विधि ने विफलता दर को घटाकर 37.5% कर दिया।
- निष्कर्ष: प्रशिक्षण के दौरान बैटरी के आकार को गतिशील रूप से समायोजित करना एजेंट को बेहतर सिस्टम कॉन्फ़िगरेशन खोजने में सक्षम बनाता है, जिससे वह उप-इष्टतम या विफल अवस्थाओं में फंसने से बच जाता है।

5. महत्व (Significance)

यह शोध पत्र नवीकरणीय ऊर्जा प्रणालियों के परिचालन नियोजन में एक महत्वपूर्ण अंतर को संबोधित करता है। भौतिक बुनियादी ढांचे (बैटरी साइजिंग) और परिचालन रणनीति (बिडिंग) को एक एकल लर्निंग लूप के माध्यम से हल किए जाने वाले युग्मित (coupled) समस्या के रूप में मानकर, लेखक एक स्केलेबल समाधान प्रदान करते हैं:

बिजस मॉडल विकास: नवीकरणीय उत्पादकों को अत्यधिक गणनात्मक लागत के बिना स्टोरेज के लिए सबसे लाभदायक निवेश आकार निर्धारित करने में सक्षम बनाना।
बाजार एकीकरण: असंतुलन दंड को कम करके और आर्बिट्रेज के अवसरों को अधिकतम करके वास्तविक समय बाजारों में VRE स्रोतों की भागीदारी की क्षमता में सुधार करना।
भावी अनुसंधान: यह कार्य पावर सिस्टम में "एम्बोडीड कॉग्निशन" अवधारणाओं को लागू करने की एक नई दिशा खोलता है, जो यह सुझाव देता है कि हार्डवेयर डिजाइन और कंट्रोल सॉफ्टवेयर को क्रमिक (sequential) के बजाय समवर्ती (concurrently) रूप से अनुकूलित किया जाना चाहिए।