⚡ electrical engineering

Computing an Optimal Control Policy for an Energy Storage

यह शोध पत्र नवीकरणीय ऊर्जा प्रबंधन में इष्टतम नियंत्रण समस्याओं को हल करने के लिए एक सामान्य स्टोकेस्टिक डायनेमिक प्रोग्रामिंग लाइब्रेरी, StoDynProg प्रस्तुत करता है, और एक ओशन वेव एनर्जी कनवर्टर के पावर आउटपुट को सुचारू बनाने के लिए एक स्टोकेस्टिक मॉडल व्युत्पन्न करके और एक इष्टतम नीति की गणना करके इसकी प्रभावशीलता को प्रदर्शित करता है।

मूल लेखक: Pierre Haessig, Thibaut Kovaltchouk, Bernard Multon, Hamid Ben Ahmed, Stéphane Lascaud

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 3.0

मूल लेखक: Pierre Haessig, Thibaut Kovaltchouk, Bernard Multon, Hamid Ben Ahmed, Stéphane Lascaud

मूल पेपर CC BY 3.0 (http://creativecommons.org/licenses/by/3.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: जंगली समुद्र को वश में करना

कल्पना कीजिए कि आप एक बहुत ही डगमगी हुई, हिलती हुई बाल्टी (समुद्र की लहरों की ऊर्जा) से एक नाजुक गिलास (बिजली ग्रिड) में पानी डालने की कोशिश कर रहे हैं। यदि आप सीधे पानी डालेंगे, तो पानी हर तरफ छलक जाएगा, जिससे या तो गिलास भर कर बह जाएगा या आधा खाली रह जाएगा। नवीकरणीय ऊर्जा (renewable energy) के साथ यही समस्या है: हवा और लहरें अप्रत्याशित होती हैं, लेकिन बिजली ग्रिड को एक स्थिर, सुचारू प्रवाह की आवश्यकता होती है।

इसे ठीक करने के लिए, लेखक एक "बफर" या "जलाशय" (एक ऊर्जा भंडारण प्रणाली, जैसे कि एक विशाल बैटरी या सुपर-कैपेसिटर) का उपयोग करने का प्रस्ताव देते हैं। यह जलाशय तब अतिरिक्त पानी को पकड़ लेता है जब लहरें बहुत बड़ी होती हैं और लहरें छोटी होने पर पानी छोड़ देता है, जिससे गिलास में पानी का प्रवाह सुचारू हो जाता है।

यह शोध पत्र एक विशिष्ट प्रश्न पूछता है: हम इस जलाशय को पूरी तरह से कैसे नियंत्रित करें? क्या हमें केवल एक सरल नियम का उपयोग करना चाहिए (जैसे "यदि बाल्टी भरी है, तो अधिक पानी डालें")? या क्या हम एक स्मार्ट कंप्यूटर मस्तिष्क का उपयोग कर सकते हैं जो हर एक सेकंड में पानी के प्रबंधन का सबसे अच्छा तरीका पता लगा सके?

समस्या: समुद्र अराजक है

लेखकों ने एक विशिष्ट मशीन पर अध्ययन किया जिसे SEAREV कहा जाता है, जो एक विशाल तैरता हुआ पेंडुलम (pendulum) है जो बिजली उत्पन्न करने के लिए लहरों के साथ झूलता है।

समस्या: यह जो बिजली उत्पन्न करता है वह अनियंत्रित है। यह अनियमित रूप से ऊपर-नीचे होती है क्योंकि समुद्र रैंडम (random) होता है।
लक्षक्य: इन उतार-चढ़ावों को सुचारू बनाना ताकि ग्रिड को भेजी जाने वाली बिजली स्थिर रहे।
प्रतिबंध: स्टोरेज सिस्टम की एक सीमा है। यह केवल एक निश्चित मात्रा में ऊर्जा रख सकता है (जैसे कि 10 MJ की बैटरी)। यदि आप इसे बहुत तेज़ी से भरते हैं, तो यह ओवरफ्लो हो जाएगा; यदि आप इसे बहुत तेज़ी से खाली करते हैं, तो यह सूख जाएगा।

समाधान: एक "स्मार्ट ब्रेन" (Stochastic Dynamic Programming)

लेखकों ने StoDynProg नामक एक सॉफ्टवेयर लाइब्रेरी बनाई (इसे एक निर्णय लेने के लिए विशेष कैलकुलेटर के रूप में सोचें)। उन्होंने स्टोकेस्टिक डायनेमिक प्रोग्रामिंग (SDP) नामक एक विधि का उपयोग किया।

उपमा: शतरंज का खिलाड़ी
कल्पना कीजिए कि आप शतरंज खेल रहे हैं, लेकिन हर मोड़ पर बोर्ड बदल जाता है (जैसे समुद्र की लहरें)। आप अभी सबसे अच्छा कदम उठाना चाहते हैं, लेकिन आपको यह भी सोचना होगा कि 10 चालों बाद क्या हो सकता है।

ह्यूरिस्टिक (सरल नियम): एक नौसिखिया खिलाड़ी केवल यह कह सकता है, "हमेशा निकटतम मोहरे को कैप्चर करो।" यह ठीक काम करता है, लेकिन यह पूर्ण नहीं है।
इष्टतम नियंत्रण (The Smart Brain): SDP विधि एक ग्रैंडमास्टर की तरह है जो हजारों संभावित भविष्य का अनुकरण (simulate) करती है। यह वर्तमान स्थिति (बैटरी में कितनी ऊर्जा है, पेंडुलम कितनी तेजी से झूल रहा है) को देखती है और लंबे समय तक अराजकता को कम करने के लिए सटीक सबसे अच्छा कदम की गणना करती है।

उन्होंने इसे कैसे काम करने के योग्य बनाया

कंप्यूटर को समुद्र की भविष्यवाणी करना सिखाने के लिए, उन्हें कुछ जासूसी कार्य करना पड़ा:

अराजकता का मॉडलिंग: लहर वाली मशीन का कच्चा डेटा सीधे भविष्यवाणी करने के लिए बहुत अव्यवस्थित था। इसलिए, उन्होंने इसे सरल भागों में तोड़ दिया: पेंडुलम की गति और उसका त्वरण (acceleration)। उन्होंने पाया कि हालांकि बिजली अनियंत्रित है, लेकिन पेंडुलम की गति एक अनुमानित पैटर्न (जैसे बेल कर्व) का पालन करती है।
"मेमोरी" का तरीका: भविष्य की भविष्यवाणी करने के लिए, कंप्यूटर को अतीत को याद रखने की आवश्यकता होती है। उन्होंने कंप्यूटर को गति और त्वरण के पिछले कुछ सेकंडों की "मेमोरी" दी। इसने कंप्यूटर को समुद्र को एक अनुमानित "मार्कोव प्रक्रिया" (एक ऐसी प्रणाली जहाँ भविष्य केवल वर्तमान स्थिति पर निर्भर करता है) के रूप में मानने की अनुमति दी।
एल्गोरिदम: उन्होंने पॉलिसी इटरेशन (Policy Iteration) नामक एक एल्गोरिदम का उपयोग किया।
- चरण 1: एक सरल, साधारण नियम ( "लीनियर पॉलिसी") के साथ शुरू करें।
- चरण 2: कंप्यूटर को हजारों बार समुद्र का अनुकरण करने दें।
- चरण 3: कंप्यूटर कहता है, "हे, यदि बैटरी भरी है और लहर बहुत बड़ी है, तो केवल बिजली को बाहर न फेंकें। थोड़ा रोक कर रखें।"
- चरण 4: इसे तब तक दोहराएं जब तक कि नियम पूर्ण न हो जाए।

परिणाम: स्मार्ट स्मूथिंग

जब उन्होंने अपने "स्मार्ट ब्रेन" का परीक्षण "सरल नियम" के मुकाबले किया:

सरल नियम: इसने बिजली के प्रवाह को ठीक-ठाक सुचारू बनाया, लेकिन इसने बैटरी का कुशलतापूर्वक उपयोग नहीं किया। यह अक्सर बैटरी को आधा भरा छोड़ देता था जब वह पूरी भरी हो सकती थी, या इसे बहुत जल्दी खाली कर देता था।
स्मार्ट ब्रेन: इसने सरल नियम की तुलना में बिजली के प्रवाह के "झटकों" को लगभग 20% कम कर दिया।
- यह जानता था कि कब चार्ज करना है और कब डिस्चार्ज करना है, जो केवल वर्तमान पावर लेवल पर नहीं, बल्कि मशीन की गति और त्वरण पर आधारित था।
- इसने अगली बड़ी लहर के उछाल के लिए ऊर्जा को "बचाना" सीख लिया।

चुनौती: "डायमेंशनलिटी का अभिशाप" (Curse of Dimensionality)

लेख में कर्स ऑफ डायमेंशनलिटी नामक एक प्रमुख बाधा का उल्लेख है।

रूपक: कल्पना कीजिए कि यात्रा के समय की भविष्यवाणी करने के लिए मौसम, ट्रैफ़िक और ड्राइवर के मूड के हर संभावित संयोजन का मानचित्र बनाने का प्रयास करना। यदि आप बस एक और चर (variable) जोड़ते हैं (जैसे "दिन का समय"), तो संयोजनों की संख्या विस्फोट कर जाती है।
वास्तविकता: कंप्यूटर को निम्नलिखित के हर संभावित संयोजन के लिए सर्वोत्तम कदम की गणना करनी थी:
1. बैटरी का स्तर।
2. पेंडुलम की गति।
3. पेंडुलम का त्वरण।
क्योंकि संयोजनों की संख्या बहुत तेज़ी से बढ़ती है, इसलिए उन्हें मॉडल को सरल रखना पड़ा (केवल 3 चर)। यदि वे और अधिक विवरण जोड़ने का प्रयास करते, तो कंप्यूटर को समस्या को हल करने में वर्षों लग जाते। यही कारण है कि उन्होंने लहर मॉडल को सरल बनाने में इतना समय बिताया।

निष्कर्ष

लेखकों ने एक उपकरण (StoDynProg) बनाया है जो ऊर्जा प्रणालियों के लिए जटिल "सर्वश्रेष्ठ निर्णय" वाली समस्याओं को हल कर सकता है। एक तरंग ऊर्जा मशीन पर इस उपकरण का उपयोग करके, उन्होंने सिद्ध किया कि गणितीय रूप से अनुकूलित नियंत्रण रणनीति एक सरल, अनुमान-आधारित रणनीति की तुलना में काफी बेहतर है। यह बिजली के प्रवाह को अधिक सुचारू बनाता है, जो विद्युत ग्रिड के लिए बेहतर है, और यह सब समान मात्रा में बैटरी स्टोरेज का उपयोग करते हुए किया जाता है।

संक्षेप में: उन्होंने कंप्यूटर को "समुद्र के खेल" को पूरी तरह से खेलना सिखाया, जिसके परिणामस्वरूप एक बहुत ही स्थिर बिजली प्रवाह प्राप्त हुआ जिसे एक इंसान सरल नियमों के साथ प्रबंधित नहीं कर सकता था।

तकनीकी सारांश: एक ऊर्जा भंडारण के लिए इष्टतम नियंत्रण नीति की गणना करना

समस्या विवरण
यह शोध पत्र नवीकरणीय ऊर्जा स्रोतों, विशेष रूप से SEAREV जैसे ओशन वेव एनर्जी कन्वर्टर्स (WECs) की शक्ति परिवर्तनशीलता (power variability) को प्रबंधित करने की चुनौती को संबोधित करता है। पारंपरिक उत्पादन के विपरीत, तरंग ऊर्जा का आउटपुट अत्यधिक स्टोकेस्टिक (stochastic) होता है और तेजी से उतार-चढ़ाव करता है (उदाहरण के लिए, ~1.5 सेकंड की अवधि के साथ), जो विद्युत ग्रिड के लिए स्थिरता जोखिम पैदा करता है। लेखक इस समस्या को एक 'ऑप्टिमल कंट्रोल' कार्य के रूप में देखते हैं: एक ऊर्जा भंडारण प्रणाली (ESS) के लिए एक नियंत्रण नीति निर्धारित करना जो ग्रिड में इंजेक्ट की गई शक्ति ( $P_{grid}$ ) को सुचारू (smooth) बनाती है, जबकि भंडारण क्षमता ( $E_{sto}$ ) की भौतिक बाधाओं का सम्मान करती है।

उद्देश्य एक लागत फलन (cost function) $J$ को कम करना है, जो अनंत क्षितिज (infinite horizon) पर इंजेक्ट की गई शक्ति की औसत परिवर्तनशीलता (दंड/penalty) का प्रतिनिधित्व करता है। सिस्टम को एक स्टोकेस्टिक डायनेमिक ऑप्टिमाइज़ेशन समस्या के रूप में मॉडल किया गया है जहाँ प्रत्येक समय अंतराल पर निर्णय संग्रहीत ऊर्जा की स्थिति द्वारा जुड़े होते हैं। डायनेमिक प्रोग्रामिंग (DP) लागू करने के लिए एक प्रमुख पूर्व शर्त यह है कि सिस्टम की गतिशीलता (dynamics) मार्कोवियन (Markovian) होनी चाहिए; हालाँकि, कच्चा वेव पावर टाइम सीरीज़ स्वाभाविक रूप से मार्कोवियन नहीं है, जिसके लिए इनपुट डेटा के रूपांतरण की आवश्यकता होती है।

कार्यप्रणाली
लेखक एक तीन-चरणीय कार्यप्रणाली प्रस्तावित करते हैं जो टाइम सीरीज़ विश्लेषण, स्टोकेस्टिक मॉडलिंग और एक कस्टम पायथन लाइब्रेरी के माध्यम से संख्यात्मक अनुकूलन (numerical optimization) को जोड़ती है।

तरंग उत्पादन का स्टोकेस्टिक मॉडलिंग:
- शक्ति ( $P_{prod}$ ) का सीधा मॉडलिंग करना कठिन है क्योंकि इसका वितरण गैर-गौसियन (non-Gaussian) है। इसके बजाय, लेखक WEC के आंतरिक पेंडुलम की घूर्णन गति ( $\Omega$ ) का मॉडल करते हैं, जो अधिक गौसियन वितरण का पालन करती है।
- वे $\Omega$ की गतिशीलता को कैप्चर करने के लिए दूसरे क्रम के एक ऑटोरेग्रेसिव (AR) मॉडल (AR(2)) का उपयोग करते हैं।
- मॉडल फिटिंग: मानक कंडीशनल मैक्सिमम लाइकलीहुड एस्टीमेशन (CMLE) डेटा के लघु समय अंतराल पर ऑटोकोरिलेशन फंक्शन (ACF) को पुनरुत्पादित करने के लिए अपर्याप्त पाया गया। फलस्वरूप, लेखकों ने एक "मल्टी-लैग्स ACF फिटिंग" विधि लागू की, जो 15-सेकंड के क्षितिज पर सैद्धांतिक और अनुभवजन्य ACFs के बीच वर्ग अंतर (squared difference) को कम करती है।
- परिणामी AR(2) मॉडल को गति ( $\Omega$ ) और त्वरण ( $A$ ) को अवस्था चरों (state variables) के रूप में, और संग्रहीत ऊर्जा ( $E_{sto}$ ) के साथ एक स्टेट-स्पेस प्रतिनिधित्व में पुनर्गठित किया गया है। यह एक 3-आयामी मार्कोवियन स्टेट वेक्टर $x = (E_{sto}, \Omega, A)$ प्रदान करता है।
StoDynProg लाइब्रेरी:
- परिणामी अनुकूलन समस्या को हल करने के लिए, लेखकों ने स्टोकेस्टिक डायनेमिक प्रोग्रामिंग (SDP) के लिए एक जेनेरिक पायथन लाइब्रेरी, StoDynProg विकसित की है।
- आर्किटेक्चर: लाइब्रेरी सिस्टम डायनेमिक्स और कॉस्ट फंक्शन्स को परिभाषित करने के लिए SysDescription का उपयोग करती है, और स्टेट स्पेस के विविक्तीकरण (discretization) और एल्गोरिदम को निष्पादित करने के लिए DPSolver का प्रबंधन करती है।
- एल्गोरिदम: लाइब्रेरी पॉलिसी इटरेशन (Policy Iteration) को लागू करती है, जो इस समस्या के लिए वैल्यू इटरेशन (Value Iteration) की तुलना में काफी अधिक कुशल सिद्ध हुई है। पॉलिसी इटरेशन, एक निश्चित नीति के लिए रैखिक समीकरणों को हल करने (पॉलिसी इवैल्यूएशन) और वर्तमान वैल्यू फंक्शन के लिए इष्टतम नियंत्रण खोजने (पॉलिसी इम्प्रूवमेंट) के बीच बारी-बारी से कार्य करता है।
- इंटरपोलेशन: आयताकार ग्रिडों पर n-आयामी इंटरपोलेशन को संभालने के लिए एक कस्टम MultilinearInterpolator (Dolo प्रोजेक्ट से अनुकूलित) का उपयोग करना एक महत्वपूर्ण घटक है, जो डिस्क्रीट ग्रिड बिंदुओं के बीच वैल्यू फंक्शन्स का मूल्यांकन करने के लिए आवश्यक है।
अनुकूलन निष्पादन (Optimization Execution):
- स्टेट स्पेस को लगभग 110,000 बिंदुओं ( $30 \times 60 \times 60$ ऊर्जा, गति और त्वरण के लिए) के ग्रिड में विविक्त (discretize) किया गया है।
- एल्गोरिदम को एक सरल लीनियर ह्यूरिस्टिक कंट्रोल लॉ के साथ इनिशियलाइज़ किया गया है और अभिसरण (convergence) तक इटरेट किया गया है (लगभग 5 पॉलिसी इटरेशन में प्राप्त हुआ)।

प्रमुख परिणाम

अभिसरण और दक्षता: पॉलिसी इटरेशन एल्गोरिदम एक मानक डेस्कटॉप कंप्यूटर पर लगभग 3 मिनट में अभिसरित हुआ। इसके विपरीत, एक वैल्यू इटरेशन दृष्टिकोण को हर चरण में अनुकूलन की लागत के कारण लगभग 5 घंटे (100 गुना धीमा) की आवश्यकता होती।
नियंत्रण नीति: परिणामी इष्टतम नीति $\mu(E_{sto}, \Omega, A)$ एक स्टेट-फीडबैक फंक्शन है। यह पुष्टि करता है कि उच्च संग्रहीत ऊर्जा से उच्च ग्रिड इंजेक्शन होता है, लेकिन यह शक्ति को नियंत्रित करने के लिए गति और त्वरण को विशिष्ट रूप से शामिल करता है, जो प्रभावी रूप से यांत्रिक ऊर्जा परिवर्तनों का पूर्वानुमान लगाता है।
प्रदर्शन सुधार: SEAREV के 1000-सेकंड के सिमुलेशन सैंपल्स पर लागू करने पर:
- अनुकूलित नीति ने लीनियर ह्यूरिस्टिक नीति की तुलना में इंजेक्ट की गई शक्ति के मानक विचलन (standard deviation) को लगभग 20% कम कर दिया (विशेष रूप से तीन नमूनों में 27%, 16%, और 22%)।
- अनुकूलित नीति ने भंडारण क्षमता का अधिक प्रभावी ढंग से उपयोग किया, विशेष रूप से उच्च ऊर्जा स्तरों पर, जो लीनियर दृष्टिकोण की तुलना में "पीक्स और वैलीज़" (peaks and valleys) को बेहतर ढंग से सुचारू बनाता है।
सीमाएँ: लेखक नोट करते हैं कि उच्च-उत्पादन परिदृश्यों में अचानक त्वरण (4 मानक विचलन से अधिक) के साथ, लीनियर AR मॉडल WEC की गैर-रेखीय गतिशीलता को कैप्चर करने में विफल रहता है। फलस्वरूप, अनुकूलित नीति इन विशिष्ट शासन (regimes) में "स्पाइकी" आउटपुट उत्पन्न करती है, जो इन अलग-थलग मामलों में लीनियर ह्यूरिस्टिक से थोड़ा खराब प्रदर्शन करती है।

महत्व और दावे
यह शोध पत्र एक जेनेरिक, ओपन-सोर्स पायथन टूल का उपयोग करके एक वास्तविक ऊर्जा प्रबंधन समस्या में स्टोकेस्टिक डायनेमिक प्रोग्रामिंग के व्यावहारिक अनुप्रयोग को प्रदर्शित करने का दावा करता है।

टूलिंग: प्राथमिक योगदान StoDynProg है, जो एक ऐसी लाइब्रेरी है जिसे स्टेट और कंट्रोल स्पेस के मनमाने आयामों (dimensions) को संभालने के लिए डिज़ाइन किया गया है, जो निम्न-क्रम मार्कोवियन मॉडल (स्टेट आयामों को 3 या 4 तक सीमित करके) को लागू करके "कर्स ऑफ डायमेंशनैलिटी" (Curse of Dimensionality) को संबोधित करती है।
मेथोडोलॉजिकल रिगर (Methodological Rigor): यह कार्य उपयुक्त मॉडल फिटिंग (मल्टी-लैग्स ACF बनाम CMLE) के महत्व को रेखांकित करता है ताकि यह सुनिश्चित किया जा सके कि स्टोकेस्टिक मॉडल सिस्टम के सहसंबंध संरचना (correlation structure) को सटीक रूप से दर्शाता है, जो DP समाधान के लिए महत्वपूर्ण है।
अनुप्रयोग क्षमता: लेखक दावा करते हैं कि हालांकि विशिष्ट उदाहरण वेव एनर्जी स्मूथिंग है, लाइब्रेरी और कार्यप्रणाली इतनी जेनेरिक है कि इसे इलेक्ट्रिकल इंजीनियरिंग, मैकेनिकल इंजीनियरिंग और लाइफ साइंसेज में अन्य ऑप्टिमल कंट्रोल समस्याओं पर लागू किया जा सकता है, बशर्ते कि सिस्टम को एक प्रबंधनीय स्टेट डायमेंशन के साथ मार्कोवियन प्रक्रिया के रूप में मॉडल किया जा सके।

शोध पत्र विनम्रतापूर्वक समाप्त होता है, यह नोट करते हुए कि हालांकि 20% परिवर्तनशीलता की कमी महत्वपूर्ण है, इस सुधार का आर्थिक मूल्य ग्रिड कोड और विशिष्ट दंड मानदंडों (जैसे "फ्लिकर") पर निर्भर करता है, जो भविष्य के अनुसंधान के विषय हैं।