⚡ electrical engineering

Efficient reformulations of ReLU deep neural networks for surrogate modelling in power system optimisation

यह शोध पत्र कन्वेक्सिफाइड (convexified) ReLU डीप न्यूरल नेटवर्क के लिए एक गणनात्मक रूप से कुशल लीनियर प्रोग्रामिंग पुनर्गठन प्रस्तावित करता है जो पावर सिस्टम अनुकूलन समस्याओं में उनके सुलभ और उच्च-सटीक एकीकरण को सक्षम बनाता है, जैसा कि मौजूदा विधियों की तुलना में डेनिश टर्शियरी कैपेसिटी मार्केट बिडिंग केस स्टडी में बेहतर प्रदर्शन द्वारा प्रदर्शित किया गया है।

मूल लेखक: Yogesh Pipada Sunil Kumar, S. Ali Pourmousavi, Jon A. R. Liisberg, Julian Lesmos-Vinasco

प्रकाशित 2026-01-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yogesh Pipada Sunil Kumar, S. Ali Pourmousavi, Jon A. R. Liisberg, Julian Lesmos-Vinasco

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप बिजली के लिए एक विशाल, उच्च-दांव वाली नीलामी चला रहे हैं। आप एक "एग्रीगेटर" (aggregator) हैं, जो हजारों घर मालिकों (प्रोसुमर्स) से लचीलापन (flexibility) खरीदने वाला एक मध्यस्थ है ताकि बिजली ग्रिड को संतुलित करने में मदद मिल सके। जीतने के लिए, आपको ठीक-ठीक अनुमान लगाने की आवश्यकता है कि लोग पैसे बचाने के लिए अपने उपयोग को कितना बदलेंगे, जो कीमत आप उन्हें ऑफर करते हैं।

समस्या क्या है? मानवीय व्यवहार अव्यवस्थित, गैर-रैखिक (non-linear) होता है और इसे सरल गणित के साथ लिखना कठिन होता है। इस समस्या को हल करने के लिए, शोधकर्ता आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करते हैं, विशेष रूप से एक प्रकार का जिसे डीप न्यूरल नेटवर्क (DNN) कहा जाता है। इस AI को एक सुपर-स्मार्ट प्रशिक्षु (apprentice) के रूप में समझें जिसने लाखों पिछले लेनदेन का अध्ययन किया है और अब वह परिणाम का सटीक अनुमान लगा सकता है।

हालाँकि, एक पेंच है: आप केवल इस AI प्रशिक्षु को अपनी नीलामी के गणित के बीच में बैठने के लिए नहीं कह सकते। नीलामी चलाने के लिए आवश्यक गणित (ऑप्टिमाइज़ेशन) AI के जटिल, "ब्लैक बॉक्स" तर्क को प्रोसेस करने की कोशिश में "ट्रैफिक जाम" में फंस जाता है। यह ऐसा ही है जैसे किसी फॉर्मूला 1 कार को एक संकरी, घुमावदार गाँव की सड़क से चलाने की कोशिश करना; कार बहुत जटिल है और सड़क बहुत संकरी।

समस्या: "ट्रैफिक जाम"

पारंपरिक रूप से, AI को नीलामी के गणित के साथ काम करने के लिए मजबूर करने हेतु, शोधकर्ताओं को इसे "बाइनरी स्विच" (जैसे लाइट को चालू या बंद करना) का उपयोग करके एक कठोर प्रारूप में ढालना पड़ता था। यह काम तो करता है, लेकिन यह समस्या को एक मिक्स्ड-इंटीजर प्रोग्राम (MIP) में बदल देता है।

उपमा: कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं जहाँ हर टुकड़ा या तो "ऑन" हो सकता है या "ऑफ"। जैसे-जैसे पहेली बड़ी होती जाती है (न्यूरॉन्स की संख्या बढ़ती है), संभावित संयोजनों की संख्या विस्फोट की तरह बढ़ती जाती है। कंप्यूटर अभिभूत हो जाता है, समाधान खोजने में घंटों या दिनों का समय लेता है, या पूरी तरह से हार मान लेता है।

मौजूदा "समाधान" और वे क्यों विफल होते हैं

शोधकर्ताओं ने सड़क को सुगम बनाने के दो अन्य तरीके आजमाए:

पेनल्टी मेथड्स (PCAR/PCTAR): ये कंप्यूटर को धोखा देने की कोशिश करते हैं यदि AI गलत अनुमान लगाता है, तो एक "जुर्माना" (penalty) जोड़कर।
- दोष: यह ऐसा है जैसे ड्राइवर को कहना, "यदि आप सड़क से उतरते हैं, तो आप जुर्माना भरेंगे।" लेकिन ड्राइवर यह तय कर सकता है कि जुर्माना भरना और दुर्घटनाग्रस्त होना अधिक सस्ता है। ये विधियाँ संवेदनशील हैं; यदि आप जुर्माना बहुत कम रखते हैं, तो AI इसे अनदेखा कर देता है। यदि बहुत अधिक रखते हैं, तो गणित टूट जाता है। परिणाम अक्सर अविश्वसनीय होते हैं।
पीसवाइज लीनियराइजेशन (PWL): यह AI के वक्र (curve) को सीधी रेखाओं में तोड़ देता है।
- दोष: यह सटीक है, लेकिन यह ऐसा है जैसे केवल सीधी लेगो ब्रिक्स (Lego bricks) का उपयोग करके एक चिकने वृत्त को खींचने की कोशिश करना। आपको इतनी अधिक ब्रिक्स की आवश्यकता होगी कि मॉडल बहुत बड़ा और गणना करने में धीमा हो जाएगा।

शोध पत्र का समाधान: "कॉन्वेक्सिफाइड" शॉर्टकट

लेखक AI को पुनर्गठित करने का एक चतुर नया तरीका प्रस्तावित करते हैं ताकि यह बिना फंसे सड़क पर फिट हो सके। वे इसे कॉन्वेक्सिफाइड ReLU DNN कहते हैं।

यहाँ जादू का नुस्खा है:

लक्ष्य: इस विशिष्ट नीलामी समस्या में, लक्ष्य लागत को कम करना (कम से कम खर्च करना) है।
प्रतिबंध: शोधकर्ता AI के आंतरिक भार (weights - जिन्हें AI के "नॉब्स" या नियंत्रण बटन कहा जाता है) को अधिकांश परतों के लिए केवल धनात्मक संख्याओं (positive numbers) तक सीमित कर देते हैं।
परिणाम: इन नॉब्स को धनात्मक होने के लिए मजबूर करके, AI का व्यवहार एक ऊबड़-खाबड़, अप्रत्याशित पहाड़ी श्रृंखला से बदलकर एक चिकनी, कटोरे के आकार की घाटी में बदल जाता है।
- उपमा: कल्पना कीजिए कि AI एक पहाड़ी से लुढ़कती हुई गेंद है। पुराने संस्करण में, पहाड़ी में छिपे हुए जाल और खाइयाँ थीं (non-convex)। नए संस्करण में, उन्होंने पहाड़ी को एक चिकनी स्लाइड (convex) में बदल दिया है। क्योंकि लक्ष्य सबसे निचला बिंदु खोजना है (लागत कम करना), गेंद स्वाभाविक रूप से बिना अटके नीचे की ओर लुढ़केगी।

क्योंकि आकार अब एक चिकना कटोरा है, कंप्यूटर को स्विच बदलने या जुर्माना भरने की आवश्यकता नहीं है। यह लीनियर प्रोग्रामिंग (LP) का उपयोग कर सकता है, जो एक सुपर-फास्ट, सीधी राजमार्ग की तरह है। कंप्यूटर घंटों के बजाय मिलीसेकंड में इस समस्या को हल कर देता है।

उन्होंने क्या पाया

टीम ने वास्तविक दुनिया के परिदृश्य पर इसका परीक्षण किया: डेनिश बिजली बाजार। उन्होंने अपने नए "स्मूथ स्लाइड" तरीके की तुलना पुराने "ट्रैफिक जाम" वाले तरीकों और "जुर्माना-आधारित" ट्रिक्स से की।

गति: उनका तरीका पारंपरिक AI तरीकों की तुलना में सैकड़ों से हजारों गुना तेज़ था। इसने समस्या को मिलीसेकंड में हल कर दिया।
सटीकता: यह सबसे सटीक (लेकिन धीमे) तरीकों के लगभग बराबर था। इसने "जुर्माना-आधारित" तरीकों की तरह "दुर्घटनाग्रस्त" होने वाली गलतियाँ नहीं कीं।
विश्वसनीयता: अन्य विधियों के विपरीत, उनका समाधान तब भी नहीं टूटा जब उन्होंने AI को बड़ा या अधिक जटिल बनाया। यह तेज़ और विश्वसनीय बना रहा।

सावधानी (बारीक विवरण)

यह शॉर्टकट केवल तभी काम करता है जब दो शर्तें पूरी हों:

आप AI के आउटपुट को मिनिमाइज (minimize) करने की कोशिश कर रहे हैं (जैसे लागत कम करना)।
आप AI को इस नियम के साथ प्रशिक्षित करने के लिए तैयार हैं कि इसके आंतरिक नॉब्स को धनात्मक होना चाहिए (जो AI को थोड़ा सीमित करता है, लेकिन इस विशिष्ट समस्या के लिए आवश्यक व्यवहार को पकड़ने में सक्षम है)।

निष्कर्ष

यह शोध पत्र एक नया AI नहीं बनाता है; यह एक नया अनुवाद उपकरण (translation tool) बनाता है। यह एक जटिल, धीरे हल होने वाले AI मॉडल को एक सरल, तेज़ी से हल होने वाली गणितीय समस्या में अनुवादित करता है, बशर्ते आप सबसे कम लागत की तलाश में हों। यह बिजली ग्रिड ऑपरेटरों को गणित पूरा करने के लिए दिनों तक प्रतीक्षा किए बिना, वास्तविक समय की नीलामियों में स्मार्ट AI भविष्यवाणियों का उपयोग करने की अनुमति देता है।

तकनीकी सारांश: पावर सिस्टम ऑप्टिमाइजेशन में सरोगेट मॉडलिंग के लिए ReLU डीप न्यूरल नेटवर्क के कुशल पुनर्गठन (Reformulations)

समस्या विवरण
पावर सिस्टम के डीकार्बोनाइजेशन ने जटिल, नॉनलीनियर इंटरैक्शन को जन्म दिया है जो वितरित ऊर्जा संसाधनों (distributed energy resources) द्वारा संचालित होते हैं, जिन्हें पारंपरिक ऑप्टिमाइजेशन मॉडल का उपयोग करके कैप्चर करना कठिन है। जबकि मशीन लर्निंग (ML) आधारित सरोगेट मॉडलिंग, विशेष रूप से रेक्टिफाइड लीनियर यूनिट (ReLU) डीप न्यूरल नेटवर्क्स (DNNs) का उपयोग, इन व्यवहारों के प्रतिनिधित्व के लिए एक आशाजनक समाधान प्रदान करता है, ReLU DNNs को सीधे ऑप्टिमाइजेशन फ्रेमवर्क में एकीकृत करने में महत्वपूर्ण चुनौतियां आती हैं। मिश्रित-पूर्णांक प्रोग्रामिंग (Mixed-Integer Programming - MIP) पुनर्गठन (जैसे, Big-M बाधाएं) का उपयोग करने वाले मानक दृष्टिकोण प्रत्येक न्यूरॉन के लिए बाइनरी वेरिएबल्स पेश करते हैं, जिससे नेटवर्क की गहराई और चौड़ाई बढ़ने के साथ कम्प्यूटेशनल जटिलता (computational intractability) बढ़ जाती है। इसके विपरीत, मौजूदा लीनियर प्रोग्रामिंग (LP) रिलैक्सेशन, जैसे कि पेनलाइज्ड कॉनवेक्स एरिया रिलैक्सेशन (PCAR) और पेनलाइज्ड कॉनवेक्स ट्राएंगल एरिया रिलैक्सेशन (PCTAR), ट्रेक्टेबिलिटी में सुधार करते हैं लेकिन हेयुरिस्टिक पेनल्टी टर्म्स पर बहुत अधिक निर्भर करते हैं। ये पेनल्टी-आधारित विधियां अक्सर गारंटीकृत टाइटनेस (tightness) और मजबूती की कमी प्रदर्शित करती हैं, जिसके परिणामस्वरूप हाइपरपैरामीटर ट्यूनिंग के प्रति संवेदनशीलता और समाधान की गुणवत्ता में गिरावट आती है।

यह पेपर एक विशिष्ट वर्ग के ReLU DNNs के लिए एक नवीन LP पुनर्गठन प्रस्तावित करता है, जिसे कॉनवेक्सिफाइड (cvxd) ReLU DNNs कहा जाता है। मुख्य गणितीय अंतर्दृष्टि थ्योरम 2.1 पर आधारित है, जो यह स्थापित करती है कि यदि किसी ReLU DNN के आउटपुट को एक ऑप्टिमाइजेशन समस्या के भीतर मिनिमाइज किया जाता है, और दूसरी परत से आगे के सभी वेट मैट्रिसेस को एलिमेंट-वाइज नॉन-नेगेटिव ( $W_l \geq 0$ फॉर $l \geq 2$ ) होने के लिए बाधित किया जाता है, तो उन परतों में नॉन-कॉन्वेक्स ReLU एक्टिवेशन फंक्शन को बिना टाइटनेस खोए लीनियर इनइक्वलिटीज (linear inequalities) से बदला जा सकता है।

विशेष रूप से:

कॉनवेक्सिफिकेशन (Convexification): यह विधि छिपी हुई परतों (लेयर $k$ से आउटपुट तक) के वेट मैट्रिसेस को नॉन-नेगेटिव रखने के लिए बाधित करती है। यह संरचनात्मक बाधा सुनिश्चित करती है कि मिनिमाइजेशन ऑब्जेक्टिव नेटवर्क के माध्यम से प्रसारित होता है, जिससे $\max(\cdot, 0)$ बाधाओं को लीनियर इनइक्वलिटीज ( $h_l \geq W_l h_{l-1} + b_l$ और $h_l \geq 0$ ) से बदलना संभव हो जाता है।
अनुप्रयोग संदर्भ (Application Context): इस विधि को ऑप्टिमाइजेशन विद कंस्ट्रेंट लर्निंग (OCL) फ्रेमवर्क के भीतर लागू किया गया है। लेखक एक प्रोसुमर रिस्पॉन्सिवनेस फंक्शन (एक नॉनलीनियर, नॉन-कॉन्वेक्स सैचुरेशन कर्व) को सीखते हैं जो एक ReLU DNN का उपयोग करता है, और इसे डेनिश टर्शियरी कैपेसिटी मार्केट (mFRR) के लिए एक एनर्जी एग्रीगेटर के प्रॉफिट मैक्सिमाइजेशन समस्या में एम्बेड करते हैं।
बेंचमार्किंग: प्रस्तावित पुनर्गठन का मूल्यांकन स्टेट-ऑफ-द-आर्ट (SOTA) विकल्पों के विरुद्ध किया गया है:
- MIP-आधारित: Gurobi ML पैकेज का उपयोग करके मानक Big-M पुनर्गठन।
- LP-आधारित: PCAR और PCTAR रिलैक्सेशन।
- पारंपरिक: पीसवाइज लीनियराइजेशन (PWL)।

प्रमुख योगदान

ट्रेक्टेबल LP पुनर्गठन: यह पेपर ReLU DNNs को टाइट LP फॉर्मुलेशन में बदलने के लिए एक विधि पेश करता है, जो पहली परत के बाद की परतों पर नॉन-नेगेटिव वेट्स लागू करके किया जाता है। यह बाइनरी वेरिएबल्स की आवश्यकता को समाप्त करता है, जिससे MIP दृष्टिकोणों की तुलना में कम्प्यूटेशनल जटिलता काफी कम हो जाती है।
गारंटीकृत टाइटनेस: पेनल्टी-आधारित रिलैक्सेशन (PCAR/PCTAR) के विपरीत, प्रस्तावित विधि विभिन्न नेटवर्क आर्किटेक्चर और इनपुट स्थितियों में टाइटनेस और सटीकता की गारंटी देती है, बशर्ते कि मिनिमाइजेशन और नॉन-नेगेटिव वेट की शर्तें पूरी हों।
व्यवस्थित मूल्यांकन: अध्ययन को विभिन्न न्यूरल नेटवर्क आर्किटेक्चर (बदलती चौड़ाई और गहराई) और मार्केट प्राइस परिदृश्यों (कम, मध्यम, उच्च) के माध्यम से व्यापक रूप से बेंचमार्क किया गया है, जो दृष्टिकोण की स्केलेबिलिटी और विश्वसनीयता को प्रदर्शित करता है।

परिणाम
मूल्यांकन एक केस स्टडी का उपयोग करके किया गया था जिसमें एक एग्रीगेटर डेनिश mFRR मार्केट में बोली लगा रहा था, जिसमें 30,000 ट्रेनिंग डेटा पॉइंट्स का उपयोग किया गया और 30 मार्केट परिदृश्यों में परीक्षण किया गया।

कम्प्यूटेशनल प्रदर्शन: प्रस्तावित LP पुनर्गठन ने स्पीड के मामले में MIP-आधारित (Gurobi ML) और PWL दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन किया। जहाँ Gurobi ML और PWL को अक्सर सेकंड या घंटों की आवश्यकता होती थी (या चौड़े नेटवर्क के लिए समय सीमा के भीतर कन्वर्ज होने में विफल रहते थे), प्रस्तावित विधि ने मिलीसेकंड में समस्याओं को हल किया (उदाहरण के लिए, हाई-प्राइस परिदृश्यों के लिए 34 ms बनाम अन्य के लिए 1-3 सेकंड)।
समाधान की गुणवत्ता: प्रस्तावित विधि ने सभी परिदृश्यों में सर्वश्रेष्ठ प्रदर्शन करने वाले तरीकों (PWL और MIP) के समान प्राप्त लाभ (realised profits) हासिल किए, जो आमतौर पर टॉप परफॉर्मर के 1% के भीतर थे। इसके विपरीत, PCAR और PCTAR अक्सर आर्थिक नुकसान का परिणाम देते थे, विशेष रूप से कम कीमत वाले परिदृश्यों में, क्योंकि उनकी पेनल्टी-ड्रिवन संरचना के कारण फ्लेक्सिबिलिटी कॉस्ट का गलत अनुमान लगाया गया था।
स्केलेबिलिटी: प्रस्तावित विधि ने नेटवर्क की चौड़ाई और गहराई बढ़ने के साथ निरंतर प्रदर्शन और टाइटनेस बनाए रखी। इसके विपरीत, Gurobi ML ने गंभीर स्केलेबिलिटी समस्याएं दिखाईं, जहाँ रनटाइम स्पाइक हुआ और चौड़े नेटवर्क (जैसे, 400 न्यूरॉन्स) के लिए MIP गैप काफी बढ़ गया। PCAR और PCTAR ने असंगत सटीकता और पेनल्टी पैरामीटर ट्यूनिंग के प्रति उच्च संवेदनशीलता दिखाई।
सटीकता: प्रस्तावित मॉडल लगातार मूल cvxd DNN के ट्रेनिंग RMSE के करीब रूट मीन स्क्वायर एरर (RMSE) मान प्राप्त करता है, जो पुनर्गठन की टाइटनेस की पुष्टि करता है।

महत्व और दावे
पेपर का दावा है कि जब 'कॉनवेक्सिफाइड ReLU DNNs' को प्रस्तावित LP पुनर्गठन के साथ जोड़ा जाता है, तो वे सीखे गए सरोगेट मॉडल्स को पावर सिस्टम ऑप्टिमाइजेशन में एकीकृत करने के लिए एक स्केलेबल और विश्वसनीय कार्यप्रणाली प्रदान करते हैं। इसका महत्व डीप लर्निंग की एक्सप्रेसिव पावर और बड़े पैमाने के ऑप्टिमाइजेशन की कम्प्यूटेशनल आवश्यकताओं के बीच के अंतर को पाटने में निहित है।

लेखक इस बात पर जोर देते हैं कि हालांकि इस विधि के लिए नेटवर्क आउटपुट को मिनिमाइज करना आवश्यक है और वेट्स पर नॉन-नेगेटिविटी की शर्तें लागू होती हैं (जो सीखी जाने वाली फंक्शन्स की क्लास को कॉन्वेक्स और मॉनोटोनिकली इंक्रीजिंग रिलेशनशिप तक सीमित करती हैं), यह परीक्षण किए गए केस स्टडी में जटिल फ्लेक्सिबिलिटी कॉस्ट फंक्शन्स को सफलतापूर्वक कैप्चर करता है। यह कार्य एक सामान्य मेथडोलॉजिकल एडवांसमेंट के रूप में खुद को स्थापित करता है जो मौजूदा LP रिलैक्सेशन से जुड़ी हेयुरिस्टिक ट्यूनिंग और टाइटनेस गारंटी की कमी से बचता है, जिससे यह जनरेटर कॉस्ट मॉडलिंग, CO2 उत्सर्जन अनुमान और चांस-कंस्ट्रेंड फॉर्मुलेशन जैसे अनुप्रयोगों के लिए उपयुक्त बनता है जहाँ ऑब्जेक्टिव में मिनिमाइजेशन शामिल होता है। लेखक नोट करते हैं कि प्राथमिक ध्यान पुनर्गठन के गुणों के प्रदर्शन पर है न कि विशिष्ट एग्रीगेटर एप्लिकेशन पर, जो सत्यापन के लिए एक वाहन के रूप में कार्य करता है।