Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

समस्या का निरूपण
इलेक्ट्रिक वाहनों (EVs) का तेजी से बढ़ता उपयोग बिजली प्रणालियों के लिए महत्वपूर्ण चुनौतियां पेश कर रहा है, जिसमें पीक डिमांड स्पाइक्स और ग्रिड अस्थिरता शामिल हैं। जबकि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) चार्जिंग शेड्यूल (जैसे, लागत कम करने या लोड को समतल करने) को अनुकूलित करने के लिए एक डेटा-संचालित दृष्टिकोण प्रदान करता है, इसकी प्रभावशीलता अक्सर अपूर्ण जानकारी के कारण बाधित होती है। वास्तविक दुनिया के परिदृश्यों में एक महत्वपूर्ण अनिश्चितता वाहन के प्रस्थान का समय है। यह जाने बिना कि कोई वाहन कब निकलेगा, एक RL एजेंट चार्जिंग को ऑफ-पीक घंटों में स्थानांतरित करने के लिए उपलब्ध समय की लचीलापन (flexibility) को सटीक रूप से निर्धारित नहीं कर सकता है, जिससे अपूर्ण चार्जिंग सत्र या उप-इष्टतम लागत प्रबंधन की स्थिति उत्पन्न हो सकती है।

मौजूदा साहित्य अक्सर प्रस्थान समय के पूर्ण पूर्वानुमान (perfect foresight) की धारणा रखता है या केवल भविष्य कहनेवाला सटीकता (जैसे, मीन स्क्वेर्ड एरर को कम करने) के लिए प्रशिक्षित पारंपरिक पूर्वानुमान मॉडलों पर निर्भर करता है। हालांकि, यह शोध पत्र तर्क देता है कि केवल सटीकता के लिए अनुकूलित पूर्वानुमानकर्ता आवश्यक रूप से ऐसे भविष्यवाणियां उत्पन्न नहीं करता है जो इष्टतम नियंत्रण निर्णयों की ओर ले जाएं। मानक पूर्वानुमानों में त्रुटियां नियंत्रण लूप के माध्यम से प्रसारित हो सकती हैं, जिससे चार्जिंग नीति का समग्र प्रदर्शन खराब हो जाता है।

कार्यप्रणाली: डिसीसन-फोकस्ड RL (DF-RL)
पूर्वानुमान सटीकता और निर्णय गुणवत्ता के बीच के अंतर को दूर करने के लिए, लेखक एक डिसीसन-फोकस्ड रिइन्फोर्समेंट लर्निंग (DF-RL) ढांचे का प्रस्ताव करते हैं। मुख्य नवाचार प्रस्थान समय पूर्वानुमानकर्ता और एक RL नियंत्रण एजेंट का एंड-टू-एंड संयुक्त प्रशिक्षण है, जहाँ पूर्वानुमानकर्ता को केवल पूर्वानुमान त्रुटि के बजाय डाउनस्ट्रीम नियंत्रण निर्णयों की गुणवत्ता के आधार पर अपडेट किया जाता है।

• MDP निरूपण: समस्या को एक मार्कोव डिसीजन प्रोसेस (MDP) के रूप में मॉडल किया गया है। स्टेट स्पेस में मापने योग्य चर (बिजली की कीमत, शेष ऊर्जा मांग, समय) और एक अनुमानित शेष सत्र अवधि ($\hat{d}_t$) शामिल है। एक्शन स्पेस बाइनरी है: पूर्ण शक्ति पर चार्ज करें या निष्क्रिय रहें।
• पूर्वानुमानकर्ता (The Forecaster): लेखक एक न्यूरल नेटवर्क ($f_\psi$) का उपयोग करते हैं जो समय के फीचर्स, अब तक चार्ज की गई ऊर्जा और शेष ऊर्जा के आधार पर कुल सत्र अवधि ($\hat{T}_t$) की भविष्यवाणी करता है। शेष अवधि इस भविष्यवाणी से बीता हुआ समय घटाकर प्राप्त की जाती है।
• RL एजेंट: लेखक सॉफ्ट एक्टर-क्रिटिक (SAC) का उपयोग करते हैं, जो एक ऑफ-पॉलिसी एक्टर-क्रिटिक एल्गोरिदम है जो अन्वेषण (exploration) के लिए पॉलिसी एंट्रॉपी बनाए रखते हुए अपेक्षित रिटर्न को अधिकतम करता है।
• संयुक्त प्रशिक्षण उद्देश्य (Joint Training Objective): पूर्वानुमानकर्ता को एक मिश्रित लॉस फंक्शन (Eq. 9) का उपयोग करके प्रशिक्षित किया जाता है:
  $$L_{total} = \beta L_R + (1 - \beta) L_{DF}$$
  • $L_R$: एक मानक रिग्रेशन लॉस (MSE) जो पूर्वानुमान और वास्तविक सत्र अवधि के बीच विचलन को मापता है।
  • L_{DF: डिसीजन-फोकस्ड घटक, जो RL एजेंट के एडवांटेज फंक्शन ($A(s,a)$) का लाभ उठाकर पूर्वानुमानकर्ता के अपडेट को निर्देशित करता है। यह टर्म पूर्वानुमानकर्ता को ऐसी भविष्यवाणियां करने के लिए प्रोत्साहित करती है जो RL एजेंट के लिए उच्च संचयी पुरस्कार (cumulative rewards) सुनिश्चित करती हैं।
  • $\beta$: एक हाइपरपैरामीटर ($\in [0,1]$) जो पूर्वानुमान सटीकता और निर्णय गुणवत्ता के बीच वजन को संतुलित करता है।

मुख्य योगदान

1. EV चार्जिंग के लिए DF-RL ढांचा: यह पेपर EV चार्जिंग शेड्यूलिंग के लिए डिसीसन-फोकस्ड लर्निंग के एक नवीन अनुप्रयोग को पेश करता है, जो विशेष रूप से प्रस्थान समय की अनिश्चितता को लक्षित करता है। पिछले कार्यों के विपरीत जो DF लर्निंग को MPC या अनुकूलन-आधारित तरीकों (जिनके लिए KKT स्थितियों के जटिल इम्प्लिसिट डिफरेंशिएशन की आवश्यकता होती है) के साथ एकीकृत करते हैं, यह दृष्टिकोण DF लर्निंग को सीधे एक RL पाइपलाइन में एकीकृत करता है।
2. एंड-टू-एंड ऑप्टिमाइजेशन: यह ढांचा पूर्वानुमानकर्ता को सीधे नियंत्रण उद्देश्य से प्रशिक्षित करने की अनुमति देता है। पूर्वानुमानकर्ता और RL पॉलिसी दोनों को संयुक्त रूप से अपडेट किया जाता है, जिससे पूर्वानुमानकर्ता को केवल सांख्यिकीय त्रुटि को कम करने के बजाय नियंत्रक के लिए "क्या महत्वपूर्ण है" सीखने में सक्षम बनाया जाता है।
3. स्टेट ऑग्मेंटेशन: यह विधि RL एजेंट के स्टेट रिप्रेजेंटेशन को सत्र की अवधि के न्यूरल नेटवर्क-आधारित पूर्वानुमान से समृद्ध करती है, जिससे एजेंट को ग्राउंड-ट्रुथ प्रस्थान डेटा की कमी के बावजूद सूचित निर्णय लेने में मदद मिलती है।

प्रायोगिक परिणाम
लेखकों ने एक अस्पताल पार्किंग सुविधा के वास्तविक दुनिया के EV चार्जिंग सत्रों के डेटासेट का उपयोग करके DF-RL ढांचे का मूल्यांकन किया। उन्होंने अपने दृष्टिकोण की तुलना निम्नलिखित से की:

• BAU: आगमन पर तत्काल चार्जिंग।
• RL (बिना पूर्वानुमान के): प्रस्थान समय की किसी भी जानकारी के बिना RL।
• RL (पारंपरिक पूर्वानुमानकर्ता): RL केवल रिग्रेशन लॉस ($\beta=1$) पर प्रशिक्षित पूर्वानुमानकर्ता के साथ।
• RL (वास्तविक प्रस्थान): पूर्ण ज्ञान के साथ एक अपर-बाउंड बेसलाइन।

मुख्य निष्कर्ष:

• प्रदर्शन में सुधार: प्रस्तावित DF-RL पद्धति (विशेष रूप से $\beta=0.2$ या $0.4$ के साथ) ने प्रस्थान समय पूर्वानुमान के बिना RL पद्धति की तुलना में कुल रिवॉर्ड में 14% का सुधार और अनसप्लाइड एनर्जी (वह चार्जिंग जो विफल रही क्योंकि EV चली गई) में 55% की कमी हासिल की।
• पारंपरिक पूर्वानुमान के साथ तुलना: एक पारंपरिक पूर्वानुमानकर्ता ($\beta=1$) वाले RL पद्धति की तुलना में, DF-RL दृष्टिकोण ने अनमेट डिमांड को लगभग 14% कम कर दिया (सर्वश्रेष्ठ मामले में 7.3% से 6.3% तक) और कुल रिवॉर्ड में 5% का सुधार किया।
• व्यवहार संबंधी अंतर्दृष्टि: पेपर नोट करता है कि DF-RL आवश्यक रूप से प्रस्थान समय के संख्यात्मक अनुमानों को अधिक सटीक नहीं बनाता है। इसके बजाय, यह "रूढ़िवादी" (conservative) भविष्यवाणियां उत्पन्न करता है जो निर्णय लेने के लिए अधिक उपयोगी हैं। उदाहरण के लिए, एक केस स्टडी में, DF-RL पूर्वानुमानकर्ता ने वास्तविकता से थोड़ा छोटा सत्र समय अनुमानित किया, जिससे एजेंट को जल्दी चार्ज करने और सत्र को सफलतापूर्वक पूरा करने के लिए प्रेरित किया गया। इसके विपरीत, पारंपरिक पूर्वानुमानकर्ता ने अवधि का अधिक अनुमान लगाया, जिससे चार्जिंग में देरी हुई और एक अधूरा सत्र हुआ।
• ट्रेड-ऑफ (Trade-offs): कम मान वाले $\beta$ (जो शुद्ध सटीकता के बजाय निर्णय की गुणवत्ता को प्राथमिकता देते हैं) के परिणामस्वरूप कम असंतुष्ट EV मिले लेकिन चार्जिंग लागत थोड़ी अधिक हुई, जो ऊर्जा मांगों को पूरा करने और बिजली खर्चों को कम करने के बीच के ट्रेड-ऑफ को दर्शाता है।

महत्व और दावे
यह पेपर दावा करता है कि इस कार्य का प्राथमिक महत्व यह प्रदर्शित करना है कि नियंत्रण प्रदर्शन के लिए पूर्वानुमान सटीकता एकमात्र निर्धारक नहीं है। नियंत्रण एजेंट से फीडबैक के साथ पूर्वानुमानकर्ता को प्रशिक्षित करके, सिस्टम ऐसी भविष्यवाणियां उत्पन्न करना सीखता है जो चार्जिंग समस्या के विशिष्ट बाधाओं और उद्देश्यों के प्रति मजबूत होती हैं।

लेखक विनम्रतापूर्वक कहते हैं कि जबकि उनका DF-RL दृष्टिकोण बेसलाइन्स की तुलना में बेहतर चार्जिंग निर्णय प्रदान करता है, यह पारंपरिक अनुकूलन सॉल्वर के साथ DF लर्निंग को एकीकृत करने की जटिलता के बिना अनिश्चितता को संभालने की दिशा में एक कदम है। वे स्वीकार करते हैं कि वर्तमान कार्य एकल वाहन परिदृश्य और नियत (deterministic) प्राइस प्रोफाइल पर केंद्रित है और भविष्य के कार्य में मल्टी-व्हीकल को-ऑपरेटिव परिदृश्यों, डायनेमिक प्राइस प्रोफाइल और सीजनलिटी जैसे टेम्पोरल पैटर्न को कैप्चर करने के लिए अधिक एक्सप्रेसिव फोरकास्टिंग मॉडल तक इस ढांचे का विस्तार करने की योजना है।