⚡ electrical engineering

Goal-oriented safe active learning for predictive control using Bayesian recurrent neural networks

यह शोध पत्र मॉडल प्रेडिक्टिव कंट्रोल के लिए एक लक्ष्य-उन्मुख सुरक्षित सक्रिय शिक्षण ढांचे का प्रस्ताव करता है जो अन्वेषण (exploration) और लक्ष्य-प्राप्ति (goal-reaching) चरणों के बीच बारी-बारी से बदलकर बेयसियन आवर्ती तंत्रिका नेटवर्क (Bayesian recurrent neural network) के मापदंडों को पुनरावर्ती रूप से अपडेट करता है, जिससे सिस्टम डायनेमिक्स के ऑनलाइन अनुकूलन के दौरान सुरक्षा, परिमित-समय अन्वेषण समाप्ति और निकट-इष्टतम प्रदर्शन सुनिश्चित होता है।

मूल लेखक: Laura Boca de Giuli, Alessio La Bella, Manish Prajapat, Johannes Köhler, Anna Scampicchio, Riccardo Scattolini, Melanie Zeilinger

प्रकाशित 2026-04-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Laura Boca de Giuli, Alessio La Bella, Manish Prajapat, Johannes Köhler, Anna Scampicchio, Riccardo Scattolini, Melanie Zeilinger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हाई-टेक डिलीवरी ट्रक के कप्तान हैं जिसे शहर में पैकेज डिलीवर करने के लिए यथासंभव सस्ते और सुरक्षित तरीके से रास्ता खोजना है। आपके पास शहर का एक नक्शा (एक मॉडल) है, लेकिन वह एकदम सटीक नहीं है। कुछ सड़कें आपकी सोच से अधिक चौड़ी हैं, और कुछ ट्रैफिक पैटर्न अलग हैं।

यदि आप बहुत अधिक सावधानी बरतते हैं, तो आप धीमे, लंबे रास्ते लेंगे और ईंधन पर पैसा बर्बाद करेंगे। यदि आप शहर को तेजी से सीखने के लिए बहुत आक्रामक रूपते हैं, तो आप दुर्घटनाग्रस्त हो सकते हैं या यातायात नियमों का उल्लंघन कर सकते हैं।

यह शोध पत्र एक सेल्फ-ड्राइविंग सिस्टम (विशेष रूप से हीटिंग नेटवर्क जैसे ऊर्जा प्रणालियों को नियंत्रित करने के लिए) के लिए एक स्मार्ट रणनीति प्रस्तुत करता है जो ठीक इसी समस्या को हल करता है। इसे गोल-ओरिएंटेड सेफ एक्टिव लर्निंग (Goal-Oriented Safe Active Learning) कहा जाता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. समस्या: "अंधा" ड्राइवर

अधिकांश आधुनिक नियंत्रक (जैसे कारखानों या हीटिंग प्लांट में) एक "ब्लैक बॉक्स" मॉडल (एक न्यूरल नेटवर्क) का उपयोग करते हैं जो यह भविष्यवाणी करता है कि आगे क्या होगा।

समस्या: ये मॉडल पुराने डेटा पर प्रशिक्षित होते हैं। जब वास्तविक दुनिया बदलती है, तो मॉडल गलत हो जाता है।
दुविधा: मॉडल को ठीक करने के लिए, सिस्टम को नई चीजें आज़माने (एक्सप्लोर करने) की आवश्यकता होती है ताकि नया डेटा एकत्र किया जा सके। लेकिन नई चीजें आज़माना जोखिम भरा है। यदि आप यह देखने के लिए किसी अंधेरी गली में गाड़ी चलाते हैं कि क्या वह कोई शॉर्टकट है, तो आप फंस सकते हैं। यदि आप कभी अपने सुरक्षित रास्ते से बाहर नहीं निकलते हैं, तो आपका मॉडल कभी बेहतर नहीं होगा, और आप पैसा बर्बाद करेंगे।

2. समाधान: "स्मार्ट एक्सप्लोरर" (चतुर खोजकर्ता)

लेखकों ने एक ऐसा सिस्टम बनाया है जो एक सावधान खोजकर्ता की तरह कार्य करता है। इसमें दो अलग-अलग मोड हैं, जो स्वचालित रूप से एक-दूसरे के बीच स्विच करते हैं:

चरण A: "स्काउट" मोड (एक्सप्लोरेशन/खोज)

इस चरण में, सिस्टम को शहर के बारे में जानने के लिए गणना किए गए जोखिम लेने की अनुमति दी जाती है।

रूपक: कल्पना करें कि एक स्काउट को आगे भेजकर यह जांचने के लिए कि क्या नया रास्ता सुरक्षित है। स्काउट सावधानी से चलता है लेकिन जानबूझकर सीमाओं का परीक्षण करता है ताकि यह देख सके कि सड़क वास्तव में कहाँ जाती है।
यह कैसे काम करता है: कंप्यूटर एक विशेष गणितीय ट्रिक का उपयोग करता है जिसे बेयसियन लर्निंग (Bayesian Learning) कहा जाता है। इसे एक "कॉन्फिडेंस मीटर" (विश्वास मीटर) के रूप में समझें। सिस्टम जानता है कि वह सड़क के बारे में क्या सोचता है, लेकिन वह यह भी जानता है कि वह उस बारे में कितना अनिश्चित है।
सुरक्षा जाल: खोज करते समय भी, यह कभी भी "लाल रेखा" को पार नहीं करता है। यह "निराशावादी" सीमाओं (सबसे खराब स्थिति को मानते हुए) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि यदि मॉडल गलत भी हो, तो भी सिस्टम क्रैश न हो या सुरक्षा नियमों को न तोड़े।

चरण B: "रेसर" मोड (लक्ष्य तक पहुँचना)

एक बार जब सिस्टम पर्याप्त सीख लेता है और आत्मविश्वासी हो जाता है, तो वह एक्सप्लोर करना बंद कर देता है और रेसिंग शुरू कर देता है।

रूपक: स्काउट ने नए रास्तों का नक्शा बना लिया है। अब, ड्राइवर "रेसर" मोड में बदल जाता है, बिना नक्शा देखे गंतव्य तक सबसे तेज़, सबसे कुशल रास्ता चुनता है।
बदलाव (The Switch): सिस्टम लगातार दो परिदृश्यों की तुलना करता है:
1. निराशावादी: "यदि मैं सबसे खराब स्थिति मान लूँ, तो इसकी लागत कितनी होगी?"
2. आशावादी: "यदि मैं मान लूँ कि मेरा नया नक्शा एकदम सही है, तो इसकी लागत कितनी होगी?"
- ट्रिगर: जब तक इन दोनों उत्तरों के बीच का अंतर बहुत बड़ा है, सिस्टम को पता होता है कि उसे अभी और सीखना (स्काउट मोड) बाकी है। एक बार जब दोनों उत्तर लगभग एक जैसे हो जाते हैं, तो उसे पता चल जाता है कि नक्शा पर्याप्त रूप से अच्छा है, और वह रेसर मोड में स्विच कर जाता है।

3. गुप्त हथियार: "लास्ट लेयर" (अंतिम परत)

यह तरीका इतना तेज़ और कुशल क्यों है?

रूपक: एक जटिल मशीन की कल्पना करें जिसमें हजारों गियर हैं। आमतौर पर इसे ठीक करने के लिए, आपको पूरी मशीन को खोलना पड़ता है। यह शोध पत्र एक स्मार्ट तरीका सुझाता है: केवल अंतिम गियर को एडजस्ट करें जो वास्तव में आउटपुट को छूता है।
तकनीक: वे एक रिकरेंट न्यूरल नेटवर्क (RNN) का उपयोग करते हैं लेकिन केवल उसके अंतिम गणितीय भाग (आउटपुट लेयर) को बेयसियन सांख्यिकी का उपयोग करके अपडेट करते हैं।
लाभ: यह कार के स्टीयरिंग व्हील को ट्यून करने जैसा है, न कि पूरे इंजन को फिर से बनाने जैसा। यह गणनात्मक रूप से सस्ता है, जिसका अर्थ है कि कंप्यूटर बिना सिस्टम को धीमा किए यह गणित वास्तविक समय में कर सकता है।

4. वास्तविक दुनिया का परीक्षण: शहर को गर्म करना

लेखकों ने इसका परीक्षण एक डिस्ट्रिक्ट हीटिंग सिस्टम (पाइपों का एक नेटवर्क जो घरों को गर्म करता है) पर किया।

लक्ष्य: पानी को लोगों के नहाने के लिए पर्याप्त गर्म रखना, लेकिन बिजली बर्बाद न करना।
परिणाम:
- एक मानक "नियम-आधारित" सिस्टम (सिर्फ गर्मी को स्थिर रखना) महंगा था।
- एक "पूर्ण ज्ञान" वाला सिस्टम (जो पाइपों को ठीक से जानता हो) सबसे सस्ता था।
- उनका नया सिस्टम थोड़ा अधिक महंगा रहा क्योंकि यह "सीख" (एक्सप्लोर) रहा था। लेकिन कुछ घंटों के भीतर, इसने पाइपों के व्यवहार को समझ लिया। दिन के अंत तक, यह लगभग उतने ही सस्ते था जितना कि पूर्ण सिस्टम, और इसने कभी भी सुरक्षा सीमाओं (जैसे पाइप जमना) का उल्लंघन नहीं किया।

सारांश

यह पेपर कंप्यूटर को सिखाता है कि कैसे बिना चोट खाए या पैसा बर्बाद किए काम करते हुए सीखना है।

यह खाली जगहों को भरने के लिए सावधानी से एक्सप्लोर करता है।
यह यह जानने के लिए कॉन्फिडेंस मीटर का उपयोग करता है कि उसने कितना सीख लिया है।
एक बार आश्वस्त होने के बाद, यह पूरी तरह से मुख्य लक्ष्य (पैसा बचाना) पर ध्यान केंद्रित करता है।
यह यह सब अपने मस्तिष्क के अंतिम हिस्से को ट्यून करके करता है, जिससे यह तेज़ और सुरक्षित हो जाता है।

यह एक ऐसे ड्राइवर के बीच का अंतर है जो ड्राइववे से बाहर निकलने से डरता है और एक लापरवाह ड्राइवर के बीच जो खाई में गिर जाता है, बनाम एक स्मार्ट ड्राइवर जो नक्शा चेक करता है, शॉर्टकट सीखता है, और फिर कुशलता से फिनिश लाइन तक पहुँचता है।

यहाँ शोध पत्र "Goal-oriented safe active learning for predictive control using Bayesian recurrent neural networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र जटिल गतिशील प्रणालियों (complex dynamical systems) के लिए मॉडल प्रेडिक्टिव कंट्रोल (MPC) की एक महत्वपूर्ण चुनौती को संबोधित करता है: परिचालन डेटा (operational data) का उपयोग करके ऑनलाइन डेटा-संचालित मॉडलों (विशेष रूप से रिकरेंट न्यूरल नेटवर्क, या RNN) को कैसे अनुकूलित किया जाए, जबकि सुरक्षा (safety) सुनिश्चित करना और नियंत्रण प्रदर्शन (control performance) बनाए रखना अनिवार्य हो।

दुविधा (The Dilemma): ऑफलाइन-प्रशिक्षित मॉडल अक्सर वास्तविक दुनिया की परिचालन स्थितियों की पूरी सीमा को कवर करने वाले डेटा की कमी के कारण तैनात होने के बाद प्रदर्शन में गिरावट का सामना करते हैं। उन्हें सुधारने के लिए, सिस्टम को सूचनात्मक डेटा एकत्र करने हेतु "सक्रिय रूप से उत्तेजित" (actively excited) किया जाना चाहिए। हालाँकि, सक्रिय अन्वेषण (active exploration) सुरक्षा बाधाओं का उल्लंघन कर सकता है या प्राथमिक नियंत्रण उद्देश्य (जैसे आर्थिक लागत) को खराब कर सकता है।
अंतराल (The Gap): मौजूदा सक्रिय शिक्षण विधियों में अक्सर सुरक्षा गारंटी की कमी होती है, जबकि सुरक्षित अन्वेषण विधियों में अक्सर इस बात की सैद्धांतिक गारंटी की कमी होती है कि सीखने की प्रक्रिया सीमित समय में समाप्त होगी या अंतिम प्रदर्शन इष्टतम (optimal) के करीब होगा।
उद्देश्य (Objective): एक ऐसा MPC ढांचा विकसित करना जो:
1. RNN मापदंडों (parameters) को ऑनलाइन डेटा का उपयोग करके पुनरावर्ती रूप से अपडेट करे।
2. उच्च संभावना के साथ सुरक्षा बाधाओं की संतुष्टि सुनिश्चित करे।
3. पर्याप्त सटीक होने पर अन्वेषण (exploration) को सीमित समय में समाप्त करे।
4. पूर्ण प्रणाली ज्ञान वाले MPC (सर्वज्ञ MPC) के समान प्रदर्शन प्राप्त करे।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान एक MPC ढांचे के भीतर बेयसियन लास्ट-लेयर (BLL) लर्निंग को गोल-ओरिएंटेड सेफ एक्टिव लर्निंग एल्गोरिदम के साथ एकीकृत करता है।

A. RNNs के लिए बेयसियन लास्ट-लेयर (BLL)

सभी RNN मापदंडों को अनिश्चित मानने के बजाय (जो कि गणनात्मक रूप से महंगा है), लेखक यह मानते हैं कि हिडन स्टेट डायनेमिक्स ज्ञात (पूर्व-प्रशिक्षित) हैं, और केवल आउटपुट लेयर पैरामीटर्स ( $\theta$ ) अनिश्चित हैं।

अपडेट तंत्र: आउटपुट पैरामीटर्स को बेयसियन लीनियर रिग्रेशन का उपयोग करके पुनरावर्ती रूप से अपडेट किया जाता है।
अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification): विधि आउटपुट के लिए पोस्टीरियर मीन ( $\mu_k$ ) और कोवेरिएंस ( $\Sigma_k$ ) की गणना करती है।
सुरक्षा सीमाएँ (Safety Bounds): एक उच्च-संभावना वाले बाउंड ( $\beta_k$ ) का उपयोग करके, लेखक सिस्टम आउटपुट के लिए लोअर ( $lb_k$ ) और अपर ( $ub_k$ ) बाउंड परिभाषित करते हैं। ये बाउंड डेटा एकत्र होने के साथ-साथ संकुचित (tighten) होते जाते हैं।
पेसिमिस्टिक सेट (Pessimistic Set): एक "पेसिमिस्टिक" स्टेट सेट ( $X^p_k$ ) परिभाषित किया गया है जहाँ आउटपुट बाउंड्स $1-\delta$ की संभावना के साथ सुरक्षा बाधाओं ( $y_{min} \le y \le y_{max}$ ) को संतुष्ट करते हैं।

B. गोल-ओरिएंटेड सेफ एक्टिव लर्निंग एल्गोरिदम

यह एल्गोरिदम पेसिमिस्टिक (Pessimistic) और ऑप्टिमिस्टिक (Optimistic) कंट्रोल कॉस्ट के बीच के अंतर के आधार पर दो अलग-अलग चरणों के बीच बारी-बारी से कार्य करता है:

अन्वेषण चरण (Exploration Phase - Active Learning):
- ट्रिगर: एक "पेसिमिस्टिक" MPC (रूढ़िवादी बाउंड का उपयोग करने वाला) और एक "ऑप्टिमिस्टिक" MPC (सर्वश्रेष्ठ-मामला बाउंड का उपयोग करने वाला) के बीच लागत का अंतर बड़ा है ( $J^p_k - J^o_k > \xi$ )।
- कार्रवाई: नियंत्रक एक ऑब्जेक्टिव-अवेयर सेफ एक्टिव लर्निंग समस्या को हल करता है। यह अनुकूलन प्राथमिक नियंत्रण लागत प्लस स्लैक वेरिएबल्स (slack variables) के लिए एक दंड (penalty) को कम करता है जो सिस्टम को उन क्षेत्रों में जाने के लिए प्रोत्साहित करता है जहाँ आउटपुट अनिश्चितता ( $w_k$ ) थ्रेशोल्ड $\epsilon$ से अधिक है।
- लक्ष्य: सुरक्षा का सम्मान करते हुए मॉडल अनिश्चितता को कम करने के लिए सूचनात्मक डेटा एकत्र करना।
गोल-रीचिंग चरण (Goal-Reaching Phase - Exploitation):
- ट्रिगर: जब लागत अंतर $\xi$ से कम हो जाता है ( $J^p_k - J^o_k \le \xi$ ), जो यह दर्शाता है कि मॉडल इतना सटीक है कि सतर्क और आत्मविश्वासी रणनीतियाँ समान परिणाम देती हैं।
- कार्रवाई: नियंत्रक एक मानक पेसिमिस्टिक MPC फॉर्मूलेशन में स्विच कर जाता है। यह बिना किसी और अन्वेषण के, केवल मुख्य नियंत्रण उद्देश्य (जैसे लागत न्यूनीकरण) पर ध्यान केंद्रित करता है, और सुरक्षा सुनिश्चित करने के लिए सीखे गए रूढ़िवादी बाउंड का उपयोग करता है।

C. सैद्धांतिक गारंटी (Theoretical Guarantees)

शोध पत्र चार प्रमुख गुणों के लिए कठोर प्रमाण प्रदान करता है:

पुनरावर्ती व्यवहार्यता (Recursive Feasibility): MPC अनुकूलन समस्याएँ हमेशा हल करने योग्य होती हैं।
सुरक्षा (Safety): परिचालन बाधाएं सभी समय में $1-\delta$ की संभावना के साथ संतुष्ट होती हैं।
सीमित समाप्ति (Finite Termination): अन्वेषण चरण एक निश्चित संख्या में चरणों में समाप्त होने की गारंटी है।
इष्टतम के करीब प्रदर्शन (Close-to-Optimal Performance): समाप्ति के बाद, क्लोज्ड-लूप प्रदर्शन पूर्ण प्रणाली ज्ञान के साथ प्राप्त होने वाले इष्टतम प्रदर्शन के एक सीमित त्रुटि ( $\xi$ ) के भीतर होता है।

3. मुख्य योगदान (Key Contributions)

कुशल ऑनलाइन अनुकूलन: RNNs के लिए BLL का उपयोग करना ऑनलाइन अपडेट को गणनात्मक रूप से कुशल बनाता है (डेटा के आकार के बजाय आउटपुट पैरामीटर्स की संख्या के साथ स्केल होता है) और अनिश्चितता मात्रा निर्धारण प्रदान करता है।
सीमित-समय अन्वेषण (Finite-Time Exploration): कई सक्रिय शिक्षण विधियों के विपरीत, जो अनिश्चित काल तक अन्वेषण करती हैं, यह एल्गोरिदम स्पष्ट रूप से एक "गोल-रीचिंग" मोड में स्विच करता है जब मॉडल "पर्याप्त अच्छा" हो जाता है, जिससे दीर्घकालिक नियंत्रण उद्देश्यों में हस्तक्षेप को रोका जा सके।
उच्च संभावना के साथ सुरक्षा: बेयसियन बाउंड से प्राप्त पेसिमिस्टिक बाधाओं का उपयोग यह सुनिश्चित करता है कि सुरक्षा उल्लंघन की संभावना बहुत कम है, भले ही सिस्टम अज्ञात हो।
सैद्धांतिक ढांचा: यह कार्य सुरक्षित सक्रिय शिक्षण और प्रदर्शन इष्टतमता के बीच के अंतर को पाटता है, समाप्ति और निकट-इष्टतमता के लिए औपचारिक गारंटी प्रदान करता है।

4. परिणाम (केस स्टडी: डिस्ट्रिक्ट हीटिंग सिस्टम)

इस ढांचे को एक बेंचमार्क डिस्ट्रिक्ट हीटिंग सिस्टम (DHS) पर एक गेटेड रिकरेंट यूनिट (GRU) मॉडल का उपयोग करके सत्यापित किया गया।

सेटअप: सिस्टम बिजली लागत को कम करने के लिए आपूर्ति तापमान को नियंत्रित करता है जबकि सुरक्षा सीमाओं के भीतर लोड तापमान को बनाए रखता है।
तुलना: प्रस्तावित लर्निंग-आधारित MPC की तुलना निम्नलिखित से की गई:
- एक रूल-बेस्ड स्ट्रैटेजी (स्थिर तापमान)।
- एक सर्वज्ञ MPC (वास्तविक मॉडल का पूर्ण ज्ञान)।
प्रदर्शन मेट्रिक्स:
- सुरक्षा: सीखा गया मॉडल भविष्यवाणियां और वास्तविक आउटपुट पूरे सिमुलेशन के दौरान सुरक्षा बाउंड्स (कॉन्फिडेंस इंटरवल) के भीतर रहे।
- लर्निंग: पैरामीटर अनुमान त्रुटि ( $\|\theta - \theta^*\|$ ) समय के साथ कम होती गई, और अन्वेषण चरण लगभग 4 घंटे के बाद समाप्त हो गया (सीमित समय)।
- आर्थिक लागत:
  - रूल-बेस्ड लागत: €7458.89
  - सर्वज्ञ MPC लागत: €7199.90 (3.4% बचत)
  - प्रस्तावित लर्निंग MPC लागत: €7207.62 (3.3% बचत)।
निष्कर्ष: प्रस्तावित पद्धति ने सर्वज्ञ MPC के लगभग समान आर्थिक प्रदर्शन प्राप्त किया (0.1% के अंतर के भीतर), जबकि यह बिना किसी आउटपुट पैरामीटर के ज्ञान के शुरू हुआ, जो रूल-बेस्ड स्ट्रैटेजी से काफी बेहतर प्रदर्शन करता है।

5. महत्व (Significance)

यह शोध पत्र सेफ रीइन्फोर्समेंट लर्निंग और एडेप्टिव कंट्रोल में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

व्यावहारिकता: यह "चिकन-एंड-एग" समस्या को हल करता है—मॉडल सीखने के लिए डेटा की आवश्यकता होती है लेकिन सिस्टम को सुरक्षित रूप से नियंत्रित करने के लिए एक अच्छे मॉडल की आवश्यकता होती है।
स्केलेबिलिटी: अनिश्चितता को एक RNN की अंतिम परत तक सीमित करके, यह पूर्ण बेयसियन न्यूरल नेटवर्क या गॉसियन प्रक्रियाओं की गणनात्मक जटिलता से बचता है, जिससे यह वास्तविक समय के औद्योगिक अनुप्रयोगों के लिए उपयुक्त बनता है।
विश्वसनीयता: सीमित समाप्ति (finite termination) की गारंटी औद्योगिक तैनाती के लिए महत्वपूर्ण है, यह सुनिश्चित करती है कि सिस्टम अनिश्चित काल तक "लर्निंग/एक्सप्लोरेशन" मोड में नहीं रहता है, जो दीर्घकालिक दक्षता को प्रभावित कर सकता है।
अनुप्रयोग: डिस्ट्रिक्ट हीटिंग सिस्टम पर सफल प्रदर्शन जटिल बुनियादी ढांचा नेटवर्क में डीकार्बोनाइजेशन और ऊर्जा दक्षता के लिए इसकी क्षमता को उजागर करता है।