⚡ electrical engineering

On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control

यह शोध पत्र वितरण संबंधी अनिश्चितता के तहत परिमित-क्षितिज लीनियर क्वाड्रेटिक गौसियन (LQG) नियंत्रण के लिए रैखिक नीतियों की वैश्विक इष्टतमता को स्थापित करता है, जहाँ शोर वितरण को एक नाममात्र गाऊसी मॉडल के केंद्र में सिंकहॉर्न-आधारित अस्पष्टता सेटों के भीतर सीमित किया गया है, जिससे अनुमानित शोर वितरण से विचलन के विरुद्ध सुदृढ़ प्रदर्शन सुनिश्चित होता है।

मूल लेखक: Riccardo Cescon, Andrea Martin, Giancarlo Ferrari-Trecate

प्रकाशित 2026-03-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Riccardo Cescon, Andrea Martin, Giancarlo Ferrari-Trecate

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य तस्वीर: कोहरे में कार चलाना

कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार चला रहे हैं। आपका लक्ष्य बिंदु A से बिंदु B तक यथासंभव सुचारू रूप से और कम लागत में पहुँचना है (ईंधन और टूट-फूट को कम करना)।

इंजीनियरिंग की क्लासिक दुनिया में (जिसे LQG कंट्रोल कहा जाता है), इंजीनियर यह मान लेते हैं कि वे जानते हैं कि "कोहरा" (शोर/नॉइज़) बिल्कुल कैसे व्यवहार करता है। वे यह मान लेते हैं कि कोहरा पूरी तरह से अनुमानित है, जैसे कि एक हल्की, स्थिर धुंध। इस धारणा के आधार पर, वे सटीक स्टीयरिंग पथ की गणना करते हैं।

समस्या: वास्तविक जीवन पूर्ण नहीं होता। कभी-कभी कोहरा अचानक एक हिंसक तूफान में बदल जाता है, या हवा किसी अजीब दिशा से चलती है। यदि कार का कंप्यूटर सख्ती से उस "परफेक्ट पथ" का पालन करता है जो हल्की धुंध के लिए बनाया गया था, तो अचानक आया तूफान दुर्घटना का कारण बन सकता है या यात्रा को बहुत झटकों भरा बना सकता है। क्लासिक समाधान बहुत नाजुक (fragile) होता है।

समाधान: "सबसे खराब स्थिति वाले" कोहरे के लिए तैयारी

यह पेपर अधिक स्मार्ट तरीके से गाड़ी चलाने का प्रस्ताव देता है। यह मानने के बजाय कि कोहरा बिल्कुल वैसी ही हल्की धुंध है, इंजीनियर कहते हैं: "हमें सटीक कोहरा तो नहीं पता, लेकिन हमें पता है कि यह हल्की धुंध के करीब ही होगा। हालांकि, यह थोड़ा अलग हो सकता है।"

वे हल्की धुंध के चारों ओर एक "सुरक्षा बुलबुला" (जिसे एम्बिग्युटी सेट/Ambiguity Set कहा जाता है) बनाते हैं। इस बुलबुले में वे सभी अजीब कोहरे के परिदृश्य शामिल हैं जो मूल अनुमान के "काफी करीब" हैं।

नए तरीके का लक्ष्य एक ऐसा ड्राइविंग पथ खोजना है जो तब भी अच्छा काम करे जब कोहरा उस सुरक्षा बुलबुले के भीतर का सबसे खराब संभव संस्करण बन जाए। इसे डिस्ट्रिब्यूशनली रोबस्ट (DR) कंट्रोल कहा जाता है।

ट्विस्ट: "सिंकहॉर्न" (Sinkhorn) बुलबुला

आमतौर पर, जब इंजीनियर ये सुरक्षा बुलबुले बनाते हैं, तो वे "वॉसरस्टीन डिस्टेंस" (Wasserstein distance) नामक एक गणितीय पैमाने का उपयोग करते हैं। लेकिन यह पेपर एक नया, विशेष पैमाना पेश करता है जिसे सिंकहॉर्न डिस्क्रेपेंसी (Sinkhorn Discrepancy) कहा जाता है।

अंतर को इस तरह समझें:

पुराना पैमाना (Wasserstein): यदि आप दो बादलों के बीच की दूरी मापते हैं, तो यह पैमाना कह सकता है, "ये बादल दूर हैं," भले ही वे दिखने में बहुत समान हों, क्योंकि यह हर छोटी बूंद को व्यक्तिगत रूप से गिनता है। यह बहुत सख्त है।
नया पैमाना (Sinkhorn): यह पैमाना "स्मूथ" (smoothed out) है। यह थोड़ा धुंधले लेंस के माध्यम से बादलों को देखने जैसा है। यह बादल के समग्र आकार और घनत्व पर ध्यान देता है, न कि केवल व्यक्तिगत बूंदों पर। यह गणित को संभालने में बहुत आसान बनाता है और "करीब" होने की अधिक लचीली परिभाषा की अनुमति देता है।

बड़ी खोज: "इसे सरल रखें"

यहाँ इस पेपर का सबसे आश्चर्यजनक हिस्सा है।

जब आप सबसे खराब स्थिति वाले कोहरे से बचने की कोशिश करते हैं, तो आप उम्मीद कर सकते हैं कि समाधान अविश्वसनीय रूप से जटिल हो जाएगा। आप सोच सकते हैं कि कार को हर संभावित तूफान के परिदृश्य के लिए लाखों अलग-अलग स्टीयरिंग कोणों की गणना करने के लिए एक सुपर-कंप्यूटर की आवश्यकता है।

यह पेपर सिद्ध करता है कि आपको सुपर-कंप्यूटर की आवश्यकता नहीं है।

इस जटिल "सबसे खराब स्थिति वाले कोहरे" के परिदृश्य के साथ भी, सर्वश्रेष्ठ रणनीति अभी भी एक सरल, सीधी रेखा वाला नियम है।

रूपक (Metaphor): कल्पना कीजिए कि आप एक चालाक प्रतिद्वंद्वी (वह "एडवर्सरी" जो सबसे खराब कोहरा चुनता है) के खिलाफ खेल रहे हैं। आप सोच सकते हैं कि जीतने के लिए आपको एक जटिल, अप्रत्याशित खेल खेलने की आवश्यकता है। लेकिन यह पेपर सिद्ध करता है कि सबसे अच्छा कदम वास्तव में एक सरल, अनुमानित नियम है: "यदि कार बाईं ओर झुकती है, तो X मात्रा में दाईं ओर स्टीयर करें।"

यह एक बहुत बड़ी बात है क्योंकि सरल नियम हार्डवेयर में बनाना आसान होता है और वे बहुत विश्वसनीय होते हैं। लेखकों ने सिद्ध किया कि इस फैंसी नए "सिंकहॉर्न" सुरक्षा बुलबुले के साथ भी, सरल रैखिक (linear) नियम ही ग्लोबल ऑप्टिमल (पूर्णतः सर्वोत्तम) समाधान है।

उन्होंने इसे कैसे सिद्ध किया: "सैंडविच" ट्रिक

इसे सिद्ध करने के लिए, लेखकों ने "सैंडविच तर्क" (Sandwich Argument) नामक एक चतुर गणितीय चाल का उपयोग किया।

निचला बन (Lower Bound): उन्होंने गणना की कि कार का सबसे अच्छा स्कोर क्या हो सकता है यदि कोहरा केवल गॉसियन (मानक, सरल प्रकार) होता। इसने उन्हें यह समझने में मदद की कि प्रदर्शन कितना अच्छा हो सकता है।
ऊपरी बन (Upper Bound): उन्होंने गणना की कि यदि कोहरा उनके सुरक्षा बुलबुले के भीतर की सबसे खराब चीज़ होती, तो स्कोर क्या होता। इसने उन्हें एक "सीलिंग" (सीमा) दी।
फिलिंग (Filling): उन्होंने दिखाया कि "फ्लोर" (नीचे का स्तर) और "सीलिंग" (ऊपरी स्तर) वास्तव में एक ही ऊंचाई के हैं।

चूंकि सबसे अच्छी स्थिति और सबसे खराब स्थिति बीच में मिल जाती है, इसलिए उन्होंने सिद्ध किया कि सरल रैखिक रणनीति ही एकदम सही संतुलन है। यह "गोल्डिलॉक्स" (Goldilocks) समाधान है: न बहुत सरल, न बहुत जटिल, बल्कि बिल्कुल सही।

परिणाम: एक सुचारू सवारी

लेखकों ने परीक्षण करने के लिए कंप्यूटर सिमुलेशन चलाए।

परिदृश्य A (सामान्य कोहरा): नया "रोबस्ट" कार पुराने "क्लासिक" कार की तुलना में थोड़ा कम कुशल रहा। (यह थोड़ा अधिक सतर्क था)।
परिदृश्य B (खराब कोहरा): जब उन्होंने एक भयानक, अप्रत्याशित तूफान (एडवर्सरियल चॉइस) पेश किया, तो "क्लासिक" कार दुर्घटनाग्रस्त हो गई या बुरी तरह संघर्ष करने लगी। हालाँकि, "रोबस्ट" कार ने तूफान को खूबसूरती से संभाला और ट्रैक पर बनी रही।

सारांश

यह पेपर एक क्लासिक कंट्रोल समस्या को लेता है, वास्तविक दुनिया की अनिश्चितता को संभालने के लिए इसमें अनिश्चितता की एक परत जोड़ता है, और गणना को प्रबंधनीय बनाने के लिए एक नए गणितीय उपकरण (सिंकहॉर्न) का उपयोग करता है।

मुख्य बात: भले ही आप सबसे खराब स्थिति वाले अराजक माहौल के लिए तैयारी कर रहे हों, आपके सिस्टम को चलाने का सबसे अच्छा तरीका अक्सर अभी भी एक सरल, रैखिक नियम ही होता है। सुरक्षित होने के लिए आपको चीजों को अत्यधिक जटिल करने की आवश्यकता नहीं है; आपको बस यह समझने की आवश्यकता है कि "सुरक्षित" को कैसे परिभाषित किया जाए।

यहाँ शोध पत्र "On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र शास्त्रीय Linear Quadratic Gaussian (LQG) रेगुलेटर की सीमाओं को संबोधित करता है। जबकि LQG गाऊसी शोर (Gaussian noise) वाले रैखिक प्रणालियों को नियंत्रित करने के लिए एक सुंदर क्लोज्ड-फॉर्म समाधान प्रदान करता है, यह तब अत्यधिक नाजुक हो जाता है जब वास्तविक शोर वितरण अनुमानित गाऊसी मॉडल से विचलित हो जाता है (मॉडल मिसस्पेसिफिकेशन)।

इसे कम करने के लिए, लेखक परिमित-क्षितिजी (finite-horizon) LQG समस्या के लिए एक वितरण रूप से सुदृढ़ (Distributionally Robust - DR) सूत्रीकरण प्रस्तावित करते हैं।

सिस्टम डायनेमिक्स: एडिटिव प्रोसेस नॉइज़ ( $w_t$ ) और मेजरमेंट नॉइज़ ( $v_t$ ) के साथ डिस्क्रीट-टाइम लीनियर सिस्टम।
अनिश्चितता मॉडल (Uncertainty Model): वास्तविक शोर वितरण अज्ञात हैं, लेकिन माना जाता है कि वे एक एम्बिग्युटी सेट (ambiguity set) $\mathcal{S}$ के अंतर्गत आते हैं।
एम्बिग्युटी सेट की परिभाषा: सेट $\mathcal{S}$ को एक नाममात्र (nominal) गाऊसी वितरण के केंद्र में सिंकहॉर्न विसंगति (Sinkhorn discrepancy) (एक एंट्रॉपी-रेगुलराइज्ड वासरस्टीन दूरी) का उपयोग करके परिभाषित किया गया है।
उद्देश्य: एक नियंत्रण नीति $\pi$ खोजें जो एम्बिग्युटी सेट के भीतर सबसे खराब स्थिति (worst-case) वाले वितरण के तहत अपेक्षित द्विघात लागत (expected quadratic cost) को कम करती है:
$\inf_{\pi} \sup_{P \in \mathcal{S}} \mathbb{E}_P[J(\pi, \delta)]$
मुख्य प्रश्न: क्या इस सुदृढ़ समस्या का इष्टतम समाधान एक रैखिक नीति (linear policy) (विशेष रूप से, एक लीनियर फीडबैक कंट्रोलर) बना रहता है, या क्या वितरण संबंधी अनिश्चितता की जटिलता गैर-रैखिक रणनीतियों की आवश्यकता लाती है?

2. कार्यप्रणाली (Methodology)

लेखक यह सिद्ध करने के लिए कि रैखिक नीतियां वैश्विक रूप से इष्टतम (globally optimal) हैं, एक "सैंडविच" तर्क (sandwich argument) का उपयोग करते हैं। वे DR समस्या के इष्टतम मान के लिए एक निचली सीमा (lower bound) और एक ऊपरी सीमा (upper bound) का निर्माण करते हैं और दिखाते हैं कि ये सीमाएं आपस में मिल जाती हैं।

A. प्यूरीफाइड आउटपुट री-पैरामीट्राइजेशन (Purified Output Re-parametrization)

नियंत्रण इनपुट को शोर से अलग करने के लिए, लेखक प्यूरीफाइड आउटपुट्स ( $\eta_t = y_t - \hat{y}_t$ ) पेश करते हैं, जहाँ $\hat{y}_t$ सिस्टम की एक शोर-मुक्त प्रतिलिपि का आउटपुट है।

यह रूपांतरण नियंत्रण समस्या को $\eta$ के संदर्भ में पुनर्गठित करने की अनुमति देता है, जो नियंत्रण इनपुट $u$ से स्वतंत्र है।
समस्या को कंट्रोलर (लागत को कम करने वाला) और एक प्रतिपक्षी (विपक्षी - जो सबसे खराब शोर वितरण चुनता है) के बीच एक ज़ीरो-सम गेम के रूप में फिर से लिखा गया है।

B. निचली सीमा निर्माण (Lower Bound Construction - Dual Problem)

लेखक प्रतिपक्षी के चयन को एम्बिग्युटी सेट ( $\mathcal{S}_N \subseteq \mathcal{S}$ ) के भीतर गाऊसी वितरणों तक सीमित करते हैं।

मुख्य अंतर्दृष्टि: गाऊसी वितरणों के लिए, सिंकहॉर्न विसंगति एंट्रॉपी-रेगुलराइज्ड जेलब्रिच डाइवर्जेंस ( $G_\epsilon$ ) के समान होती है, जो केवल कोवेरिएंस मैट्रिसेस (covariance matrices) पर निर्भर करती है।
यह संभाव्यता मापों (probability measures) पर अनंत-आयामी अनुकूलन को जेलब्रिच बाधाओं के अधीन परिमित-आयामी अनुकूलन में बदल देता है।
चूंकि आंतरिक समस्या (निश्चित गाऊसी शोर के लिए) एक मानक LQG समस्या है, इसलिए इष्टतम नीति रैखिक होती है।

C. ऊपरी सीमा निर्माण (Upper Bound Construction - Primal Problem)

लेखक कंट्रोलर को रैखिक नीतियों तक सीमित करते हैं और एम्बिग्युटी सेट को एंट्रॉपी-रेगुलराइज्ड जेलब्रिच सेट (जिसमें कोवेरिएंस के जेलब्रिच बाउंड को संतुष्ट करने वाले सभी वितरण शामिल हैं) तक विस्तृत करते हैं।

मुख्य प्रमेय (प्रपोजिशन 3): वे सिंकहॉर्न विसंगति के लिए एक जेलब्रिच-प्रकार की असमानता सिद्ध करते हैं: $W_\epsilon(P, Q) \geq G_\epsilon(\Sigma_P, \Sigma_Q)$ जब $P$ गाऊसी है।
यह असमानता दर्शाती है कि मूल सिंकहॉर्न एम्बिग्युटी सेट, कोवेरिएंस द्वारा परिभाषित जेलब्रिच एम्बिग्युटी सेट के भीतर है।
फलस्वरूप, विस्तारित जेलब्रिच सेट पर प्रतिबंधित रैखिक नीति समस्या की इष्टतम लागत, मूल समस्या के लिए एक वैध ऊपरी सीमा के रूप में कार्य करती है।

D. नैश इक्विलिब्रियम की उपस्थिति (Existence of Nash Equilibrium)

लेखक सिद्ध करते हैं कि निचली सीमा (dual) और ऊपरी सीमा (primal) समस्याएँ समतुल्य हैं:

कन्वेक्सिटी और कॉम्पैक्टनेस: वे स्थापित करते हैं कि जेलब्रिच बाधा को संतुष्ट करने वाले कोवेरिएंस मैट्रिसेस का सेट कन्वेक्स और कॉम्पैक्ट है (लेम्मा 1)।
स्ट्रॉन्ग ड्युअलिटी: सियोन के मिनिमैक्स प्रमेय (Sion's Minimax Theorem) का उपयोग करते हुए, वे सिद्ध करते हैं कि अनुकूलन का क्रम (नीतियों पर मिन, वितरणों पर मैक्स) बिना किसी ड्युअलिटी गैप के बदला जा सकता है।
परिणाम: निचली सीमा का इष्टतम मान ऊपरी सीमा के बराबर है, जो एक नैश इक्विलिब्रियम की उपस्थिति को दर्शाता है जहाँ इष्टतम नीति रैखिक है और सबसे खराब स्थिति वाला वितरण गाऊसी है।

3. मुख्य योगदान (Key Contributions)

रैखिक नीतियों की वैश्विक इष्टतमता: यह शोध पत्र स्थापित करता है कि सिंकहॉर्न DR LQG के लिए, रैखिक फीडबैक नीतियां वैश्विक रूप से इष्टतम हैं। यह एक महत्वपूर्ण सैद्धांतिक परिणाम है क्योंकि वितरण रूप से सुदृढ़ (DR) समस्याओं के लिए अक्सर जटिल, गैर-रैखिक रणनीतियों की आवश्यकता होती है।
नवीन सीमाएं और असमानताएं:
- रेगुलराइज्ड ऑप्टिकल ट्रांसपोर्ट परिणामों का उपयोग करके सिंकहॉर्न DR LQG समस्या के लिए एक निचली सीमा का व्युत्पन्न।
- सिंकहॉर्न विसंगति के लिए एक जेलब्रिच-प्रकार की असमानता का प्रमाण, जो यह दर्शाता है कि यह एंट्रॉपी-रेगुलराइज्ड जेलब्रिच डाइवर्जेंस द्वारा निम्न-बद्ध (lower-bounded) है। यह असमानता मौजूदा साहित्य में उपलब्ध नहीं है और ऊपरी सीमा के लिए महत्वपूर्ण है।
संरचनात्मक गुण: यह प्रमाण कि एंट्रॉपी-रेगुलराइज्ड जेलब्रिच एम्बिग्युटी सेट कन्वेक्स और कॉम्पैक्ट है, जिससे मिनिमैक्स प्रमेयों को लागू करना संभव होता है।
ज्यामितीय अंतर्दृष्टि: यह कार्य रेखांकित करता है कि सिंकहॉर्न विसंगति में KL रेगुलराइजेशन टर्म, मानक वासरस्टीन DR (जैसे, मानक Wasserstein metrics) की तुलना में एम्बिग्युटी सेट की ज्यामिति को मौलिक रूप से कैसे बदल देता है (यह सुनिश्चित करना कि सबसे खराब वितरण निरंतर/गाऊसी बना रहे न कि सीमित समर्थित/finitely supported)।

4. परिणाम (Results)

सैद्धांतिक: लेखक सिद्ध करते हैं कि सिंकहॉर्न DR LQG समस्या एक नैश इक्विलिब्रियम $(u^*, P^*)$ स्वीकार करती है जहाँ $u^*$ प्यूरीफाइड ऑब्जर्वेशन का एक एफाइन (affine) नीति है और $P^*$ एक गाऊसी वितरण है।
संख्यात्मक प्रयोग:
- एक ओपन-लूप अनस्टेबल सिस्टम ( $T=25$ ) पर एक सिमुलेशन ने शास्त्रीय LQG कंट्रोलर की तुलना प्रस्तावित सिंकहॉर्न DR LQG नीति से की।
- नाममात्र प्रदर्शन (Nominal Performance): नाममात्र गाऊसी शोर के तहत, DR नीति ने थोड़ी अधिक लागत (robustness की कीमत) उठाई।
- सुदृढ़ प्रदर्शन (Robust Performance): प्रतिकूल शोर वितरणों (एम्बिग्युटी सेट के भीतर सबसे खराब स्थिति) के तहत, सिंकहॉर्न DR LQG नीति ने शास्त्रीय LQG कंट्रोलर की तुलना में काफी बेहतर प्रदर्शन किया, जो बेहतर स्थिरता और कम औसत लागत प्रदर्शित करता है।

5. महत्व (Significance)

स्टोकेस्टिक और एडवर्सरियल कंट्रोल का मिलन: यह कार्य स्टोकेस्टिक LQG की कम्प्यूटेशनल सुगमता को एडवर्सरियल कंट्रोल की सुदृढ़ता (robustness) के साथ सफलतापूर्वक जोड़ता है। यह दर्शाता है कि वितरण संबंधी सुदृढ़ता प्राप्त करने के लिए रैखिक कंट्रोलर्स की सरलता का त्याग करने की आवश्यकता नहीं है।
व्यावहारिक अनुप्रयोग: समस्या को एक परिमित-आयामी कोनिक प्रोग्राम (विशेष रूप से एक सेमीडेफिनेट प्रोग्राम - SDP) में कम करके, प्रस्तावित विधि कार्यान्वयन के लिए कम्प्यूटेशनल रूप से व्यवहार्य है।
सैद्धांतिक प्रगति: यह मानक वासरस्टीन मेट्रिक्स से सिंकहॉर्न फ्रेमवर्क तक विस्तार करते हुए, एंट्रॉपी-रेगुलराइज्ड ऑप्टिकल ट्रांसपोर्ट से जुड़े DR कंट्रोल सेटिंग्स में रैखिक नीतियों की इष्टतमता से संबंधित एक महत्वपूर्ण खुले प्रश्न को हल करता है।

संक्षेप में, यह शोध पत्र उन अनिश्चित वातावरणों में रैखिक कंट्रोलर्स का उपयोग करने के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है जहाँ शोर वितरण अज्ञात है लेकिन एक नाममात्र गाऊसी मॉडल के करीब है, जिसे सिंकहॉर्न विसंगति के माध्यम से मापा गया है।