Distributionally Robust Regret Optimal Control Under Moment-Based Ambiguity Sets

यहाँ फेरस अल ताहा और इलियन बिटार के शोध पत्र "Distributionally Robust Regret Optimal Control Under Moment-Based Ambiguity Sets" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र परिमित-क्षितिज (finite-horizon), रैखिक-वर्ग (linear-quadratic) स्टोकेस्टिक प्रणालियों के लिए नियंत्रण नीतियों के डिज़ाइन को संबोधित करता है, जो योज्य विक्षोभों (additive disturbances) के अधीन हैं जिनकी प्रायिकता वितरण (probability distributions) अज्ञात हैं।

• सिस्टम डायनेमिक्स: सिस्टम विकसित होता है: $x_{t+1} = A_t x_t + B_t u_t + w_t$, जहाँ $w_t$ विक्षोभ (disturbance) को दर्शाता है। प्रारंभिक अवस्था और विक्षोभ संभावित रूप से निर्भर यादृच्छिक चर (dependent random variables) हैं जिनका संयुक्त वितरण $P$ अज्ञात है।
• नियंत्रण उद्देश्य: लक्ष्य ऐसे कारण-रैखिक नियंत्रण नीतियों (causal affine control policies) (विशेष रूप से, $u = Kw + v$ के रूप में विक्षोभ फीडबैक नियंत्रक) को डिजाइन करना है जो सबसे खराब स्थिति के अपेक्षित पछतावे (worst-case expected regret) को कम करें।
• पछतावा (Regret) की परिभाषा: पछतावा, कारण-नियंत्रक (causal controller) द्वारा किए गए लागत और उस इष्टतम गैर-कारण (noncausal/clairvoyant) नियंत्रक द्वारा प्राप्त न्यूनतम लागत के बीच के अंतर के रूप में परिभाषित किया गया है, जो पूरे विक्षोभ प्रक्षेपवक्र (trajectory) को पहले से जानता हो।
  $$\mathcal{R}(u, w) = J(u, w) - J(u^o(w), w)$$
• अनिश्चितता सेट (Ambiguity Set): एक विशिष्ट वितरण मानने के बजाय, यह माना जाता है कि वास्तविक वितरण एक अनिश्चितता सेट (ambiguity set) $\mathcal{P}$ के अंतर्गत आता है। इस सेट में वे सभी वितरण शामिल हैं जिनके माध्य ($\mu$) और सहप्रसरण (covariance) ($\Sigma$) विशिष्ट नाममात्र अनुमानों $(\hat{\mu}, \hat{\Sigma})$ के इर्द-गिर्द नॉर्म-बाउंडेड बॉल्स के भीतर आते हैं:
  • माध्य अनिश्चितता: $\|\mu - \hat{\mu}\|_2^2 \leq r_1$ (यूक्लिडियन नॉर्म बॉल)।
  • सहप्रसरण अनिश्चितता: $\|\Sigma - \hat{\Sigma}\|_p \leq r_2$ (शैटन $p$-नॉर्म बॉल)।
  • शैटन $p$-नॉर्म, न्यूक्लियर नॉर्म ($p=1$), फ्रोबेनियस नॉर्म ($p=2$), और स्पेक्ट्रल नॉर्म ($p=\infty$) का सामान्यीकरण करता है।

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचा विकसित करते हैं जो स्वाभाविक रूप से कठिन मिनिमैक्स (minimax) समस्या को एक सुलभ उत्तल अनुकूलन (convex optimization) समस्या में बदलने का कार्य करता है और इसे हल करने के लिए एक स्केलेबल एल्गोरिदम प्रस्तावित करते हैं।

A. उत्तल पुनर्रूपण (Convex Reformulation)

मुख्य सैद्धांतिक योगदान यह दिखाना है कि वितरण रूप से सुदृढ़ पछतावा इष्टतम नियंत्रण समस्या को एक परिमित-आयामी उत्तल कार्यक्रम (finite-dimensional convex program) के रूप में पुनर्रूपित किया जा सकता है।

• विघटन (Decomposition): सबसे खराब स्थिति के अपेक्षित पछतावे को दो अलग-अलग मैक्सिमाइजेशन समस्याओं में विभाजित किया गया है: एक विक्षोभ के माध्य (mean) पर और दूसरा उसके सहप्रसरण (covariance) पर।
• लेम्मा 1 (Lemma 1): लेखक एक यूक्लिडियन बॉल पर एक द्विघात फलन (quadratic function) को अधिकतम करने से उत्पन्न होने वाली गैर-उत्तलता (non-convexity) को संभालने के लिए एक मिनिमैक्स लेम्मा का उपयोग करते हैं। यह माध्य अनिश्चितता पद को स्पेक्ट्रल नॉर्म पेनल्टी के रूप में व्यक्त करने की अनुमति देता है।
• थ्योरम 2 (मुख्य परिणाम): यह दिखाया गया है कि इष्टतम नियंत्रण नीति $\phi^*(w) = K^*(w - \hat{\mu}) + K_o \hat{\mu}$ के रूप में होती है, जहाँ $K_o$ इष्टतम गैर-कारण गेन (noncausal gain) है। फीडबैक गेन $K^*$ निम्नलिखित का समाधान है:
  $$\min_{K \in \mathcal{L}} \left\{ \text{Tr}(\hat{\Sigma} C(K)) + r_1 \|C(K)\|_\infty + r_2 \|C(K)\|_q \right\}$$
  जहाँ $C(K) = (K - K_o)^\top D (K - K_o)$, $D$ सिस्टम डायनेमिक्स से प्राप्त एक धनात्मक निश्चित (positive definite) मैट्रिक्स है, और $\|\cdot\|_q$ शैटन $p$-नॉर्म का ड्यूल नॉर्म है ($1/p + 1/q = 1$)।

B. नियमितीकरण के रूप में व्याख्या (Interpretation as Regularized Control)

पुनर्रूपित समस्या को एक नियमितकृत रैखिक-वर्ग स्टोकेस्टिक नियंत्रण समस्या (regularized linear-quadratic stochastic control problem) के रूप में व्याख्यायित किया गया है:

1. नाममात्र पद (Nominal Term): $\text{Tr}(\hat{\Sigma} C(K))$ नाममात्र वितरण के तहत अपेक्षित पछतावे को दर्शाता है।
2. माध्य नियमितीकरण (Mean Regularization): $r_1 \|C(K)\|_\infty$ माध्य अनिश्चितता के प्रति संवेदनशीलता (स्पेक्ट्रल नॉर्म पेनल्टी) को दंडित करता है।
3. सहप्रसरण नियमितीकरण (Covariance Regularization): $r_2 \|C(K)\|_q$ सहप्रसरण अनिश्चितता के प्रति संवेदनशीलता को दंडित करता है।
   • यदि $p=1$ (न्यूक्लियर नॉर्म), तो $q=\infty$, जो माध्य पद के साथ मिलकर एक एकल स्पेक्ट्रल नॉर्म पेनल्टी बनाता है।
   • यदि $p=\infty$ (स्पेक्ट्रल नॉर्म), तो $q=1$, जिससे पद $r_2 \text{Tr}(C(K))$ बन जाता है, जो आइसोट्रोपिक नॉइज़ के तहत शास्त्रीय लीनियर क्वाड्रेटिक रेगुलेटर (LQR) के अनुरूप है।

C. स्केलेबल एल्गोरिदम: ड्युअल प्रोजेक्टेड सुपरग्रेडिएंट (Dual Projected Supergradient)

यद्यपि इस समस्या को एक सेमिडेफिनेट प्रोग्रामिंग (SDP) के रूप में प्रस्तुत किया जा सकता है, लेकिन बड़े पैमाने के SDP को हल करना गणनात्मक रूप से महंगा है। लेखक एक ड्युअल प्रोजेक्टेड सुपरग्रेडिएंट विधि प्रस्तावित करते हैं:

• ड्युअल फॉर्मूलेशन: वे उत्तल कार्यक्रम का 'ड्युअल' व्युत्पन्न करते हैं, जिसमें नॉर्म बॉल्स के उत्पाद पर एक अवतल (concave) ड्युअल फलन $g(\Lambda)$ को अधिकतम करना शामिल है।
• एल्गोरिदम: एक पुनरावृत्ति एल्गोरिदम (एल्गोरिदम 1) विकसित किया गया है:
  1. एक उत्तल द्विघात उप-समस्या (convex quadratic subproblem) को हल करके सुपरग्रेडिएंट $G(K_i)$ की गणना करें।
  2. ड्युअल चरों $\Lambda_{i+1}$ को एक प्रोजेक्टेड सुपरग्रेडिएंट चरण के माध्यम से अपडेट करें: $\Lambda_{i+1} = \Pi_{\mathcal{C}}(\Lambda_i + \eta_i G(K_i))$।
  3. शैटन नॉर्म बॉल पर प्रोजेक्शन को आइजनडीकंपोजिशन (eigendecomposition) और $\ell_p$-नॉर्म बॉल्स पर वेक्टर प्रोजेक्शन का उपयोग करके कुशलतापूर्वक गणना की जाती है।
• अभिसरण (Convergence): यह विधि इष्टतम समाधान तक पहुँचने के लिए सिद्ध है। यदि नाममात्र सहप्रसरण धनात्मक निश्चित है, तो ड्युअल फलन अवकलनीय (differentiable) हो जाता है, जिससे यह विधि प्रोजेक्टेड ग्रेडिएंट एसेंट विधि में बदल जाती है, जो तेज़ अभिसरण तकनीकों (जैसे मोमेंटम, लाइन सर्च) की अनुमति देती है।

3. मुख्य योगदान (Key Contributions)

1. नवीन अनिश्चितता सेट (Novel Ambiguity Set): सहप्रसरण अनिश्चितता के लिए शैटन $p$-नॉर्म्स पर आधारित अनिश्चितता सेटों का परिचय, जो स्टैंडर्ड वासरस्टीन (Wasserstein) दूरियों से परे वितरण परिवर्तनों के लचीले मॉडलिंग की अनुमति देता है।
2. सुगम पुनर्रूपण (Tractable Reformulation): यह प्रमाण कि मिनिमैक्स पछतावा समस्या एक स्पष्ट नियमितीकरण पदों के साथ समकक्ष उत्तल पुनर्रूपण को स्वीकार करती है, जो रोबस्ट कंट्रोल और नियमितकृत स्टोकेस्टिक कंट्रोल के बीच के अंतर को पाटती है।
3. स्केलेबल सॉल्वर (Scalable Solver): एक ड्युअल प्रोजेक्टेड सुपरग्रेडिएंट एल्गोरिदम का विकास जो इंटीरियर-पॉइंट SDP सॉल्वर की मेमोरी बाधाओं से बचता है, जिससे यह दृष्टिकोण बड़े पैमाने की प्रणालियों के लिए लागू करने योग्य बनता है।
4. सामान्यीकरण (Generalization): यह ढांचा मौजूदा रोबस्ट पछतावा अनुकूलन विधियों (जो नॉर्म-बाउंडेड विक्षोभों को मानती हैं) और शास्त्रीय LQR को विशेष मामलों के रूप में सामान्यीकृत करता है।

4. संख्यात्मक परिणाम (Numerical Results)

लेखकों ने एक डैम्प्ड डबल इंटीग्रेटर सिस्टम पर एक AR(1) विक्षोभ प्रक्रिया के साथ प्रयोग किए।

• बेसलाइन्स (Baselines): वासरस्टीन-आधारित वितरण रूप से सुदृढ़ विधियों (WASS-REGRET, WASS-COST), सैंपल एवरेज एप्रोक्सिमेशन (SAA), और वास्तविक मापदंडों वाले इष्टतम कारण नियंत्रक (OPT-CAUSAL) के विरुद्ध तुलना की गई।
• त्रिज्या बनाम प्रदर्शन (Performance vs. Radius):
  • जैसे-जैसे अनिश्चितता त्रिज्या बढ़ती है, रोबस्ट नियंत्रक SAA (जो अनुमान त्रुटियों के प्रति संवेदनशील है) से बेहतर प्रदर्शन करते हैं, लेकिन अंततः अत्यधिक रूढ़िवादी (conservative) हो जाते हैं।
  • प्रस्तावित SPEC-REGRET नियंत्रक (सहप्रसरण के लिए स्पेक्ट्रल नॉर्म का उपयोग करते हुए) ने लगातार सबसे कम आउट-ऑफ-सैंपल अपेक्षित लागत प्राप्त की, जो अक्सर OPT-CAUSAL नियंत्रक के प्रदर्शन से मेल खाती है।
• सहसंबंध संवेदनशीलता (Correlation Sensitivity): प्रस्तावित विधियों ने विभिन्न टेम्पोरल कोरिलेशन गुणांकों ($\rho$) के बावजूद कम पछतावा बनाए रखा, जबकि वासरस्टीन-आधारित लागत-न्यूनतम करने वाले नियंत्रक (WASS-COST) उच्च-सहसंबंध शासन (high-correlation regimes) में अत्यधिक रूढ़िवादी हो गए।
• स्केलेबिलिटी (Scalability): प्रोजेक्टेड सुपरग्रेडिएंट विधि ने $T=80$ क्षितिज वाली समस्याओं को 8 सेकंड से कम में हल किया, जबकि SDP इंटीरियर-पॉइंट सॉल्वर ने मेमोरी बाधाओं के कारण $T > 80$ वाली समस्याओं को हल करने में विफल रहा और 16 मिनट से अधिक का समय लिया।

5. महत्व (Significance)

यह शोध पत्र डेटा-संचालित नियंत्रण डिज़ाइन में एक महत्वपूर्ण प्रगति प्रदान करता है, जो एक ऐसा तरीका पेश करता है जो गणनात्मक रूप से स्केलेबल और सांख्यिकीय रूप से सुदृढ़ दोनों है।

• व्यावहारिकता: महंगे SDP सॉल्वरों को प्रथम-क्रम विधि (first-order method) से बदलकर, यह दृष्टिकोण बड़े, वास्तविक दुनिया के सिस्टमों पर वितरण रूप से सुदृढ़ नियंत्रण के अनुप्रयोग को सक्षम बनाता है।
• लचीलापन: शैटन नॉर्म का उपयोग पेशेवरों को विभिन्न प्रकार के वितरणल बदलावों (जैसे रैंक-डेफिशिएंट कोवेरिएंस परिवर्तन बनाम फुल-रैंक स्पेक्ट्रल परिवर्तन) के प्रति अपने नियंत्रक की संवेदनशीलता को ट्यून करने की अनुमति देता है।
• पछतावा बनाम लागत (Regret vs. Cost): लागत के बजाय पछतावा न्यूनीकरण पर ध्यान केंद्रित करने से ऐसे नियंत्रक प्राप्त होते हैं जो कम रूढ़िवादी होते हैं, जो नाममात्र की स्थितियों में प्रदर्शन और वितरणल बदलावों के खिलाफ मजबूती के बीच एक बेहतर संतुलन प्रदान करते हैं।

संक्षेप में, यह शोध पत्र मोमेंट-आधारित वितरण रूप से सुदृढ़ पछतावा नियंत्रण के लिए एक कठोर सैद्धांतिक आधार स्थापित करता है और एक व्यावहारिक एल्गोरिदम प्रदान करता है जो सटीकता और गणनात्मक दक्षता दोनों में अत्याधुनिक (state-of-the-art) विधियों से बेहतर प्रदर्शन करता है।