⚡ electrical engineering

Steady-state Based Approach to Online Non-stochastic Control

यह शोध पत्र ऑनलाइन गैर-स्टोकेस्टिक नियंत्रण के लिए एक नवीन एल्गोरिदम का प्रस्ताव करता है जो स्थिरता सुनिश्चित करने के लिए एक बैचिंग विधि के साथ 'फॉलो-द-पर्टर्बड-लीडर' दृष्टिकोण को जोड़कर, एफाइन नियंत्रकों द्वारा प्राप्त होने वाली स्थिर-अवस्थाओं (steady-states) के एक समृद्ध बेंचमार्क के विरुद्ध $\mathcal{O}(\sqrt{T})$ रिग्रेट (regret) प्राप्त करता है।

मूल लेखक: Vijeth Hebbar, Spencer Hutchinson, Mahnoosh Alizadeh, Cédric Langbort

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vijeth Hebbar, Spencer Hutchinson, Mahnoosh Alizadeh, Cédric Langbort

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जहाज के कप्तान हैं जो तूफानी समुद्र में से गुजर रहे हैं। हवा और लहरें (बाधाएं) अप्रत्याशित हैं और वे जानबूझकर भी आपको रास्ते से भटकाने की कोशिश कर सकती हैं। आपका लक्ष्य एक ऐसे गंतव्य तक पहुँचना है जो लगातार बदल रहा है, और आपकी यात्रा की "लागत" (cost) यह है कि आप कितना ईंधन जलाते हैं या आदर्श पथ से कितना भटक जाते हैं।

यह शोध पत्र इस बारे में है कि कप्तान (कंप्यूटर एल्गोरिदम) के लिए जहाज को कैसे मोड़ना है, जब खेल के नियम लगातार बदलते रहते हैं और कोई नहीं जानता कि आगे क्या होने वाला है।

यहाँ उनके विचार का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:

1. पुराना तरीका: "डगमगाती नाव"

अतीत में, शोधकर्ताओं ने एक परफेक्ट, स्थिर लंगर (static anchor) के विरुद्ध कप्तान के प्रदर्शन की तुलना करके इसे हल करने की कोशिश की थी।

बेंचमार्क (मानक): उन्होंने पूछा, "क्या होगा यदि जहाज बंदरगाह में एक विशिष्ट स्थान पर स्थिर रहता, लहरों को अनदेखा करता, और हम केवल उस लागत की गणना करते?"
समस्या: यह बहुत सरल है। एक वास्तविक जहाज को चलने की आवश्यकता होती है। यदि हवा बदलती है, तो जहाज को अपने पाल (sails) को समायोजित करने की आवश्यकता होती है। चलती हुई नाव की तुलना एक स्थिर चट्टान से करना यह नहीं बताता कि क्या कप्तान वास्तव में स्टीयरिंग करने में अच्छा काम कर रहा है। यह एक फॉर्मूला 1 ड्राइवर को गैरेज में कार पार्क करने के तरीके से आंकने जैसा है।

2. नया विचार: "फ्लेक्सिबल क्रूज कंट्रोल"

लेखक कहते हैं, "आइए बेंचमार्क को स्मार्ट बनाते हैं।" एक स्थिर चट्टान के बजाय, आइए हम उनकी तुलना एक स्मार्ट क्रूज कंट्रोल सिस्टम से करें जो सबसे अच्छे संभव स्थिर पथ को खोजने के लिए स्टीयरिंग व्हील और इंजन की गति दोनों को समायोजित कर सकता है।

अपग्रेड: उन्होंने "तुलना वर्ग" (comparison class) का विस्तार किया। पहले, वे केवल उन नियंत्रकों को देखते थे जो एक स्थिर (constant) इनपुट का उपयोग करते थे (जैसे स्टीयरिंग व्हील को एक निश्चित कोण पर पकड़ना)। अब, वे एफाइन कंट्रोलर्स (affine controllers) को देखते हैं।
उपमा: पुराने तरीके को एक ऐसे ड्राइवर के रूप में सोचें जो केवल एक निश्चित स्तर तक एक्सीलेटर दबा सकता है। नया तरीका एक ऐसे ड्राइवर की अनुमति देता है जो कह सकता है, "यदि कार बाईं ओर भटकती है, तो मैं पहिया दाईं ओर घुमाऊंगा और गैस (एक्सीलेटर) को भी समायोजित करूँगा।" यह एक बहुत अधिक समृद्ध, अधिक शक्तिशाली टूलकिट है।

3. चुनौती: "नॉन-कॉन्वेक्स" (Non-Convex) भूलभुलैया

एक पेच है। बेंचमार्क को स्मार्ट बनाकर, गणित अविश्वसनीय रूप से जटिल हो जाता है।

समस्या: गणितीय शब्दों में, पुराना "स्टेडी स्टेट" (steady state) एक चिकना, गोल कटोरा (convex) था। आप सबसे अच्छी जगह खोजने के लिए गेंद को आसानी से नीचे लुढ़का सकते थे। नया "स्टेडी स्टेट" (लचीली स्टीयरिंग के साथ) एक ऊबड़-खाबड़ पर्वत श्रृंखला और कई घाटियों (non-convex) जैसा है। सबसे निचली घाटी को खोजना कठिन है क्योंकि आप एक छोटी सी ढलान में फंस सकते हैं जो सबसे अच्छी नहीं है।
जोखिम: यदि कप्तान इस आदर्श स्थान को खोजने के प्रयास में अपनी स्टीयरिंग रणनीति को बहुत बार बदलता है, तो जहाज नियंत्रण से बाहर होकर घूमने लग सकता है क्योंकि हर बार जब स्टीयरिंग लॉजिक बदलता है, तो जहाज का भौतिक विज्ञान (physics) बदल जाता है।

4. समाधान: "द बैच्ड स्ट्रैटेजी" (The Batched Strategy)

"नियंत्रण से बाहर होने" और "ऊबड़-खाबड़ पर्वत" की समस्याओं को हल करने के लिए, लेखकों ने दो-भाग वाली रणनीति बनाई:

A. "बैचिंग" का तरीका (स्थिरता बनाए रखना)
हर एक सेकंड में स्टीयरिंग रणनीति बदलने के बजाय, कप्तान समय के एक ब्लॉक (batch) के लिए एक रणनीति तय करता है।

उपमा: कल्पना कीजिए कि आप एक घुमावदार सड़क पर गाड़ी चला रहे हैं। हर मिलीसेकंड में पहिया घुमाने के बजाय, आप अगले 10 सेकंड के लिए एक रास्ता चुनते हैं, उसे चलाते हैं, और फिर तय करते हैं कि क्या आपको अगले 10 सेकंड के लिए अपनी योजना बदलने की आवश्यकता है। यह जहाज को एक नया विचार आज़माने से पहले स्थिर होने और डगमगाना बंद करने का समय देता है।

B. "पर्टर्बड लीडर" (The Perturbed Leader - बेहतर पथ खोजना)
अगले बैच के लिए कौन सी रणनीति चुननी है, यह तय करने के लिए, वे फॉलो-द-पर्टर्बड-लीडर (FTPL) नामक विधि का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आपके पास सभी संभावित रास्तों का एक नक्शा है। सबसे अच्छा रास्ता चुनने के लिए, आप केवल नक्शे को देखते नहीं हैं; आप नक्शे पर थोड़ा सा "शोर" (noise/यादृच्छिकता) डालते हैं। आप देखते हैं कि शोर डालने के बाद कौन सा रास्ता सबसे अच्छा दिखता है। यह आपको "छोटी ढलानों" से बाहर निकलने और वास्तव में एक अच्छा पथ खोजने में मदद करता है, भले ही आप गणितीय रूप से एकदम सटीक निचला बिंदु न खोज पाएं।
"अनुमानित" ऑरेकल (Approximate Oracle): चूंकि उस ऊबड़-खाबड़ पर्वत में एकदम सटीक पथ खोजना बहुत कठिन है, इसलिए वे एक "काफी अच्छा" खोजने वाला (finder) उपयोग करते हैं। हमें पूर्णता की आवश्यकता नहीं है; हमें बस एक ऐसे पथ की आवश्यकता है जो सबसे अच्छे पथ के पर्याप्त करीब हो ताकि पछतावा (regret/अतिरिक्त लागत) कम रहे।

5. परिणाम: तेज़ और स्मार्ट

लेखकों ने अपने नए तरीके (जिसे BatchFTPL कहा जाता है) का पुराने मानक तरीके (जिसे DAC कहा जाता है) के मुकाबले परीक्षण किया।

प्रदर्शन: उनका नया तरीका लगातार कम "ईंधन" खर्च करता है (कम कुल लागत)। क्योंकि बेंचमार्क स्मार्ट था, एल्गोरिदम को स्मार्ट बनने के लिए मजबूर होना पड़ा, और उसने इस चुनौती को स्वीकार किया।
गति: आप सोच सकते हैं कि एक स्मार्ट एल्गोरिदम धीमा होगा। आश्चर्यजनक रूप से, क्योंकि वे अपनी रणनीति को हर कुछ सेकंड में अपडेट करते हैं (बैचिंग), उनके परीक्षणों में कुल समय पुराने तरीके की तुलना में वास्तव में तेज़ था, भले ही प्रत्येक व्यक्तिगत गणना अधिक जटिल थी।

सारांश

यह शोध पत्र कहता है: "अपने स्मार्ट, अनुकूलन योग्य रोबोट की तुलना एक मूर्ख, स्थिर चट्टान से करना बंद करें। इसकी तुलना एक स्मार्ट, अनुकूलन योग्य रोबॉट से करें। हाँ, गणित कठिन है, लेकिन यदि आप अपने प्लान को 'चंक्स' (batches) में अपडेट करते हैं और एक 'काफी अच्छा' खोजने वाले का उपयोग करते हैं, तो आप पहले की तुलना में तेज़ी से और कम लागत में खेल जीत सकते हैं।"

उन्होंने साबित किया कि इन जटिल, बदलते नियमों के बावजूद, रोबोट लगभग उतना ही अच्छा प्रदर्शन कर सकता है जितना कि वह तब होता जब उसे भविष्य का पता होता, जिसमें केवल बहुत धीमी गति से बढ़ने वाली थोड़ी सी अतिरिक्त लागत होती।

यहाँ Hebbar et al. के शोध पत्र "Steady-state Based Approach to Online Non-stochastic Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑनलाइन नॉन-स्टोकेस्टिक कंट्रोल (ONC) को संबोधित करता है, जो एक ऐसा फ्रेमवर्क है जहाँ एक लर्नर (learner) एक लीनियर टाइम-इनवेरिएंट (LTI) सिस्टम को नियंत्रित करता है, जो एडवर्सरियल डिस्टर्बेंस (adversarial disturbances) और एडवर्सरियल कॉनवेक्स कॉस्ट फंक्शन्स (adversarial convex cost functions) के अधीन होता है। इसका लक्ष्य समय क्षितिज $T$ (time horizon $T$ ) पर संचयी लागत (cumulative cost) को कम करना है।

सिस्टम डायनेमिक्स (System Dynamics): $x_{t+1} = Ax_t + Bu_t + w_t$ , जहाँ $x_t$ स्टेट है, $u_t$ इनपुट है, और $w_t$ एक एडवर्सरियल डिस्टर्बेंस है।
चुनौती (The Challenge): लर्नर को भविष्य की लागतों $f_t$ या डिस्टर्बेंस $w_t$ के ज्ञान के बिना इनपुट्स $u_t$ का चयन करना होगा।
प्रदर्शन मीट्रिक (Performance Metric): मानक मीट्रिक रिग्रेट (regret) है, जिसे लर्नर की संचयी लागत और एक विशिष्ट "बेंचमार्क क्लास" में सर्वश्रेष्ठ कंट्रोलर (जिसे पश्चवर्ती/hindsight में चुना गया है) के बीच के अंतर के रूप में परिभाषित किया जाता है।

अंतराल (The Gap):
पिछले ONC साहित्य में आमतौर पर निम्नलिखित के विरुद्ध बेंचमार्किंग की जाती है:

लीनियर फीडबैक कंट्रोलर्स: (जैसे Agarwal et al.) जो सामान्य कॉनवेक्स कॉस्ट के लिए व्याख्या करने में कठिन हो सकते हैं।
कांस्टेंट इनपुट स्टेडी स्टेट्स: (लेखकों का पिछला कार्य [13]) जो लर्नर की तुलना एक कांस्टेंट इनपुट $u$ $u$ द्वारा प्राप्त किए गए सर्वश्रेष्ठ स्टेडी स्टेट से करता है।
- सीमा (Limitation): यह बेंचमार्क प्रतिबंधात्मक है। यह फीडबैक कंट्रोल की क्षमता को अनदेखा करता है जो उन स्टेडी स्टेट्स को स्थिर (stabilize) कर सकता है जो ओपन-लूप कांस्टेंट इनपुट्स द्वारा अप्राप्य हैं, विशेष रूप से अंडरएक्टुएटेड (underactuated) सिस्टम में।

उद्देश्य (The Objective):
लेखक एक ऐसा एल्गोरिदम डिजाइन करने का लक्ष्य रखते हैं जो एक समृद्ध बेंचमार्क (richer benchmark) के विरुद्ध सबलीनियर रिग्रेट (sublinear regret) प्राप्त करे: उन सभी स्टेडी स्टेट्स का सेट जो एफाइन स्टेबलाइजिंग कंट्रोलर्स (affine stabilizing controllers) द्वारा प्राप्त किए जा सकते हैं, जिनका रूप $u_t = -Kx_t + v$ है, जहाँ $K$ एक स्टेबलाइजिंग गेन है और $v$ एक कांस्टेंट ऑफसेट है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान, BatchFTPL, स्थिरता सुनिश्चित करने के लिए ऑनलाइन नॉन-कॉनवेक्स ऑप्टिमाइजेशन से Follow-the-Perturbed-Leader (FTPL) को एक बैचिंग रणनीति (batching strategy) के साथ जोड़ता है।

A. बेंचमार्क सेट (क्लोज्ड-लूप स्टेडी स्टेट मैनिफोल्ड)

लेखक एक नया बेंचमार्क सेट $\mathcal{Z}$ परिभाषित करते हैं, जो किसी भी स्ट्रॉन्गली स्टेबलाइजिंग एफाइन कंट्रोलर द्वारा प्राप्त किए जाने वाले सभी स्टेडी स्टेट्स का यूनियन है:
$\mathcal{Z} = \bigcup_{K \in \mathcal{K}} \{ z \mid z = (A - BK)z + Bv, \, v \in \mathcal{U} \}$
जहाँ $\mathcal{K}$ स्ट्रॉन्गली स्टेबलाइजिंग गेन्स का सेट है।

मुख्य कठिनाई (Key Difficulty): कांस्टेंट-इनपुट सेट के विपरीत, $\mathcal{Z}$ आम तौर पर नॉन-कॉनवेक्स (non-convex) है क्योंकि यह $K$ द्वारा पैरामीटराइज्ड कॉनवेक्स सेट्स का एक यूनियन है। यह मानक प्रोजेक्शन-आधारित विधियों (जैसे Projected Gradient Descent) को खारिज करता है।

B. एल्गोरिदम डिज़ाइन: BatchFTPL

नॉन-कॉनवेक्सिटी और स्विचिंग कंट्रोलर्स की गतिशील प्रकृति को संभालने के लिए, एल्गोरिदम BatchFTPL का उपयोग करता है:

बैचिंग (Batching): समय क्षितिज $T$ को लंबाई $H$ के बैचों में विभाजित किया जाता है।
FTPL अपडेट: प्रत्येक बैच $n$ के प्रारंभ में, लर्नर एक FTPL अपडेट का उपयोग करके एक लक्षित स्टेडी स्टेट $z_n \in \mathcal{Z}$ चुनता है:
$z_n = \mathcal{O}_\epsilon \left( -\sum_{\tau=0}^{(n-1)H} f_\tau(z) + \langle \sigma, z \rangle, \mathcal{Z} \right)$
जहाँ $\sigma$ एक एक्सपोनेंशियल रैंडम वेरिएबल (परटर्बेशन) है और $\mathcal{O}_\epsilon$ एक $\epsilon$ -एप्रोक्सिमेट मिनिमाइजेशन ऑरेकल है।
कंट्रोलर सिंथेसिस (Controller Synthesis): एक बार $z_n$ चुने जाने के बाद, लर्नर एक जोड़ी $(K_n, v_n)$ खोजता है ताकि $z_n$ , कंट्रोलर $u = -K_n x + v_n$ के लिए स्टेडी स्टेट बन जाए।
निष्पादन (Execution): कंट्रोलर $(K_n, v_n)$ को बैच की अवधि ( $H$ स्टेप्स) के लिए फिक्स्ड (fixed) रखा जाता है।

C. स्थिरता तंत्र (Stability Mechanism)

स्विचिंग कंट्रोलर्स के बीच स्विच करना सिस्टम को अस्थिर कर सकता है। लेखक स्थिरता सुनिश्चित करने के लिए निम्नलिखित का उपयोग करते हैं:

स्ट्रॉन्ग स्टेबिलाइजेशन (Strong Stabilization): ऐसे कंट्रोलर्स का उपयोग करना जो एक विशिष्ट कन्वर्जेंस रेट ( $\gamma, \kappa$ ) की गारंटी देते हैं।
बैच साइज का चयन (Batch Size Selection): $H$ को पर्याप्त बड़ा चुनना (विशेष रूप से $H \approx \frac{\ln(2\kappa)}{-\ln(1-\gamma)}$ ) ताकि कंट्रोलर स्विच करने से पहले सिस्टम स्टेट लक्षित स्टेडी स्टेट $z_n$ के करीब पहुँच जाए। यह पिछले बैचों के ट्रैकिंग एरर का "जियोमेट्रिक डिके" (geometric decay) बनाता है।

3. मुख्य योगदान (Key Contributions)

समृद्ध बेंचमार्क परिभाषा (Richer Benchmark Definition): यह शोध पत्र स्टेडी-स्टेट ONC फ्रेमवर्क को केवल ओपन-लूप इनपुट्स से आगे बढ़ाकर एफाइन स्टेबलाइजिंग कंट्रोलर्स तक विस्तारित करता है। यह तुलना वर्ग को महत्वपूर्ण रूप से व्यापक बनाता है, जिससे एल्गोरिदम उन कंट्रोलर्स के विरुद्ध प्रतिस्पर्धा करने की अनुमति मिलती है जो उन स्टेडी स्टेट्स तक पहुँचने के लिए फीडबैक का उपयोग करते हैं जो पहले अप्राप्य माने जाते थे।
नॉन-कॉनवेक्स ONC के लिए एल्गोरिदम: वे BatchFTPL प्रस्तावित करते हैं, जो एक नॉन-कॉनवेक्स बेंचमार्क सेट के विरुद्ध सबलीनियर रिग्रेट प्राप्त करने वाला पहला एल्गोरिदम है। यह $\mathcal{Z}$ की नॉन-कॉनवेक्सिटी और स्विचिंग कंट्रोलर्स के स्थिरता जोखिमों को सफलतापूर्वक प्रबंधित करता है।
रिग्रेट गारंटी (Regret Guarantees): लेखक सिद्ध करते हैं कि एल्गोरिदम एफाइन बेंचमार्क के विरुद्ध $O(\sqrt{T})$ अपेक्षित रिग्रेट (expected regret) प्राप्त करता है।
- रिग्रेट बाउंड सिस्टम स्टेबिलिटी पैरामीटर्स ( $\kappa, \gamma$ ) और ऑप्टिमाइजेशन ऑरेकल की सटीकता ( $\epsilon$ ) पर निर्भर करता है।
- महत्वपूर्ण रूप से, वे दिखाते हैं कि नॉन-कॉनवेक्स सबप्रॉब्लम का एक एप्रोक्सिमेट सॉल्यूशन (approximate solution) ही पर्याप्त है; सटीक अनुकूलन (exact optimization) की आवश्यकता नहीं है।
डिस्टर्बेंस हैंडलिंग (Disturbance Handling): जबकि सैद्धांतिक विश्लेषण स्पष्टता के लिए शून्य डिस्टर्बेंस मानता है (डिस्टर्बेंस प्रभावों को अलग करने के लिए सुपरपोजिशन का उपयोग करके), इस पद्धति को सिमुलेशन में एडवर्सरियल डिस्टर्बेंस को संभालने के लिए विस्तारित किया गया है।

4. परिणाम (Results)

सैद्धांतिक परिणाम (Theoretical Results)

थ्योरम 8 (Theorem 8): $O(\sqrt{T})$ रिग्रेट बाउंड स्थापित करता है। यह बाउंड इंस्टेंस-इंडिपेंडेंट (स्टैटिक रिग्रेट) है, जो डायनेमिक रिग्रेट बाउंड के विपरीत है जो अक्सर इष्टतम प्रक्षेपवक्र (optimal trajectory) के वेरिएशन के साथ स्केल होते हैं।
स्थिरता (Stability): लेम्मा 7 सिद्ध करता है कि यदि बैच साइज $H$ को सही ढंग से चुना जाता है, तो पूरे निष्पादन के दौरान सिस्टम स्टेट सीमित (bounded) रहता है।

अनुभवजन्य परिणाम (सिमुलेशन) (Empirical Results)

सेटअप: क्वाड्रेटिक कॉस्ट और यूनिफॉर्म एडवर्सरियल डिस्टर्बेंस के साथ एक 3-स्टेट, 2-इनपुट सिस्टम।
तुलना: BatchFTPL की तुलना अग्रवाल एट अल. [5] के डिस्टरबेंस एक्शन कंट्रोलर (DAC) से की गई।
प्रदर्शन:
- लागत (Cost): BatchFTPL ने लगातार DAC की तुलना में कम संचयी लागत (lower cumulative cost) प्राप्त की, जो यह प्रमाणित करता है कि समृद्ध एफाइन बेंचमार्क बेहतर व्यावहारिक प्रदर्शन में अनुवादित होता है।
- कंप्यूटेशन (Computation):
  - BatchFTPL में एक सिंगल ऑरेकल कॉल, DAC अपडेट की तुलना में अधिक महंगी है (क्योंकि यह 100 स्टेबलाइजिंग गेन्स के बैंक को स्कैन करती है और कॉनवेक्स सबप्रॉब्लम्स को हल करती है)।
  - हालाँकि, क्योंकि BatchFTPL हर $H$ स्टेप में केवल एक बार पॉलिसी अपडेट करता है (जबकि DAC हर स्टेप में अपडेट करता है), प्रयोगों में BatchFTPL का कुल रनटाइम (total runtime) DAC से कम था।
- निष्कर्ष: यह विधि परीक्षण किए गए सेटिंग में अधिक प्रदर्शन करने वाली और कम्प्यूटेशनल रूप से कुशल है, बावजूद इसके कि इसमें नॉन-कॉनवेक्स ऑप्टिमाइजेशन की सैद्धांतिक जटिलता है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

महत्व (Significance):
यह कार्य ऑनलाइन लर्निंग और कंट्रोल के बीच के अंतर को पाटता है, यह प्रदर्शित करते हुए कि स्टेडी-स्टेट विश्लेषण को सरल ओपन-लूप इनपुट्स से परे कैसे सामान्यीकृत किया जा सकता है। यह सिद्ध करता है कि भविष्य को जाने बिना, यदि कंट्रोलर क्लास को स्टेबलाइजिंग एफाइन लॉ तक सीमित किया जाए, तो एक व्यक्ति एडवर्सरियल सेटिंग में परिष्कृत फीडबैक कंट्रोलर्स के विरुद्ध प्रतिस्पर्धा कर सकता है। स्थिरता प्रबंधन के लिए बैचिंग का उपयोग करना ऑनलाइन कंट्रोल में एक नवीन और मजबूत तकनीक है।

सीमाएँ और भविष्य के कार्य (Limitations & Future Directions):

कम्प्यूटेशनल लागत (Computational Cost): विशिष्ट सिमुलेशन में कुशल होने के बावजूद, नॉन-कॉनवेक्स सेट्स के लिए ऑप्टिमाइजेशन ऑरेकल पर निर्भरता उच्च-आयामी (high-dimensional) सिस्टम के लिए भारी हो सकती है।
भविष्य का कार्य: लेखक इस दृष्टिकोण को निम्नलिखित तक विस्तारित करने का सुझाव देते हैं:
- डायनेमिक लीनियर फीडबैक: स्टैटिक एफाइन कंट्रोलर्स से डायनेमिक कंट्रोलर्स (जैसे PID या स्टेट-स्पेस ऑब्जर्वर्स) की ओर बढ़ना।
- सेफ्टी कंस्ट्रेंट्स (Safety Constraints): स्टेट्स और इनपुट्स पर हार्ड कंस्ट्रेंट्स को शामिल करना।
- पार्शियल ऑब्जर्वेबिलिटी (Partial Observability): फ्रेमवर्क को उन सेटिंग्स तक बढ़ाना जहाँ पूर्ण स्टेट $x_t$ सीधे दृश्यमान (observable) नहीं है।

संक्षेप में, यह शोध पत्र एक अधिक शक्तिशाली, फीडबैक-आधारित बेंचमार्क का लाभ उठाकर मौजूदा विधियों से बेहतर प्रदर्शन करने वाले ऑनलाइन कंट्रोल के लिए एक कठोर सैद्धांतिक आधार और व्यावहारिक एल्गोरिदम प्रदान करता है, जबकि ऑनलाइन लर्निंग के लिए आवश्यक $O(\sqrt{T})$ रिग्रेट गारंटी को बनाए रखता है।