⚡ electrical engineering

Optimal Modified Feedback Strategies in LQ Games under Control Imperfections

यह शोध पत्र दो-खिलाड़ी परिमित-क्षितिज रैखिक द्विघातीय गैर-शून्य-योग खेलों (two-player finite-horizon linear quadratic nonzero-sum games) के लिए एक इष्टतम संशोधित फीडबैक रणनीति प्रस्तावित करता है जो मापने योग्य विचलन गतिकी (measurable deviation dynamics) के साथ नाममात्र के खेल को संवर्धित करके कार्यान्वयन संबंधी खामियों की भरपाई करता है, जिससे अवस्था प्रक्षेपवक्र (state trajectory) और लागत के संदर्भ में मानक संतुलन-व्युत्पन्न फीडबैक की तुलना में स्थानीय रूप से बेहतर प्रदर्शन करता है।

मूल लेखक: Mahdis Rabbani, Navid Mojahed, Shima Nazari

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mahdis Rabbani, Navid Mojahed, Shima Nazari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: जब सटीक योजनाएं अव्यवस्थित वास्तविकता से टकराती हैं

कल्पना कीजिए कि दो विशेषज्ञ नर्तक, खिलाड़ी 1 (Player 1) और खिलाड़ी 2 (Player 2), एक जटिल नृत्य अभ्यास कर रहे हैं। उन्होंने अपने कदमों को सटीक बनाने के लिए महीनों तक गणना की है (नैश इक्विलिब्रियम - Nash Equilibrium), ताकि उनमें से कोई भी अकेले अपनी चाल बदलकर अपने प्रदर्शन में सुधार न कर सके। वे जानते हैं कि उन्हें कहाँ कदम रखना है, कब घूमना है, और अपना "प्रयास" कम करने और तालमेल बनाए रखने के लिए हाथ कैसे पकड़ना है।

हालाँकि, वास्तविक दुनिया में, चीजें शायद ही कभी बिल्कुल स्क्रिप्ट के अनुसार चलती हैं। हो सकता है कि खिलाड़ी 2 का टखना थोड़ा अकड़ा हुआ हो, या उनके जूते फिसलन भरे हों। जब वे एक आदर्श स्पिन (घूमने) की कोशिश करते हैं, तो वे वास्तव में थोड़ा फिसल जाते हैं। यही वह चीज़ है जिसे पेपर में "कंट्रोल इम्परफेक्शन" (Control Imperfections) कहा गया है।

पेपर एक महत्वपूर्ण प्रश्न पूछता है: यदि खिलाड़ी 2 अपना कदम गलत लेता है, तो खिलाड़ी 1 का क्या होता है? और इससे भी महत्वपूर्ण यह है कि क्या खिलाड़ी 1 अपने कदमों को समायोजित करके नृत्य को बचा सकता है, भले ही खिलाड़ी 2 लड़खड़ाता रहे?

समस्या: "रिपल इफेक्ट" (लहर जैसा प्रभाव)

इंजीनियरिंग की दुनिया में (जैसे सेल्फ-ड्राइविंग कार या रोबोट), खिलाड़ी अक्सर अपनी मशीनों को नियंत्रित करने के लिए गणितीय सूत्रों पर भरोसा करते हैं। ये सूत्र मानते हैं कि मशीन वही करती है जो उसे बताया जाता है।

लेकिन वास्तविकता में:

मोटर धीमी होती है: वे तुरंत शुरू या बंद नहीं होतीं।
सिग्नल में देरी होती है: कमांड भेजने और मशीन के हिलने के बीच एक छोटा सा अंतराल होता है।
गलतियाँ होती हैं: मशीन उतनी दूरी तय नहीं करती जितनी गणना की गई थी।

लेखकों ने पाया कि जब खिलाड़ी 2 के पास ये "अकड़े हुए टखने" (देरी या त्रुटियाँ) होते हैं, तो यह एक रिपल इफेक्ट पैदा करता है। क्योंकि दोनों खिलाड़ी आपस में जुड़े हुए हैं (नर्तकों की तरह हाथ पकड़े हुए), खिलाड़ी 1 का रास्ता भटक जाता है, और खिलाड़ी 1 को योजना से अधिक "लागत" (अधिक ऊर्जा खर्च करना या गलत जगह पहुँच जाना) चुकानी पड़ती है।

समाधान: "कंपनसेटेड फीडबैक" (एक समझदार साथी)

ज्यादातर लोग कहेंगे, "खैर, खिलाड़ी 1 को बस इसे झेलना होगा, या उन्हें दोनों को मिलकर एक नया सटीक नृत्य फिर से कैलकुलेट करना चाहिए।"

लेकिन यह पेपर एक चतुर बीच का रास्ता प्रस्तावित करता है। खिलाड़ी 1 को पूरा नृत्य बदलने की आवश्यकता नहीं है। इसके बजाय, खिलाड़ी 1 एक अति-सतर्क साथी बन सकता है।

यहाँ रणनीति दी गई है:

साथी को देखें: खिलाड़ी 1 वास्तविक समय में खिलाड़ी 2 की गतिविधियों को देखता है।
फिसलन का अनुमान लगाएं: खिलाड़ी 1 नोटिस करता है, "ओह, खिलाड़ी 2 बाईं ओर थोड़ा फिसल रहा है क्योंकि उसके जूते फिसलन भरे हैं।"
कदम को समायोजित करें: मूल स्क्रिप्ट का पालन करने के बजाय, खिलाड़ी 1 अपने स्वयं के मूव में एक छोटा सा "सुधार" जोड़ता है। यदि खिलाड़ी 2 बाईं ओर फिसल रहा है, तो खिलाड़ी 1 इसे संतुलित करने के लिए थोड़ा दाईं ओर कदम रखता है।

पेपर इसे "कंपनसेटेड फीडबैक लॉ" (Compensated Feedback Law) कहता है। यह ऐसा है जैसे खिलाड़ी 1 ने एक चश्मा पहना हुआ है जो उसे खिलाड़ी 2 की गति में "त्रुटि" देखने देता है और नृत्य को सुचारू बनाए रखने के लिए तुरंत अपने शरीर को समायोजित करने देता है।

गणित का रूपक: "ऑगमेंटेड सिस्टम" (संवर्धित प्रणाली)

इसे काम करने के लिए, लेखकों ने कुछ भारी गणित (रिकाटी समीकरण - Riccati equations) का उपयोग किया, लेकिन इसे इस तरह सोचें:

आमतौर पर, एक नर्तक केवल अपनी स्थिति के बारे में सोचता है।

पुराना तरीका: "मैं स्थिति X पर हूँ। मुझे Y तक जाना है।"

नया तरीका (द ऑगमेंटेड सिस्टम) ऐसा है जैसे नर्तक एक साथ दो चीजों के बारे में सोच रहा हो:

नया तरीका: "मैं स्थिति X पर हूँ। और मेरा साथी वर्तमान में 2 इंच बाईं ओर फिसल रहा है। इसलिए, मुझे Y तक जाने के लिए प्लस अतिरिक्त 2 इंच दाईं ओर जाने की आवश्यकता है ताकि उनके फिसलने को रद्द किया जा सके।"

इस "फिसलन" को एक ज्ञात चर (variable) के रूप में मानकर, जिसे मापा जा सकता है, गणित यह सिद्ध करता है कि खिलाड़ी 1 हमेशा बेहतर कर सकता है (या कम से कम मूल योजना का पालन करने से बेहतर कर सकता है)।

संख्यात्मक उदाहरण: दो कार्ट्स (Carts)

यह साबित करने के लिए कि यह काम करता है, लेखकों ने एक परिदृश्य का अनुकरण किया जिसमें दो कार्ट्स एक स्प्रिंग और एक डैम्पर (जैसे एक बंजी कॉर्ड से बंधे दो शॉपिंग कार्ट) द्वारा जुड़े हुए थे।

लक्ष्य: दोनों कार्ट्स को ठीक मध्य रेखा पर रुकना है।
गड़बड़ी: खिलाड़ी 2 के कार्ट में एक "सुस्त मोटर" (lag) है। जब रुकने के लिए कहा जाता है, तो यह थोड़ा आगे तक लुढ़कता रहता है।
परिणाम:
- परिदृश्य A (परफेक्ट वर्ल्ड): दोनों कार्ट बिल्कुल केंद्र में रुक जाते हैं।
- परिदृश्य B (समस्या): खिलाड़ी 2 की सुस्त मोटर उसे बहुत आगे ले जाती है। क्योंकि वे आपस में जुड़े हुए हैं, खिलाड़ी 1 भी रास्ते से भटक जाता है। दोनों लक्ष्य से काफी दूर निकल जाते हैं।
- परिदृश्य C (समाधान): खिलाड़ी 1 देखता है कि खिलाड़ी 2 की सुस्त मोटर उसे खींच रही है। खिलाड़ी 1 विपरीत दिशा में ज़ोर से धक्का देता है ताकि खिलाड़ी 2 को वापस खींचा जा सके।
- परिणाम: खिलाड़ी 1 लक्ष्य के बहुत करीब पहुँच जाता है (खुद को बचा लेता है), भले ही खिलाड़ी 2 अभी भी थोड़ा बाहर हो।

यह क्यों महत्वपूर्ण है

यह शोध रोबोटिक्स और स्वायत्त प्रणालियों (जैसे सेल्फ-ड्राइविंग कार या ड्रोन झुंड) के लिए गेम-चेंजर है।

अतीत में, यदि टीम के एक रोबोट में दोषपूर्ण मोटर होती थी, तो पूरी टीम की योजना विफल हो सकती थी, या सभी को एक नया प्लान फिर से कैलकुलेट करने के लिए रुकना पड़ता था, जिसमें समय लगता था।

यह पेपर दिखाता है कि एक स्मार्ट एजेंट तुरंत अनुकूलित (adapt) हो सकता है। उसे नए प्लान का इंतज़ार करने की ज़रूरत नहीं है। वह बस दूसरे एजेंट की गलती को "महसूस" कर सकता है और मिशन को सफल बनाने के लिए अपने व्यवहार को तुरंत समायोजित कर सकता है।

एक वाक्य में सारांश

जब टीम के प्रयास में आपका साथी शारीरिक सीमाओं के कारण गलती करता है, तो आपको उनके साथ असफल होने की आवश्यकता नहीं है; वास्तविक समय में उनकी त्रुटि को देखकर और उसे रद्द करने के लिए अपने स्वयं के मूव को समायोजित करके, आप प्रदर्शन को बचा सकते हैं।

यहाँ रब्बानी, मोजाहिद और नज़ारी के शोध पत्र "Optimal Modified Feedback Strategies in LQ Games under Control Imperfections" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र गेम-थ्योरेटिक नियंत्रण में एक महत्वपूर्ण अंतर को संबोधित करता है: सैद्धांतिक नैश इक्विलिब्रियम (Nash Equilibrium - NE) रणनीतियों और इंजीनियरिंग प्रणालियों में उनके व्यावहारिक कार्यान्वयन के बीच का अंतर।

संदर्भ: यह अध्ययन एक फाइनाइट-होराइजन, डिस्क्रीट-टाइम, टू-प्लेयर लिनियर क्वाड्रेटिक (LQ) नॉनज़ेरो-सम गेम पर केंद्रित है।
चुनौती: वास्तविक दुनिया के अनुप्रयोगों (जैसे रोबोटिक्स, स्वायत्त वाहन) में, नियंत्रण इनपुट एक्ट्यूएटर लैग (actuator lags), देरी (delays) और ट्रैकिंग त्रुटियों जैसे दोषों के अधीन होते हैं। फलस्वरूप, एक खिलाड़ी का कार्यान्वित इनपुट ( $u_{i,k}$ ) अक्सर नाममात्र (nominal) नैश कमांड ( $u^*_{i,k}$ ) से विचलित हो जाता है।
विशिष्ट समस्या: लेखक यह जांचते हैं कि प्लेयर 2 के छोटे, मापने योग्य विचलन (deviations) स्टेट ट्राजेक्टरी और, अत्यंत महत्वपूर्ण रूप से, प्लेयर 1 के कॉस्ट फंक्शन (cost function) को कैसे प्रभावित करते हैं। वे पूछते हैं: यदि प्लेयर 2 हार्डवेयर सीमाओं के कारण अपनी इष्टतम रणनीति को पूरी तरह से निष्पादित नहीं कर पाता है, तो प्लेयर 1 को प्रदर्शन में होने वाली गिरावट को कम करने के लिए अपनी रणनीति को कैसे संशोधित करना चाहिए?

2. कार्यप्रणाली (Methodology)

लेखक एक तीन-चरणीय कार्यप्रणाली का उपयोग करते हैं: संवेदनशीलता विश्लेषण (sensitivity analysis), संवर्धित सिस्टम मॉडलिंग (augmented system modeling), और इष्टतम नियंत्रण डिजाइन (optimal control design)।

A. प्रथम-क्रम संवेदनशीलता विश्लेषण (First-Order Sensitivity Analysis)

लेखक प्लेयर 2 के विचलन ( $\Delta u_2$ ) का प्लेयर 1 की लागत ( $J_1$ ) पर प्रभाव को मापने के लिए क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त करते हैं।

वे क्लोज्ड-लूप स्टेट ट्रांजिशन मैट्रिक्स $\Phi(k, j)$ का उपयोग करके $\Delta u_2$ द्वारा उत्पन्न स्टेट परटर्बेशन $\Delta x_k$ को परिभाषित करते हैं।
वे कॉस्ट डेविएशन $\Delta J_1$ के फर्स्ट-ऑर्डर एक्सपेंशन को व्युत्पन्न करते हैं। यह प्रकट करता है कि लागत परिवर्तन विचलन अनुक्रम के सीधे आनुपातिक है, जो एक सेंसिटिविटी मैट्रिक्स $\Lambda_j$ द्वारा भारित (weighted) है, जो गेम के रिक्काटी समाधानों (Riccati solutions) और समय-परिवर्तनीय गतिकी (dynamics) पर निर्भर करता है।
मुख्य अंतर्दृष्टि: बिना क्षतिपूर्ति (compensation) के, प्लेयर 1 की मानक फीडबैक नैश इक्विलिब्रियम (FNE) पॉलिसी तब उप-इष्टतम (sub-optimal) हो जाती है जब प्लेयर 2 का निष्पादन अपूर्ण होता है।

B. संवर्धित सिस्टम मॉडलिंग (Augmented System Modeling)

क्षतिपूर्ति (compensator) डिजाइन करने के लिए, लेखक निष्पादन त्रुटि को एक डायनेमिक डिस्टर्बेंस के रूप में मॉडल करते हैं।

डिस्टर्बेंस मॉडल: वे मानते हैं कि प्लेयर 2 का एक्ट्यूएटर एक डिस्क्रीट-टाइम फर्स्ट-ऑर्डर लैग (ट्रैकिंग एरर डायनेमिक्स) का पालन करता है। डिस्टर्बेंस $w_k$ को नाममात्र और निष्पादित इनपुट के बीच के अंतर के रूप में परिभाषित किया गया है, जिसे इनपुट मैट्रिक्स द्वारा स्केल किया गया है।
संवर्धित अवस्था (Augmented State): वे एक संवर्धित स्टेट वेक्टर $z_k = [x_k^\top, w_k^\top]^\top$ का निर्माण करते हैं, जो सिस्टम स्टेट और मापने योग्य (या अनुमान लगाने योग्य) डिस्टर्बेंस को जोड़ता है।
पॉलिसी क्लास: वे नई पॉलिसी की खोज को कॉज़ल एफ़ाइन क्लास (causal affine class) तक सीमित रखते हैं: $u_{1,k} = -K_k x_k - L_k w_k$ । यह संरचना प्लेयर 1 को स्टेट फीडबैक ( $K_k$ ) और देखे गए विचलन पर आधारित फीडफॉरवर्ड टर्म ( $L_k$ ) का उपयोग करने की अनुमति देती है।

C. इष्टतम क्षतिपूर्ति डिजाइन (Optimal Compensation Design)

मुख्य योगदान एक इष्टतम क्षतिपूर्ति फीडबैक (Compensated Feedback - CF) नियम का व्युत्पत्ति है।

संवर्धित सिस्टम को एक मानक LQ कंट्रोल समस्या के रूप में मानकर, वे बेलमैन प्रिंसिपल ऑफ ऑप्टिमलिटी (Bellman principle of optimality) लागू करते हैं।
वे संवर्धित सिस्टम मैट्रिसेस ( $\bar{A}_k, \bar{B}_k, \bar{Q}$ ) के लिए एक कपल्ड फाइनाइट-होराइजन रिक्काटी रिकर्सन (coupled finite-horizon Riccati recursion) व्युत्पन्न करते हैं।
इससे अद्वितीय इष्टतम गेन्स (gains) $\{K_k, L_k\}$ प्राप्त होते हैं जो प्लेयर 1 की लागत को न्यूनतम करते हैं, यह देखते हुए कि प्लेयर 2 अपने नाममात्र (लेकिन अपूर्ण रूप से निष्पादित) रणनीति पर स्थिर रहता है।
सैद्धांतिक गारंटी: शोध पत्र सिद्ध करता है कि यह CF पॉलिसी एफ़ाइन क्लास के भीतर अद्वितीय रूप से इष्टतम है और विचलन के परिमाण के दूसरे क्रम (second order) के लिए मानक रेफरेंस फीडबैक (REF) की तुलना में बेहतर प्रदर्शन करती है।

3. मुख्य योगदान (Key Contributions)

संवेदनशीलता विश्लेषण: स्पष्ट, क्लोज्ड-फॉर्म एक्सप्रेशन का व्युत्पत्ति जो यह बताता है कि कैसे एक खिलाड़ी के नियंत्रण विचलन डिस्क्रीट-टाइम LQ गेम डायनेमिक्स के माध्यम से दूसरे खिलाड़ी की लागत को प्रभावित करते हैं।
क्षतिपूर्ति नियम (Compensation Law): एक संरचित क्षतिपूर्ति नीति का विकास जो नाममात्र गेम डायनेमिक्स को मापने योग्य विचलन डायनेमिक्स के साथ जोड़ती है। यह पॉलिसी सिद्ध होती है कि कॉज़ल एफ़ाइन क्लास के भीतर इष्टतम है।
स्थानीय प्रदर्शन सुधार: यह कठोर प्रमाण कि प्रस्तावित क्षतिपूर्ति फीडबैक, मानक नैश फीडबैक की तुलना में, विचलन के परिमाण के दूसरे क्रम तक प्रभावित खिलाड़ी की लागत को कम करता है।
नैश इक्विलिब्रियम से भिन्नता: लेखक स्पष्ट करते हैं कि प्रस्तावित नीति संशोधित गेम के लिए एक नया नैश इक्विलिब्रियम नहीं है (क्योंकि प्लेयर 2 अनुकूलित नहीं होता है)। इसके बजाय, यह एक स्थिर, अपूर्ण प्रतिद्वंद्वी के विरुद्ध प्लेयर 1 के लिए एक बेस्ट-रिस्पॉन्स कंपनसेशन स्ट्रैटेजी है।

4. परिणाम (संख्यात्मक उदाहरण)

लेखक एक स्प्रिंग-डैम्पर द्वारा जुड़े दो-कार्ट सिस्टम (two-cart system) का उपयोग करके अपने सिद्धांत को सत्यापित करते हैं।

सेटअप: दो कार्ट (प्लेयर 1 और प्लेयर 2) को ओरिजिन (origin) पर रेगुलेट करना है। प्लेयर 2 के एक्ट्यूएटर में एक फर्स्ट-ऑर्डर लैग ( $\tau=0.8s$ ) है।
परिदृश्य (Scenarios):
- केस I (FNE): आदर्श निष्पादन (कोई लैग नहीं)। बेसलाइन प्रदर्शन।
- केस II (REF): प्लेयर 2 में लैग है; प्लेयर 1 मानक FNE (अनकंपेंसेटेड) का उपयोग करता है।
- केस III (CF): प्लेयर 2 में लैग है; प्लेयर 1 प्रस्तावित कंपेंसेटेड फीडबैक का उपयोग करता है।
निष्कर्ष:
- केस II बनाम केस I: लैग के कारण प्लेयर 1 की लागत में 51.36% की वृद्धि हुई।
- केस III बनाम केस II: प्रस्तावित CF ने अनकंपेंसेटेड लैग केस के सापेक्ष प्लेयर 1 की लागत को 10.71% कम कर दिया।
- रिकवरी: CF रणनीति ने प्रदर्शन हानि का लगभग 31.56% वापस प्राप्त (recover) किया।
- ट्रेड-ऑफ: हालांकि प्लेयर 1 में महत्वपूर्ण सुधार हुआ, लेकिन केस III में प्लेयर 2 की लागत और बढ़ गई। यह एक जनरल-सम गेम में लाभ की असममित प्रकृति (asymmetric nature) को उजागर करता; डिज़ाइन प्लेयर-विशिष्ट है और सामाजिक रूप से इष्टतम (Pareto optimal) नहीं है।

5. महत्व और निहितार्थ (Significance and Implications)

कार्यान्वयन त्रुटियों के प्रति मजबूती: यह शोध पत्र इंजीनियरिंग सिस्टम में "रियलिटी गैप" को संबोधित करते हुए सैद्धांतिक इक्विलिब्रियम अवधारणाओं से आगे बढ़ता है, जहाँ एक्ट्यूएटर्स अपूर्ण होते हैं।
व्यावहारिक प्रयोज्यता: यह विधि मापने योग्य या अनुमान लगाने योग्य विचलनों पर निर्भर करती है। कई आधुनिक प्रणालियों (जैसे नेटवर्क नियंत्रण, स्वायत्त वाहन) में, टेलीमेट्री या स्टेट एस्टीमेशन आवश्यक डेटा ( $w_k$ ) प्रदान कर सकता है ताकि प्लेयर 2 की रणनीति बदले बिना इस क्षतिपूर्ति को लागू किया जा सके।
सैद्धांतिक विस्तार: यह शास्त्रीय डिस्टर्बेंस एकोमोडेशन (disturbance accommodation) और प्रिव्यू कंट्रोल सिद्धांतों को मल्टी-एजेंट गेम थ्योरी के क्षेत्र में विस्तारित करता है, यह दर्शाता है कि कैसे एक तर्कसंगत एजेंट (rational agent) प्रतिद्वंद्वी की भौतिक सीमाओं के अनुकूल हो सकता है।
भविष्य की दिशाएं: यह कार्य प्रतिद्वंद्वी के विचलनों के ऑनलाइन अनुमान और ऐसे एडेप्टिव लॉ (adaptive laws) की ओर भविष्य के अनुसंधान का सुझाव देता जो समय-परिवर्तनीय या सह-संबंधित (correlated) त्रुटि पैटर्न के अनुसार गतिशील रूप से समायोजित हो सकें।

संक्षेप में, यह शोध पत्र एक गेम-थ्योरेटिक सेटिंग में एक खिलाड़ी के लिए एक गणितीय रूप से कठोर ढांचा प्रदान करता है ताकि वह अपने प्रतिद्वंद्वी की कार्यान्वयन त्रुटियों के प्रति इष्टतम रूप से अनुकूलित (optimally adapt) हो सके, जिससे उन प्रदर्शन हानियों को काफी हद तक कम किया जा सके जो मानक नैश रणनीतियों को बिना किसी सुधार के लागू करने पर होतीं।