⚡ electrical engineering

Sub-optimality bounds for certainty equivalent policies in partially observed systems

यह शोध पत्र मनमाने अवस्था अनुमानों (arbitrary state estimates) की अनुमति देकर गैर-रेखीय आंशिक रूप से प्रेक्षित स्टोकेस्टिक प्रणालियों के लिए निश्चितता तुल्यता सिद्धांत (certainty equivalence principle) का सामान्यीकरण करता है और सुचारू गतिकी (smooth dynamics) एवं लागत वाले मॉडलों के लिए परिणामी उप-इष्टतमता (sub-optimality) पर ऊपरी सीमाएँ व्युत्पन्न करता है।

मूल लेखक: Berk Bozkurt, Aditya Mahajan, Ashutosh Nayyar, Yi Ouyang

प्रकाशित 2026-02-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Berk Bozkurt, Aditya Mahajan, Ashutosh Nayyar, Yi Ouyang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप घने कोहरे में कार चला रहे हैं। आप अपने सामने की सड़क को स्पष्ट रूप से नहीं देख पा रहे हैं (सिस्टम की अवस्था/state), लेकिन आप डैशबोर्ड की लाइटें देख सकते हैं और इंजन की आवाज़ सुन सकते हैं (अवलोकन/observations)। आपको यह तय करने की ज़रूरत है कि कब मुड़ना है, ब्रेक लगाना है या एक्सीलरेटर दबाना है ताकि आप सुरक्षित और तेज़ी से अपनी मंजिल तक पहुँच सकें।

रोबोटिक्स और एआई की दुनिया में, इसे पार्शियली ऑब्जर्वेबल सिस्टम (Partially Observable System) कहा जाता है। "परफेक्ट" तरीके से गाड़ी चलाना यह जानना होगा कि आप हर सेकंड बिल्कुल कहाँ हैं, लेकिन चूंकि आप कोहरे में हैं, इसलिए आपको अंदाज़ा लगाना होगा।

यह शोध पत्र उन बहुत ही सामान्य और व्यावहारिक तरीकों में से एक को संबोधित करता है जिसका उपयोग करके ये अंदाज़े लगाए जाते हैं, जिसे सर्टेन्टी इक्विवेलेंट पॉलिसी (Certainty Equivalent Policy) कहा जाता है।

मुख्य विचार: "ऐसे चलें जैसे आप सुनिश्चित हों"

लेखक एक ऐसी रणनीति पर विचार कर रहे हैं जिसका उपयोग कई इंजीनियर सहज रूप से पहले से ही करते हैं:

अपनी स्थिति का अनुमान लगाएं: अपने सेंसर का उपयोग करके इस बारे में अपना सबसे अच्छा अनुमान लगाएं कि कार कहाँ है (जैसे, "मुझे लगता हूँ कि मैं मील मार्कर 50 पर हूँ")।
ऐसे कार्य करें जैसे आपका अनुमान 100% सच हो: इस बात को नज़रअंदाज़ करें कि आप गलत हो सकते हैं। मान लें कि आपका अनुमान पूर्ण सत्य है।
परफेक्ट योजना का पालन करें: उन ड्राइविंग निर्देशों का पालन करें जिन्हें आप तब करते यदि आप सब कुछ स्पष्ट रूप से देख सकते थे, लेकिन उन्हें अपने अनुमानित स्थान पर लागू करें।

पेपर की भाषा में, वे इसे सर्टेन्टी इक्विलेंट पॉलिसी कहते हैं। यह कहने जैसा है कि, "मुझे नहीं पता कि मैं वास्तव में कहाँ हूँ, लेकिन मैं ऐसे व्यवहार करूँगा जैसे कि मुझे पता है।"

समस्या: आप गलत हो सकते हैं

पेपर इस बड़ी खामी को स्वीकार करता है: यह रणनीति परफेक्ट नहीं है।
यदि आप कोहरे में हैं और आपका अनुमान थोड़ा सा भी गलत है, और आप ऐसे व्यवहार करते हैं जैसे कि आप सही हैं, तो आप बहुत जल्दी मुड़ सकते हैं या बहुत देर से ब्रेक लगा सकते हैं। जटिल, नॉन-लीनियर सिस्टम (जैसे तूफान में उड़ता हुआ ड्रोन या नाजुक पुर्जों को जोड़ने वाला रोबोटिक हाथ) में, यह "दिखावा करना" गलतियों का कारण बन सकता है।

लेखक जो बड़ा सवाल पूछते हैं वह यह है: यह गलती कितनी बुरी है?
क्या "अनुमान लगाओ और कार्य करो" वाली रणनीति कार को क्रैश कर देगी, या यह बस एक परफेक्ट ड्राइवर की तुलना में थोड़ी धीमी होगी?

समाधान: एक "सुरक्षा मार्जिन" फॉर्मूला

लेखकों ने इस अनुमान लगाने वाली रणनीति की अधिकतम संभावित त्रुटि (सब-ऑप्टिमलिटी बाउंड) की गणना करने के लिए एक गणितीय सूत्र विकसित किया है।

इसे अपनी गलतियों के लिए एक स्पीड लिमिट साइन की तरह समझें।
फॉर्मूला बताता है: "यदि आपका अनुमान इतना गलत है, और आपकी कार की भौतिकी (physics) इतनी संवेदनशील है, तो आपकी कुल यात्रा का समय परफेक्ट ड्राइवर की तुलना में अधिकतम X% ही खराब होगा।"

फॉर्मूला मुख्य रूप से दो चीजों पर निर्भर करता है:

दुनिया कितनी सुचारू (smooth) है: यदि कार स्टीयरिंग के प्रति कोमल प्रतिक्रिया देती है (स्मूथ डायनेमिक्स) और गलती की लागत (cost) अचानक से बहुत अधिक नहीं बढ़ती (स्मूथ कॉस्ट), तो त्रुटि कम रहती है।
आपका अनुमान कितना बुरा है: आपका अनुमान (स्टेट एस्टीमेट) जितना खराब होगा (कोहरा जितना घना होगा), संभावित त्रुटि उतनी ही बड़ी होगी।

द "एब्स्ट्रैक्ट" ट्विस्ट: मानचित्र को सरल बनाना

पेपर बहुत जटिल सिस्टम (जैसे 1,000 ड्रोन्स का बेड़ा) के लिए एक चतुर तकनीक भी पेश करता है।
हर एक ड्रोन के सटीक स्थान का अनुमान लगाने के बजाय (जो असंभव है), आप पूरे समूह के औसत स्थान (average location) का अनुमान लगा सकते हैं।

लेखक दिखाते हैं कि आप यहाँ भी "अनुमान लगाओ और कार्य करो" की रणनीति का उपयोग कर सकते हैं। आप कल्पना करते हैं कि औसत स्थान ही सत्य है और उस औसत के आधार पर पूरे बेड़े को चलाते हैं। उनका गणित सिद्ध करता है कि इस सरलीकरण के साथ भी, जब तक औसत अनुमान वास्तविकता के करीब है, बेड़ा बहुत अच्छा प्रदर्शन करेगा।

वास्तविक दुनिया के उदाहरण जो उन्होंने उपयोग किए

अपने गणित को सिद्ध करने के लिए, उन्होंने कई परिदृश्यों का परीक्षण किया:

बाउंडेड नॉइज़ (Bounded Noise): कल्पना करें कि आपका GPS हमेशा 5 मीटर तक गलत होता है। उनका गणित दिखाता है कि यदि "5 मीटर का अंतर" छोटा है, तो ड्राइविंग रणनीति लगभग परफेक्ट है।
इंटरमिटेंट फॉग (Intermittent Fog): कभी-कभी GPS बिल्कुल सही काम करता है, और कभी-कभी यह पूरी तरह से खराब हो जाता है। गणित यह गणना करता है कि GPS कितनी बार विफल होता है, इसके आधार पर औसत जोखिम क्या है।
लर्निंग सिस्टम्स (Learning Systems): कल्पना करें कि एक रोबोट नहीं जानता कि वह जिस वस्तु को उठा रहा है उसका वजन क्या है। वह वजन का अनुमान लगाता है, कार्य करता है, और सीखता है। पेपर दिखाता है कि यदि रोबोट का अनुमान समय के साथ बेहतर होता जाता है, तो उसका प्रदर्शन परफेक्ट होने के करीब पहुँच जाता है।
इवेंट-ट्रिगर्ड कम्युनिकेशन (Event-Triggered Communication): कल्पना करें कि एक सेंसर केवल तभी डेटा भेजता है जब कार महत्वपूर्ण रूप से चलती है (बैटरी बचाने के लिए)। पेपर दिखाता है कि सूचना के इन "अंतरालों" के बावजूद, रणनीति प्रभावी बनी रहती है।

निचोड़ (The Bottom Line)

यह पेपर एक नया तरीका नहीं बनाता है; यह कोहरे में गाड़ी चलाने के एक बहुत पुराने और सामान्य तरीके की पुष्टि करता है।

मुख्य बात यह है:
यदि आपके पास एक ऐसा सिस्टम है जहाँ भौतिकी के नियम और गलतियों की "लागत" सुचारू रूप से बदलती है (कोई अचानक, अराजक उछाल नहीं), और आपके स्टेट एस्टीमेट्स (आपके अनुमान) उचित रूप से अच्छे हैं, तो ऐसे व्यवहार करना जैसे कि आपके अनुमान परफेक्ट हों, एक सुरक्षित, कुशल और लगभग इष्टतम (optimal) रणनीति है।

आपको हर बार "अगर मैं गलत हूँ तो क्या होगा?" की असंभव गणितीय समस्या को हल करने की आवश्यकता नहीं है। आप बस अपने "सर्वश्रेष्ठ अनुमान" पर "परफेक्ट दुनिया" की योजना लागू कर सकते हैं, और यह पेपर गारंटी देता है कि आप सर्वोत्तम संभव परिणाम से बहुत दूर नहीं होंगे।

तकनीकी सारांश: आंशिक रूप से प्रेक्षित प्रणालियों में निश्चितता तुल्यता (Certainty Equivalent) नीतियों के लिए उप-इष्टतमता सीमाएँ

समस्या विवरण

रोबोटिक्स, स्वायत्त प्रणालियों और वित्त जैसे कई क्षेत्रों में, निर्णय लेने वाले आंशिक अवलोकन (partial observability) के तहत कार्य करते हैं, जिसे आंशिक रूप से प्रेक्षित मार्कोव निर्णय प्रक्रियाओं (POMDPs) के रूप में मॉडल किया जाता है। POMDPs को इष्टतम रूप से हल करना गणनात्मक रूप से कठिन (PSPACE-hard) है, और लगभग इष्टतम नीतियां खोजना भी समान रूप से कठिन है। हालांकि हीयुरिस्टिक (heuristic) विधियां मौजूद हैं, उनमें अक्सर प्रमाणित प्रदर्शन गारंटी की कमी होती है।

निश्चितता तुल्यता (Certainty Equivalence - CE) का सिद्धांत, जो लीनियर-क्वाड्रेटिक-गौसियन (LQG) नियंत्रण में अच्छी तरह स्थापित है, यह सुझाव देता है कि एक स्टोकेस्टिक सिस्टम के लिए इष्टतम क्रिया उस संगत नियत (deterministic) सिस्टम की इष्टतम स्टेट-फीडबैक नीति को अवस्था के न्यूनतम माध्य वर्ग त्रुटि (MMSE) अनुमान पर लागू करके प्राप्त की जा सकती है। हालांकि, सामान्य गैर-रैखिक आंशिक रूप से प्रेक्षित प्रणालियों के लिए, CE नीति (किसी भी स्टेट अनुमान का उपयोग करने वाली) सामान्यतः इष्टतम नहीं होती है।

यह शोध पत्र संबोधित मुख्य समस्या यह है कि सामान्य POMDPs में निश्चितता तुल्यता नीतियों की उप-इष्टतमता की डिग्री को कैसे मापा जाए। विशेष रूप से, लेखक एक CE नीति और एक इष्टतम POMDP नीति के बीच प्रदर्शन अंतराल पर स्पष्ट ऊपरी सीमाएं (upper bounds) प्राप्त करने का प्रयास करते हैं, विशेष रूप से तब जब सिस्टम डायनेमिक्स और लागत (costs) सुचारू (smooth) हों, और स्टेट एस्टिमेशन त्रुटि कम हो।

कार्यप्रणाली (Methodology)

यह शोध पत्र CE सिद्धांत को मनमाने POMDPs और मनमाने स्टेट एस्टिमेटर्स (केवल MMSE तक सीमित नहीं) के लिए सामान्यीकृत करता है। कार्यप्रणाली अनुमानित सूचना अवस्था (Approximate Information State - AIS) ढांचे पर निर्भर करती है।

सिस्टम मॉडलिंग:
- लेखक एक विविक्त-समय (discrete-time) POMDP $\mathcal{P}$ पर विचार करते हैं जिसमें स्टेट स्पेस $\mathcal{S}$ , ऑब्जर्वेशन स्पेस $\mathcal{Y}$ , और एक्शन स्पेस $\mathcal{A}$ है।
- वे एक संगत पूर्णतः प्रेक्षित मार्कोव निर्णय प्रक्रिया (MDP) $\mathcal{M}$ को परिभाषित करते हैं जहाँ कंट्रोलर के पास वास्तविक अवस्था $S_t$ तक पहुँच होती है।
- एक निश्चितता तुल्यता नीति (Certainty Equivalent Policy) $\mu^E$ को $\mu^E_t(h_t) = \pi^M_t(E_t(h_t))$ के रूप में परिभाषित किया गया है, जहाँ $\pi^M$ पूर्णतः प्रेक्षित MDP $\mathcal{M}$ के लिए इष्टतम नीति है, और $E_t$ इतिहास $h_t$ को स्टेट अनुमान में मैप करने वाला एक मनमाना स्टेट एस्टिमेटर है।
स्टेट एब्स्ट्रैक्शन (State Abstraction):
- बड़े पैमाने की प्रणालियों को संभालने के लिए, ढांचे को स्टेट एब्स्ट्रैक्शन के माध्यम से विस्तारित किया गया है। एक एब्स्ट्रैक्शन फंक्शन $\phi: \mathcal{S} \to \tilde{\mathcal{S}}$ के माध्यम से एक अमूर्त स्टेट स्पेस (abstract state space) $\tilde{\mathcal{S}}$ पेश किया गया है।
- एक अमूर्त MDP $\tilde{\mathcal{M}}$ का निर्माण किया जाता है जिसके डायनेमिक्स और लागत मूल MDP से स्टोकैस्टिक कर्नेल $\lambda^P$ और $\lambda^c$ के माध्यम से प्राप्त होते हैं।
- CE नीति को फिर अमूर्त MDP $\tilde{\mathcal{M}}$ की इष्टतम नीति और अमूर्त अवस्था के अनुमानों का उपयोग करके परिभाषित किया जाता है।
सुचारूता धारणाएं (Smoothness Assumptions):
- विश्लेषण यह मानता है कि सिस्टम डायनेमिक्स और प्रति-चरण लागत (per-step costs) अवक्रीय (concave), गैर-घटते (non-decreasing) फलनों $F^P_t$ और $F^c_t$ द्वारा परिभाषित "सुचारूता" के अर्थ में हैं।
- विशेष रूप से, ट्रांजिशन कर्नेल के बीच वॉसस्टीन-1 (Wasserstein-1) दूरी और लागतों में अंतर को अवस्थाओं (या अमूर्त अवस्थाओं) के बीच की दूरी के इन फलनों द्वारा सीमित किया गया है। यह मानक लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) धारणाओं का सामान्यीकरण है।
अनुमानित सूचना अवस्था (AIS) ढांचा:
- लेखक उप-इष्टतमता अंतराल को बांधने के लिए AIS ढांचे का उपयोग करते हैं। वे प्रदर्शित करते हैं कि टुपल (tuple) जिसमें स्टेट एस्टिमेटर, अमूर्त लागत फलन और अमط अमूर्त डायनेमिक्स शामिल हैं, एक $(\epsilon, \delta)$ -AIS जनरेटर बनाता है।
- पैरामीटर $\epsilon_t$ (लागत सन्निकटन त्रुटि) और $\delta_t$ (डायनेमिक्स भविष्यवाणी त्रुटि) को स्पष्ट रूप से वर्स्ट-केस कंडीशनल एक्सपेक्टेड एस्टिमेशन एरर $\eta_t$ के संदर्भ में व्युत्पन्न किया गया है।

मुख्य योगदान

शोध पत्र के तीन प्राथमिक योगदान हैं:

स्पष्ट उप-इष्टतमता सीमाएं (Explicit Sub-optimality Bounds): लेखक निश्चितता तुल्यता नीतियों की उप-इष्टतमता पर स्पष्ट ऊपरी सीमाएं प्राप्त करते हैं। ये सीमाएं सिस्टम की "सुचारूता" (लिप्सचिट्ज़ स्थिरांक या सामान्यीकृत फलन $F^P, F^c$ ) और स्टेट एस्टिमेटर की गुणवत्ता (वर्स्ट-केस अपेक्षित एस्टिमेशन एरर $\eta_t$ द्वारा मापी गई) पर निर्भर करती हैं।
- सीमा $W^{\mathcal{P}, \mu^E}_t(h_t) - W^{\mathcal{P}}_t(h_t) \leq 2\alpha_t$ द्वारा दी गई है, जहाँ $\alpha_t$ , $\epsilon_t$ और $\delta_t$ का एक रिकर्सिव (recursive) फलन है।
स्टेट एब्स्ट्रैक्शन तक विस्तार: परिणामों को स्टेट एब्स्ट्रैक्शन (क्वांटाइजेशन या फीचर एक्सट्रैक्शन) वाले सेटिंग्स के लिए सामान्यीकृत किया गया है। यह ढांचे को बड़े पैमाने की प्रणालियों पर लागू करने की अनुमति देता है जहाँ पूर्ण अवस्था को निम्न-आयामी अमूर्त अवस्था में एकत्रित किया जाता है। सीमाएं एब्स्ट्रैक्शन प्रक्रिया और स्टेट एस्टिमेशन दोनों से उत्पन्न त्रुटियों को ध्यान में रखती हैं।
दृष्टांत उदाहरण (Illustrative Examples): शोध पत्र कई ठोस उदाहरण प्रदान करता है जो प्राप्त सीमाओं की प्रयोज्यता को दर्शाते हैं:
- सीमित अवलोकन शोर (Bounded Observation Noise): शोर त्रिज्या के साथ उप-इष्टतमता सीमा के रैखिक स्केलिंग को दिखाना।
- रुक-रुक कर खराब होने वाले अवलोकन (Intermittently Degraded Observations): उन परिदृश्यों को संभालना जहाँ अवलोकन कभी-कभी खराब होते हैं।
- स्टेट क्वांटाइजेशन (State Quantization): क्वांटाइजेशन त्रुटि और अवलोकन शोर के संयुक्त प्रभाव का विश्लेषण करना।
- लर्निंग/एडेप्टिव कंट्रोल: उन पैरामीटर एस्टिमेशन समस्याओं पर सीमाओं को लागू करना जहाँ सिस्टम के पैरामीटर अज्ञात होते हैं।
- इवेंट-ट्रिगर्ड कम्युनिकेशन: उन नियंत्रण प्रणालियों का विश्लेषण करना जहाँ संचार केवल तभी ट्रिगर होता है जब एस्टिमेशन एरर एक थ्रेशोल्ड से अधिक हो जाता है।
- गैर-समरूप मल्टी-पार्टिकल सिस्टम (Non-homogeneous Multi-particle Systems): उन प्रणालियों पर ढांचे को लागू करना जिनमें एक वैश्विक मीन-फील्ड घटक और स्थानीय पार्टिकल डायनेमिक्स होते हैं।

परिणाम

मुख्य सैद्धांतिक परिणाम (थ्योरम 2) स्थापित करता है कि यदि सिस्टम डायनेमिक्स और लागत विशिष्ट सुचारूता स्थितियों (धारणा 5) को पूरा करते हैं और एस्टिमेटर का एक सीमित वर्स्ट-केस एरर (धारणा 6) है, तो CE नीति और इष्टतम नीति के बीच प्रदर्शन अंतराल सीमित होता है।

एस्टिमेशन एरर पर निर्भरता: सीमाएं सीधे तौर पर एस्टिमेशन एरर $\eta_t$ के समानुपाती हैं। जैसे-जैसे $\eta_t \to 0$ (पूर्ण एस्टिमेशन), उप-इष्टतमता अंतराल समाप्त हो जाता है।
सुचारूता पर निर्भरता: अंतराल का परिमाण डायनेमिक्स और लागत फलनों के लिप्सचिट्ज़-जैसे स्थिरांकों द्वारा स्केल किया जाता है।
स्टेट एब्स्ट्रैक्शन: जब अमूर्त अवस्थाओं का उपयोग किया जाता है, तो सीमा में एस्टिमेशन एरर के अलावा एब्स्ट्रैक्शन एरर (वास्तविक अवस्था और उसके एब्स्ट्रैक्शन के बीच की दूरी) से संबंधित पद शामिल होते हैं।

दृष्टांत उदाहरणों में, लेखक दिखाते हैं कि सीमित शोर या बार-बार सटीक अवलोकनों वाले सिस्टम के लिए, CE नीति लगभग इष्टतम प्रदर्शन प्राप्त करती है, जो पूर्ण POMDP को हल करने के बजाय एक गणनात्मक रूप से सुलभ विकल्प प्रदान करती है।

महत्व और दावे

शोध पत्र का दावा है कि यह सामान्य POMDTs के लिए निश्चितता तुल्यता सिद्धांत का सामान्यीकरण प्रदान करता है, जो प्रतिबंधात्मक LQG सेटिंग से आगे बढ़ता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक औचित्य: यह गैर-रैखिक, आंशिक रूप से प्रेक्षित सेटिंग्स में CE नीतियों का उपयोग करने के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है, और यह सटीक रूप से मापता है कि एस्टिमेशन की गुणवत्ता के आधार पर नीति कितनी "खराब" हो सकती है।
व्यावहारिक सुगमता (Practical Tractability): यह सुझाव देता है कि उन परिदृश्यों में जहाँ सटीक इष्टतम POMDP समाधान गणनात्मक रूप से कठिन हैं, CE नीतियां एक व्यावहारिक विकल्प प्रदान करती हैं। यदि स्टेट एस्टिमेशन एरर कम है, तो ये नीतियां विश्वास-अवस्था (belief-state) डायनेमिक प्रोग्रामिंग की घातीय जटिलता के बिना लगभग इष्टतम प्रदर्शन प्राप्त कर सकती हैं।
एकीकृत ढांचा: स्टेट एब्स्ट्रैक्शन को शामिल करके, यह ढांचा नियंत्रण सिद्धांत और बड़े पैमाने के सिस्टम डिजाइन के बीच के अंतर को पाटता है, जिससे क्वांटाइज्ड या फीचर-आधारित नियंत्रण रणनीतियों का विश्लेषण संभव होता है।

लेखक स्पष्ट रूप से नोट करते हैं कि उनका विश्लेषण AIS ढांचे और सुचारूता धारणाओं पर निर्भर है। वे यह दावा नहीं करते कि CE नीतियां सभी मॉडलों के लिए इष्टतम हैं (उदाहरण के लिए, वे रिमार्क 3 में उल्लेख करते हैं कि CE नीतियां उन मॉडलों में विफल हो सकती हैं जहाँ अवस्था को सीखने के लिए सक्रिय सेंसिंग की आवश्यकता होती है)। परिणाम इष्टतमता की गारंटी के बजाय उप-इष्टतमता की डिग्री को चरित्रित करने वाली सीमाओं के रूप में प्रस्तुत किए गए हैं।