🤖 AI

Adaptive Policy Portfolios for Robust Markov Decision Processes

यह शोध पत्र आंशिक रूप से पहचान योग्य गतिकी वाले परिवेशों के लिए मानक सुदृढ़ मार्कोव निर्णय प्रक्रियाओं के एक कम रूढ़िवादी विकल्प के रूप में अनुकूली नीति पोर्टफोलियोओं (adaptive policy portfolios) को प्रस्तुत करता है, साथ ही यह स्थापित करता है कि ऐसे पोर्टफोलियोओं को प्रमाणित करना और संश्लेषित करना कम्प्यूटेशनल रूप से कठिन समस्याएँ ( $\forall\mathbb{R}$ -पूर्ण और $\exists\forall\mathbb{R}$ -पूर्ण रूप से) हैं और रनटाइम विशिष्टीकरण (runtime specialization) के अनुकूल एक ऑफलाइन निर्माण विधि प्रस्तुत करता है।

मूल लेखक: Kasper Engelen, Sebastian Junges, Guillermo A. Pérez, Marnix Suilen

प्रकाशित 2026-08-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kasper Engelen, Sebastian Junges, Guillermo A. Pérez, Marnix Suilen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें अक्सर अनगिनत संभावित भविष्यों का अनुकरण करके निर्णय लेना सीखती हैं। कल्पना कीजिए कि एक रोबोट कमरे में रास्ता खोज रहा है, या एक सॉफ्टवेयर एजेंट बिजली ग्रिड का प्रबंधन कर रहा है। इसे अच्छी तरह से करने के लिए, वे एक गणितीय ढांचे पर भरोसा करते हैं जो यह भविष्यवाणी करता है कि उनके कार्यों से दुनिया कैसे बदलेगी। हालाँकि, ये भविष्यवाणियाँ कभी भी पूर्ण नहीं होतीं। वास्तविक दुनिया अव्यवस्थित है, और इन मॉडलों को बनाने के लिए उपयोग किए जाने वाले डेटा में अक्सर अंतराल या त्रुटियां होती हैं। जब एक AI एक त्रुटिपूर्ण मॉडल पर कार्य करता है, तो वह विनाशकारी गलतियाँ कर सकता है। इसे संभालने के लिए, शोधकर्ताओं ने 'रोबस्ट डिसीजन-मेकिंग' (robust decision-making) नामक एक विधि विकसित की। एक एकल, सबसे संभावित परिणाम पर दांव लगाने के बजाय, AI संभावनाओं की एक सीमा के भीतर सबसे खराब स्थिति के लिए योजना बनाता है। वह पूछता है, "यदि मैं यह कदम उठाता हूँ तो सबसे बुरा क्या हो सकता है, और मैं इससे कैसे बच सकता हूँ?" यह दृष्टिकोण सुरक्षा की गारंटी देता है, लेकिन इसकी एक भारी कीमत है: AI अत्यधिक सतर्क हो जाता है। वह किसी आपदा की मामूली संभावना से बचने के लिए कार्य करने से इनकार कर सकता है या एक औसत दर्ता का रास्ता चुन सकता है, भले ही वह आपदा अत्यधिक असंभव हो।

यह शोध पत्र अनिश्चितता का सामना कर रहे आर्टिफिशियल इंटेलिजेंस के लिए एक स्मार्ट मध्य मार्ग तलाशता है। बेल्जियम और नीदरलैंड के विश्वविद्यालयों में कार्यरत शोधकर्ता एक ऐसी प्रणाली का प्रस्ताव करते हैं जो AI को एक एकल, कठोर योजना के प्रति प्रतिबद्ध होने के लिए मजबूर नहीं करती है। इसके बजाय, वे पहले से ही विभिन्न रणनीतियों का एक छोटा, क्यूरेटेड संग्रह तैयार करने का सुझाव देते हैं। इसे एक पायलट के रूप में सोचें जो साफ आसमान के लिए एक उड़ान योजना, भारी टर्बुलेंस के लिए दूसरी, और अचानक आए तूफान के लिए तीसरी योजना साथ रखता है। पायलट को यह नहीं पता होता कि कौन सा मौसम आएगा, लेकिन उनके पास प्रत्येक के लिए सही योजना तैयार रहती है। शोधकर्ताओं की भाषा में, यह एक "एडेप्टिव पॉलिसी पोर्टफोलियो" (adaptive-policy portfolio) है। यह प्रणाली विभिन्न संभावित वास्तविकताओं के लिए सर्वोत्तम चाल की गणना करते हुए, ऑफलाइन इन विभिन्न रणनीतियों को संश्लेषित करती है। फिर, एक बार जब सिस्टम तैनात हो जाता है, तो यह वातावरण के विकसित होने का अवलोकन करता है। जैसे-जैसे यह सबूत जुटाता है कि वास्तव में क्या हो रहा है, यह उस रणनीति पर स्विच हो जाता है जो सबसे उपयुक्त है। यह AI को डर के कारण पंगु हुए बिना सुरक्षित रहने की अनुमति देता है।

टीम ने इस विचार का दो अलग-अलग चुनौतियों पर परीक्षण किया। पहला एक डेटा सेंटर का सिमुलेशन था, जहाँ एक कंट्रोलर को तापमान, आर्द्रता और कंप्यूटर जॉब्स की कतार का प्रबंधन करना होता है। सिस्टम को यह ठीक से नहीं पता था कि उसके कूलिंग फैन कितने प्रभावी हैं या बाहर की हवा कितनी गर्मी लाएगी। दूसरा चुनौतीपूर्ण कार्य एक ड्रोन था जो हवा के झोंकों और मोटर फेल होने के जोखिम से जूझते हुए एक त्रि-आयामी ग्रिड के माध्यम से उड़ रहा था। दोनों मामलों में, शोधकर्ताओं ने रणनीतियों का एक पुस्तकालय बनाया, जिसमें से प्रत्येक को हवा की शक्ति या कूलिंग दक्षता के विशिष्ट संयोजन के लिए अनुकूलित किया गया था। फिर, उन्होंने ड्रोन के उड़ने या डेटा सेंटर के चलने के दौरान सबसे अच्छी रणनीति चुनने के लिए एक सरल, तेज़ एल्गोरिदम का उपयोग किया। परिणाम प्रभावशाली थे। केवल कुछ रणनीतियों के पोर्टफोलियो का उपयोग करके, सिस्टम ने एक एकल, अत्यधिक सतर्क योजना का उपयोग करने की तुलना में अपनी गलतियों को नाटकीय रूप रूप से कम कर दिया। दस रणनीतियों के एक छोटे पुस्तकालय के साथ, ड्रोन की त्रुटियां लगभग शून्य तक गिर गईं, और डेटा सेंटर कंट्रोलर ने न्यूनतम ऊर्जा व्यय के साथ वातावरण को स्थिर रखा।

हालाँकि, यह शोध पत्र एक महत्वपूर्ण सीमा को भी प्रकट करता है। जबकि व्यावहारिक विधि अच्छी तरह से काम करती है, शोधकर्ताओं ने सिद्ध किया कि जटिल समस्याओं के लिए रणनीतियों का परफेक्ट सेट खोजना गणितीय रूप से कुशलतापूर्वक संभव नहीं है। उन्होंने दिखाया कि यह प्रमाणित करने का कार्य कि क्या रणनीतियों का एक दिया गया सेट पर्याप्त अच्छा है, या सबसे अच्छा सेट खोजना, उन समस्याओं की श्रेणी में आता है जिन्हें हल करना कंप्यूटर के लिए अत्यंत कठिन है। यहाँ तक कि समस्या के सरलीकृत संस्करणों में भी, जटिलता इतनी अधिक है कि किसी भी तेज़, सामान्य-उद्देश्य वाले एल्गोरिदम का अस्तित्व नहीं हो सकता जो हर मामले में इसे हल कर सके। इसका अर्थ यह है कि हालांकि शोधकर्ता एक बहुत अच्छा, व्यावहारिक सिस्टम बना सकते हैं, वे यह गारंटी नहीं दे सकते कि यह सबसे अच्छा संभव वाला है। कठिनाई इसलिए उत्पन्न होती है क्योंकि सिस्टम को इस बात का हिसाब रखना पड़ता है कि वातावरण हर संभव तरीके से कैसे व्यवहार कर सकता है, और विभिन्न रणनीतियों के बीच की अंतःक्रियाएं संभावनाओं का एक ऐसा जाल बनाती हैं जिसे पूरी तरह से सुलझाना बहुत बड़ा हो जाता है।

अध्ययन यह निष्कर्ष निकालता है कि यह दृष्टिकोण अनिश्चितता के अनुकूल होने का एक शक्तिशाली, प्रमाणित तरीका प्रदान करता है। यह एक कठोर, एकल योजना और हर विचारणीय भविष्य के लिए एक साथ योजना बनाने के असंभव कार्य के बीच के अंतर को पाटता है। शोधकर्ताओं ने प्रदर्शित किया कि विकल्पों के एक छोटे, प्रबंधनीय सेट को स्वीकार करके, एक AI अज्ञात के विरुद्ध मजबूत रह सकता है और साथ ही लगभग उतना ही अच्छा प्रदर्शन कर सकता है जितना कि वह भविष्य को जानने पर करता। ट्रेड-ऑफ यह है कि सिस्टम को इन विकल्पों को पहले से तैयार करने में समय बिताना होगा, और ऑनलाइन चयन प्रक्रिया को सही रणनीति की पहचान करने में थोड़ा समय लगेगा। फिर भी, प्रयोगों ने दिखाया कि यह लागत प्रदर्शन में होने वाले लाभों की तुलना में बहुत कम है। यह कार्य एक ऐसा स्पष्ट मार्ग प्रदान करता है जिससे ऐसे AI सिस्टम बनाए जा सकें जो सुरक्षित और प्रभावी दोनों हों, यह स्वीकार करते हुए कि हम हर गणितीय पहेली को पूरी तरह से हल नहीं कर सकते, फिर भी हम ऐसे उपकरण बना सकते हैं जो वास्तविक दुनिया को संभालने के लिए पर्याप्त अच्छे हैं।

तकनीकी सारांश: सुदृढ़ मार्कोव निर्णय प्रक्रियाओं के लिए अनुकूली नीति पोर्टफोलियो (Adaptive Policy Portfolios for Robust Markov Decision Processes)

समस्या विवरण (Problem Statement)

सुदृढ़ मार्कोव निर्णय प्रक्रियाएं (Robust Markov Decision Processes - RMDPs) अनिश्चितता के तहत क्रमिक निर्णय लेने की समस्या को हल करती हैं, जहाँ एक अनिश्चितता सेट (uncertainty set $U$ ) के भीतर संभावित संक्रमण फलनों (transition functions) के विरुद्ध एक नीति को अनुकूलित किया जाता है। मानक दृष्टिकोण एक ऐसी एकल नीति खोजने का प्रयास करता है जो सबसे खराब स्थिति वाले मान (worst-case value) को अधिकतम करे। हालांकि, यह अक्सर अत्यधिक रूढ़िवादी व्यवहार की ओर ले जाता है, क्योंकि नीति $U$ के सबसे कठिन वातावरणों द्वारा नियंत्रित होती है, भले ही वे वातावरण असंभावित हों या अवलोकन द्वारा जल्दी खारिज कर दिए गए हों।

जबकि 'रोबस्ट रिग्रेट' (Robust Regret) न्यूनीकरण एक विकल्प प्रदान करता है जो एक विशिष्ट वास्तविकता के सापेक्ष कम से कम अंतर (shortfall) को कम करता है, यह फिर भी प्रत्येक संभावित वातावरण के लिए एक ही नीति के प्रति प्रतिबद्ध रहता है। यह यह पता लगाने के लिए ऑनलाइन साक्ष्य का लाभ उठाने में विफल रहता है कि कौन सा मॉडल वातावरण को नियंत्रित कर रहा है।

यह शोध पत्र अनुकूली नीति पोर्टफोलियो (Adaptive Policy Portfolios) का प्रस्ताव करता है: पूर्व-निर्धारित (offline) रूप से संश्लेषित मेमोरीलेस रैंडमाइज्ड नीतियों का एक परिमित सेट, जिसे एक हल्के ऑनलाइन चयनकर्ता (online selector) के साथ जोड़ा गया है। पोर्टफोलियो का लक्ष्य रोबस्ट रिग्रेट (Robust Regret) को कम करना है, जिसे सर्वोत्तम पोर्टफोलियो सदस्य और उस नीति के बीच के अंतर के रूप में परिभाषित किया गया है जो सत्य वातावरण ज्ञात होने पर इष्टतम होती। इसका लक्ष्य एक नियंत्रित अनुकूलन प्राप्त करना है जहाँ ऑनलाइन चयन पूर्व-सत्यापित नीतियों के एक परिमित सेट पर होता है।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक दो मुख्य उप-समस्याओं की कम्प्यूटेशनल जटिलता का विश्लेषण करते हैं:

प्रमाणन (Certification): एक विशिष्ट पोर्टफोलियो $\Pi$ को देखते हुए, यह निर्धारित करना कि क्या इसकी रोबस्ट रिग्रेट एक थ्रेशोल्ड $t$ से नीचे है।
संश्लेषण (Synthesis): अधिकतम $k$ आकार का एक पोर्टफोलियो बनाना जो रोबस्ट रिग्रेट को न्यूनतम करता है।

विश्लेषण वास्तवों के सिद्धांत (Theory of the Reals) ( $\exists\mathbb{R}, \forall\mathbb{R}, \exists\forall\mathbb{R}$ ) और स्क्वायर-रूट-सम (SQRS) समस्या के पदानुक्रम का उपयोग करता है। शोध पत्र सामान्य (गैर-आयताकार) अनिश्चितता और $(s, a)$ -आयताकार (rectangular) अनिश्चितता (जहाँ एक स्टेट-एक्शन पेयर पर अनिश्चितता अन्यों से स्वतंत्र होती है) के बीच अंतर करता है।

मुख्य सैद्धांतिक तंत्रों में शामिल हैं:

लिफ्ट निर्माण (Lift Construction): एक रूपांतरण जो नीति तुलना समस्या को प्रमाणन समस्या में बदल देता है, एक "बोनस" क्रिया के माध्यम से एक संदर्भ नीति को प्रत्येक वास्तविकता में इष्टतम बनाकर।
प्रतिबंध रूपांतरण (Restriction Transformation): विशिष्ट एक्शन सेट्स तक संश्लेषित नीतियों को सीमित करने की एक विधि, जिसमें गैर-अनुमत क्रियाओं को "विनाशकारी" (एक उच्च नकारात्मक पुरस्कार वाले सिंक की ओर ले जाने वाली) बनाकर सुनिश्चित किया जाता है कि न्यूनीकरण वांछित वर्ग के भीतर रहे।
हार्डनेस रिडक्शन (Hardness Reductions): यह पेपर पॉलीनोमियल नॉन-पॉजिटिविटी, बूलियन सैटिस्फिएबिलिटी (UNSAT/SAT), और स्क्वायर-रूट सम्स को एनकोड करने वाले RMDPs का निर्माण करके लोअर बाउंड्स स्थापित करता है।

व्यावहारिक निर्माण (Practical Construction)

सैद्धांतिक रूप से कठिन होने के बावजूद, लेखक एक ऑफलाइन निर्माण पाइपलाइन का प्रस्ताव करते हैं:

विविक्तकरण (Discretization): अनिश्चितता पैरामीटर स्पेस को सेल्स (cells) में विभाजित किया जाता है।
उम्मीदवार पीढ़ी (Candidate Generation): प्रत्येक सेल के मध्य बिंदु के लिए एक इष्टतम नीति की गणना की जाती है।
मूल्यांकन (Evaluation): प्रत्येक उम्मीदवार का सभी सेल्स के विरुद्ध रोबस्ट मूल्यांकन किया जाता है ताकि एक "रिग्रेट प्रोफाइल" (पैरामीटर स्पेस में रिग्रेट का एक वेक्टर) उत्पन्न किया जा सके।
क्लस्टरिंग (Clustering): इन प्रोफाइल्स पर K-means क्लस्टरिंग लागू की जाती है ताकि $k$ नीतियों के एक उपसमुच्चय का चयन किया जा सके जो स्पेस को सबसे अच्छी तरह कवर करते हैं।
ऑनलाइन परिनियोजन (Online Deployment): रनटाइम पर सर्वोत्तम पोर्टफोलियो सदस्य को चुनने के लिए अपर कॉन्फिडेंस बाउंड (UCB) एल्गोरिदम का उपयोग किया जाता है, जहाँ पोर्टफोलियो सदस्यों को बैंडिट आर्म्स (bandit arms) के रूप में माना जाता है।

मुख्य योगदान (Key Contributions)

अनुकूली नीति पोर्टफोलियो का परिचय: यह शोध पत्र अनुकूली नीति पोर्टफोलियो को RMDPs के लिए अनुकूलन के एक परिमित और प्रमाणित रूप के रूप में औपचारिक रूप देता है, जो एकल रोबस्ट नीति और पूर्ण बिलीफ-स्टेट प्लानिंग के बीच के अंतर को पाटता है।
जटिलता वर्गीकरण (Complexity Classification):
- प्रमाणन (Certification): एसाइक्लिक $(s, a)$ -रेक्टेंगुलर RMDPs में नियत (deterministic) पोर्टफोलियो के लिए $\forall\mathbb{R}$ -complete सिद्ध हुआ है। यह तब भी सत्य है जब आयतकारता (rectangularity) आमतौर पर RMDPs को सरल बनाती है; पोर्टफोलियो सदस्यों पर पॉइंटवाइज मैक्सिमम आवश्यक क्वांटिफायर अल्टरनेशन को पुन: पेश करता है।
- संश्लेषण (Synthesis): सामान्य रैशनल पोलिटोपिक अनिश्चितता के तहत एक bounded पोर्टफोलियो का निर्माण $\exists\forall\mathbb{R}$ -complete है।
- एकल-नीति मामला (Single-Policy Case): एक एकल नीति के लिए न्यूनतम रोबस्ट रिग्रेट को विभिन्न स्तरों के लिए कठिन दिखाया गया है, जिसमें coNP-hard, coSQRS-hard, और $\forall\mathbb{R}$ -hard शामिल हैं, जो अनिश्चितता संरचना (रेक्टेंगुलर बनाम सामान्य) और चक्रों (cycles) की उपस्थिति पर निर्भर करता है।
कठोरता के स्रोतों की पहचान (Identification of Hardness Sources): यह पेपर हार्डनेस के संरचनात्मक स्रोतों को अलग करता है:
- बूलियन हार्डness: दोनों नीतियों द्वारा साझा किए गए अनिश्चित ट्रांजिशन से उत्पन्न होती है।
- स्क्वायर-रूट सम हार्डनेस: तब उत्पन्न होती है जब साझा अनिश्चित विकल्प चक्रों (cycles) पर स्थित होते हैं।
- बीजगणितीय हार्डनेस (Algebraic Hardness): नीति स्पेस पर अनुकूलन से उत्पन्न होती है।
प्रायोगिक सत्यापन (Empirical Validation): एक प्रोटोटाइप कार्यान्वयन यह प्रदर्शित करता है कि विविक्तकरण और क्लस्टरिंग के माध्यम से निर्मित पोर्टफोलियो, एकल नीतियों की तुलना में अनुभवजन्य रोबस्ट रिग्रेट को काफी कम कर देते हैं, जहाँ पोर्टफोलियो का आकार बढ़ने के साथ रिग्रेट तेजी से गिरता है।

परिणाम (Results)

सैद्धांतिक परिणाम (Theoretical Results)

जटिलता परिदृश्य को पेपर की तालिका 1 में संक्षेपित किया गया है:

एक दी गई नीति को प्रमाणित करना सामान्य मामलों में $\forall\mathbb{R}$ -complete है और एसाइक्लिक रेक्टेंगुलर मामलों में भी coNP-hard (और coSQRS-hard) है।
एक दिया गया पोर्टफोलियो प्रमाणित करना एसाइक्लिक रेक्टेंगुलर RMDPs में नियत पोर्टफोलियो के लिए भी $\forall\mathbb{R}$ -complete है।
एक रैंडमाइज्ड नीति का संश्लेषण करना सामान्य मामलों में $\forall\mathbb{R}$ -hard है और रेक्टेंगुलर मामलों में NP/coNP/SQRS-hard है।
एक बाउंडेड पोर्टफोलियो का संश्लेषण करना सामान्य मामलों में $\exists\forall\mathbb{R}$ -complete है। रेक्टेंगुलर अनिश्चितता के तहत, यह समस्या $k=1$ के लिए भी कठिन है।

ये परिणाम संकेत देते हैं कि मानक जटिलता धारणाओं के तहत कुशल सामान्य-उद्देश्य वाले सटीक संश्लेषण या प्रमाणन एल्गोरिदम का अस्तित्व संदिग्ध है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो बेंचमार्क पर दृष्टिकोण का मूल्यांकन किया: एक डेटासेंटर क्लाइमेट कंट्रोल समस्या और एक 3D ग्रिड में UAV कंट्रोल समस्या।

रिग्रेट न्यूनीकरण (Regret Reduction): पोर्टफोलियो का आकार $K$ बढ़ने के साथ अनुभवजन्य रोबस्ट रिग्रेट काफी कम हो गया। उदाहरण के लिए, UAV-Large बेंचमार्क में, रिग्रेट 0.126 ( $K=1$ ) से गिरकर 0.003 ( $K=10$ ) हो गया।
ऑनलाइन पहचान (Online Identification): UCB का उपयोग करते हुए, सिस्टम ने एक निश्चित लेकिन अज्ञात वातावरण में सर्वोत्तम पोर्टफोलियो सदस्य की सफलतापूर्वक पहचान की। हालांकि जैसे-जैसे $K$ बढ़ता है, सटीक सर्वोत्तम सदस्य की पहचान करने वाले रन का अंश कम होता जाता है (अधिक निकट-टाई के कारण), लेकिन अनुशंसित आर्म का रिग्रेट सर्वोत्तम सदस्य के सापेक्ष न्यूनतम बना रहता है। यह इंगित करता है कि भले ही सटीक सर्वोत्तम सदस्य की पहचान न हो पाए, फिर भी चयनित सदस्य लगभग उतना ही अच्छा होता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि अनुकूली नीति पोर्टफोलियो एकल रोबस्ट नीतियों की अत्यधिक रूढ़िवादिता और पूर्ण बिलीफ-स्टेट प्लानिंग (जैसे, बेयस-एडेप्टिव MDPs) की जटिलता के बीच एक परिमित और प्रमाणित मध्य मार्ग प्रदान करते हैं।

लेखक इस बात पर जोर देते हैं कि हालांकि सैद्धांतिक जटिलता सीमाएं उच्च हैं (जो सटीक संश्लेषण के लिए कुशल एल्गोरिदम को खारिज करती हैं), व्यावहारिक ऑफलाइन निर्माण काफी कम अनुभवजन्य रिग्रेट वाले पोर्टफोलियो प्रदान करता है। यह कार्य यह समझने के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है कि ये समस्याएँ कठिन क्यों हैं (वास्तवों के सिद्धांत और SQRS से जोड़कर) और यह भी प्रदर्शित करता है कि एक सरल विविक्तकरण और क्लस्टरिंग दृष्टिकोण वास्तव में प्रभावी है।

शोध पत्र निष्कर्ष निकालता है कि सैद्धांतिक कठोरता और व्यावहारिक उपयोगिता के बीच का अंतर एक खुला क्षेत्र बना हुआ है, विशेष रूप से रेक्टेंगुलर अनिश्चितता के तहत बाउंडेड संश्लेषण और एकल-नीति न्यूनतम रिग्रेट की सटीक जटिलता के संबंध में। प्रस्तावित विधि ऑनलाइन बिलीफ अपडेट के कम्प्यूटेशनल ओवरहेड के बिना रनटाइम विशेषज्ञता (runtime specialization) की अनुमति देती है।