🤖 AI

Multi-Objective Constraint Inference using Inverse reinforcement learning

यह शोध पत्र मल्टी-ऑब्जेक्टिव कंस्ट्रेंट इन्फरेंस (MOCI) प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है जो परस्पर विरोधी उद्देश्यों वाले विषम विशेषज्ञ प्रदर्शनों से साझा बाधाओं और व्यक्तिगत प्राथमिकताओं को प्रभावी ढंग से निकालता है, और कम्प्यूटेशनल दक्षता बनाए रखते हुए प्रिडिक्टिव सटीकता में मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।

मूल लेखक: Syed Ihtesham Hussain Shah, Floris den Hengst, Aneta Lisowska, Annette ten Teije

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Syed Ihtesham Hussain Shah, Floris den Hengst, Aneta Lisowska, Annette ten Teije

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो किसी खेल के नियमों और खिलाड़ियों के गुप्त उद्देश्यों को समझने की कोशिश कर रहे हैं, लेकिन आप केवल उन्हें खेलते हुए देख सकते हैं। आप उनसे सवाल नहीं पूछ सकते, आपके पास कोई नियम पुस्तिका (rulebook) नहीं है। आपके पास बस अलग-अलग लोगों को एक ही खेल खेलते हुए दिखाने वाले वीडियो का एक ढेर है।

यह शोध पत्र एक नया जासूसी उपकरण पेश करता है जिसे MOCI (मल्टी-ऑब्जेक्टिव कंस्ट्रेंट इन्फरेंस) कहा जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

समस्या: एक ही आकार सबके लिए सही नहीं होता

पिछले अधिकांश जासूसी उपकरणों में दो बड़ी समस्याएँ थीं:

उन्होंने मान लिया कि सभी एक जैसे हैं: उन्होंने सोचा कि वीडियो में सभी खिलाड़ी बिल्कुल एक ही रणनीति का पालन कर रहे हैं और उनके लक्ष्य भी बिल्कुल एक समान हैं।
वे "अनविजिटेड" (जहाँ कोई न गया हो) क्षेत्रों से भ्रमित हो जाते थे: यदि कोई खिलाड़ी बोर्ड के किसी विशिष्ट वर्ग पर कभी नहीं कदम रखता था, तो पुराने उपकरण यह नहीं बता पाते थे कि वह वर्ग एक "निषिद्ध जाल" (forbidden trap) था या बस एक ऐसी जगह थी जिसे खिलाड़ी ने पसंद नहीं किया।

वास्तविक दुनिया में, यह ड्राइवरों के एक समूह को देखने जैसा है। कुछ आक्रामक होते हैं, कुछ सतर्क। उन सभी को यातायात के नियमों (कठोर बाधाएं जैसे रेड लाइट और दीवारें) का पालन करना होता है, लेकिन उनकी अपनी व्यक्तिगत पसंद भी होती है (कुछ सबसे तेज़ रास्ता चाहते हैं, अन्य सबसे सुंदर रास्ता चाहते हैं)। पुराने उपकरणों ने इन सभी अलग-अलग ड्राइवरों को एक ही "औसत" ड्राइवर में फिट करने की कोशिश की, जो सफल नहीं हुआ।

समाधान: MOCI (स्मार्ट जासूस)

लेखकों ने इन दोनों चीजों को एक साथ करके MOCI बनाया:

खिलाड़ियों को छाँटना: यह वीडियो के ढेर को देखता है और स्वचालित रूप से उन्हें समूहों में बांट देता है। यह समझ जाता है, "आह, ये तीन वीडियो एक 'घास-प्रेमी' के हैं जो पत्थरों से बचता है, और ये दो वीडियो एक 'पत्थर-प्रेमी' के हैं जो घास से बचता है।" यह खिलाड़ियों को उनकी अनूठी पसंद के आधार पर अलग करता है।
अदृश्य दीवारों को खोजना: एक बार जब इसे पता चल जाता है कि किसे क्या पसंद है, तो यह पूरे समूह को देखकर उन नियमों को खोजता है जिनका पालन हर कोई करता है। यदि कोई भी (न घास-प्रेमी, न पत्थर-प्रेमी) नीले पानी वाले टाइल्स पर नहीं जाता है, तो MOCI निष्कर्ष निकालता है, "वे नीले टाइल्स निषेध दीवारें होनी चाहिए।"

"ग्रिडवर्ल्ड" प्रयोग

इसकी जांच करने के लिए, शोधकर्ताओं ने एक डिजिटल गेम बोर्ड (ग्रिडवर्ल्ड) बनाया जिसमें विभिन्न प्रकार की भू-आकृतियाँ (terrain) थीं:

घास: कुछ खिलाड़ी इसे पसंद करते हैं।
पत्थर: अन्य खिलाड़ी इसे पसंद करते हैं।
पानी: कोई भी यहाँ नहीं जाता है। यह एक कठोर बाधा (दीवार) है।

उन्होंने "घास-प्रेमियों" और "पत्थर-प्रेमियों" के वीडियो को आपस में मिला दिया ताकि कंप्यूटर को यह पता न चले कि कौन कौन है। MOCI सफलतापूर्वक:

यह पता लगा सका कि दो अलग-अलग प्रकार के खिलाड़ी थे।
सीख सका कि घास-प्रेमी को घास पर चलने के लिए "बोनस" मिलता है।
सीख सका कि पत्थर-प्रेमी को पत्थरों पर चलने के लिए "बोनस" मिलता है।
सही ढंग से पहचान सका कि पानी के टाइल्स निषेध क्षेत्र (forbidden zones) थे, भले ही खिलाड़ियों ने कभी स्पष्ट रूप से यह नहीं कहा, "मैं वहाँ नहीं जा सकता।"

"हैलुसिनेशन" (भ्रम) की चेतावनी

पेपर एक छोटी सी खामी को स्वीकार करता है। यदि खिलाड़ी मानचित्र के किसी विशिष्ट कोने में कभी नहीं जाते हैं, तो MOCI थोड़ा घबरा सकता है और सोच सकता है, "वहाँ कोई नहीं गया, इसलिए यह एक दीवार होनी चाहिए!" इसे "फॉल्स पॉजिटिव" (गलत सकारात्मक) कहा जाता है। हालाँकि, पेपर दिखाता है कि यदि आप जासूस को अधिक वीडियो (अधिक डेटा) देते हैं, तो यह अनुमान लगाना बंद कर देता है और बहुत सटीक हो जाता है।

यह प्रतिस्पर्धा से बेहतर क्यों है?

लेखकों ने MOCI की तुलना दो अन्य प्रसिद्ध जासूसी उपकरणों (MLCI और ICRL) से की:

सटीकता: MOCI नियमों और प्राथमिकताओं का अनुमान लगाने में बहुत अधिक सटीक था (0.25 और 0.36 की त्रुटि दर के मुकाबले MOCI की त्रुटि दर केवल 0.027 थी)।
गति: हालांकि MOCI सबसे सरल उपकरण की तुलना में अधिक काम करता है, फिर भी यह बहुत तेज़ है। यह एक धीमी, सुस्त मशीन नहीं है; यह व्यावहारिक उपयोग के लिए पर्याप्त कुशल है।
लचीलापन: अन्य उपकरणों के विपरीत, MOCI अलग-अलग लक्ष्यों वाले लोगों की भीड़ को संभाल सकता है। अन्य केवल एक जैसे रोबोटों की भीड़ को ही संभाल सकते हैं।

मुख्य निष्कर्ष

MOCI एक नया तरीका है जिससे कंप्यूटर को अलग-अलग लोगों को देखकर सुरक्षा नियमों और व्यक्तिगत प्राथमिकताओं को समझना सिखाया जा सकता है। यह "सार्वभौमिक नियमों" (जैसे पानी में न चलें) को "व्यक्तिगत पसंद" (जैसे मुझे घास पसंद है) से अलग करता है, और यह काम वह पिछले तरीकों की तुलना में अधिक तेज़ी से और अधिक सटीकता से करता है।

नोट: पेपर में उल्लेख है कि इस तकनीक का उपयोग अंततः स्वास्थ्य सेवा में डॉक्टरों को साझा सुरक्षा नियमों के साथ व्यक्तिगत रोगी प्राथमिकताओं को संतुलित करने में मदद करने के लिए किया जा सकता है, लेकिन इस पेपर के वास्तविक प्रयोग पूरी तरह से डिजिटल ग्रिड गेम तक सीमित थे।

तकनीकी सारांश: मल्टी-ऑब्जेक्टिव कंस्ट्रेंट इन्फरेंस के लिए इनवर्स रीइन्फोर्समेंट लर्निंग

समस्या विवरण

इनवर्स रीइन्फोर्समेंट लर्निंग (IRL) का लक्ष्य विशेषज्ञ प्रदर्शनों (expert demonstrations) को देखकर किसी एजेंट के अंतर्निहित उद्देश्यों का अनुमान लगाना है। जबकि पारंपरिक दृष्टिकोण अक्सर एक सीखे गए रिवॉर्ड फंक्शन के माध्यम से इरादे को केवल मॉडल करते हैं, यह अत्यधिक जटिल और नाजुक मॉडल बनाने का कारण बन सकता है। एक अधिक सुदृढ़ विकल्प एक सरल रिवॉर्ड फंक्शन और हार्ड कंस्ट्रेंट्स (जैसे भौतिक बाधाएं या सुरक्षा सीमाएं) के सेट को संयुक्त रूप से सीखना है।

हालांकि, मौजूदा कंस्ट्रेंट इन्फरेंस विधियां दो प्रतिबंधात्मक धारणाओं से ग्रस्त हैं जो वास्तविक दुनिया के परिदृश्यों में उनकी प्रयोज्यता को सीमित करती हैं:

समरूपता (Homogeneity): वे यह मानती हैं कि प्रदर्शन एक ही प्रकार के विशेषज्ञ या समान उद्देश्यों वाले कई विशेषज्ञों द्वारा उत्पन्न किए जाते हैं।
पूर्व ज्ञान (A Priori Knowledge): वे अक्सर यह मानती हैं कि विशेषज्ञ का रिवॉर्ड फंक्शन पहले से पूरी तरह से ज्ञात है।

वास्तविकता में, देखा गया डेटा एक विषम जनसंख्या (heterogeneous population) से आता है जहाँ विशेषज्ञ साझा पर्यावरणीय बाधाओं (जैसे यातायात नियम, भौतिक दीवारें) को साझा करते हैं लेकिन अलग-अलग, निजी प्राथमिकताओं (जैसे आक्रामक बनाम सतर्क ड्राइविंग, या विशिष्ट टेरेन के लिए प्राथमिकताएं) को रखते हैं। वर्तमान विधियां इन साझा बाधाओं को व्यक्तिगत प्राथमिकताओं से अलग करने में संघर्ष करती हैं, जिससे अक्सर विविध व्यवहारों को पकड़ने में विफलता या कम्प्यूटेशनल अक्षमता होती है।

कार्यप्रणाली: मल्टी-ऑब्जेक्टिव कंस्ट्रेंट इन्फरेंस (MOCI)

इन चुनौतियोंों को संबोधित करने के लिए, लेखक मल्टी-ऑब्जेक्टिव कंस्ट्रेंट इन्फरेंस (MOCI) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जिसे अनलेबल, विषम विशेषज्ञ प्रक्षेप पथों (trajectories) से साझा हार्ड कंस्ट्रेंट्स और व्यक्तिगत प्राथमिकता भार (preference weights) को संयुक्त रूप से रिकवर करने के लिए डिज़ाइन किया गया है।

मुख्य फ्रेमवर्क

MOCI एक कंस्ट्रेंड मल्टी-ऑब्जेक्टिव मार्कोव डिसीजन प्रोसेस (CMOMDP) सेटिंग के भीतर कार्य करता है। यह मानता है:

एक साझा स्टेट-एक्शन फीचर स्पेस $\phi(s, a)$ ।
एक साझा हार्ड कंस्ट्रेंट्स $C$ (वर्जित अवस्थाएं) जो सभी विशेषज्ञों पर लागू होते हैं।
$K$ लेटेंट एक्सपर्ट टाइप्स (क्लस्टर्स), जिनमें से प्रत्येक एक अद्वितीय प्रिफरेंस वेट वेक्टर $w_k$ द्वारा विशेषता रखता है।

एल्गोरिदम डेटासेट $D$ के जॉइंट लॉग-लाइक्लिहुड को अधिकतम करने के लिए एक एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) दृष्टिकोण का उपयोग करता है:

E-स्टेप (क्लस्टरिंग): एल्गोरिदम कंस्ट्रेंट्स $C$ , वेट्स $\{w_k\}$ , और क्लस्टर प्रायर्स $\{\pi_k\}$ के वर्तमान अनुमानों को फिक्स करता है। यह कंप्यूट करता है कि एक विशिष्ट प्रक्षेप पथ $\xi_i$ के विशेषज्ञ प्रकार $k$ द्वारा उत्पन्न होने की पोस्टीरियर प्रोबेबिलिटी (रिस्पॉन्सिबिलिटी) $\gamma_{i,k}$ क्या है। यह प्रभावी रूप से अनलेबल प्रदर्शनों को विभिन्न प्रिफरेंस मॉडल्स के तहत उनकी लाइक्लिहुड के आधार पर क्लस्टर करता है।
M-स्टेप (पैरामीटर अपडेट):
- प्रायर्स (Priors): रिस्पॉन्सिबिलिटीज के एम्पिरिकल मीन के रूप में अपडेट किए जाते हैं।
- रिवॉर्ड वेट्स: प्रत्येक क्लस्टर के लिए, प्रिफरेंस वेट्स $w_k$ को ग्रेडिएंट एसेंट के माध्यम से अपडेट किया जाता है। ग्रेडिएंट को $\gamma_{i,k}$ द्वारा भारित किया जाता है, यह सुनिश्चित करते हुए कि रिवॉर्ड फंक्शन मैक्सिमम एंट्रॉपी IRL सिद्धांतों का उपयोग करके उस क्लस्टर को दिए गए प्रक्षेप पथों के अनुसार अनुकूलित हो सके।
- कंस्ट्रेंट्स: साझा कंस्ट्रेंट सेट $C$ को एक ग्रीडी सर्च के माध्यम से अपडेट किया जाता है। एल्गोरिदम कैंडिडेट स्टेट्स (वे अवस्थाएं जो डेटासेट में विजिट नहीं की गई हैं) का मूल्यांकन करता है कि यदि उस कैंडिडेट को $C$ में जोड़ा जाए तो जॉइंट लॉग-लाइक्लिहुड क्या होगा। एक कैंडिडेट को तभी जोड़ा जाता है जब वह लाइक्लिहुड को महत्वपूर्ण रूप से बढ़ाता है। यह प्रक्रिया शोर या अनविजिटेड स्टेट्स के प्रति ओवरफिटिंग को रोकने के लिए कुलबैक-लीब्लर डाइवर्जेंस $d_{DKL}$ द्वारा नियमित (regularized) की जाती है।

कम्प्यूटेशनल जटिलता

MOCI की सैद्धांतिक कम्प्यूटेशनल लागत स्टेट-एक्शन स्पेस साइज, होराइजन और इटरेशन की संख्या द्वारा डोमिनेट होती है। जटिलता $O(|S| \cdot |A| \cdot H)$ के रूप में व्युत्पन्न की जाती है, जहाँ $|S|$ स्टेट्स की संख्या है, $|A|$ एक्शन्स की संख्या है, और $H$ प्रक्षेप पथ का होराइजन है। ग्रिड-वर्ल्ड वातावरण में, यह ग्रिड आयामों के साथ द्विघात (quadratically) रूप से स्केल करती है।

मुख्य योगदान

नया फ्रेमवर्क: विषम, अनलेबल प्रदर्शनों से साझा हार्ड कंस्ट्रेंट्स और व्यक्तिगत मल्टी-ऑब्जेक्टिव प्राथमिकताओं को संयुक्त रूप से इन्फर करने वाला पहला फ्रेमवर्क MOCI का परिचय।
एल्गोरिथमिक नवाचार: एक EM-आधारित एल्गोरिदम का विकास जो प्रक्षेप पथों को क्लस्टर करता है और रिवॉर्ड वेट्स और कंस्ट्रेंट सेट्स दोनों को अपडेट करता है, जो व्यक्तिगत प्रेरणाओं को पर्यावरणीय सीमाओं से प्रभावी ढंग से अलग करता है।
सैद्धांतिक विश्लेषण: एल्गोरिदम की स्केलेबिलिटी प्रदर्शित करने वाला एक विस्तृत कम्प्यूटेशनल जटिलता विश्लेषण प्रदान करना।
अनुभवजन्य सत्यापन (Empirical Validation): एक नियंत्रित मल्टी-ऑब्जेक्टिव ग्रिडवर्ल्ड वातावरण में ग्राउंड-ट्रुथ कंस्ट्रेंट्स और विशिष्ट प्रिफरेंस प्रोफाइल को रिकवर करने में विधि की क्षमता का प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने MOCI का मूल्यांकन एक सिम्युलेटेड हेटेरोजेनियस ग्रिडवर्ल्ड वातावरण पर किया जिसमें दो विशेषज्ञ प्रकार थे: एक "ग्रास-लवर" (घास प्रेमी) और एक "रॉक-लवर" (पत्थर प्रेमी), दोनों साझा "वॉटर" (हार्ड कंस्ट्रेंट) टाइल्स के चारों ओर नेविगेट कर रहे थे।

कंस्ट्रेंट रिकवरी: MOCI ने सफलतापूर्वक ग्राउंड-ट्रुथ वॉटर टाइल्स को हार्ड कंस्ट्रेंट्स के रूप में पहचाना। इसने यह भी नोट किया कि डेटा कवरेज की कमी के कारण अनविजिटेड स्टेट्स को कभी-कभी कंस्ट्रेंट्स के रूप में इन्फर किया गया (फॉल्स पॉजिटिव), जिसे डाइवर्जेंस थ्रेशोल्ड को ट्यून करके कम किया गया।
प्रिफरेंस लर्निंग: एल्गोरिदम ने दोनों विशेषज्ञों के लिए अलग-अलग रिवॉर्ड वेट्स को सटीक रूप से रिकवर किया, ग्रास-लवर की घास के प्रति प्राथमिकता और रॉक/वॉटर के प्रति अरुचि, और रॉक-लवर की विपरीत प्राथमिकताओं को सही ढंग से पहचाना।
परफॉरमेंस तुलना: बेसलाइन मैक्सिमम लाइक्लिहुड कंस्ट्रेंट इन्फरेंस (MLCI) और इनवर्स कंस्ट्रेंड रीइन्फोर्समेंट लर्निंग (ICRL) के साथ तुलना करने पर:
- सटीकता (Accuracy): MOCI ने काफी कम कंस्ट्रेंट मीन स्क्वेर्ड एरर (CMSE) 0.027 प्राप्त किया, जबकि MLCI के लिए यह 0.25 और ICRL के लिए 0.36 था।
- दक्षता (Efficiency): MOCI ने MLCI (0.29s) के मुकाबले प्रतिस्पर्धी रनटाइम (0.69s) बनाए रखा और ICRL (8.90s) की तुलना में काफी तेज था।
- क्षमताएं: बिना प्रिफरेंस लर्निंग के होमोजेनियस डेटा तक सीमित बेसलाइन्स के विपरीत, MOCI ने हेटेरोजेनियस डेटा को सफलतापूर्वक संभाला और स्पष्ट रूप से प्राथमिकताओं को सीखा।
स्केलेबिलिटी: रनटाइम विश्लेषण ने दिखाया कि निष्पादन समय ग्रिड आकार और प्रक्षेप पथ की लंबाई के साथ प्रबंधनीय रूप से स्केल होता है, जो इसके सैद्धांतिक जटिलता को मान्य करता है।

महत्व और दावे

यह पेपर MOCI को वास्तविक दुनिया के कंस्ट्रेंट इन्फरेंस और प्रिफरेंस लर्निंग के लिए एक सटीक, लचीला और कम्प्यूटेशनल रूप से व्यावहारिक दृष्टिकोण के रूप में स्थापित करता है। लेखक दावा करते हैं कि MOCI विविध, संभावित रूप से विरोधाभासी व्यवहारों को मॉडल करने के साथ-साथ सुरक्षा सीमाओं को बनाए रखने की एक नई क्षमता स्थापित करता है। साझा बाधाओं को व्यक्तिगत प्राथमिकताओं से सफलतापूर्वक अलग करके, यह फ्रेमवर्क जटिल वातावरण में सुरक्षा दिशानिर्देशों के साथ रीइन्फोर्समेंट लर्निंग एजेंटों को संरेखित करने के लिए एक सुदृढ़ समाधान प्रदान करता है।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि वर्तमान में MOCI के लिए विशेषज्ञ प्रकारों की संख्या ( $K$ ) को पूर्व निर्धारित करना आवश्यक है और यह सख्ती से हार्ड कंस्ट्रेंट्स पर केंद्रित है, यह विविध मानव व्यवहारों से सीखने में सक्षम अधिक सुरक्षित, अनुकूलनीय AI सिस्टम की ओर एक मौलिक कदम प्रदान करता है। लेखकों द्वारा सुझाए गए भविष्य के कार्यों में $K$ की खोज को स्वचालित करने के लिए फिक्स्ड क्लस्टरिंग के स्थान पर बेयसियन नॉन-पैरामेट्रिक मेथड्स का उपयोग करना और फ्रेमवर्क को सॉफ्ट कंस्ट्रेंट्स और वास्तविक दुनिया के हेल्थकेयर अनुप्रयोगों तक विस्तारित करना शामिल है।