🤖 machine learning

Nonparametric Bayesian Inverse Reinforcement Learning with Data-Parallel Gibbs Sampling

यह शोध पत्र एक नॉनपैरामीट्रिक बायेसियन इन्वर्स रीइन्फोर्समेंट लर्निंग फ्रेमवर्क प्रस्तुत करता है जो डिDirichlet प्रोसेस प्रायर और एक डेटा-पैरेलल कोलैप्स्ड गिब्स सैंपलर का उपयोग करता है ताकि संकलित प्रदर्शनों (pooled demonstrations) से विशिष्ट विशेषज्ञ पुरस्कार प्रकारों की संख्या को स्वचालित रूप से अनुमानित किया जा सके, जो ग्रिड-वर्ल्ड कार्यों पर मानक पैरामीट्रिक बेसलाइनों की तुलना में बेहतर क्लस्टरिंग सटीकता और स्केलेबल प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Sai Anirudh Katupilla, Shreeya Dasa Lakshminath

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sai Anirudh Katupilla, Shreeya Dasa Lakshminath

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसे कमरे में कदम रखते हैं जहाँ लोगों से भरा हुआ है, और वे सभी विशेषज्ञ शेफ (chef) हैं। वे सभी एक ही व्यंजन बना रहे हैं, लेकिन प्रत्येक की अपनी गुप्त रेसिपी है। आपका काम केवल उन्हें खाना बनाते हुए देखकर उन गुप्त रेसिपीज़ का पता लगाना है।

यह इन्वर्स रिइन्फोर्समेंट लर्निंग (Inverse Reinforcement Learning - IRL) की चुनौती है। आमतौर पर, वैज्ञानिक यह मान लेते हैं कि कमरे में मौजूद सभी लोग बिल्कुल एक ही रेसिपी का पालन कर रहे हैं। वे सभी खाना बनाने की शैलियों को मिलाकर एक "औसत" रेसिपी बनाने की कोशिश करते हैं। लेकिन समस्या यह है कि यदि एक शेफ को तीखा खाना पसंद है और दूसरे को बिल्कुल नहीं, तो औसत रेसिपी फीकी और बेस्वाद हो जाती है। इसका स्वाद ऐसा होता है जो वास्तव में किसी को भी पसंद नहीं आता।

बड़ा विचार: जादुई मेनू (The Magic Menu)
लेखकों ने एक नया सिस्टम बनाया है जो यह नहीं मानता कि सभी एक जैसे हैं। इसके बजाय, उन्होंने एक "नॉनपैरामेट्रिक बायेसियन" (Nonparametric Bayesian) दृष्टिकोण का उपयोग किया है। इसे एक जादुई रेस्टोरेंट मेनू की तरह समझें जिसमें व्यंजनों की संख्या निश्चित नहीं है। यह खाली शुरू होता है, लेकिन जैसे-जैसे यह शेफ को देखता है, यह कहता है, "ओह, आपको लाल मिर्च पसंद है? चलिए एक 'लाल मिर्च' श्रेणी जोड़ते हैं।" फिर यह देखता है कि कोई और ब्लूबेरी का उपयोग कर रहा है और यह "ब्लू बेरी" श्रेणी जोड़ देता है। यह खुद-ब-खुद पता लगा लेता है कि कितने अलग-अलग प्रकार के शेफ हैं, बिना किसी इंसान द्वारा पहले से संख्या बताए।

गुप्त सॉस: रेस्टोरेंट गेम (The Secret Sauce: The Restaurant Game)
इसे करने के लिए, उन्होंने एक चतुर गणितीय ट्रिक का उपयोग किया जिसे डिरिचलेट प्रोसेस (Dirichlet Process) कहा जाता है, जिसे अक्सर "चाइनीज रेस्टोरेंट प्रोसेस" के रूप में समझाया जाता है। कल्पना कीजिए कि एक रेस्टोरेंट है जिसमें अनंत मेजें (tables) हैं।

जब एक नया शेफ (खाना बनाने के नए चरणों का एक सेट) आता है, तो वह अन्य शेफों को देखता है।
यदि वह देखता है कि शेफों का एक समूह एक ही तरह की सामग्री पसंद करता है, तो वह उसी मेज पर बैठ जाता है।
यदि वह अद्वितीय है, तो वह एक बिल्कुल नई मेज शुरू करता है।
यह सिस्टम इन मेजों को अपडेट करना जारी रखता है, समान शेफों को एक साथ समूहित करता है और जो अलग हैं उन्हें अलग करता है।

गति बढ़ाने का तरीका: सहायकों की एक टीम (The Speed Boost: A Team of Helpers)
यह गणित करना धीमा है क्योंकि कंप्यूटर को हर शेफ के लिए हजारों संभावित भविष्यों की कल्पना करनी पड़ती है ताकि यह देखा जा सके कि कौन सी रेसिपी सबसे अच्छी है। इसे तेज़ बनाने के लिए, लेखकों ने काम को कई कंप्यूटर कोर (जैसे कि सहायकों की एक टीम) में विभाजित किया। उन्होंने रे (Ray) नामक टूल का उपयोग किया ताकि 8 अलग-अलग वर्कर्स एक साथ सिमुलेशन चला सकें।

परिणाम: उन्होंने केवल एक वर्कर की तुलना में 8 वर्कर्स के साथ काम को 4.79 गुना तेज़ी से पूरा किया।
चुनौती: जब उन्होंने बहुत अधिक वर्कर्स (16) जोड़ दिए, तो सहायकों के बीच आपस में बात करने की स्थिति पैदा हो गई। यहाँ ठीक से क्या हुआ: प्रत्येक हेल्पर ने रेसिपी का थोड़ा अलग संस्करण निकाला। उनके काम को मिलाने के लिए, सिस्टम ने एक विशिष्ट नियम का उपयोग किया जिसे "कंसेंसस मर्ज ह्यूरिस्टिक" (consensus merge heuristic) कहा जाता है। इस नियम ने कहा, "यदि दो रेसिपी एक बहुत ही सूक्ष्म मात्रा (विशेष रूप से 10^-6) से भिन्न हैं, तो वे अलग समूह हैं।" क्योंकि सहायकों के गणनाओं में बहुत मामूली अंतर आ गया था, सिस्टम ने उन्हें अलग समूह मान लिया, जबकि वे वास्तव में एक ही थे। इस कारण से सिस्टम ने समूहों की कुल संख्या को वास्तविक संख्या से बढ़ाकर 16-18 कर दिया, जिससे सॉर्टिंग की सटीकता खराब हो गई। यह वैसा ही है जैसे 16 लोग ताश की गड्डी छाँटने की कोशिश कर रहे हों; यदि वे पूरी तरह से तालमेल नहीं बिठा पाते, तो वे गलती से एक ही कार्ड को दो अलग-अलग ढेरों में रख सकते हैं, जिससे ऐसा लग सकता है कि ढेर बहुत अधिक हैं।

उन्होंने क्या पाया (और क्या नहीं)
टीम ने अपने सिस्टम का परीक्षण ऑब्जेक्टवर्ल्ड (ObjectWorld) नामक एक ग्रिड वर्ल्ड पर किया, जो रंगीन वस्तुओं वाला एक 10x10 चेकरबोर्ड जैसा है।

दो-शेफ टेस्ट: जब उनके पास दो प्रकार के विशेषज्ञ थे (एक जो लाल वस्तुओं को पसंद करता है, दूसरा जो नीली वस्तुओं को पसंद करता है), तो उनका सिस्टम एकदम सटीक था। उसने ठीक 2 समूह खोजे और 100% बार विशेषज्ञों से मिलान किया। एक मानक "औसत" विधि पूरी तरह विफल रही, जिसका स्कोर 0.000 था।
तीन-शेफ टेस्ट: जब उन्होंने तीसरा प्रकार (एक शेफ जो काली वस्तुओं को पसंद करता है) जोड़ा, तो उनके सिस्टम ने हर बार (हर रन में) सही ढंग से 3 समूहों का अनुमान लगाया। हालाँकि, वह व्यक्तिगत शेफों को केवल 48% से 58% बार ही सही ढंग से वर्गीकृत कर सका।
- यह पूरी तरह से क्यों नहीं काम किया? पेपर सुझाव देता है कि यह इसलिए नहीं था कि गणित गलत था। बल्कि इसलिए था क्योंकि "किचन" (ग्रिड) अव्यवस्थित था। उनके रैंडम सेटअप में, "नीली वस्तुओं को पसंद करने वाला" शेफ और "काली वस्तुओं को पसंद करने वाला" शेफ लगभग एक ही रास्ते पर चलते थे क्योंकि नीले प्रेमी को गाइड करने के लिए वहां कोई नीली वस्तु नहीं थी। सिस्टम उन्हें पहचान नहीं सका क्योंकि उनका व्यवहार बहुत समान दिख रहा था। लेखकों का सुझाव है कि तीन प्रकारों के लिए सटीक परिणाम प्राप्त करने के लिए, आपको वस्तुओं को ग्रिड में सावधानीपूर्वक रखना होगा, न कि उन्हें बस रैंडम तरीके से छोड़ देना होगा।

निष्कर्ष
यह पेपर साबित करता है कि आप एक ऐसा सिस्टम बना सकते हैं जो यह जाने बिना कि कितने विशेषज्ञ हैं, यह पता लगा सकता है कि कितने अलग-अलग विशेषज्ञ मौजूद हैं।

सरल मामलों के लिए (2 प्रकार): यह पूरी तरह से काम करता है, पुराने "औसत" तरीके को बड़े अंतर से पीछे छोड़ देता है।
जटिल मामलों के लिए (3 प्रकार): यह समूहों की सही संख्या (हमेशा 3) ढूंढ लेता है, लेकिन यदि वातावरण पर्याप्त स्पष्ट संकेत नहीं देता है, तो व्यक्तियों को छाँटना कठिन हो जाता है।
गति के लिए: आप कई कंप्यूटर कोर का उपयोग करके इसे लगभग 5 गुना तेज़ बना सकते हैं, लेकिन आपको सावधान रहना होगा कि बहुत अधिक वर्कर्स न जोड़ दें, अन्यथा "कंसेंसस मर्ज" नियम गणना के सूक्ष्म अंतरों से भ्रमित हो सकता है, जिससे सिस्टम समूहों की संख्या को बढ़ा (16-18 तक) सकता है और डेटा को गलत तरीके से विभाजित कर सकता है।

लेखक सावधानी से कहते हैं कि यह ग्रिड वर्ल्ड पर एक सिमुलेशन है, न कि वास्तविक रोबोट या सेल्फ-ड्राइविंग कारों पर वास्तविक दुनिया का परीक्षण। लेकिन उन्होंने अपना कोड और एक "कंटेनर" (सभी उपकरणों के साथ एक डिजिटल बॉक्स) उपलब्ध कराया है, जो यह साबित करता है कि यह "जादुई मेनू" दृष्टिकोण विभिन्न प्रकार के विशेषज्ञों को समझने के लिए एक ठोस कदम है।

तकनीकी सारांश: डेटा-समानांतर गिब्स सैंपलिंग के साथ नॉनपैरामेट्रिक बेयसियन इनवर्स रीइन्फोर्समेंट लर्निंग

समस्या विवरण

इनवर्स रीइन्फोर्समेंट लर्निंग (IRL) का लक्ष्य विशेषज्ञ प्रदर्शनों (expert demonstrations) से रिवॉर्ड फंक्शन को रिकवर करना है। हालाँकि, मानक फॉर्मूलेशन आमतौर पर एक एकल होमोजेनियस एक्सपर्ट को मानते हैं। जब प्रदर्शनों को अलग-अलग प्राथमिकताओं वाले कई विशेषज्ञों से एकत्र किया जाता है, तो पैरामेट्रिक तरीके अक्सर विफल हो जाते हैं, जिससे एक औसत रिवॉर्ड प्राप्त होता है जो किसी भी व्यक्तिगत विशेषज्ञ के लिए सटीक नहीं होता। इसके अलावा, मौजूदा बेयसियन दृष्टिकोणों में आमतौर पर रिवॉर्ड प्रकारों (क्लस्टर्स) की संख्या को पहले से ही निर्धारित करना आवश्यक होता है, जो कि एक अनुचित धारणा है जब लक्ष्य लेटेंट स्ट्रक्चर (latent structure) की खोज करना हो। इसके अतिरिक्त, रिवॉर्ड पोस्टीरियर्स पर मार्कोव चेन मोंटे कार्लो (MCMC) इन्फरेंस करना कम्प्यूटेशनल रूप से महंगा है क्योंकि प्रत्येक सैंपल पर 'इनर प्लानिंग' (वैल्यू इटरेशन) की आवश्यकता होती है, जो नॉनपैरामेट्रिक मॉडल्स के लिए एक बाधा बन जाती है क्योंकि इन्फरेंस लागत ट्राजेक्टरी काउंट और क्लस्टर काउंट दोनों के साथ बढ़ती है।

कार्यप्रणाली

लेखक एक ऐसा सिस्टम प्रस्तावित करते हैं जो डेटा-समानांतर गिब्स सैंपलिंग के साथ मिलकर एक नॉनपैरामेट्रिक बेयसियन IRL फ्रेमवर्क के माध्यम से इन चुनौतियों का समाधान करता है।

जेनरेटिव मॉडल: सिस्टम रिवॉर्ड फंक्शन्स पर एक डिरिचलेट प्रोसेस (DP) प्रायर रखता है। यह रिवॉर्ड प्रकारों की संख्या को रिवॉर्ड्स के साथ संयुक्त रूप से इन्फर करने की अनुमति देता है, बजाय इसके कि इसे पूर्व-निर्धारित किया जाए। रिवॉर्ड फंक्शन को $R(s) = \phi(s)^\top w$ के रूप में पैरामीटराइज किया गया है, जहाँ $\phi(s)$ एक फीचर वेक्टर है और $w$ एक वेट वेक्टर है। लाइकलीहुड (likelihood) एक बोल्ट्ज़मैन-रेशनल एक्सपर्ट मॉडल का अनुसरण करती है, जहाँ ट्राजेक्टरी की प्रायिकता सॉफ्ट वैल्यू इटरेशन द्वारा निर्धारित होती है।
इन्फरेंस एल्गोरिदम: लेखक एक कोलैप्स्ड गिब्स सैंपलर लागू करते हैं जो प्रति स्वीप दो अपडेट्स के बीच बारी-बारी से काम करता है:
1. क्लस्टर असाइनमेंट अपडेट: कन्सेन्ट्रेशन पैरामीटर $\alpha$ के आधार पर ट्राजेक्टरीज को मौजूदा क्लस्टर्स या नए क्लस्टर्स में असाइन करने के लिए चाइनीज रेस्टोरेंट प्रोसेस (CRP) अपडेट का उपयोग करता है।
2. वेट अपडेट: प्रत्येक क्लस्टर के लिए नए रिवॉर्ड वेट्स प्रस्तावित करने के लिए मेट्रोपोलिस-हेस्टिंग्स (MH) अपडेट का उपयोग करता है।
3. प्लानिंग: लाइकलीहुड इवैल्यूएशन के लिए इनर प्लानिंग रूटीन के रूप में 100 फिक्स्ड बेलमैन बैकअप्स के साथ सॉफ्ट वैल्यू इटरेशन का उपयोग किया जाता है।
पैरेललाइजेशन: कम्प्यूटेशनल लागत को संबोधित करने के लिए, सैंपलर को HPC हार्डवेयर पर Ray का उपयोग करके CPU कोर्स के माध्यम से समानांतर (parallelize) किया गया है। ट्राजेक्टरीज को वर्कर्स के बीच विभाजित किया जाता है, जिनमें से प्रत्येक स्वतंत्र गिब्स स्वीप चलाता है। एक कंसेंसस मर्ज स्टेप प्रत्येक स्वीप के बाद परिणामों को एकत्रित करता है, जो वर्कर्स के बीच संगत क्लस्टर्स की पहचान करने के लिए $10^{-6}$ की टॉलरेंस के साथ एलिमेंट-वाइज तुलना का उपयोग करता है।
कार्यान्वयन: सिस्टम JAX (लगभग 2,100 लाइनों का पायथन) में बनाया गया है, जो बोल्ट्ज़मैन लॉग-पॉलिसी कंप्यूटेशन के लिए JIT कंपाइलेशन का उपयोग करता है, जबकि क्लस्टर रीलेबलिंग के लिए लचीलापन बनाए रखने के लिए बाहरी कंट्रोल फ्लो के लिए प्लेन पायथन का उपयोग करता है।

मुख्य योगदान

पूर्ण कार्यान्वयन: CRP और MH अपडेट के साथ कोलैप्स्ड गिब्स सैंपलर का एक ओपन-सोर्स कार्यान्वयन, जिसे ObjectWorld बेंचमार्क पर ग्राउंड-ट्रुथ रिवॉर्ड्स के विरुद्ध सत्यापित किया गया है।
समानांतर इन्फरेंस इंजन: एक डेटा-पैरलल एक्सटेंशन जो Ray का उपयोग करता है जो महत्वपूर्ण स्पीडअप प्राप्त करता है और कंसेंसस मर्ज ह्यूरिस्टिक से उत्पन्न होने वाले थ्रूपुट और सटीकता के बीच के ट्रेड-ऑफ को स्पष्ट करता है।
अनुभवजन्य मूल्यांकन: दो और तीन विशेषज्ञ प्रकारों के माध्यम से एक कठोर मूल्यांकन, जिसमें यह विश्लेषण शामिल है कि कैसे वातावरण में फीचर डिस्क्रिमिनेबिलिटी (feature discriminability) सैंपलर के व्यवहार से स्वतंत्र रूप से रिकवरी क्वालिटी को सीमित करती है।
पुनरुत्पादकता (Reproducibility): एक कंटेनरीकृत सिस्टम (Docker इमेज और SLURM स्क्रिप्ट्स) जो HPC इंफ्रास्ट्रक्चर पर सीधे रेप्लिकेशन को सक्षम बनाता है।

परिणाम

सिस्टम का मूल्यांकन $10 \times 10$ ObjectWorld ग्रिड पर किया गया जिसमें ऑब्जेक्ट कलर्स और डिस्टेंस को एनकोड करने वाले बाइनरी फीचर वेक्टर्स का उपयोग किया गया।

दो-एक्सपर्ट सेटअप ( $K=2$ ): सीरियल सैंपलर ने 1.000 के एडजस्टेड रैंड इंडेक्स (ARI) के साथ सफलतापूर्वक $K=2$ को रिकवर किया, जो मैक्सिमम एंट्रॉपी (MaxEnt) IRL बेसलाइन (ARI=0.000) से काफी बेहतर है, जो एक औसत रिवॉर्ड पर कोलैप्स हो जाता है। सिस्टम ने ~134 सेकंड के वॉल टाइम के साथ 500 स्वीप्स में इसे हासिल किया।
तीन-एक्सपर्ट सेटअप ( $K=3$ ): सैंपलर ने सभी रन में क्लस्टर्स की संख्या ( $K=3$ ) को सही ढंग से पहचाना। हालाँकि, असाइनमेंट ARI 0.48 से 0.58 के बीच रहा। पोस्ट-हॉक विश्लेषण से पता चला कि यह सीमा सैंपलर या हाइपरपैरामीटर्स के कारण नहीं, बल्कि वातावरण के विशिष्ट इंस्टेंशिएशन के कारण होने वाले व्यवहार संबंधी ओवरलैप (behavioral overlap) के कारण थी। कई रैंडम सीड्स में, कुछ ऑब्जेक्ट कलर्स अनुपस्थित थे, जिससे अलग-अलग रिवॉर्ड प्रकार (जैसे, "ब्लू-लवर" और "ब्लैक-लॉवर") अविभेद्य ट्राजेक्टरी डिस्ट्रीब्यूशन उत्पन्न करते थे। लेखक निष्कर्ष निकालते हैं कि विश्वसनीय $K=3$ मूल्यांकन के लिए रैंडम सीडिंग के बजाय नियंत्रित ऑब्जेक्ट प्लेसमेंट की आवश्यकता है।
पैरलल स्पीडअप: HPC हार्डवेयर (AMD EPYC नोड्स) पर, सिस्टम ने 8 वर्कर्स के साथ 4.79× का पीक स्पीडअप प्राप्त किया।
थ्रूपुट-एक्यूरेसी ट्रेडऑफ़: जबकि अधिक वर्कर्स के साथ वॉल टाइम कम हुआ, ARI तेजी से गिर गया (16 वर्कर्स पर 0.035 तक गिर गया)। इसका कारण कंसेंसस मर्ज स्टेप था: स्वतंत्र MH अपडेट्स के कारण वेट वेक्टर्स में थोड़ा विचलन (drift) आया, और मर्ज ह्यूरिस्टिक ने तब अलग क्लस्टर्स को गलत तरीके से पहचान लिया जब विचलन $10^{-6}$ टॉलरेंस से अधिक हो गया। $\ell_2$ वेट एरर स्थिर रहा, जो दर्शाता है कि प्रति-वर्कर रिवॉर्ड इन्फरेंस सटीक था, लेकिन एग्रीगेशन के दौरान क्लस्टर आइडेंटिटी खो गई थी।

महत्व और दावे

पेपर का दावा है कि वह यह प्रदर्शित कर सकता है कि नॉनपैरामेट्रिक बेयसियन IRL क्लस्टर काउंट को पूर्व-निर्दिष्ट किए बिना दोनों विशेषज्ञ प्रकारों और उनके विशिष्ट रिवॉर्ड फंक्शन्स को प्रभावी ढंग से रिकवर कर सकता है। सिस्टम उन परिदृश्यों में पूर्ण रिकवरी प्राप्त करता है जहाँ वातावरण पर्याप्त फीचर डिस्क्रिमिनेबिलिटी प्रदान करता है ( $K=2$ केस)।

लेखक अपने $K=3$ केस के संबंध में अपने निष्कर्षों को एल्गोरिदम की विफलता के रूप में नहीं, बल्कि सिंथेटिक IRL बेंचमार्क डिजाइन के बारे में एक महत्वपूर्ण अंतर्दृष्टि के रूप में प्रस्तुत करते हैं: फीचर डिस्क्रिमिनेबिलिटी को केवल रिवॉर्ड स्पेसिफिकेशन से नहीं माना जा सकता है और इसे विशिष्ट वातावरण इंस्टेंशिएशन के विरुद्ध सत्यापित किया जाना चाहिए।

पैरेललाइजेशन के संबंध में, पेपर कंसेंसस मर्ज स्टेप को थ्रूपुट-एक्यूरेसी ट्रेडऑफ़ के स्रोत के रूप थ्रूपुट को बनाए रखते हुए ड्रिफ्ट को हल करने के लिए एक केंद्रीकृत वेट अपडेट का सुझाव देता है। यह कार्य स्केलेबल, नॉनपैरामेट्रिक IRL के लिए एक आधार स्थापित करता है लेकिन स्वीकार करता है कि मर्ज मैकेनिज्म को रिफाइन करने और अधिक विविध, प्रोसीजरली जनरेटेड वातावरण पर परीक्षण करने के लिए भविष्य के कार्य की आवश्यकता है।