📊 statistics

Statistical analysis of Inverse Entropy-regularized Reinforcement Learning

यह शोध पत्र इनवर्स एंट्रॉपी-रेगुलराइज्ड रीइन्फोर्समेंट लर्निंग के लिए एक सांख्यिकीय ढांचा प्रस्तुत करता है जो एंट्रॉपी रेगुलराइजेशन को लीस्ट-स्क्वायर रिकंस्ट्रक्शन के साथ जोड़कर शास्त्रीय IRL में रिवॉर्ड रिकवरी की गैर-विशिष्टता (non-uniqueness) को हल करता है, जिससे अनुमानित रिवॉर्ड फंक्शन के लिए गैर-एसिम्प्टोटिक मिनिमैक्स ऑप्टिमल कन्वर्जेंस रेट्स स्थापित होते हैं और बिहेवियर क्लोनिंग को आधुनिक सांख्यिकीय शिक्षण सिद्धांत के साथ जोड़ा जाता है।

मूल लेखक: Denis Belomestny, Alexey Naumov, Artemy Rubtsov, Sergey Samsonov

प्रकाशित 2026-09-11

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Denis Belomestny, Alexey Naumov, Artemy Rubtsov, Sergey Samsonov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक मौलिक चुनौती है जिसे 'इनवर्स रिइन्फोर्समेंट लर्निंग' (प्रतिलोम सुदृढीकरण शिक्षण) के रूप में जाना जाता है। कल्पना कीजिए कि एक छात्र एक कुशल शिल्पकार को काम करते हुए देख रहा है। छात्र उन गतिविधियों, विकल्पों और अंतिम परिणामों को देखता है, लेकिन वह उन आंतरिक नियमों या पुरस्कारों (रिवॉर्ड्स) को नहीं जानता जो शिल्पकार के हाथों का मार्गदर्शन कर रहे थे। इनवर्स रिइन्फोर्समेंट लर्निंग का लक्ष्य उन छिपे हुए नियमों को रिवर्स-इंजीनियर करना है। यह बताने के बजाय कि क्या करना है, कंप्यूटर यह समझने की कोशिश करता है कि विशेषज्ञ के कार्यों का अवलोकन करके वह क्या हासिल करने की कोशिश कर रहा था। यह मशीनों को मनुष्यों की तरह व्यवहार करना सिखाने के लिए अत्यंत महत्वपूर्ण है, चाहे वह कार चलाना हो या जटिल प्रणालियों का प्रबंधन करना हो। हालाँकि, लंबे समय तक, यह प्रक्रिया एक भ्रमित करने वाली समस्या से ग्रस्त रही है: कई अलग-अलग नियमों के सेट एक ही व्यवहार की व्याख्या कर सकते हैं। जिस प्रकार एक ही पथ तक कई अलग-अलग मानचित्रों का अनुसरण करके पहुँचा जा सकता है, उसी प्रकार एक विशेषज्ञ के कार्यों को अनगिनत विभिन्न पुरस्कार प्रणालियों द्वारा उचित ठहराया जा सकता है। इस अस्पष्टता ने विशेषज्ञ के निर्णयों के पीछे के वास्तविक प्रेरणा को सटीक रूप से पकड़ना कठिन बना दिया, जिससे कंप्यूटर के पास एक स्पष्ट उत्तर के बजाय संभावनाओं की एक सूची रह जाती थी।

शोधकर्ताओं डेनिस बेलोमेस्तनी, एलेक्सी नौमोव, आर्टेमी रुबत्सोव और सर्गेई सैमसनोव ने इस विशिष्ट भ्रम को हल करने के लिए एक नया सांख्यिकीय ढांचा विकसित किया है। उनका कार्य इस समस्या के एक संस्करण पर केंद्रित है जहाँ कंप्यूटर को केवल सबसे स्पष्ट विकल्प पर टिके रहने के बजाय अपने विकल्पों को तलाशने के लिए प्रोत्साहित किया जाता है, जिसे 'एंट्रॉपी रेगुलराइजेशन' नामक तकनीक के रूप में जाना जाता है। जबकि इस पद्धति ने विशेषज्ञ के व्यवहार को अधिक सहज और यथार्थवादी बनाया, इसने पहले कई संभावित पुरस्कार स्पष्टीकरणों की समस्या को हल नहीं किया था। टीम ने इस अन्वेषण-अनुकूल दृष्टिकोण को 'लीस्ट-स्क्वायर रिकंस्ट्रक्शन' नामक एक सटीक गणितीय पद्धति के साथ जोड़ा। कंप्यूटर द्वारा अनुमानित और विशेषज्ञ द्वारा वास्तव में किए गए कार्यों के बीच के अंतर को एक मापने योग्य त्रुटि के रूप में मानकर, उन्होंने एक ऐसी प्रणाली बनाई जो कई संभावनाओं में से एक अद्वितीय, मानक पुरस्कार कार्य (रिवॉर्ड फंक्शन) का चयन करती है। यह नया पुरस्कार केवल एक अनुमान नहीं है; यह वह एकल सर्वोत्तम फिट, या "कैनोनिकल रिप्रेजेंटेटिव" है, जो प्रणाली के विशिष्ट नियमों के तहत विशेषज्ञ के देखे गए व्यवहार के साथ संरेखित होता है, यह स्वीकार करते हुए कि वास्तविक अंतर्निहित पुरस्कार आंशिक रूप से पहचानने योग्य बना रह सकता है।

शोधकर्ताओं ने विशेषज्ञ के व्यवहार को घटनाओं के एक यादृच्छिक संग्रह के बजाय, जुड़े हुए घटनाओं के एक अनुक्रम के रूप में मॉडल किया, जो आपस में जुड़ी निर्णयों की एक श्रृंखला के समान है। उन्होंने पहले विशेषज्ञ की 'पॉलिसी' का अनुमान लगाने के लिए एक सांख्यिकीय तकनीक का उपयोग किया, जो अनिवार्य रूप से एक मानचित्र है कि विशेषज्ञ विभिन्न स्थितियों में कार्यों का चयन कैसे करता है। एक बार जब इस मानचित्र का अनुमान लग गया, तो उन्होंने पुरस्कार कार्य को पुनर्गठित करने के लिए इसका उपयोग किया। उनकी सफलता का एक प्रमुख हिस्सा यह सिद्ध करना था कि यह दो-चरणीय प्रक्रिया विश्वसनीय रूप से काम करती है, भले ही डेटा सीमित हो और प्रणाली जटिल हो। उन्होंने दिखाया कि जैसे-जैसे विशेषज्ञ के व्यवहार के अधिक उदाहरण प्रदान किए जाते हैं, अनुमानित पुरस्कार इस विशिष्ट कैनोनिकल लीस्ट-स्क्यर्स रिवॉर्ड के करीब पहुंचता जाता है। उन्होंने इस सुधार की गति पर सख्त गणितीय सीमाएं भी स्थापित कीं, जिससे यह सुनिश्चित हुआ कि यह पद्धति केवल एक सैद्धांतिक विचार नहीं है बल्कि एक मजबूत उपकरण है जो वास्तविक दुनिया के डेटा के साथ अनुमानित रूप से व्यवहार करता है।

इस पद्धति को व्यवहार में उपयोगी बनाने के लिए, जहाँ वातावरण के पूर्ण नियम अक्सर अज्ञात होते हैं, टीम ने एक गणना योग्य एल्गोरिदम डिजाइन किया। यह एल्गोरिदम जटिल समस्या को छोटे, प्रबंधनीय टुकड़ों में तोड़ देता है जिन्हें उपलब्ध डेटा का उपयोग करके चरण-दर-चरण हल किया जा सकता है। उन्होंने यह भी सिद्ध किया कि उनके इस व्यावहारिक संस्करण के अपने स्वयं के गारंटी मानक हैं, जिसका अर्थ है कि यह एक अनुमानित समय सीमा के भीतर सही कैनोनिकल रिप्रेजेंटेटिव तक पहुँचेगा। उनका कार्य केवल विशेषज्ञ के कार्यों की नकल करने और उनके पीछे के कारणों को वास्तव में समझने के बीच के अंतर को पाटता है। उस अस्पष्टता को सुलझाकर जिसने लंबे समय से इस क्षेत्र को बाधित किया है, वे मशीनों को न केवल यह सीखने का एक स्पष्ट मार्ग प्रदान करते हैं कि क्या करना है, बल्कि यह भी कि क्यों वह सही है, जो कि सिद्धांतों के एक एकल, सुपरिभाषित सेट पर आधारित है।

तकनीकी सारांश: इनवर्स एंट्रॉपी-रेगुलराइज्ड रिइन्फोर्समेंट लर्निंग का सांख्यिकीय विश्लेषण

समस्या विवरण
इनवर्स रिइन्फोर्समेंट लर्निंग (IRL) एक ऐसे रिवॉर्ड फंक्शन (पुरस्कार फलन) का अनुमान लगाने का प्रयास करता है जो एक मार्कोव डिसीजन प्रोसेस (MDP) के भीतर देखे गए विशेषज्ञ व्यवहार (expert behavior) की व्याख्या कर सके। शास्त्रीय IRL में एक मौलिक चुनौती समाधान की गैर-विशिष्टता (non-uniqueness) है: कई अलग-अलग रिवॉर्ड फंक्शन एक ही इष्टतम नीति (optimal policy) को प्रेरित कर सकते हैं, जिससे यह व्युत्क्रम समस्या (inverse problem) अनिश्चित (ill-posed) हो जाती है। जबकि एंट्रॉपी रेगुलराइजेशन (Softmax/Soft Bellman समीकरण) दिए गए रिवॉर्ड के लिए इष्टतम नीति की विशिष्टता सुनिश्चित करता है, यह स्वयं रिवॉर्ड की विशिष्टता की गारंटी नहीं देता है। हालिया पहचान संबंधी परिणाम (identifiability results) संकेत देते हैं कि विशेषज्ञ प्रदर्शन (expert demonstrations) आमतौर पर केवल संगत रिवॉर्ड्स के एक व्यवहार्य सेट को निर्धारित करते हैं, न कि किसी एकल वास्तविक (ground-truth) रिवॉर्ड को। यह शोध पत्र इस शेष अस्पष्टता को संबोधित करने के लिए इनवर्स एंट्रॉपी-रेगुलराइज्ड रिइन्फोर्समेंट लर्निंग (ER-IRL) के लिए एक सांख्यिकीय ढांचा विकसित करता है, जो विशेषज्ञ नीति के अनुरूप एक अद्वितीय, कैनोनिकल (canonical) रिवॉर्ड फंक्शन का चयन करता है।

कार्यप्रणाली
लेखक एक दो-चरणीय सांख्यिकीय ढांचे का प्रस्ताव करते हैं जो बिहेवियर क्लोनिंग और लीस्ट-स्क्वायर्स रिवॉर्ड पुनर्निर्माण के बीच सेतु बनाता है:

पॉलिसी एस्टीमेशन (बिहेवियर क्लोनिंग): विशेषज्ञ प्रदर्शनों को एक मार्कोव चेन के रूप में मॉडल किया गया है जिसका इनवेरिएंट डिस्ट्रीब्यूशन एक अज्ञात विशेषज्ञ नीति $\pi^\star$ द्वारा परिभाषित है। नीति का अनुमान सशर्त वितरणों के एक वर्ग पर पेनलाइज्ड मैक्सिमम-लाइक्लीहुड प्रक्रिया का उपयोग करके लगाया जाता है। यह चरण एक एस्टिमेटर $\hat{\pi}$ प्रदान करता है जो विशेषज्ञ नीति का सन्निकटन (approximation) करता है।
कैनोनिकल रिवॉर्ड पुनर्निर्माण: रिवॉर्ड रिकवरी को एक सामान्य व्युत्क्रम समस्या के रूप में मानने के बजाय, लेखक एक कैनोनिकल लीस्ट-स्क्वायर्स रिवॉर्ड $R^\star_{LS}$ $R_{L S}^{⋆}$ को परिभाषित करते हैं।
- वे एक नीति $\pi^\star$ के साथ संगत रिवॉर्ड्स के वर्ग को $R_f(s, a) = f(s) + \lambda \log \pi^\star(a|s) - \gamma P f(s, a)$ के रूप में वर्णित करते हैं, जहाँ $f$ एक स्वैच्छिक फलन है (जो रिवॉर्ड शेपिंग का प्रतिनिधित्व करता है)।
- इस अस्पष्टता को हल करने के लिए, वे $R^\star_{LS}$ को इस संगत वर्ग के उस तत्व के रूप में परिभाषित करते हैं जो $L^2(\rho^\star)$ नॉर्म को न्यूनतम करता है, जहाँ $\rho^\star$ स्टेशनरी स्टेट-एक्शन डिस्ट्रीब्यूशन है। यह ऑपरेटर $M = I - \gamma P$ के रेंज पर लॉग-पॉलिसी टर्म के ऑर्थोगोनल प्रोजेक्शन (लंबवत प्रक्षेपण) के अनुरूप है।
गणनीय अनुमान (Computable Estimation): चूंकि ट्रांजिशन ऑपरेटर $P$ $P$ और स्टेशनरी डिस्ट्रीब्यूशन अज्ञात हैं, इसलिए लेखक एक गणनीय एस्टिमेटर का निर्माण करते हैं जो निम्नलिखित का उपयोग करता है:
- गैलरकिन सन्निकटन (Galerkin Approximation): ट्रांजिशन कर्नेल को एक परिमित-आयामी सीव सबस्पेस (sieve subspace) पर प्रोजेक्ट करना।
- प्लग-इन एस्टीमेशन: अज्ञात सशर्त अपेक्षाओं (conditional expectations) को उनके अनुमानित नीति $\hat{\pi}$ से प्राप्त मानों से बदलना।
- टू-टाइमस्केल स्टोकेस्टिक एप्रोक्सिमेशन (TTSA): पैरामीटर्स और सहायक वेरिएबल्स के युग्मित अनुमान को संभालने के लिए एक रैखिक TTSA योजना का उपयोग करके परिणामी प्रोजेक्टेड नॉर्मल इक्वेशंस को हल करना।

प्रमुख योगदान
यह शोध पत्र इस ढांचे का एक कठोर गैर-एसिम्प्टोटिक (non-asymptotic) सांख्यिकीय विश्लेषण प्रदान करता है, जिसके विशिष्ट योगदान निम्नलिखित हैं:

कैनोनिकल फॉर्मूलेशन: लेखक एक अद्वितीय लीस्ट-स्क्वायर्स रिवॉर्ड $R^\star_{LS}$ को स्टेशनरी ज्योमेट्री $L^2(\rho^\star)$ में सूत्रबद्ध करते हैं, जो स्वाभाविक शेपिंग गैर-पहचान क्षमता (shaping non-identifiability) के बावजूद अनुमान के लक्ष्य को स्पष्ट रूप से परिभाषित करता है।
ओरेकल असमानताएं और ऊपरी सीमाएं (Oracle Inequalities and Upper Bounds):
- वे मार्कोव सैंपलिंग के तहत पेनलाइज्ड मैक्सिमम-लाइक्लीहुड पॉलिसी एस्टिमेटर के अपेक्षित कंडीशनल कुलबैक-लीब्लर (KL) लॉस के लिए एक हाई-प्रोबेबिलिटी ओरेकल इनइक्वलिटी स्थापित करते हैं।
- वे इस पॉलिसी एरर बाउंड को सटीक लीस्ट-स्क्वायर्स रिवॉर्ड पुनर्निर्माण के लिए एक $L^2(\rho^\star)$ एरर बाउंड में स्थानांतरित करते हैं।
- हॉल्डर-स्मूथ सॉफ्ट $Q$ -फंक्शंस और स्पार्स ReLU पॉलिसी क्लासेस के लिए, वे सैंपल साइज $N$ , मिक्सिंग टाइम $\tau_{mix}$ , और एंट्रॉपी रेगुलराइजेशन पैरामीटर $\lambda$ पर निर्भर करते हुए स्पष्ट नॉनपैरामीट्रिक कन्वर्जेंस रेट्स निकालते हैं।
मिनिमैक्स लोअर बाउंड्स: यह शोध पत्र मार्कोव सैंपलिंग के तहत एक निश्चित शेपिंग फंक्शन वाले संगत रिवॉर्ड्स के परिवार के लिए एक सूचना-सैद्धांतिक मिनिमैक्स लोअर बाउंड स्थापित करता है, जो समस्या की सांख्यिकीय कठिनाई को प्रदर्शित करता है।
गणनीय एस्टिमेटर्स के लिए परिमित-नमूना गारंटी: वे गैलरकिन सन्निकटन और TTSA का उपयोग करके एक पूर्णतः गणनीय ट्राजेक्टरी-आधारित एस्टिमेटर का निर्माण करते हैं। वे इस एस्टिमेटर के लिए परिमित-नमूना गारंटी सिद्ध करते हैं, जो नीति अनुमान, गैलरकिन सन्निकटन, प्लग-इन सेंट्रिंग और स्टोकेस्टिक एप्रोक्सिमेशन से उत्पन्न त्रुटियों को स्पष्ट रूप से अलग करता है।

प्रमुख परिणाम

कन्वर्जेंस रेट्स: विश्लेषण अतिरिक्त KL डाइवर्जेंस और रिवॉर्ड पुनर्निर्माण त्रुटि के लिए गैर-एसिम्प्टोटिक कन्वर्जेंस रेट्स प्रदान करता है। स्मूथनेस $\beta$ और आयाम $d$ वाले हॉल्डर-स्मूथ क्लासेज के लिए, रिवॉर्ड एरर लगभग $O(N^{-\frac{2\beta}{2\beta+d}})$ के रूप में स्केल होता है, जो मिक्सिंग टाइम और रेगुलराइजेशन पैरामीटर्स द्वारा नियंत्रित होता है।
स्थिरता (Stability): कैनोनिकल रिवॉर्ड को परिभाषित करने वाला ऑर्थोगोनल प्रोजेक्शन यह सुनिश्चित करता है कि $L^2(\rho^\star)$ ज्योमेट्री में बेलमैन प्रोजेक्शन द्वारा पॉलिसी एस्टीमेशन त्रुटियों को (लॉग-फैक्टर्स के अलावा) बढ़ाया नहीं जाता है।
त्रुटि अपघटन (Error Decomposition): गणनीय एस्टिमेटर के लिए अंतिम एरर बाउंड चार अलग-अलग पदों का योग है:
1. पॉलिसी एस्टीमेशन एरर (सैंपल साइज और कवरिंग नंबर्स द्वारा संचालित)।
2. गैलरकिन सन्निकटन एरर (सीव स्पेस के आयाम और स्मूथनेस द्वारा संचालित)।
3. प्लग-इन सेंट्रिंग एरर (विशेषज्ञ से अनुमानित नीति के विचलन द्वारा संचालित)।
4. स्टोकेस्टिक एप्रोक्सिमेशन एरर (TTSA पुनरावृत्तियों की संख्या द्वारा संचालित)।

महत्व
यह शोध पत्र दावा करता है कि यह बिहेवियर क्लोनिंग, IRL और आधुनिक सांख्यिकीय शिक्षण सिद्धांत के बीच के अंतर को पाटता है। जबकि मौजूदा साहित्य व्यवहार्य रिवॉर्ड्स के 'सेट' को वर्णित करता है या एसिम्प्टोटिक गारंटी प्रदान करता है, यह कार्य एक विशिष्ट, गणनीय एंट्रॉपी-रेगुलराइज्ड लीस्ट-स्क्वायर्स पुनर्निर्माण ढांचे के लिए परिमित-नमूना, हाई-प्रोबेबिलिटी और मिनिमैक्स गारंटी प्रदान करता है। यह स्पष्ट करता है कि मार्कोव निर्भरता, पॉलिसी-एस्टिमेशन जटिलता, एंट्रॉपी स्मूथिंग और रिवॉर्ड आइडेंटिफिकेशन कैसे परस्पर क्रिया करते हैं। कैनोनिकल लीस्ट-स्क्वायर्स चयन के माध्यम से रिवॉर्ड अस्पष्टता को हल करके, लेखक एंट्रॉपी-रेगुलराइज्ड सेटिंग में IRL के लिए एक सुस्पष्ट सांख्यिकीय लक्ष्य प्रदान करते हैं, जो नीति अनुमान और रिवॉर्ड रिकवरी को संयोजित करने वाले व्यावहारिक एल्गोरिदम के लिए एक सैद्धांतिक आधार प्रदान करता है।

इसी तरह के और पेपर