📈 economics

A Lecture Note on Offline RL and IRL, Part II: Foundations of Inverse Reinforcement Learning and Dynamic Discrete Choice Models

यह व्याख्यान नोट संरचनात्मक अर्थमितीय डायनेमिक डिस्क्रीट चॉइस मॉडलों और एंट्रॉपी-रेगुलराइज्ड इनवर्स रीइन्फोर्समेंट लर्निंग के बीच सैद्धांतिक तुल्यता स्थापित करता है, जो ऑफलाइन रिवॉर्ड रिकवरी के लिए उनके संबंधित उद्देश्यों, सीमाओं और पहचान गारंटी को स्पष्ट करने के लिए शास्त्रीय पहचान और कम्प्यूटेशनल विधियों की आधुनिक मशीन लर्निंग दृष्टिकोणों के साथ व्यवस्थित रूप से तुलना करता है।

मूल लेखक: Enoch Hyunwook Kang

प्रकाशित 2026-06-01

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Enoch Hyunwook Kang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ व्याख्या की गई लेक्चर नोट्स का हिंदी अनुवाद है, जिसे रोजमर्रा की भाषा और उपमाओं (analogies) का उपयोग करके सरल बनाया गया है।

बड़ी तस्वीर: "क्यों" का रहस्य

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक मास्टर शेफ एक विशिष्ट व्यंजन को उसी तरह क्यों बनाता है जैसे वह बनाता है।

फॉरवर्ड रीइन्फोर्समेंट लर्निंग (मानक तरीका): आपको रेसिपी (पुरस्कार/रिवॉर्ड) और सामग्री दी जाती है। आपका काम उस व्यंजन को पूरी तरह से बनाना सीखना है।
इनवर्स रीइन्फोर्समेंट लर्निंग (IRL) और डायनेमिक डिस्क्रीट चॉइस (DDC): आपको केवल मास्टर शेफ के खाना बनाने का एक वीडियो दिया जाता है। आपके पास रेसिपी नहीं है। आपका काम उस वीडियो को देखना और उस छिपे हुए 'रेसिपी' (रिवॉर्ड) का पता लगाना है जो बताता है कि उन्होंने वे विशिष्ट चुनाव क्यों किए।

यह लेक्चर नोट दो अलग-अलग समूहों के जासूसों के लिए एक मार्गदर्शिका है जो दशकों से इसी एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन वे अलग-अलग भाषाएं बोलते हैं और अलग-अलग उपकरणों का उपयोग करते हैं। लेखक, एनोक कांग (Enoch Kang), दिखाते हैं कि वे वास्तव में एक ही पहेली को हल कर रहे हैं और फिर इसे बेहतर तरीके से हल करने के लिए एक नया, एकीकृत उपकरण पेश करते हैं।

भाग 1: दो भाषाएँ, एक पहेली

पेपर यह सिद्ध करके शुरू होता है कि दो अलग दिखने वाले क्षेत्र वास्तव में एक ही चीज़ को देख रहे हैं:

अर्थशास्त्री (DDC): वे अध्ययन करते हैं कि लोग कैसे चुनाव करते हैं (जैसे नौकरी या कार चुनना)। वे मानते हैं कि लोगों के पास एक छिपा हुआ "उपयोगिता" (खुशी का स्कोर) और कुछ रैंडम शोर (एक बुरा दिन, अचानक आई कोई इच्छा) होता है। वे छिपी हुई उपयोगिता का पता लगाने के लिए गणित का उपयोग करते हैं।
AI शोधकर्ता (IRL): वे रोबोट या एजेंट का अध्ययन करते हैं। वे मानते हैं कि एजेंट रिवॉर्ड को अधिकतम करने की कोशिश कर रहा है लेकिन वह "रैंडम" (एक्सप्लोरेटरी) भी होना चाहता है ताकि वह एक ही जगह न फंस जाए। यह रैंडमनेस गणितीय रूप से अर्थशास्त्री के "शोर" (noise) के बिल्कुल समान दिखती है।

उपमा: कल्पना कीजिए कि दो लोग एक बादल का वर्णन कर रहे हैं। एक कहता है, "यह एक सफेद, मुलायम आकार है।" दूसरा कहता है, "यह जल वाष्प का निर्माण है।" वे अलग-अलग शब्दों के साथ एक ही वस्तु का वर्णन कर रहे हैं। यह पेपर सिद्ध करता है कि "मुलायम आकार" (अर्थशास्त्र) और "जल वाष्प" (AI) गणितीय रूप से समान हैं।

भाग 2: "एंकर" समस्या (खोई हुई कड़ी)

यहाँ पेचीदा हिस्सा है: यदि आप केवल शेफ को देखते हैं, तो आप यह नहीं बता सकते कि उन्होंने नमक इसलिए डाला क्योंकि उन्हें नमक पसंद है, या इसलिए क्योंकि वे अम्लता (acidity) को संतुलित करना चाहते थे, या इसलिए क्योंकि वे अपनी गलती छुपाना चाहते थे। एक ही व्यवहार को समझाने के कई अनंत तरीके हैं।

समस्या: आप केवल व्यवहार को देखकर वास्तविक "रिवॉर्ड" की सटीक पहचान नहीं कर सकते। आप केवल विकल्पों के बीच के अंतर को पहचान सकते हैं (जैसे, "शेफ चावल के बजाय पास्ता पसंद करता है"), लेकिन पूर्ण मान (absolute value) को नहीं (जैसे, "शेफ पास्ता को कितना पसंद करता है?")।
समाधान (एंकर): इसे हल करने के लिए, पेपर प्रत्येक चरण पर एक विशिष्ट क्रिया चुनने और उसके मान को ज्ञात घोषित करने का सुझाव देता है।
- उपमा: कल्पना कीजिए कि शेफ जब भी "रेसिपी A" बना रहा होता है, तो वह हमेशा सूप में नमक की एक विशिष्ट मात्रा डालता है। यदि हमें पता है कि "रेसिपी A" में हमेशा ठीक 1 ग्राम नमक डाला जाता है, तो हम उसे "रेसिपी B" में वे कितना नमक डालते हैं, इसे मापने के लिए एक पैमाने (एंकर) के रूप में उपयोग कर सकते हैं।
- पेपर में, इसे एंकर-एक्शन धारणा (Anchor-Action Assumption) कहा गया है। यह स्केल को स्थिर करता है ताकि गणित काम कर सके।

भाग 3: पुराने उपकरण (वे कठिन क्यों थे)

पेपर उन पुराने तरीकों की समीक्षा करता है जिनसे जासूसों ने इसे हल करने की कोशिश की थी, और उनकी कमियों को बताता है:

नेस्टेड लूप (रस्ट का तरीका - Rust's Method):
- यह कैसे काम करता था: एक रेसिपी का अनुमान लगाओ, शेफ के खाना बनाने का अनुकरण (simulate) करो यह देखने के लिए कि वे क्या करेंगे, वीडियो से तुलना करो, और दोहराओ।
- खामी: यह एक भूलभुलैया (maze) को हल करने के लिए पहले उसमें चलने, फिर वापस आने, और फिर से अंदर जाने जैसा है। यह अविश्वसनीय रूप से धीमा और गणनात्मक रूप से महंगा है, खासकर यदि भूलभुलैया बहुत बड़ी (high-dimensional) हो।
कंडीशनल चॉइस (होट्ज़-मिलर - Hotz-Miller):
- यह कैसे काम करता था: रेसिपी का अनुमान लगाने के बजाय, उन्होंने शेफ की अगली चाल की संभावनाओं का अनुमान लगाया और पीछे की ओर काम किया।
- खामी: ऐसा करने के लिए, आपको यह जानना आवश्यक है कि दुनिया कैसे बदलती है (ट्रांजिशन मॉडल)। यदि आप नहीं जानते कि रसोई कैसे चलती है (जैसे, चूल्हा कैसे गर्म होता है), तो यह विधि विफल हो जाती है। इसके लिए दुनिया के एक विशाल मानचित्र का अनुमान लगाने की आवश्यकता होती है, जो जटिल वातावरण में सांख्यिकीय रूप से असंभव है।
"डेडली ट्रायड" (टेम्पोरल डिफरेंस - Temporal Difference):
- यह कैसे काम करता था: पूरे विश्व का अनुकरण किए बिना सीधे वीडियो क्लिप से सीखने की कोशिश करना।
- खामी: जब आप अनुमान (approximation) (अंदाजा लगाना), बूटस्ट्रैपिंग (bootstrapping) (अपने ही अनुमान का उपयोग अपने अनुमान को अपडेट करने के लिए करना), और ऑफ-पॉलिसी डेटा (off-policy data) (उस शेफ से अलग सीख रहे हैं जिसकी आप नकल करने की कोशिश कर रहे हैं) को मिलाते हैं, तो गणित अक्सर बिगड़ जाता है। संख्याएँ अनंत की ओर चली जाती हैं, और सिस्टम क्रैश हो जाता है।

भाग 4: आधुनिक AI ट्रिक्स (एडवर्सरियल और मैचिंग)

पेपर फिर AIRL और GAIL जैसे आधुनिक AI तरीकों को देखता है।

विचार: एक "डिस्क्रिमिनेटर" (रेफरी) का उपयोग करके एक खेल खेलें। रेफरी यह बताने की कोशिश करता है कि कोई चाल विशेषज्ञ (expert) से आई है या छात्र से। छात्र रेफरी को मूर्ख बनाने की कोशिश करता है।
सीमा: पेपर तर्क देता है कि हालांकि ये तरीके शानदार हैं, लेकिन वे वास्तव में वास्तविक रिवॉर्ड खोजने में अक्सर विफल रहते हैं। वे केवल व्यवहार की नकल करने का तरीका ढूंढ सकते हैं बिना "क्यों" को समझे। वे अक्सर ऐसी धारणाओं पर निर्भर करते हैं (जैसे, दुनिया नियत/deterministic है) जो वास्तविक जीवन में सच नहीं हैं। यदि दुनिया रैंडम (stochastic) है, तो ये तरीके भ्रमित हो जाते हैं कि व्यवहार का कौन सा हिस्सा रिवॉर्ड है और कौन सा हिस्सा केवल भाग्य/संयोग है।

भाग 5: नया समाधान (GLADIUS)

अंत में, पेपर एक नया तरीका पेश करता है जिसे GLADIUS (सैंपल्स से इनवर्स यूटिलिटी लर्निंग के लिए एसेंट-डेसेंट के साथ ग्रेडिएंट-आधारित लर्निंग) कहा जाता है।

यह कैसे काम करता है (उपमा):
कल्पना कीजिए कि आप शॉवर के लिए सही तापमान खोजने की कोशिश कर रहे हैं।

लाइकलीहुड लॉस (Likelihood Loss): आप विशेषज्ञ के वीडियो को देखते हैं। आप तापमान को तब तक समायोजित करते हैं जब तक कि विशेषज्ञ के चुनाव वीडियो से मेल न खा जाएं। यह आपको सापेक्ष प्राथमिकताएं (गर्म बनाम ठंडा) प्राप्त कराता है।
एंकर लॉस (Anchor Loss): आप पूर्ण स्केल को स्थिर करने के लिए "एंकर" (ज्ञात नमक की मात्रा) का उपयोग करते हैं।
बायस करेक्शन (जादुई ट्रिक):
- समस्या: यदि आप केवल एक वीडियो क्लिप देखते हैं, तो आप अगले स्टेप के साथ भाग्यशाली या बदकिस्मत हो सकते हैं (जैसे, पानी का दबाव घटता-बढ़ता है)। यदि आप केवल एक क्लिप के आधार पर "त्रुटि" (error) की गणना करने की कोशिश करते हैं, तो आपको एक पक्षपाती (biased) परिणाम मिलेगा ("डबल सैंपलिंग" की समस्या)।
- समाधान: GLADIUS एक दूसरे "सहायक" नेटवर्क (जिसे $\zeta$ कहा जाता है) का उपयोग करता है। यह सहायक एक सांख्यिकीविद् (statistician) की तरह कार्य करता है। यह सभी डेटा को देखता है और अगले चरण के औसत परिणाम की भविष्यवाणी करता है, जिससे किसी भी एकल क्लिप की किस्मत या बदकिस्मती प्रभावी रूप से रद्द हो जाती है।
- यह एक खेल खेलकर ऐसा करता है: मुख्य नेटवर्क त्रुटि को कम करने की कोशिश करता है, जबकि सहायक औसत की भविष्यवाणी करने की कोशिश करता है। वे एक-दूसरे को अपडेट करने के लिए बारी-बारी से काम करते हैं।

यह बेहतर क्यों है:

मैप की आवश्यकता नहीं: इसे ट्रांजिशन मॉडल (दुनिया कैसे चलती है) जानने की आवश्यकता नहीं है। यह सीधे वीडियो क्लिप से सीखता है।
कोई नेस्टेड लूप नहीं: इसे भविष्य का अनुकरण करने की आवश्यकता नहीं है। यह ग्रेडिएंट्स (गणितीय ढलान) का उपयोग करके एक ही बार में सब कुछ हल करता है।
स्थिर (Stable): यह "डेडली ट्रायड" से बचता है जो अन्य तरीकों को क्रैश कर देता है।

सारांश

यह पेपर एक सेतु (bridge) है। यह अर्थशास्त्रियों के कठोर गणित को AI के शक्तिशाली उपकरणों से जोड़ता है। यह दिखाता है कि हालांकि हमारे पास व्यवहार से रिवॉर्ड फंक्शन का अनुमान लगाने के कई तरीके हैं, लेकिन उनमें से अधिकांश या तो बहुत धीमे हैं, या बहुत अस्थिर हैं, या उनके लिए असंभव धारणाओं की आवश्यकता होती है।

प्रस्तावित समाधान, GLADIUS, इस पहेली को सुलझाने का एक नया तरीका है। यह स्केल सेट करने के लिए एक "रूलर" (एंकर एक्शन) का उपयोग करता है और डेटा के शोर को अनदेखा करने के लिए एक "सांख्यिकीविद् सहायक" (बायस करेक्शन) का उपयोग करता है। यह हमें दुनिया का अनुकरण किए बिना या खेल के नियमों को पहले से जाने बिना, सीधे वीडियो से वास्तविक "रेसिपी" (रिवॉर्ड फंक्शन) प्राप्त करने की अनुमति देता है।

तकनीकी सारांश: इनवर्स रीइन्फोर्समेंट लर्निंग और डायनेमिक डिस्क्रीट चॉइस मॉडल के आधार

1. समस्या की परिभाषा

यह शोध पत्र ऑफलाइन सेटिंग में इनवर्स रीइन्फोर्समेंट लर्निंग (IRL) समस्या को संबोधित करता है: एक विशेषज्ञ नीति $\pi^*$ द्वारा उत्पन्न स्टेट-एक्शन-नेक्स्ट-स्टेट टुपल्स के एक निश्चित डेटासेट से, क्या हम उस रिवॉर्ड फंक्शन $r$ को पुनः प्राप्त कर सकते हैं जिसे विशेषज्ञ अनुकूलित (optimize) कर रहा था?

यह समस्या दो अलग-अलग साहित्यों के मिलन बिंदु पर स्थित है:

स्ट्रक्चरल इकोनॉमेट्रिक्स (डायनेमिक डिस्क्रीट चॉइस - DDC): एजेंट जो इडियोसिंक्रेटिक गम्बल-वितरित शॉक (Gumbel-distributed shocks) के साथ उपयोगिता (utility) को अधिकतम करते हैं।
मशीन लर्निंग (एंट्रॉपी-रेगुलराइज्ड IRL): एजेंट जो एंट्रॉपी बोनस के साथ अपेक्षित रिटर्न को अधिकतम करते हैं (मैक्सिमम एंट्रॉपी IRL)।

मुख्य चुनौती आइडेंटिफिकेशन (पहचान) है: अतिरिक्त संरचना के बिना, पोटेंशियल-आधारित शेपिंग इनवेरियेंस (Ng et al., 1999) के कारण व्यवहार मात्र से रिवॉर्ड फंक्शन को विशिष्ट रूप से पुनः प्राप्त नहीं किया जा सकता है। इसके अलावा, मौजूदा पद्धतियां स्केलेबिलिटी, ट्रांजिशन कर्नेल अनुमान की आवश्यकता और स्थिरता ("डेडली ट्रायड") से जुड़े ट्रेड-ऑफ के "त्रिकोण" (trilemma) का सामना करती हैं।

2. पद्धतिगत आधार

2.1 DDC और MaxEnt-IRL की समानता

शोध पत्र पहले दोनों समुदायों के बीच एक कठोर समानता स्थापित करता है।

DDC फॉर्मूलेशन: एजेंट $r(s,a) + \epsilon_{t,a}$ को अधिकतम करने के लिए कार्य चुनते हैं, जहाँ $\epsilon$ टाइप-1 एक्सट्रीम वैल्यू (गम्बल) वितरण का पालन करता है।
MaxEnt-IRL फॉर्मूलेशन: एजेंट अपेक्षित रिटर्न और एक एंट्रॉपी टर्म $\lambda H(\pi)$ को अधिकतम करते हैं।
परिणाम: शून्य-माध्य सामान्यीकरण (mean-zero normalization) के तहत ( $\delta = -\gamma_E$ ) और एंट्रॉपी गुणांक $\lambda=1$ सेट करने पर, दोनों फॉर्मूलेशन बिल्कुल समान सॉफ्टमैक्स पॉलिसी और सॉफ्ट बेलमैन समीकरण प्रदान करते हैं:
$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$
$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$
यह सिद्ध करता है कि संभाव्य मॉडल (probabilistic models) ऑफलाइन अवलोकनों से सांख्यिकीय रूप से अविभेद्य हैं।

2.2 आइडेंटिफिकेशन सीमाएं

कागज इस बात का विश्लेषण करता है कि व्यवहार से क्या पुनः प्राप्त किया जा सकता है:

गैर-आइडेंटिफिकेशन (Non-Identification): अतिरिक्त धारणाओं के बिना, $r$ केवल एक स्टेट-डिपेंडेंट पोटेंशियल फंक्शन $\Phi(s)$ तक ही पहचानने योग्य है। विशेष रूप से, $r$ और $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ समान इष्टतम नीति प्रेरित करते हैं।
एंकर-एक्शन धारणा (Magnac & Thesmar, 2002): इस समस्या को हल करने के लिए, शोध पत्र शास्त्रीय अर्थमितीय धारणा को अपनाता है कि प्रत्येक स्टेट $s$ के लिए, एक ज्ञात "एंकर" एक्शन $a_s$ मौजूद है जिसका ज्ञात रिवॉर्ड $r(s, a_s) = 0$ (या ज्ञात स्थिरांक) है। यह धारणा पोटेंशियल को स्थिर करती है और विशेषज्ञ के सपोर्ट पर $Q^*$ और $r$ की अद्वितीय पहचान की अनुमति देती है।

3. मौजूदा दृष्टिकोणों की समीक्षा और उनकी सीमाएं

शोध पत्र शास्त्रीय और आधुनिक पद्धतियों का सर्वेक्षण करता है, और उनके विशिष्ट विफलता मोड को उजागर करता है:

3.1 शास्त्रीय DDC पद्धतियां

रस्ट का नेस्टेड फिक्स्ड-पॉइंट (NFXP): बाहरी लूप में लाइक्लिहुड को अधिकतम करते हुए आंतरिक लूप में बेलमैन समीकरण को हल करता है।
- सीमा: स्टेट स्पेस $S$ में कर्से ऑफ डायमेंशनलिटी (dimensionality का अभिशाभ) से ग्रस्त है और इसके लिए ट्रांजिशन कर्नेल $P$ के स्पष्ट ज्ञान या अनुमान की आवश्यकता होती है।
होट्ज़-मिलर / कंडीशनल चॉइस प्रोबेबिलिटीज (CCP): $Q$ $Q$ अंतरों को खोजने के लिए सॉफ्टमैक्स को इनवर्ट करता है और वैल्यू फंक्शन के लिए एक लीनियर फिक्स्ड-पॉइंट समीकरण को हल करता है।
- सीमा: इसके लिए ट्रांजिशन कर्नेल $P$ के अनुमान की आवश्यकता होती है (सांख्यिकीय कर्से ऑफ डायमेंशनलिटी) और यह फॉरवर्ड सिमुलेशन में एरर प्रोपेगेशन से ग्रस्त होता है।
टेम्पोरल-डिफरेंस (TD) दृष्टिकोण (Adusumilli & Eckardt, 2019):
- लीनियर सेमी-ग्रेडिएंट TD: स्पष्ट $P$ से बचता है लेकिन डेडली ट्रायड (फंक्शन एप्रोक्सिमेशन + बूटस्ट्रैपिंग + ऑफ-पॉलिसी डेटा) से ग्रस्त है, जिससे विचलन (divergence) होता है।
- एप्रोक्सिमेट वैल्यू इटरेशन (AVI): अधिक स्थिर है लेकिन एक प्रोजेक्टेड फिक्स्ड पॉइंट की ओर अभिसरित (converge) होता है, जो वास्तविक $Q^*$ से भिन्न हो सकता है यदि वास्तविक वैल्यू फंक्शन फंक्शन क्लास में रियलाइजेबल नहीं है।
- नोट: "टारगेट नेटवर्क" (डीप RL में सामान्य) प्रक्षेपवक्र को स्थिर करते हैं लेकिन गंतव्य को नहीं बदलते; वे अभी भी प्रोजेक्टेड फिक्स्ड पॉइंट की ओर अभिसरित होते हैं, न कि वास्तविक वैल्यू की ओर।

3.2 आधुनिक IRL पद्धतियां

एडवर्सरियल IRL (AIRL): रिवॉर्ड को शेपिंग पोटेंशियल से अलग करने के लिए डिस्क्रिमिनेटर का उपयोग करता है।
- सीमा: यह सॉफ्ट एडवांटेज $A^*(s,a) = \log \pi^*(a|s)$ को पहचानता है, सीधे रिवॉर्ड को नहीं। रिवॉर्ड रिकवरी के लिए प्रतिबंधात्मक धारणाओं की आवश्यकता होती है (नियतिवादी डायनेमिक्स, स्टेट-ओनली रिवॉर्ड, डिकम्पोजेबल ट्रांजिशन ग्राफ) जो अक्सर व्यवहार में उल्लंघन की जाती हैं।
ऑक्यूपेंसी मैचिंग (GAIL): विशेषज्ञ और पॉलिसी ऑक्यूपेंसी मेजर के बीच डाइवर्जेंस को कम करता है।
- सीमा: यह एक इमिटेशन एल्गोरिदम है, रिवॉर्ड रिकवरी एल्गोरिदम नहीं। यह पॉइंटवाइज बेलमैन कंसिस्टेंसी को लागू नहीं करता है, जिससे अतिरिक्त धारणाओं के बिना रिवॉर्ड निष्कर्षण असंभव हो जाता है।
IQ-Learn: $Q$ $Q$ को सीधे पैरामीटराइज करता है और बेलमैन समीकरण के माध्यम से रिवॉर्ड को परिभाषित करता है।
- सीमा: ऑब्जेक्टिव स्टेट-ओनली शिफ्ट के तहत इनवेरिएंट है; यह बिना किसी बाहरी नॉर्मलाइजेशन (जैसे एंकर एक्शन) के एक अद्वितीय रिवॉर्ड को नहीं पहचानता है।
ऑफलाइन ML-IRL (Zeng et al., 2023): कंजर्वेटिव पेनल्टी के साथ हॉट्ज़-मिलर का एक न्यूरल री-स्किनिंग है।
- सीमा: यह ट्रांजिशन कर्नेल अनुमान और नेस्टेड ऑप्टिमाइजेशन लूप की आवश्यकता को विरासत में प्राप्त करता है।

4. प्रस्तावित विधि: ERM फ्रेमवर्क (GLADIUS)

शोध पत्र एक एकीकृत एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) फ्रेमवर्क प्रस्तावित करता है जो आधुनिक ML की स्केलेबिलिटी के साथ DDC की पहचान शक्ति को जोड़ता है, और दोनों की खामियों से बचता है।

4.1 मुख्य अंतर्दृष्टि

एक नेस्टेड फॉरवर्ड समस्या को हल करने के लिए $r$ को पैरामीटराइज करने के बजाय, यह विधि $Q$ को सीधे पैरामीटराइज करती है। पहचान की शर्तों को दो लॉस फंक्शन्स में अनुवादित किया गया है:

नेगेटिव लॉग-लाइक्लिहुड (NLL): यह सुनिश्चित करता है कि $Q$ का सॉफ्टमैक्स विशेषज्ञ नीति $\pi^*$ से मेल खाता है। यह $Q$ के भीतर-स्टेट अंतरों को पहचानता है।
एंकर बेलमैन लॉस: यह बेलमैन समीकरण को केवल उस एंकर एक्शन $a_s$ पर लागू करता है जहाँ रिवॉर्ड $r(s, a_s)$ ज्ञात है। यह $Q$ के स्टेट-वाइज लेवल को स्थिर करता है।

4.2 डबल-सैंपलिंग बायस और सुधार

स्क्वेर्ड TD एरर का उपयोग करके एक नेटिव एम्पिरिकल बेलमैन लॉस डबल-सैंपलिंग समस्या (अगले स्टेट का वेरिएंस अधिक डेटा के साथ समाप्त नहीं होता) के कारण बायस्ड होता है।

सुधार: शोध पत्र एक मिनिमैक्स फॉर्मूलेशन व्युत्पन्न करता है जो कंडिशनल वेरिएंस टर्म को घटाता है।
$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Sampled Bellman})^2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$
यहाँ, $\zeta(s,a)$ एक ऑक्जिलरी फंक्शन के रूप में कार्य करता है जो $\mathbb{E}[V_Q(s') | s, a]$ के कंडिशनल मीन को सीखता है। यह सुधार ट्रांजिशन कर्नेल $P$ को स्पष्ट रूप से अनुमानित करने की आवश्यकता को समाप्त करता है।

4.3 एल्गोरिदम: GLADIUS

GLADIUS (सैंपल्स से इनवर्स यूटिलिटी सीखने के लिए एसेंट-डेसेंट के साथ ग्रेडिएंट-बेस्ड लर्निंग) निम्नलिखित के बीच बारी-बारी से कार्य करता है:

रिग्रेशन स्टेप (एसेंट/डेसेंट): $\zeta$ को अपडेट करने के लिए जो $V_Q(s')$ के विरुद्ध स्क्वेर्ड एरर को कम करता है।
ऑप्टिमाइजेशन स्टेप (डेसेंट): $Q$ को अपडेट करने के लिए जो NLL और बायस-करेक्टेड एंकर बेलमैन रेसिड्यूल को कम करता है।

4.4 अभिसरण गारंटी (Convergence Guarantees)

शोध पत्र पोल्याक-लोजासिएविक (PL) ज्योमेट्री धारणाओं के तहत अभिसरण स्थापित करता है न कि कॉनवेक्सिटी के तहत।

धारणाएं: फंक्शन क्लासेस में $Q^*$ और $\zeta^*$ की रियलिजेबिलिटी, और एम्पिरिकल-आउटपुट जैकोबियन कंडीशनिंग (न्यूरल टेंगेंट कर्नेल स्थितियों के समान)।
परिणाम: एल्गोरिदम एम्पिरिकल रिस्क के ग्लोबल मिनिमम पर अभिसरित होता है, जिसमें ऑप्टिमाइजेशन के लिए $O(1/T)$ और सांख्यिकीय त्रुटि के लिए $O(1/\sqrt{N})$ की दर है।

5. प्रमुख योगदान और महत्व

एकीकरण: DDC और MaxEnt-IRL फॉर्मूलेशन के बीच औपचारिक समानता को सिद्ध करता है, जो अर्थशास्त्र और मशीन लर्निंग के बीच के अंतर को पाटता है।
आइडेंटिफिकेशन स्पष्टता: यह स्पष्ट करता है कि आधुनिक एडवर्सरियल मेथड्स (AIRL) बिना मजबूत, अक्सर अवास्तविक संरचनात्मक धारणाओं के, रिवॉर्ड आइडेंटिफिकेशन समस्या को स्वाभाविक रूप से हल नहीं करते हैं। यह स्टेट-एक्शन रिवॉर्ड को पहचानने के लिए एंकर-एक्शन धारणा को एक मजबूत मार्ग के रूप में पुन: पुष्ट करता है।
ट्रांजिशन-फ्री एस्टीमेशन: एक बायस-करेक्टेड मिनिमैक्स ऑब्जेक्टिव पेश करता है जो ट्रांजिशन कर्नेल $P$ का अनुमान लगाए बिना $Q^*$ और $r$ को पुनः प्राप्त करता है, जो CCP और NFXP में निहित सांख्यिकीय कर्से ऑफ डायमेंशनलिटी को पार करता है।
स्थिरता: ऑफ-पॉलिसी TD मेथड्स के "डेडली ट्रायड" विचलन से बचने के लिए $Q$ पर एक प्रत्यक्ष, बायस-करेक्टेड एम्पिरिकल रिस्क मिनिमाइजेशन को फॉर्म्युलेट करता है।
एल्गोरिद्मिक समाधान: GLADIUS प्रस्तुत करता है, जो एक ग्रेडिएंट-आधारित, वन-शॉट एस्टीमेटर है जो शास्त्रीय DDC पद्धतियों के नेस्टेड ऑप्टिमाइजेशन लूप से बचता है, जबकि मानक ओवर-पैरामीट्राइजेशन धारणाओं के तहत सैद्धांतिक अभिसरण गारंटी बनाए रखता है।

शोध पत्र निष्कर्ष निकालता है कि यह ERM दृष्टिकोण ऑफलाइन IRL/DDC के लिए एक सिद्धांतपूर्ण, स्केलेबल और सांख्यिकिक रूप से सुसंगत मार्ग प्रदान करता है, जो आधुनिक ग्रेडिएंट-आधारित लर्निंग की कम्प्यूटेशनल दक्षता के साथ स्ट्रक्चरल इकोनॉमेट्रिक्स की पहचान की कठोरता को जोड़ता है।