UNIQ: Conformal Calibration for Adaptive Conservatism in Offline Reinforcement Learning

तकनीकी सारांश: UNIQ – ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning) में अनुकूली रूढ़िवादिता के लिए कॉन्फॉर्मल कैलिब्रेशन

1. समस्या विवरण

ऑफलाइन सुदृढीकरण शिक्षण (RL) डिस्ट्रीब्यूशन शिफ्ट (distribution shift) की गंभीर चुनौती का सामना करता है: एक सीखा गया नीति (policy) ऐसे अवस्था-क्रिया (state-action) युग्मों को क्वेरी कर सकता है जो निश्चित ऑफलाइन डेटासेट में दुर्लभ या अनुपस्थित हैं। मानक टेम्पोरल-डिफरेंस (TD) विधियाँ इन आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) क्षेत्रों में अत्यधिक विस्तार (extrapolate) करती हैं, जिससे विनाशकारी अति-आकलन (overestimation) और नीति पतन (policy collapse) होता है।

मौजूदा समाधान आम तौर पर तीन श्रेणियों में आते हैं: व्यवहार क्लोनिंग बाधाएं (behavioral cloning constraints), रूढ़िवादी मूल्य शिक्षण (जैसे CQL, IQL), और एन्सेम्बल-आधारित अनिश्चितता। जबकि इम्प्लिसिट क्यू-लर्निंग (IQL) एक निश्चित एक्सपेक्टाइल पैरामीटर $\tau$ का उपयोग करके OOD अति-आकलन को दबाने के लिए एक कम्प्यूटेशनल रूप से हल्का और स्थिर आधार प्रदान करता है, यह एक संरचनात्मक सीमा से ग्रस्त है: यह सभी अवस्थाओं (states) पर समान रूप से एक एकल, निश्चित रूढ़िवादिता स्तर लागू करता है।

• सघन रूप से कवर (densely covered) किए गए क्षेत्रों में, यह निश्चित रूढ़िवादिता अनावश्यक रूप से प्रतिबंधात्मक है, जिससे संभावित प्रदर्शन लाभ हाथ से निकल जाते हैं।
• विरल रूप से कवर (sparsely covered) किए गए क्षेत्रों में, एक निश्चित $\tau$ अति-आकलन को रोकने के लिए अभी भी अपर्याप्त हो सकता है।

यह शोध पत्र तर्क देता है कि एक ऐसी तंत्र (mechanism) की आवश्यकता है जो प्रति-अवस्था (per-state) अनुकूलनशील रूढ़िवादिता को लागू करे, यानी जहाँ डेटा कवरेज कम हो वहाँ इसे कड़ा करे और जहाँ कवरेज समृद्ध हो वहाँ इसे शिथिल करे, बिना EDAC जैसे बड़े एन्सेम्बल विधियों की भारी कम्प्यूटेशनल लागत के।

2. कार्यप्रणाली: UNIQ

UNIQ (Uncertainty-Informed Quantile) IQL बैकबोन का विस्तार करता है, जिसमें निश्चित एक्सपेक्टाइल $\tau$ को कॉन्फॉर्मली कैलिब्रेटेड अनिश्चितता द्वारा संचालित एक अवस्था-अनुकूली $\tau(s)$ से बदल दिया जाता है। यह विधि तीन मुख्य घटकों से बनी है:

A. मल्टी-एक्सपेक्टाइल वैल्यू एन्सेम्बल (Multi-Expectile Value Ensemble)
एक एकल वैल्यू नेटवर्क प्रशिक्षित करने के बजाय, UNIQ $N_v$ वैल्यू नेटवर्क का एक एन्सेम्बल प्रशिक्षित करता है, जिनमें से प्रत्येक तीन निश्चित एक्सपेक्टाइल स्तरों $\bar{\tau} \in \{0.5, 0.7, 0.9\}$ पर फिट किया गया है। इससे $3N_v$ वैल्यू हेड्स प्राप्त होते हैं। यह मल्टी-रेज़ोल्यूशन फिटिंग दो पूरक अनिश्चितता संकेतों को निकालती है:

1. एपिस्टेमिक अनिश्चितता ($\sigma_{ens}$): $\tau=0.7$ स्तर पर एन्सेम्बल के अनुमानों का मानक विचलन, जो क्रिटिक्स के बीच असहमति को पकड़ता है।
2. एलियटोरिक स्प्रेड ($\Delta_\tau$): $\tau=0.9$ और $\tau=0.5$ के बीच के औसत अनुमानों का अंतर, जो रिटर्न की अंतर्निहित स्टोकेस्टिसिटी (stochasticity) को पकड़ता है।

B. स्प्लिट कॉन्फॉर्मल कैलिब्रेशन (Split Conformal Calibration)
कच्चा एन्सेम्बल असहमति $\sigma_{ens}(s)$ कार्य-निर्भर और स्केल-संवेदनशील होता है। इसे डिस्ट्रीब्यूशन-फ्री अनिश्चितता स्कोर में सामान्य करने के लिए, UNIQ स्प्लिट कॉन्फॉर्मल प्रेडिक्शन का उपयोग करता है:

• प्रशिक्षण डेटा से एक कैलिब्रेशन स्प्लिट $D_{cal}$ को अलग रखा जाता है।
• प्रत्येक कैलिब्रेशन ट्रांजिशन के लिए एक नॉन-कन्फॉर्मिटी स्कोर $\alpha_i$ की गणना की जाती है, जो एन्सेम्बल के $\tau=0.7$ वैल्यू फंक्शन के बेलमैन रेसिडुअल (Bellman residual) को मापता है।
• इन स्कोर्स का $(1-\delta)$-क्वांटाइल $\hat{q}$ निकाला जाता है, जो परिमित-नमूना कवरेज गारंटी के साथ एक डेटा-संचालित थ्रेशोल्ड प्रदान करता है।
• सामान्यीकृत अनिश्चितता $u(s)$ की गणना इस प्रकार की जाती है:
  $$u(s) = \frac{\sigma_{ens}(s)}{\hat{q} + \epsilon}$$
  यहाँ, $u(s) > 1$ इंगित करता है कि अवस्था खराब तरीके से कवर की गई है (असहमति कैलिब्रेटेड थ्रेशोल्ड से अधिक है), जबकि $u(s) < 1$ अच्छी कवरेज को दर्शाता है।

C. अवस्था-अनुकूली रूढ़िवादिता (State-Adaptive Conservatism)
सामान्यीकृत अनिश्चितता $u(s)$ को एक सिग्मॉइड शेड्यूल के माध्यम से एक अनुकूली एक्सपेक्टाइल $\tau(s)$ में मैप किया जाता है:
$$\tau(s) = \tau_{min} + (\tau_{max} - \tau_{min}) \cdot \sigma_{sig}(-\beta_\tau(u(s) - 1))$$

• उच्च अनिश्चितता ($u(s) \gg 1$): $\tau(s) \to \tau_{min}$, जो एक अधिक रूढ़िवादी (निम्न) वैल्यू अनुमान लागू करता है।
• कम अनिश्चितता ($u(s) \ll 1$): $\tau(s) \to \tau_{max}$, जो एक अधिक आशावादी (उच्च) वैल्यू अनुमान की अनुमति देता है।

इसके अतिरिक्त, UNIQ Q-फंक्शन अपडेट के लिए एक वैश्विक पेसिमिस्टिक (pessimistic) वैल्यू टारगेट $V_{pess}(s) = \bar{V}(0.7)(s) - \kappa \sigma_{ens}(s)$ का उपयोग करता है, जहाँ $\kappa$ को प्रति-कार्य (per-task) ट्यून किया जाता है।

3. प्रमुख योगदान

• तंत्र नवाचार (Mechanism Innovation): UNIQ पहली ऐसी मॉडल-फ्री विधि पेश करता है जो IQL के एक्सपेक्टाइल पैरामीटर को डिस्ट्रीब्यूशन-फ्री तरीके से अवस्था-निर्भर (state-dependent) बनाती है, जिसके लिए कॉन्फॉर्मल कैलिब्रेशन का उपयोग करके अनिश्चितता अनुमानों को स्केल किया जाता है।
• दक्षता (Efficiency): EDAC, SAC-N जैसे भारी एन्सेम्बल विधियों के विपरीत, जो क्रिटिक काउंट के साथ रैखिक रूप से स्केल करते हैं और भारी VRAM की आवश्यकता होती है, UNIQ लगभग IQL की मेमोरी लागत के साथ काम करता है। यह साझा लो-रैंक वैल्यू हेड्स और एक हल्के कॉन्फॉर्मल कैलिब्रेशन स्टेप का उपयोग करके यह उपलब्धि हासिल करता है।
• पारदर्शिता: लेखक स्पष्ट रूप से कम प्रदर्शन वाले मामलों की रिपोर्ट करते हैं और इस कार्य को सभी विधियों पर पूर्ण स्टेट-ऑफ-द-आर्ट (SOTA) प्रभुत्व के दावे के बजाय, प्रदर्शन-दक्षता फ्रंटियर पर एक व्यावहारिक तंत्र योगदान के रूप में प्रस्तुत करते हैं।

4. प्रयोगात्मक परिणाम

प्रयोग D4RL MuJoCo बेंचमार्क (HalfCheetah, Hopper, और Walker2d के 9 कार्यों) पर आयोजित किए गए।

• IQL के मुकाबले प्रदर्शन: UNIQ सभी नौ कार्यों पर IQL को पछाड़ता है, जो IQL के 81.6 के मुकाबले 85.2 का सामान्य औसत स्कोर प्राप्त करता है।
  • लाभ: सुधार Hopper और Walker2d कार्यों में सबसे अधिक स्पष्ट हैं, विशेष रूप से मीडियम-रिप्ले (medium-replay) डेटासेट पर (जैसे Walker2d-medium-replay पर +7.2, Hopper-medium-replay पर +4.2)।
  • HalfCheetah: लाभ मामूली (+0.1 से +1.5) हैं, जो इस परिकल्पना के अनुरूप है कि सुचारू, अच्छी तरह से कवर की गई डायनेमिक्स को अनुकूली रूढ़िवादिता से कम लाभ मिलता है।
• भारी एन्सेमबल्स के मुकाबले प्रदर्शन:
  • UNIQ (85.2 औसत) कुल स्कोर में EDAC (92.9 औसत) और ReBRAC (89.7 औसत) से पीछे है।
  • हालाँकि, UNIQ यह काफी कम कम्प्यूटेशनल लागत के साथ प्राप्त करता है।
• दक्षता:
  • VRAM: UNIQ शिखर पर ~250 MB पर है, जबकि IQL (530 MB), EDAC (2500 MB), और ReBRAC (~1200 MB) अधिक हैं।
  • कंप्यूट: UNIQ, EDAC (N=50) की तुलना में प्रति स्टेप लगभग 4.6 गुना तेज़ है और IQL से केवल 1.1 गुना धीमा है।

5. महत्व और दावे

यह शोध पत्र UNIQ को एक सार्वभौमिक SOTA समाधान के रूप में नहीं, बल्कि एक व्यावहारिक तंत्र के रूप में प्रस्तुत करता है जो IQL-शैली की विधियों में निश्चित वैश्विक रूढ़िवादिता की संरचनात्मक बाधा को संबोधित करता है।

• लक्षित सुधार: यह विधि उन वातावरणों के लिए विशेष रूप से प्रभावी है जिनमें विषम कवरेज (heterogeneous coverage) होती है (जैसे रिप्ले-हैवी डेटासेट जहाँ व्यवहार मोड तेजी से बदलते हैं)। इन परिदृश्यों में, UNIQ की क्षमता—जो अच्छी तरह से कवर किए गए क्षेत्रों में रूढ़िवादिता को शिथिल करती है और विरल क्षेत्रों में इसे बनाए रखती है—महत्वपूर्ण लाभ प्रदान करती है।
• संसाधन सुलभता: लगभग IQL मेमोरी लागत पर काम करके, UNIQ सीमित कंप्यूट संसाधनों (जैसे सिंगल-GPU या MIG इंस्टेंस) वाले अभ्यासकर्ताओं को भारी एन्सेमबल के निषेधात्मक ओवरहेड के बिना IQL पर प्रदर्शन सुधार प्राप्त करने के लिए एक व्यवहार्य मार्ग प्रदान करता है।
• भविष्य की दिशाएँ: लेखक पेसिमिज्म गुणांक $\kappa(s)$ के स्वचालित, अवस्था-निर्भर चयन और कॉन्फॉर्मल कैलिब्रेशन के शीघ्र वॉर्म-स्टार्टिंग को प्रमुख अगले चरणों के रूप में पहचानते हैं।

संक्षेप में, UNIQ प्रदर्शित करता है कि अनुकूली रूढ़िवादिता (adaptive conservatism), जो डिस्ट्रीशन-फ्री अनिश्चितता कैलिब्रेशन द्वारा निर्देशित है, प्रदर्शन और दक्षता के बीच एक उच्च-मूल्य वाला ट्रेड-ऑफ प्रदान करती है, जिससे जटिल, विषम डेटा व्यवस्थाओं में ऑफलाइन RL अधिक मजबूत बनता है, बिना किसी विशाल कम्प्यूटेशनल स्केलिंग की आवश्यकता के।