🤖 machine learning

Mollified Value Learning

यह शोध पत्र मॉलिफाइड वैल्यू लर्निंग (MVL) को प्रस्तुत करता है, जो एक नवीन ऑफलाइन गोल-कंडीशन्ड सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) दृष्टिकोण है जो अस्थिर पॉइंटवाइज डिफरेंशियल बाधाओं को एक स्थानिक रूप से एकत्रित अपेक्षा (स्पेशियली एग्रीगेटेड एक्सपेक्टेशन) से प्रतिस्थापित करता है ताकि मजबूत, दूरी-समान वैल्यू ज्योमेट्री प्रेरित की जा सके और उच्च-आयामी कार्यों में प्रदर्शन में सुधार किया जा सके।

मूल लेखक: Hrishikesh Viswanath, Juanwu Lu, S. Talha Bukhari, Mihir Chauhan, Damon Conover, Ziran Wang, Aniket Bera

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hrishikesh Viswanath, Juanwu Lu, S. Talha Bukhari, Mihir Chauhan, Damon Conover, Ziran Wang, Aniket Bera

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना या एक कप उठाना सिखाने की कोशिश कर रहे हैं, लेकिन आप रोबोट को वास्तविक दुनिया में अभ्यास करने की अनुमति नहीं दे सकते। इसके बजाय, आपके पास केवल अन्य रोबोटों द्वारा इन कार्यों को करने के (कभी सफल और कभी असफल होने के) प्रयासों का एक विशाल, स्थिर फोटो एल्बम है। इसे ऑफलाइन गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग (Offline Goal-Conditioned Reinforcement Learning) कहा जाता है। रोबोट को इस "फोटो एल्बम" से सीखना होगा बिना कोई नया कदम उठाए।

बड़ी समस्या यह है कि रोबोट अक्सर इस बात को लेकर भ्रमित हो जाता है कि वह अपने लक्ष्य से कितनी दूर है। उसे लग सकता है कि वह करीब है जबकि वास्तव में वह दूर है, या वह एक लूप में फंस सकता है।

पुराना तरीका: "परफेक्ट मैप" की समस्या

पिछले तरीकों ने रोबोट को सख्त गणितीय नियमों का पालन करने के लिए मजबूर करके इसे ठीक करने की कोशिश की, जो एक सटीक मानचित्र बनाने जैसा है जहाँ प्रत्येक बिंदु की लक्ष्य से सटीक दूरी होती है। उन्होंने जटिल समीकरणों (जैसे ईकोनल समीकरण - Eikonal equation) का उपयोग किया ताकि यह सुनिश्चित हो सके कि रोबोट को सबसे छोटा रास्ता पता हो।

इसे ऐसे समझें जैसे कि आप एक घने कोहरे के बीच एक रूलर (पैमाना) पकड़कर चलने की कोशिश कर रहे हैं। आपको अगला कदम उठाने से पहले सटीक रूप से अगले स्थान की दूरी मापनी होगी। यदि कोहरा घना है (डेटा अव्यवस्थित है या रोबोट जटिल है), तो हर एक कदम को पूरी तरह से मापने की कोशिश करने से रूलर हिलने लगता है, गणित टूट जाता है, और रोबोट जम जाता है। यह छोटी त्रुटियों के प्रति बहुत संवेदनशील है।

नया तरीका: मोलिफाइड वैल्यू लर्निंग (MVL)

लेखक इस पेपर में एक स्मार्ट और अधिक सहज दृष्टिकोण प्रस्तावित करते हैं जिसे मोलिफाइड वैल्यू लर्निंग (Mollified Value Learning) कहा जाता है।

उपमा: "फजी फ्लैशलाइट" (धुंधली टॉर्च)
एक एकल, सटीक बिंदु पर रूलर से लक्ष्य की दूरी मापने के बजाय, कल्पना करें कि रोबलेट अपने वर्तमान स्थान के चारों ओर एक फजी फ्लैशलाइट जलाता है।

प्रकाश की किरण: फ्लैशलाइट केवल उस स्थान को नहीं देखती जहाँ रोबोट खड़ा है; यह उसके आसपास के छोटे पड़ोस (neighborhood) को देखती है।
औसत (The Average): "क्या यह सटीक पिक्सेल लक्ष्य से 5 मीटर दूर है?" पूछने के बजाय, रोबोट पूछता है, "क्या मेरे आसपास के स्थान औसतन लक्ष्य के करीब जा रहे हैं?"
स्मूथिंग प्रभाव (The Smoothing Effect): यह "फजी" दृश्य एक मोलिफायर (एक गणितीय उपकरण जो खुरदरे किनारों को चिकना करता है) के रूप में कार्य करता है। यदि डेटा में कोई अजीब गड़बड़ी या शोर वाला माप है (जैसे कि एक फोटो जहाँ रोबोट फिसल गया), तो फ्लैशलाइट आस-पास के "अच्छे" डेटा के साथ उसे औसत निकाल देती है। यह छोटी, टेढ़ी-मेढ़ी त्रुटियों को अनदेखा करती है और बड़े चित्र पर ध्यान केंद्रित करती है: "क्या मैं सामान्य रूप से सही दिशा में बढ़ रहा हूँ?"

यह बेहतर क्यों काम करता है

पेपर का दावा है कि "सटीक बिंदु" वाले गणित के बजाय इस "औसत पड़ोस" वाले दृष्टिकोण का उपयोग करने से:

यह अधिक स्थिर है: जब डेटा अव्यवsted होता है या वातावरण जटिल होता है (जैसे कई जोड़ों वाला एक उच्च-आयामी रोबोटिक हाथ), तो रोबोट क्रैश नहीं होता है।
यह पथ का आकार सीखता है: रोबोट एक चिकना "टेरेन" (terrain) सीखता है जहाँ लक्ष्य एक घाटी की तरह होता है। भले ही जमीन ऊबड़-खाबड़ हो, रोबोट समग्र ढलान को देख सकता है और लक्ष्य की ओर फिसल सकता है।
यह शोर (Noise) को संभालता है: वास्तविक दुनिया के परीक्षणों में (जैसे सेब पकड़ने की कोशिश करने वाला रोबोटिक हाथ), पुराने तरीके शोर वाले डेटा के साथ अक्सर पूरी तरह विफल हो जाते थे। नया तरीका (MVL) काम करता रहा, और डेटा "झटकेदार" होने के बावजूद सेब तक पहुँचने के लिए सफलतापूर्वक मार्गदर्शन करता रहा।

परिणाम

शोधकर्ताओं ने सरल 2D भूलभुलैया से लेकर वस्तुओं को व्यवस्थित करने और पहेलियाँ सुलझाने वाले जटिल 3D रोबोटिक हाथों तक विभिन्न कार्यों पर इनका परीक्षण किया।

नेविगेशन (Navigation): भूलभुलैया के कार्यों में, रोबोट लक्ष्य को अधिक बार पाता है और अधिक सुचारू पथ अपनाता है।
मैनिपुलेशन (Manipulation): ब्लॉक को व्यवस्थित करने या चीजों को दराजों में रखने जैसे कार्यों के लिए, यह पिछले तरीकों की तुलना में काफी अधिक सफल रहा।
वास्तविक दुनिया: एक वास्तविक रोबोटिक हाथ (फ्रैंका पांडा) पर परीक्षण करते समय, इस पद्धति ने रोबोट को वस्तुओं तक पहुँचने और उन्हें पकड़ने में मदद की, जबकि अन-रेगुलराइज्ड वर्जन अक्सर खुद को सही स्थिति में रखने में विफल रहा।

संक्षेप में

यह पेपर रोबोट को सिखाने का एक तरीका पेश करता है कि वे सटीक, बिंदु-दर-बिंदु माप के पीछे पड़ने के बजाय अपने परिवेश के "बड़े चित्र" को देखकर अपने लक्ष्यों को कैसे खोजें। यह एक खोए हुए यात्री को बताने जैसा है, "अगले पेड़ तक की सटीक दूरी की चिंता मत करो; बस पहाड़ी की सामान्य ढलान को देखो और नीचे की ओर चलना जारी रखो," जो कि ऊबड़-खाबड़ इलाके में बहुत अधिक विश्वसनीय साबित होता है।

तकनीकी सारांश: मोलिफाइड वैल्यू लर्निंग (Mollified Value Learning)

समस्या विवरण

ऑफलाइन गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग (GCRL) का लक्ष्य विशिष्ट लक्ष्य अवस्थाओं (goal states) तक पहुँचने वाली नीतियों को सीखना है, जो बिना किसी अतिरिक्त वातावरण संपर्क के, स्थिर और पूर्व-संग्रहित डेटासेट से प्राप्त की जाती हैं। इस सेटिंग में एक केंद्रीय चुनौती गोल-कंडीशन्ड वैल्यू फंक्शन (GCVF) का सटीक अनुमान लगाना है। जबकि मानक वैल्यू पैरामीट्रिज़ेशन टेम्पोरल-डिफरेंस (TD) रिकर्सन पर निर्भर करते हैं, उनमें अक्सर अंतर्निहित लक्ष्य-पहुँचने वाली ज्यामिति (goal-reaching geometry) को पकड़ने के लिए आवश्यक संरचनात्मक इंडक्टिव बायस (inductive biases) की कमी होती है। यह कमी, विशेष रूप से स्पार्स-रिवॉर्ड (sparse-reward) सेटिंग्स और उच्च-आयामी वातावरणों में, अनइंफॉर्मेटिव या खराब संरचित वैल्यू अनुमानों की ओर ले जाती है।

हालिया फिजिक्स-इन्फॉर्म्ड दृष्टिकोण हैमिल्टन-जैकोबी-बेलमैन (HJB) अनुकूलन सिद्धांतों से प्राप्त पॉइंटवाइज ज्योमेट्रिक बाधाओं (pointwise geometric constraints) को लागू करने का प्रयास करते हैं, जो अक्सर शॉर्टेस्ट-पाथ ज्योमेट्री को मॉडल करने के लिए ईकल समीकरण (Eikonal equation) का उपयोग करते हैं। हालाँकि, स्पष्ट डिफरेंशियल ऑपरेटर्स (जैसे प्रथम-क्रम आंशिक अंतर समीकरण) के माध्यम से स्थानीय निरंतरता (local consistency) को लागू करना जटिल, उच्च-आयामी वातावरणों में अस्थिर हो जाता है। ये विधियाँ स्पार्स स्टेट-एक्शन कवरेज, जटिल किनेमैटिक्स और फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) से जुड़ी व्यावहारिक कठिनाइयों के कारण संख्यात्मक अस्थिरता (numerical instability) से ग्रस्त होती हैं।

कार्यप्रणाली: मोलिफाइड वैल्यू लर्निंग (MVL)

लेखक मोलिफाइड वैल्यू लर्निंग (MVL) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो दूरी-समान ज्यामितीय बाधाओं को पॉइंटवाइज लागू करने के बजाय एक स्थानीय स्थानिक माप (local spatial measure) पर अपेक्षा (expectation) के रूप में पुनर्व्याख्या करता है।

मुख्य अंतर्दृष्टि (Core Insight)

यह आवश्यकता होने के बजाय कि वैल्यू फंक्शन सख्त डिफरेंशियल समीकरणों को संतुष्ट करे (जो शोर और उच्च आयाम के प्रति संवेदनशील होते हैं), MVL शॉर्टेस्ट-पाथ निरंतरता को एक स्थानिक अपेक्षा (spatial expectation) के रूप में पुनर्गठित करता है। यह विधि यह मानती है कि कॉस्ट-टू-गो (cost-to-go) संबंध स्थानीय अवस्थाओं के एक पड़ोस (neighborhood) पर अपेक्षा के रूप में बना रहना चाहिए। यह दृष्टिकोण एक "स्पेशियल मोलिफायर" (spatial mollifier) के रूप में कार्य करता है, जो महंगे या अस्थिर डिफरेंशियल ऑपरेटर्स की आवश्यकता के बिना दूरी-समान वैल्यू ज्योमेट्री को प्रेरित करता है।

सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

ज्यामितीय निरंतरता (Geometric Consistency): इष्टतम वैल्यू फंक्शन $V^*(s, g)$ अवस्था $s$ से लक्ष्य $g$ तक के सबसे छोटे व्यवहार्य पथ (geodesic) के अनुरूप होता है। यह त्रिकोण असमानता (triangle inequality) का पालन करता है: $V(s, g) \geq V(s, s') + V(s', g)$ ।
स्थानीय विश्राम (Local Relaxation): एक छोटे समय अंतराल $\Delta t$ के भीतर $s$ से एक पड़ोसी $s'$ के लिए संक्रमण, लागत को $c(s, g)\Delta t \approx c(s, g)\|s' - s\|$ के रूप में अनुमानित करता है। स्थानीय निरंतरता की स्थिति को परिभाषित किया गया है:
$V(s', g) - V(s, g) - c(s, g)\|s' - s\| \leq 0$
मोलिफाइड ऑब्जेक्टिव (Mollified Objective): प्रत्येक विशिष्ट संक्रमण के लिए इस असमानता को लागू करने के बजाय, MVL एक अवशिष्ट ऑपरेटर (residual operator) $\Phi(V, s, s', g) = V(s', g) - V(s, g) - c(s, g)\|s' - s\|$ को परिभाषित करता है और इसे एक स्थानीय स्थानिक माप $\rho_\delta(s'|s)$ पर अपेक्षा के रूप में लागू करता है:
$\mathcal{R}_\delta[V](s, g) := \int \Phi(V, s, s', g) \rho_\delta(s'|s) ds'$
यहाँ, $\rho_\delta$ एक स्थानीयकृत ट्रांजिशन कर्नेल (जैसे, त्रिज्या $\delta$ के साथ $s$ पर केंद्रित एक गॉसियन वितरण) है।
लॉस फंक्शन (Loss Function): ज्यामितीय रेगुलराइजेशन लॉस इस अवशिष्ट के वर्ग के धनात्मक भाग का अनुभवजन्य (empirical) अपेक्षा है (उल्लंघन को दंडित करने के लिए ReLU का उपयोग करते हुए):
$L_{MVL}(\theta) = \mathbb{E}_{s,g} \left[ \text{ReLU}(\mathcal{R}_\delta[V_\theta](s, g))^2 \right]$

व्यावहारिक कार्यान्वयन

मॉडल-फ्री ऑफलाइन सेटिंग्स में, इंटीग्रल को एक गॉसियन वितरण $\mathcal{N}(s, \delta^2 I)$ से नमूनों के एक परिमित सेट $\{s'_1, \dots, s'_N\}$ द्वारा अनुमानित किया जाता है। यह विधि मौजूदा इम्प्लिसिट वैल्यू रिप्रेजेंटेशन लर्निंग विधियों (जैसे GCIVL) के साथ संगत है और इसके लिए स्पष्ट उच्च-क्रम डिफरेंशियल ऑपरेटर्स की आवश्यकता नहीं है, जिससे यह कंप्यूटेशनल रूप से व्यवहार्य और मजबूत बनता है।

प्रमुख योगदान

नया सूत्रीकरण: पेपर MVL पेश करता है, जो एक वैल्यू लर्निंग फ्रेमवर्क है जो स्थानीय स्टेट डिस्ट्रीब्यूशन पर अपेक्षित कॉस्ट-टू-गो बाधाओं को हल करके ऑफलाइन GCRL में शॉर्टेस्ट-पाथ-जैसे ज्यामितीय इंडक्टिव बायस को इंजेक्ट करता है।
स्थिरता और व्यवहार्यता: एक स्पष्ट डिफरेंशियल ऑपरेटर के स्थान पर एक व्यवहार्य इंटीग्रल का उपयोग करके, MVL उच्च-आयामी Eikonal और HJB फॉर्मुलेशन से जुड़ी संख्यात्मक अस्थिरता से बचता है।
शोर के प्रति मजबूती (Robustness to Noise): यह विधि एक ज्यामितीय लो-पास फिल्टर के रूप में कार्य करती है, जो स्थानिक रूटिंग ज्योमेट्री को लो-लेवल डेटासेट शोर और अनमॉडल डायनेमिक्स से अलग करती है। यह उन स्टोकेस्टिक वातावरणों में विशेष रूप से प्रभावी है जहाँ पॉइंटवाइज बाधाएं अक्सर विफल हो जाती हैं।
अनुभवजन्य सत्यापन: इसका सत्यापन 13 स्टेट-बेस्ड टास्क (नेविगेशन और मैनिपुलेशन) और वास्तविक दुनिया के रोबोटिक प्रयोगों पर किया गया है, जो बेहतर गोल-रीचिंग प्रदर्शन और संरचित वैल्यू रिप्रेजेंटेशन प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने OGBench बेंचमार्क (जिसमें पॉइंटमेज़, एंटमेज़ और ह्यूमनॉइडमेज़ जैसे नेविगेशन कार्यों और क्यूब, सीन और पज़ल जैसे मैनिपुलेशन कार्यों को कवर किया गया है) और D4RL फ्रैंका किचन सुइट पर MVL का मूल्यांकन किया।

प्रदर्शन लाभ: MVL इम्प्लिसिट वैल्यू लर्निंग बेसलाइन्स के साथ जुड़कर गोल-रीचिंग सफलता दर में महत्वपूर्ण सुधार करता है। उदाहरण के लिए, cube-single-play कार्य पर, ड्यूल-गोल रिप्रेजेंटेशन में MVL जोड़ने से सफलता 89% से बढ़कर 91% हो गई। scene-play कार्य में, इसने प्रदर्शन को 72% से बढ़ाकर 84% कर दिया।
बेसलाइन्स के साथ तुलना: MVL मानक बेसलाइन्स (GCIVL, VIB, VIP, TRA, BYOL) और स्पष्ट ईकल बाधाओं (DUAL+EIK) वाले फिजिक्स-इन्फॉर्म्ड बेसलाइन्स को पछाड़ देता है। विशेष रूप रूप से, जटिल मैनिपुलेशन कार्यों में जहाँ ईकल-आधारित विधियाँ संघर्ष करती हैं या विफल हो जाती हैं (जैसे, cube-single-play जहाँ EIK केवल 1% सफलता प्राप्त करता है बनाम MVL की 91%), MVL मजबूत प्रदर्शन प्रदान करता है।
स्टोकेस्टिसिटी के प्रति मजबूती: शोर वाले वातावरण में (जैसे, cube-single-noisy), बेसलाइन विधियां लगभग शून्य सफलता तक गिर जाती हैं, जबकि MVL उच्च प्रदर्शन बनाए रखता है (99% सफलता), जो ट्रांजिशन शोर को फ़िल्टर करने की इसकी क्षमता को प्रदर्शित करता है।
वास्तविक दुनिया में तैनाती: विधि को "रीच एंड ग्रैस्प" और "पिक एंड प्लेस" कार्यों के लिए फ्रैंका एमिका पांडा रोबोट पर सफलतापूर्वक तैनात किया गया था। रेगुलराइजेशन ने रीच एंड ग्रैस्प में सफलता दर को 20% से 80% और पिक एंड प्लेस में 0% से 100% तक सुधार दिया, जो वास्तविक दुनिया के सेंसर वेरिएंस और घर्षण को संभालने में इसकी उपयोगिता को उजागर करता है।

महत्व और दावे

पेपर का दावा है कि MVL एक सरल और व्यवहार्य इंडक्टिव बायस प्रदान करता है जो उच्च-आयामी मैनिपुलेशन और नेविगेशन कार्यों में वैल्यू लर्निंग में सुधार करता है। इसकी प्राथमिक महत्ता यह प्रदर्शित करने में है कि GCRL वैल्यू फंक्शन की ज्यामिति को स्पष्ट डिफरेंशियल फॉर्मुलेशन पर निर्भर किए बिना परिभाषित किया जा सकता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक "कमजोर" (weak) ज्यामितीय निरंतरता प्रदान करता है जो बड़े पैमाने की रूटिंग संरचनाओं को सुरक्षित रखते हुए छोटे पैमाने की अनियमितताओं को कम करता है। वे सीमाओं को स्वीकार करते हुए कहते हैं कि यह फॉर्मुलेशन यूक्लिडियन दूरी और आइसोट्रोपिक कर्नेल पर निर्भर करता है, जो शायद नॉन-होलोनोमिक बाधाओं या जटिल संपर्क डायनेमिक्स को पूरी तरह से मॉडल न कर सके। हालाँकि, उनका तर्क है कि यह सरलीकरण उच्च-आयामी स्टेट स्पेस में प्रभावी शिक्षण की अनुमति देता है जहाँ सटीक डायनेमिक्स अज्ञात होते हैं, जो सटीक HJB समाधानों के लिए एक व्यावहारिक विकल्प प्रदान करता है।

यह कार्य एक व्यापक शोध दिशा का सुझाव देता है: सीखे गए या मैनिफोल्ड-अवेयर रिप्रेजेंटेशन स्पेस में इन ज्यामितीय रेगुलराइजेशन विचारों को विस्तारित करना, विशेष रूप से विजुअल डोमेन में जहाँ लेटेंट स्पेस में यूक्लिडियन धारणाएं सही नहीं हो सकती हैं।