🤖 machine learning

Operator-Guided Invariance Learning for Continuous Reinforcement Learning

यह शोध पत्र VPSD-RL का प्रस्ताव करता है, जो एक निरंतर सुदृढीकरण लर्निंग (continuous reinforcement learning) फ्रेमवर्क है जो डेटा दक्षता को बढ़ाने और व्यर्थ परिवर्तनशीलता (nuisance variability) के विरुद्ध मजबूती प्रदान करने के लिए ली-ग्रुप ऑपरेटर्स (Lie-group operators) और पुलबैक मैपिंग्स (pullback mappings) के माध्यम से सटीक और अनुमानित मान-संरक्षण संरचनाओं (value-preserving structures) की खोज करता है।

मूल लेखक: Zuyuan Zhang, Fei Xu Yu, Tian Lan

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zuyuan Zhang, Fei Xu Yu, Tian Lan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल, हवादार भूलभुलैया (maze) में चलना सिखा रहे हैं। रीइन्फोर्समेंट लर्निंग (RL) की दुनिया में, रोबोट 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखता है: वह एक कदम उठाता है, उसे इनाम या दंड मिलता है, और फिर वह खुद को सुधारता है। समस्या यह है कि यह प्रक्रिया अक्सर डेटा-भूखी (data-hungry) और नाजुक (fragile) होती है। यदि हवा थोड़ी बदल जाए या रोबोट किसी थोड़ी अलग जगह से शुरू करे, तो रोबोट भ्रमित हो सकता है और उसे सब कुछ फिर से शून्य से सीखना पड़ सकता है।

यह पेपर एक नई विधि पेश करता है जिसे VPSD-RL (Value-Preserving Structure Discovery for Reinforcement Learning) कहा जाता है। इसे ऐसे समझें जैसे रोबोट को उन छिपे हुए पैटर्न को पहचानने की "सुपरपावर" दी जा रही है जिनके बारे में उसे पहले पता भी नहीं था।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. समस्या: रोबोट "अल्पदृष्टि" (Myopic) वाला है

अधिकांश रोबोट एक समय में केवल एक विशिष्ट स्थिति को देखकर सीखते हैं। यदि रोबोट सीखता है कि "लाल दीवार पर बाईं ओर मुड़ना काम करता है," तो वह केवल उस सटीक लाल दीवार के लिए यह जानता है। यदि दीवार नीली है, या रोबोट 2 इंच बाईं ओर है, तो वह इसे पूरी तरह से एक नई समस्या मान लेता है। वह इस तथ्य को नजरअंदाज कर देता है कि भूलभुलैया का भौतिक विज्ञान (physics) वास्तव में वही है; केवल दृष्टिकोण बदला है।

2. समाधान: "छिपे हुए दर्पण" (Hidden Mirror) को खोजना

लेखक प्रस्तावित करते हैं कि कई वातावरणों में छिपी हुई समरूपता (symmetries) या पैटर्न होते हैं।

उपमा: एक कैलीडोस्कोप (kaleidoscope) की कल्पना करें। यदि आप ट्यूब को घुमाते हैं, तो पैटर्न बदल जाता है, लेकिन टुकड़ों के जुड़ने के नियम समान रहते हैं। "वैल्यू" (एक चाल कितनी अच्छी है) वैसी ही रहती है, भले ही चित्र घूम जाए।
लक्ष्य: VPSD-RL स्वचालित रूप से इन "रोटेशन" या "मिरर" (गणितीय रूप से जिन्हें Lie groups और operators कहा जाता है) को खोजने की कोशिश करता है, बिना यह बताए कि वे क्या हैं। यह पूछता है: "क्या इस स्थिति को बदलने का कोई तरीका है जिससे सबसे अच्छी चाल समान बनी रहे?"

3. यह कैसे काम करता है: तीन-चरणीय नृत्य

पेपर इन पैटर्न को खोजने और उनका उपयोग करने के लिए एक पाइपलाइन का वर्णन करता है:

चरण A: जासूसी कार्य (नियमों को खोजना)
रोबोट डेटा एकत्र करता है (कदम, पुरस्कार, परिणाम)। एल्गोरिदम "इन्फिनिटेसिमल जनरेटर्स" (infinitesimal generators) की तलाश करता है।
- उपमा: एक डांसर को देखते हुए कल्पना करें। आप एक साथ पूरा डांस नहीं देख सकते, लेकिन यदि आप मांसपेशी की सबसे छोटी, लगभग अदृश्य हरकत (twitch) को देखते हैं, तो आप पूरे मूवमेंट की दिशा का अनुमान लगा सकते हैं। एल्गोरिदम इन छोटी "हरकतों" (गणितीय वेक्टर्स) को खोजता है जो यह वर्णन करती हैं कि पर्यावरण कैसे बदलता है जबकि "स्कोर" (वैल्यू) समान रहता है। यह इसे Determining Equations नामक गणितीय पहेलियों को हल करके करता है।
चरण B: विस्तार (छोटे से बड़ा बनाना)
एक बार जब एल्गोरिदम को वह छोटी "हरकत" मिल जाती है, तो उसे पूरा डांस देखना होता है।
- उपमा: यदि आप एक स्थान पर नदी की धारा की दिशा जानते हैं, तो आप भविष्यवाणी कर सकते हैं कि एक मील नीचे पानी कहाँ बहेगा। एल्गोरिदम उन छोटी गणितीय "हरकतों" को लेता है और उन्हें "एक्सपोनेंशियेट" (exponentiates) करता है (ODE flows का उपयोग करके) ताकि पूर्ण, बड़े पैमाने के रूपांतरण बनाए जा सकें। यह एक छोटी सी धकेल को पूरे भूलभुलैया के पूर्ण रोटेशन या शिफ्ट में बदल देता है।
चरण C: चीट शीट (ज्ञान का उपयोग करना)
अब जब रोबोट छिपे हुए पैटर्न को जानता है, तो वह तेजी से सीखने के लिए उनका उपयोग करता है।
- ट्रांजिशन ऑग्मेंटेशन (Transition Augmentation): यदि रोबोट बिंदु A पर एक सबक सीखता है, और एल्गोरिदम जानता है कि बिंदु B बस बिंदु A का एक "रोटेटेड" संस्करण है, तो रोब सहित तुरंत उस सबक को बिंदु B पर लागू कर देता है। यह अंग्रेजी में किताब पढ़ने और तुरंत उसी कहानी को स्पेनिश में समझने जैसा है क्योंकि आप व्याकरण के नियमों को जानते हैं।
- कंसिस्टेंसी रेगुलराइजेशन (Consistency Regularization): रोबोट को "समान" स्थितियों के लिए अलग-अलग उत्तर देने पर दंडित किया जाता है। यह रोबोट को सुसंगत होने के लिए मजबूर करता है: "यदि यहाँ बाईं ओर मुड़ना अच्छा है, तो वहाँ भी यह अच्छा होना चाहिए।"

4. क्या होगा यदि पैटर्न एकदम सटीक नहीं है?

वास्तविक दुनिया में, चीजें शायद ही कभी पूर्ण होती हैं। हवा थोड़ी अलग तरह से चल सकती है, या दीवारें थोड़ी असमान हो सकती हैं।

पेपर का दावा: लेखक सिद्ध करते हैं कि भले ही पैटर्न केवल अनुमानित (लगभग सटीक) हो (पूर्ण दर्पण नहीं), फिर भी रोबोट का प्रदर्शन स्थिर रहेगा।
उपमा: एक थोड़ी ऊबड़-खाबड़ सड़क पर चलने की कल्पना करें। आपको सड़क के बिल्कुल समतल होने की आवश्यकता नहीं है; आपको बस यह जानने की आवश्यकता है कि ऊबड़-खाबड़ हिस्सा अनुमानित है। पेपर दिखाता है कि जब तक "ऊबड़-खाबड़पन" (त्रुटियां) छोटी हैं, रोबोट का "इष्टतम पथ" (optimal path) ढहेगा नहीं; यह बस थोड़ा सा डगमगाएगा, और गणित गारंटी देता है कि यह कितना डगमगाएगा।

5. परिणाम: तेज़ और मजबूत

लेखकों ने सिम्युलेटेड रोबोट कार्यों (जैसे रोबोट का कूदना, चलना या भूलभुलैया में नेविगेट करना) पर इनका परीक्षण किया।

परिणाम: VPSD-RL रोबोटों ने तेजी से सीखा (उन्हें अच्छा होने के लिए कम प्रयासों की आवश्यकता पड़ी) और वे अधिक मजबूत (robust) थे (उन्होंने वातावरण में बदलाव को बेहतर ढंग से संभाला) मानक रोबोटों की तुलना में।
क्यों? क्योंकि हर एक कदम को शून्य से सीखने के बजाय, उन्होंने दुनिया की संरचना (structure) को समझा। उन्होंने महसूस किया, "ओह, इस पूरी भूलभुलैया का यह हिस्सा बस उस हिस्से का रोटेटेड वर्जन है जिसे मैंने पहले ही मास्टर कर लिया है!"

सारांश

VPSD-RL एक ऐसा टूल है जो AI एजेंटों को गेम के हर एक विवरण को रटने के बजाय दुनिया की अंतर्निहित ज्यामिति (underlying geometry) को समझने में मदद करता है। यह डेटा में छिपे "समरूपता के नियमों" को स्वचालित रूप से खोजता है, उनके उपयोग से रोबोट के अनुभव को कई गुना बढ़ाता है, और यह गारंटी देता है कि भले ही दुनिया पूरी तरह से सममित (symmetrical) न हो, फिर भी रोबोट विश्वसनीय रूप से प्रदर्शन करेगा।

तकनीकी सारांश: निरंतर सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए ऑपरेटर-निर्देशित अपरिवर्तनीयता शिक्षण

समस्या विवरण

निरंतर अवस्था (state) और क्रिया (action) स्थानों वाले निरंतर-समय सुदृढीकरण शिक्षण (RL) अक्सर डेटा-गहन होता है और 'न्युसेंस वेरिएबिलिटी' (nuisance variability) तथा वितरण संबंधी बदलावों (distributional shifts) के प्रति संवेदनशील होता है। जबकि मौजूदा विधियाँ विशिष्ट समरूपताओं (जैसे रोटेशन या ट्रांसलेशन में सटीक इक्विवैरिएंस) या अपरिवर्तनीय विशेषताओं का लाभ उठाती हैं, वे उन सामान्य, डेटा-संचालित संरचनाओं को खोजने में संघर्ष करती हैं जो वैल्यू फंक्शन्स (value functions) को संरक्षित करती हैं। विशेष रूप से, ऐसे फ्रेमवर्क की कमी है जो सामान्य मूल्य-संरक्षण परिवर्तनों (value-preserving transformations)—दोनों सटीक और अनुमानित—की पहचान कर सके, जिन्हें निरंतर प्रणालियों के बीच मानचित्रण करने के लिए नॉनलीनियर ऑपरेटर्स की आवश्यकता होती है। मुख्य चुनौती निर्धारित समरूपताओं से आगे बढ़कर उन अंतर्निहित संरचनाओं की खोज करना है जो पूर्व ज्ञान के बिना डेटा दक्षता और सीखने की स्थिरता को बढ़ा सकें।

कार्यप्रणाली: VPSD-RL

लेखक VPSD-RL (वैल्यू-प्रिजर्विंग स्ट्रक्चर डिस्कवरी फॉर रीइन्फोर्समेंट लर्निंग) प्रस्तावित करते हैं, जो निरंतर RL को एक नियंत्रित डिफ्यूजन प्रक्रिया के रूप में मॉडल करता है। यह कार्यप्रणाली ऑपरेटर थ्योरी और ली ग्रुप (Lie group) क्रियाओं पर आधारित है, जो तीन मुख्य चरणों में आगे बढ़ती है:

1. सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

यह फ्रेमवर्क नियंत्रित जनरेटर (मार्कोव सेमग्रुप का इन्फिनिटिसिमल जनरेटर) और रिवॉर्ड फंक्शनल के स्तर पर मूल्य संरक्षण को परिभाषित करता है।

सटीक मूल्य-संरक्षण संरचना (Exact Value-Preserving Structure): एक रूपांतरण युग्म $(g_\vartheta, h_\vartheta)$ (जो अवस्थाओं और क्रियाओं पर क्रमशः कार्य करता है) तब मूल्य-संरक्षण वाला होता है यदि वैल्यू फंक्शन का पुलबैक (pullback) और क्रियाओं का पुशफॉरवर्ड (pushforward) नियंत्रित जनरेटर $L_a$ और रिवॉर्ड $r$ के साथ कम्यूट (commute) करता है। औपचारिक रूप से, इसके लिए आवश्यक है:
$L_a(f \circ g_\vartheta) = (L_{h_\vartheta(a)}f) \circ g_\vartheta \quad \text{और} \quad r(g_\vartheta(s), h_\vartheta(a)) = r(s, a)$
निर्धारक समीकरण (Determining Equations): एक-पैरामीटर सबग्रुप्स के साथ इन ऑपरेटर पहचानों का अवकलन (differentiation) करके, लेखक ड्रिफ्ट $b$ , डिफ्यूजन मैट्रिक्स $Q$ , और रिवॉर्ड $r$ पर स्थानीय आंशिक अंतर समीकरण (PDE) बाधाएं (निर्धारक समीकरण) प्राप्त करते हैं। ये समीकरण मूल्य-संरक्षण ली ग्रुप क्रियाओं के इन्फिनिटिसिमल जनरेटर्स $(X, Y)$ को लक्षणबद्ध करते हैं।
अनुमानित संरचना (Approximate Structure): यह पहचानते हुए कि वास्तविक दुनिया के डेटा में सटीक समरूपताएं दुर्लभ हैं, फ्रेमवर्क अनुमानित मूल्य-संरक्षण संरचनाओं तक विस्तारित होता है। यहाँ, ऑपरेटर्स का कम्यूटेशन एक मिसमैच एरर $(\epsilon_L, \epsilon_r)$ द्वारा सीमित होता है। लेखक सिद्ध करते हैं कि बाउंडेड जनरेटर/रिवॉर्ड मिसमैच, ऑप्टिमल वैल्यू फंक्शन $V^\star$ पर एक मात्रात्मक स्थिरता सीमा (stability bound) प्रदान करता है, जहाँ त्रुटि मिसमैच के रैखिक रूप से स्केल होती है और प्रभावी होराइजन ( $1/\beta$ ) द्वारा प्रवर्धित होती है।

2. एल्गोरिद्मिक पाइपलाइन (Algorithmic Pipeline)

VPSD-RL इन सिद्धांतों को एक लर्निंग पाइपलाइन के माध्यम से संचालित करता है:

इन्फिनिटिसिमल जनरेटर्स को सीखना: एल्गोरिदम डिफरेंशिएबल एनवायरनमेंट मॉडल्स (ड्रिफ्ट, डिफ्यूजन और रिवॉर्ड) से प्राप्त निर्धारक समीकरणों (Eqs. 12–14) के एम्पिरिकल रेसिडुअल्स को मिनिमाइज करके वेक्टर फील्ड्स $X_\theta$ (स्टेट जनरेटर) और $Y_\phi$ (एक्शन जनरेटर) सीखता है।
फ्लो इंटीग्रेशन के माध्यम से एक्सपोनेन्शिएशन: सीखे गए इन्फिनिटिसिमल जनरेटर्स को ODE फ्लो का उपयोग करके एक्सपोनेंशियल किया जाता है ताकि परिमित रूपांतरण (finite transformations) $(g_\alpha, h_\alpha)$ प्राप्त किए जा सकें। यह चरण इन्फिनिटिसिमल स्तर से परिमित ग्रुप एक्शन को पुनः प्राप्त करता है।
RL एकीकरण: खोजे गए परिमित रूपांतरणों को निम्नलिखित माध्यम से RL लूप में एकीकृत किया जाता है:
- ट्रांजिशन ऑग्मेंटेशन (Transition Augmentation): एकत्र किए गए अनुभव टुपल्स $(s, a, s', r)$ को $(g_\alpha(s), h_\alpha(a), g_\alpha(s'), r)$ में बदलकर, जो अनुभव को मूल्य-संरक्षण ऑर्बिट्स के साथ साझा करता है, रिप्ले बफर को समृद्ध करता है।
- ट्रांसफॉर्मेशन-कंसिस्टेंसी रेगुलराइजेशन: लॉस फंक्शन में दंड (penalties) जोड़ना ताकि वैल्यू और पॉलिसी नेटवर्क रूपांतरित स्टेट-एक्शन पेयर्स के लिए सुसंगत भविष्यवाणियां करने के लिए प्रोत्साहित हों।

3. सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर एंड-टू-एंड गारंटी स्थापित करता है:

ऑप्टिमाइजेशन: स्ट्रक्चर डिस्कवरी ऑब्जेक्टिव का स्टोकेस्टिक ऑप्टिमाइजेशन मानक SGD दरों ( $O(1/\sqrt{T})$ ) पर अप्रोक्सिमेट स्टेशनरी पॉइंट्स की ओर अभिसरित (converge) होता है।
सांख्यिकीय निरंतरता (Statistical Consistency): रियलिजेबिलिटी धारणाओं के तहत, सीखे गए जनरेटर्स निर्धारक समीकरणों के समाधानों की ओर $\rho$ -मीन में अभिसरित होते हैं, जिससे डेटा सपोर्ट पर ऑपरेटर मिसमैच शून्य हो जाता है।
स्थिरता (Stability): अनुमानित संरचनाओं के लिए, विचलित बेलमैन ऑपरेटर एक कॉन्ट्रैक्शन बना रहता है, और फिक्स्ड-पॉइंट एरर मिसमैच के परिमाण द्वारा सीमित होता है।

मुख्य परिणाम

लेखक अपने मूल्यांकन के लिए व्याख्यात्मक सिंथेटिक कंट्रोल्ड डिफ्यूजन और मानक निरंतर-कंट्रोल बेंचमार्क (MuJoCo: Hopper, Walker2d, Ant; और SymNav वेरिएंट्स) का उपयोग करते हैं।

स्ट्रक्चर डिस्कवरी: ज्ञात ग्राउंड-ट्रुथ सिमेट्रीज़ (जैसे प्लेनर रोटेशन, रिफ्लेक्शन) वाले सिंथेटिक वातावरण में, निर्धारक समीकरणों के रेसिडुअल्स को मिनिमाइज करने से सफलतापूर्वक उन इन्फिनिटिसिमल जनरेटर्स को रिकवर किया जाता है जो वास्तविक समरूपताओं के अनुरूप होते हैं। इससे सीखे गए फ्लो के साथ एम्पिरिकल वैल्यू नॉन-इनवेरियंस में कमी आती है।
प्रदर्शन लाभ:
- SymNav: VPSD-RL बाधाओं और हवा के विक्षोभ (wind disturbances) वाले नेविगेशन कार्य के 15 वेरिएंट्स में बेहतर सैंपल एफिशिएंसी और मजबूती प्रदर्शित करता है, जो SAC, TD3 और PPO जैसे बेसलाइन्स को पछाड़ देता है।
- MuJoCo: विधि कार्य-विशिष्ट सुधार दिखाती है। Hopper (सिंगल होपिंग टेम्पलेट) पर लाभ मामूली है लेकिन Walker2d (लेफ्ट-राइट फेज कॉरेस्पोंडेंस) पर अधिक स्पष्ट है और Ant-v4 पर सबसे मजबूत है, जहाँ मल्टी-लिम्ब कोआर्डिनेशन समृद्ध अनुमानित मूल्य-संरक्षण पैटर्न बनाता है।
- मात्रात्मक मेट्रिक्स: Ant-v4 पर, VPSD-RL अत्याधुनिक बेसलाइन्स की तुलना में उच्च फाइनल रिटर्न (SAC के 4477 के मुकाबले 5822) और बड़ा AUC प्राप्त करता है, जिसमें मध्यम कंप्यूटेशनल ओवरहेड शामिल है।

महत्व और दावे

पेपर का दावा है कि VPSD-RL बिना किसी निर्धारित समरूपता पर निर्भर रहे, निरंतर RL में मूल्य-संरक्षण संरचनाओं की खोज और उपयोग के लिए एक नया, ऑपरेटर-स्तरीय फ्रेमवर्क प्रदान करता है।

समरूपता का सामान्यीकरण: यह फ्रेमवर्क शास्त्रीय ली सिमेट्रीज़ को एक डिज़ाइन प्रिमिस के बजाय एक विशेष मामले के रूप में समाहित करता है, जिससे सामान्य, डेटा-संचालित संरचनाओं की खोज संभव होती है।
कठोर स्थिरता: यह जनरेटर/रिवॉर्ड के मिसमैच को ऑप्टिमल वैल्यू फंक्शन से जोड़कर कठोर सैद्धांतिक गारंटी प्रदान करता है, जो यह समझने के लिए एक मात्रात्मक आधार देता है कि अनुमानित अपरिवर्तनीयता (invariance) पॉलिसी प्रदर्शन को कैसे प्रभावित करती है।
डेटा दक्षता: निरंतर-कंट्रोल सेटिंग्स में ट्रांजिशन ऑग्मेंटेशन और कंसिस्टेंसी रेगुलराइजेशन के माध्यम से खोजी गई संरचनाओं का लाभ उठाकर, यह विधि डेटा दक्षता और मजबूती में सुधार करता है, विशेष रूप से वहां जहां उपयोगी रूपांतरण मौजूद हैं लेकिन उन्हें पूर्व में ज्ञात नहीं किया गया है।

लेखक इस बात पर जोर देते हैं कि सीखे गए फ्लो स्थानीय (local) हैं और उनकी विश्वसनीयता रेसिड्यूल और इनवेरियंस डायग्नोस्टिक्स के माध्यम से आंकी जाती है, यह स्वीकार करते हुए कि यह विधि डैमेज-प्रूफ सरोगेट मॉडल्स पर निर्भर करती है और यदि मूल्य-संरक्षण संबंध केवल एक संकीर्ण डेटा सपोर्ट पर ही मान्य है या डायनेमिक्स अत्यधिक विच्छिन्न (discontinuous) हैं, तो इसका प्रदर्शन घट सकता है।