🤖 machine learning

Reinforcement Learning Using known Invariances

यह शोध पत्र एक समरूपता-जागरूक (symmetry-aware) आशावादी न्यूनतम-वर्ग मान पुनरावृत्ति (optimistic least-squares value iteration) ढांचे का प्रस्ताव करता है जो इनवेरिएंट कर्नेल (invariant kernels) के माध्यम से ज्ञात समूह समरूपताओं का लाभ उठाता है ताकि सुदृढीकरण शिक्षण (reinforcement learning) में महत्वपूर्ण नमूना दक्षता लाभों को सैद्धांतिक और अनुभवजन्य रूप से प्रदर्शित किया जा सके।

मूल लेखक: Alexandru Cioba, Aya Kayal, Laura Toni, Sattar Vakili, Alberto Bernacchia

प्रकाशित 2026-04-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexandru Cioba, Aya Kayal, Laura Toni, Sattar Vakili, Alberto Bernacchia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। एक मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) सेटअप में, रोबोट को सब कुछ शून्य से सीखना पड़ता है: "अगर मैं यहाँ बाईं ओर गया, तो मैं दीवार से टकरा गया। अगर मैं दाईं ओर गया, तो मुझे एक सिक्का मिला।" वह हजारों बार प्रयास करता है, गलतियाँ करता है और धीरे-धीरे नियमों को समझता है। यह एक ऐसे छात्र की तरह है जो एक ही किताब को बार-बार पढ़कर भाषा सीखने की कोशिश कर रहा है, बिना यह समझे कि व्याकरण के नियम हर वाक्य के लिए समान हैं।

यह शोध पत्र रोबोट को सिखाने का एक स्मार्ट तरीका प्रस्तावित करता है जिसमें ज्ञात सममिति (known symmetries) का उपयोग किया जाता है।

मुख्य विचार: "मिरर ट्रिक" (दर्पण का कमाल)

वास्तविक दुनिया के कई वातावरणों में छिपे हुए पैटर्न होते हैं जिन्हें सममिति (symmetries) कहा जाता है।

घूर्णन (Rotation): यदि आप एक वर्गाकार कमरे को 90 डिग्री घुमाते हैं, तो वह बिल्कुल वैसा ही दिखता है।
परावर्तन (Reflection): यदि आप दर्पण में एक गलियारे को देखते हैं, तो उसमें चलने के नियम नहीं बदलते।
स्थानांतरण (Translation): यदि आप एक पहेली के टुकड़े को एक इंच दाईं ओर खिसकाते हैं, तो उसके फिट होने का तरीका वही रहता है।

इस शोध पत्र में, लेखक यह मानकर चलते हैं कि हम पहले से जानते हैं कि ये सममितियाँ मौजूद हैं (जैसे यह जानना कि एक गेम बोर्ड घूर्णन रूप से सममित है)। रोबोट को बोर्ड के हर एक स्थान के लिए नियम सीखने देने के बजाय, वे रोबोट को एक "जादुई लेंस" (एक गणितीय उपकरण जिसे कर्नेल/kernel कहा जाता है) देते हैं जो बोर्ड को इस तरह देखता है जैसे कि उसे मोड़कर छोटा कर दिया गया हो।

उपमा:
कल्पना कीजिए कि आप एक वीडियो गेम खेलना सीख रहे हैं जहाँ लेवल एक पूर्ण वृत्त (circle) है।

मानक लर्निंग (Standard Learning): आप पूरे वृत्त के लेआउट को सीखने का प्रयास करते हैं। आप याद करते हैं कि "12 बजे की स्थिति में, एक गड्ढा है।" फिर आपको यह भी याद करना पड़ता है कि "3 बजे, एक गड्ढा है," और "6 बजे," इत्यादि। आप एक ही चीज़ को चार बार सीख रहे हैं।
सममिति-जागरूक लर्निंग (Symmetry-Aware Learning - यह शोध पत्र): आप रोबोट को बताते हैं, "हे, यह लेवल एक वृत्त है। यदि तुम 12 बजे क्या होता है, यह सीख लेते हो, तो तुम अपने आप जान जाओगे कि 3, 6 और 9 बजे क्या होता है।" रोबोट को केवल पाई (pie) का एक हिस्सा सीखने की आवश्यकता है, और वह तुरंत पूरे पाई को समझ जाता है।

उन्होंने इसे कैसे किया

लेखकों ने एक लोकप्रिय लर्निंग एल्गोरिदम LSVI (Least-Squares Value Iteration) का एक नया संस्करण बनाया।

"जादुई लेंस" (Invariant Kernels): उन्होंने गणित को इस तरह संशोधित किया कि रोबोट का मस्तिष्क सममित स्थितियों को एक जैसा मानता है। यदि रोबोट एक स्थिति और उसकी दर्पण छवि (mirror image) देखता है, तो गणित उन्हें ठीक एक ही डेटा पॉइंट मानता है।
सिद्धांत (The Theory): उन्होंने गणितीय रूप से सिद्ध किया कि ऐसा करने से, रोबोट को सीखने के लिए बहुत कम प्रयासों (samples) की आवश्यकता होती है। उन्होंने गणना की कि यह कितना तेज़ होता है: जितनी अधिक सममितियाँ होंगी, उतनी ही कम गलतियाँ करने की आवश्यकता होगी।
"कवरिंग नंबर" (The Covering Number): इसे उस "चीट शीट" के आकार के रूप में सोचें जिसे रोबोट को अपने दिमाग में रखना पड़ता है। सममिति का उपयोग करके, उन्होंने सिद्ध किया कि चीट शीट बहुत छोटी हो जाती है, जिससे सीखने की प्रक्रिया बहुत अधिक कुशल हो जाती है।

प्रयोग: क्या यह काम आया?

उन्होंने इस विचार का परीक्षण तीन अलग-अलग "गेम्स" में किया:

एक काल्पनिक दुनिया (Synthetic): उन्होंने एक सरल गणितीय समस्या बनाई जहाँ नियम पूरी तरह से सममित थे। सममिति-जागरूक रोबोट मानक रोबोट की तुलना में बहुत तेज़ी से सीख गया।
फ्रोजन लेक (Frozen Lake): यह एक क्लासिक AI गेम है जहाँ एक रोबोट लक्ष्य तक पहुँचने के लिए बर्फ पर फिसलता है बिना गड्ढों में गिरे।
- उन्होंने एक मानक बर्फ वाला लेवल लिया और साथ ही ऐसे लेवल भी बनाए जहाँ छेद और लक्ष्य बेतरतीब ढंग से रखे गए थे लेकिन फिर भी वे सममिति नियमों का पालन करते थे।
- परिणाम: सममिति-जागरूक रोबोट ने मानक रोबोट की तुलना में लक्ष्य तक पहुँचने का रास्ता काफी तेज़ी से और कम गलतियों के साथ सीखा। इसने एक लोकप्रिय न्यूरल नेटवर्क विधि (DQN) को भी पीछे छोड़ दिया जो वही सीखने की कोशिश कर रही थी।
चिप प्लेसमेंट (2D Placement): कल्पना कीजिए कि आप एक आर्किटेक्ट हैं जो ग्रिड पर 8 फर्नीचर के टुकड़ों को बिना एक-दूसरे के ऊपर आए फिट करने की कोशिश कर रहे हैं।
- यह एक कठिन समस्या है क्योंकि टुकड़ों को व्यवस्थित करने के लाखों तरीके हैं।
- सममिति-जागरूक रोबोट ने बहुत तेज़ी से सबसे अच्छा अरेंजमेंट ढूंढ लिया। उसने महसूस किया कि पूरे कमरे को घुमाने से कठिनाई नहीं बदलती, इसलिए उसने केवल इसलिए दोबारा सीखने में समय बर्बाद नहीं किया क्योंकि कमरा थोड़ा घूम गया था।

निष्कर्ष

यह शोध पत्र दावा करता है कि यदि आप जानते हैं कि किसी वातावरण में सममिति (जैसे घूर्णन या परावर्तन) है, तो आपको समस्या के लिए केवल "अधिक डेटा" नहीं डालना चाहिए। इसके बजाय, आपको उस ज्ञान को सीधे लर्निंग एल्गोरिदम में शामिल करना चाहिए।

ऐसा करने से, रोबोट को केवल इसलिए एक ही सबक चार बार दोबारा सीखने की आवश्यकता नहीं होती क्योंकि कमरा 90 डिग्री घूम गया था। वह सबक एक बार सीखता है, उसे हर जगह लागू करता है, और बहुत तेज़ी से विशेषज्ञ बन जाता है। लेखक इस बात का गणितीय प्रमाण भी देते हैं कि यह क्यों काम करता है और वास्तविक दुनिया के उदाहरण भी दिखाते हैं जहाँ यह बहुत सारा समय और प्रयास बचाता है।

यह शोध पत्र क्या दावा नहीं करता है:

यह यह नहीं कहता कि यह हर समस्या के लिए काम करता है (केवल उन समस्याओं के लिए जिनमें ज्ञात सममिति है)।
यह यह दावा नहीं करता कि रोबोट इन सममितियों को अपने आप खोज सकता है; शोध पत्र यह मान लेता है कि हम रोबोट को पहले से ही ये सममितियाँ बता देते हैं।
यह चिकित्सा या नैदानिक अनुप्रयोगों (medical or clinical applications) पर चर्चा नहीं करता है; इसके उदाहरण पूरी तरह से गेम्स, नेविगेशन और डिज़ाइन लेआउट के बारे में हैं।

यहाँ शोध पत्र "Reinforcement Learning Using Known Invariances" (Cioba et al. द्वारा) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) अक्सर सैंपल दक्षता (sample efficiency) के मामले में संघर्ष करता है, विशेष रूप से निरंतर स्टेट-एक्शन स्पेस और नॉनलीन फंक्शन एप्रोक्सिमेशन वाले वातावरण में। अक्षमता का एक महत्वपूर्ण स्रोत संरचनात्मक समरूपता (structural symmetries) का उपयोग करने में विफलता है (जैसे कि रोबोटिक्स में रोटेशनल इनवेरिएंस, बोर्ड गेम्स में रिफ्लेक्शनल सिमेट्री, या मल्टी-एजेंट सिस्टम में परम्यूटेशन इनवेरिएंस)।

जबकि पिछले कार्यों ने डेटा ऑग्मेंटेशन या इक्विवेरिएंट न्यूरल नेटवर्क के माध्यम से सिमेट्री का अन्वेषण किया है, उन गैर-पैरामीट्रिक कर्नेल-आधारित RL विधियों में ज्ञात समूह समरूपताओं (group symmetries) को सीधे शामिल करने से होने वाले सैंपल कॉम्प्लेक्सिटी लाभों को मापने के लिए एक कठोर सैद्धांतिक ढांचे की कमी है। यह शोध पत्र इस प्रश्न का समाधान करता है: गैर-रेखीय फंक्शन एप्रोक्सिमेशन के तहत नॉन-लीनियर रिग्रेट गारंटी और सैंपल दक्षता को बढ़ाने के लिए ज्ञात वातावरण समरूपताओं का व्यवस्थित रूप से कैसे उपयोग किया जा सकता है?

2. कार्यप्रणाली (Methodology)

लेखक एक सिमेट्री-अवेयर कर्नेल-बेस्ड ऑप्टिमिस्टिक लीस्ट-स्क्वायर्स वैल्यू इटरेशन (KOVI) एल्गोरिदम प्रस्तावित करते हैं। मुख्य कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

A. इनवेरिएंट कर्नेल्स और RKHS

इनवेरिएंस को डेटा से सीखने के बजाय, लेखक यह मान लेते हैं कि सिमेट्री ग्रुप $G$ पूर्व-निर्धारित रूप से ज्ञात है। वे एक बेस कर्नेल $k$ से एक टोटली इनवेरिएंट कर्नेल $k_G$ का निर्माण करते हैं:
$k_G(z, z') = \frac{1}{|G|} \sum_{g \in G} k(g(z), z')$
यह कर्नेल एक ऐसा रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) $\mathcal{H}_{k_G}$ प्रेरित करता है जिसमें केवल वे फलन (functions) होते हैं जो ग्रुप एक्शन $G$ के तहत इनवेरिएंट हैं। इस इनवेरिएंट RKHS तक अपने हाइपोथीसिस स्पेस को सीमित करके, एल्गोरिदम स्वाभाविक रूप से रिवॉर्ड और ट्रांजिशन डायनेमिक्स की समरूपताओं का सम्मान करता है।

B. एल्गोरिदम (KOVI)

एल्गोरिदम मानक कर्नेल-बेस्ड ऑप्टिमिस्टिक वैल्यू इटरेशन (Yang et al., 2020a) को अनुकूलित करता है:

ऑप्टिमिस्टिक LSVI: एक एपिसोड के प्रत्येक चरण $h$ पर, एजेंट देखे गए डेटा का उपयोग करके ऑप्टिमल Q-फंक्शन $\hat{Q}_h$ का अनुमान लगाता है।
कॉन्फिडेंस बोनस: अन्वेषण (exploration) को प्रोत्साहित करने के लिए एक अपर कॉन्फिडेंस बाउंड (UCB) बोनस जोड़ा जाता है: $Q_h = \min(\hat{Q}_h + \beta b_h, H-h+1)$ ।
सिमेट्री इंटीग्रेशन: रिग्रेशन $k_G$ का उपयोग करके किया जाता है, जिससे यह सुनिश्चित होता है कि अनुमानित वैल्यू फंक्शन्स और परिणामी ग्रीडी पॉलिसीज़ ग्रुप सिमेट्री का सम्मान करती हैं।

C. सैद्धांतिक ढांचा (Theoretical Framework)

लेखक इस सिमेट्री-अवेयर सेटिंग के लिए नए सैद्धांतिक बाउंड्स प्राप्त करते हैं:

मैक्सिमम इंफॉर्मेशन गेन ( $\Gamma(T)$ ): वे स्थापित करते हैं कि इनवेरिएंट कर्नेल्स के लिए, मैक्सिमम इंफॉर्मेशन गेन $O(T^{1/p} / |G|^{1/p})$ के रूप में स्केल करता है, जहाँ $|G|$ ग्रुप का आकार है और $p$ कर्नेल के आइगेनवैल्यू डिके (eigenvalue decay) से संबंधित है।
कवरिंग नंबर्स: वे इनवेरिएंट Q-फंक्शन्स के फंक्शन क्लास के कवरिंग नंबर के लिए नए बाउंड्स निकालते हैं, जो $1/|G|$ के अनुपात में कमी दिखाते हैं।
रिग्रेट बाउंड्स: इन्हें जोड़ते हुए, वे सिद्ध करते हैं कि संचयी रिग्रेट $R(T)$ , मानक कर्नेल-आधारित विधियों की तुलना में $1/|G|$ के कारक के साथ स्केल करता है। विशेष रूप से, बड़े आयामों (dimensions) के लिए, रिग्रेट बाउंड काफी बेहतर हो जाता है, जो सैंपल दक्षता के लाभ को मात्रात्मक रूप से दर्शाता है।

3. प्रमुख योगदान (Key Contributions)

एल्गोरिदमिक नवाचार: एक सिमेट्री-अवेयर वेरिएंट का परिचय जो रिवॉर्ड और ट्रांजिशन डायनेमिक्स दोनों में टोटली इनवेरिएंट कर्नेल्स के माध्यम से ज्ञात ग्रुप इनवेरिएंस को शामिल करता है।
सैद्धांतिक प्रगति: सिमेट्री समावेश के कारण RL में सैंपल कॉम्प्लेक्सिटी लाभ को मापने वाला यह पहला सैद्धांतिक विश्लेषण है। वे इनवेरिएंट RKHSs के लिए मैक्सिमम इंफॉर्मेशन गेन और कवरिंग नंबर्स पर नए बाउंड्स प्रदान करते हैं, जो स्पष्ट रूप से रिग्रेट बाउंड्स में $1/|G|$ सुधार दिखाते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि सिमेट्री-अवेयर RL विशिष्ट लो-डेटा व्यवस्थाओं में मानक कर्नेल समकक्षों और यहाँ तक कि इक्विवेरिएंट डीप न्यूरल नेटवर्क से भी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन अलग-अलग सेटिंग्स पर अपने दृष्टिकोण को मान्य किया:

सिंथेटिक MDP: एक सरलीकृत सेटिंग जहाँ $|G|=2$ (आइडेंटिटी और इन्वर्जन) है। इनवेरिएंट कर्नेल KOVI ने मानक RBF कर्नेल KOVI की तुलना में काफी कम संचयी रिग्रेट प्राप्त किया।
फ्रोजन लेक (OpenAI Gym):
- फिक्स्ड लेआउट: वातावरण $D_4$ सिमेट्री ग्रुप (एक वर्ग के रोटेशन और रिफ्लेक्शन) के तहत इनवेरिएंट है। इनवेरिएंट कर्नेल्स के साथ KOVI, मानक RBF KOVI की तुलना में तेजी से कन्वर्ज हुआ और उच्च रिटर्न प्राप्त किया।
- रैंडम लेआउट: एक अधिक चुनौतीपूर्ण सेटिंग जहाँ लेआउट हर एपिसोड में बदलता है लेकिन $D_4$ सिमेट्री बनाए रखता है। इनवेरिएंट कर्नेल लगातार मानक कर्नेल से बेहतर रहा, जो मजबूत सामान्यीकरण (generalization) प्रदर्शित करता है।
- डीप RL के साथ तुलना: KOVI (इनवेरिएंट कर्नेल्स के साथ) ने सैंपल दक्षता के मामले में मानक DQN और SymDQN (एक DQN जिसमें इक्विवेरिएंट लेयर्स हैं) दोनों को पछाड़ दिया, और कम टाइमस्टेप्स के साथ ऑप्टिमल रिटर्न तक पहुँच गया।
2D प्लेसमेंट प्रॉब्लम (SynPl): चिप डिज़ाइन से प्रेरित एक कार्य जिसमें $8\times8$ ग्रिड पर 8 यूनिट्स को रखना शामिल है। इस समस्या में जटिल ज्यामितीय बाधाएं और उच्च-आयामी स्टेट स्पेस शामिल हैं। इनवेरिएंट कर्नेल दृष्टिकोण ने बेसलाइन की तुलना में कम रिग्रेट और बेहतर प्लेसमेंट कॉन्फ़िगरेशन दिया, जो स्ट्रक्चर्ड डिज़ाइन समस्याओं में सिमेट्री की उपयोगिता को उजागर करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

सैंपल दक्षता: यह शोध पत्र प्रदर्शित करता है कि ज्ञात संरचनात्मक पूर्व-ज्ञान (सिमेट्री) को फंक्शन एप्रोक्सिमेशन क्लास (इनवेरिएंट कर्नेल्स के माध्यम से) में स्पष्ट रूप से एनकोड करने से सैंपल कॉम्प्लेक्सिटी में पर्याप्त कमी आती है। यह उन वास्तविक अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ डेटा संग्रह महंगा या समय लेने वाला होता है।
सैद्धांतिक कठोरता: हीयुरिस्टिक डेटा ऑग्मेंटेशन या पैरामीट्रिक इक्वीवैरिएंट नेटवर्क के विपरीत, यह कार्य औपचारिक रिग्रेट गारंटी प्रदान करता है और ग्रुप साइज $|G|$ के संदर्भ में सिमेट्री के सटीक लाभ को मात्रात्मक रूप से बताता है।
नॉन-पैरामीट्रिक लाभ: परिणाम बताते हैं कि लो-डेटा व्यवस्थाओं में, सिमेट्री बाधाओं वाले नॉन-पैरामीट्रिक कर्नेल मेथड्स, डीप लर्निंग दृष्टिकोणों (सिमेट्री के साथ डिज़ाइन किए गए भी) से बेहतर प्रदर्शन कर सकते हैं, क्योंकि उन्हें ऑप्टिमल पॉलिसी तक पहुँचने के लिए कम डेटा की आवश्यकता होती है।
सीमाएँ: लेखक स्वीकार करते हैं कि कर्नेल विधियों की कम्प्यूटेशनल जटिलता ( $O(HT^4)$ ) बहुत बड़े डेटासेट के लिए निषेधात्मक हो सकती है, हालांकि वे इसे कम करने के लिए स्पार्स GPs या चोलेस्की अपडेट जैसे अनुकूलन का सुझाव देते हैं।

संक्षेप में, यह कार्य सैद्धांतिक ग्रुप थ्योरी और व्यावहारिक RL के बीच के अंतर को पाटता है, जो अधिक कुशल और सामान्यीकरण योग्य लर्निंग एजेंट बनाने के लिए ज्ञात सिमेट्री का लाभ उठाने हेतु एक मजबूत ढांचा प्रदान करता है।