🤖 machine learning

Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments

यह शोध पत्र पार्शियली इक्विवेरिएंट रिइन्फोर्समेंट लर्निंग (Partially Equivariant Reinforcement Learning) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो स्थानीय समरूपता (local symmetry) के आधार पर चयनात्मक रूप से ग्रुप-इनवेरिएंट या मानक बेलमैन बैकअप लागू करके, सिमेट्री-ब्रेकिंग वातावरणों में त्रुटि प्रसार (error propagation) को कम करता है, जिससे मौजूदा विधियों की तुलना में बेहतर सैंपल दक्षता और सामान्यीकरण प्राप्त होता है।

मूल लेखक: Junwoo Chang, Minwoo Park, Joohwan Seo, Roberto Horowitz, Jongmin Lee, Jongeun Choi

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junwoo Chang, Minwoo Park, Joohwan Seo, Roberto Horowitz, Jongmin Lee, Jongeun Choi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखा रहे हैं।

पुराना तरीका: "परफेक्ट मिरर" नियम

पारंपरिक रूप से, रोबोट को तेज़ी से सीखने के लिए प्रेरित करने हेतु वैज्ञानिक Symmetry (समरूपता) नामक एक तरकीब का उपयोग करते हैं। वे रोबोट को बताते हैं: "दुनिया पूरी तरह से सममित (symmetrical) है। यदि तुम 90 डिग्री घूमते हो, तो भौतिकी के नियम और भूलभुलैया का लेआउट बिल्कुल वैसा ही रहता है।"

इसे एक पूरी तरह से गोल पिज्जा की तरह समझें। यदि आप पिज्जा को घुमाते हैं, तो वह बिल्कुल वैसा ही दिखता है। यदि रोबोट पिज्जा के एक टुकड़े पर चलना सीख जाता है, तो वह तुरंत जान जाता है कि उसे पिज्जा के बाकी हिस्सों में कैसे चलना है। यह अविश्वसनीय रूप से कुशल है; रोबोट 4 गुना या 8 गुना तेज़ी से सीखता है क्योंकि उसे एक ही चीज़ को बार-बार फिर से सीखने की ज़रूरत नहीं पड़ती।

समस्या: वास्तविक दुनिया एक आदर्श पिज्जा नहीं है।
वास्तविक दुनिया में, भूलभुलैया में बाधाएं होती हैं (जैसे बाईं ओर एक दीवार लेकिन दाईं ओर नहीं), गुरुत्वाकर्षण (gravity) होता है, या टूटे हुए पहिए होते हैं। यदि रोबोट इस "परफेक्ट सिमेट्री" नियम का उपयोग यहाँ करने की कोशिश करता है, तो वह भ्रमित हो जाता है। वह सोच सकता है, "मैंने 90 डिग्री घुमा, इसलिए मुझे उस दीवार के आर-पार जा जाना चाहिए जैसे मैं खाली जगह में जा सकता था!"

जब रोबक यह गलती करता है, तो वह केवल एक स्थान पर विफल नहीं होता। क्योंकि वह मानता है कि पूरी दुनिया सममित है, उसकी यह एक गलती उसकी दुनिया की समझ में वायरस की तरह फैल जाती है। वह हर जगह गलत रणनीति सीख लेता है, जिससे दुर्घटना होती है या सीखने की प्रक्रिया ही रुक जाती है।

नया समाधान: "स्मार्ट स्विच" (Partially Equivariant RL)

यह शोधपत्र रोबोट को सिखाने का एक स्मार्ट तरीका पेश करता है। रोबोट को हमेशा यह मानने के लिए मजबूर करने के बजाय कि दुनिया हमेशा सममित है, या कभी भी सममित नहीं है, वे उसे एक स्मार्ट स्विच देते हैं।

कल्पना कीजिए कि रोबोट के पास दो दिमाग हैं:

द सिमेट्री ब्रेन (The Symmetry Brain): यह एक तेज़, कुशल दिमाग है जो यह मान लेता है कि दुनिया एक आदर्श पिज्जा है। यह खुले स्थानों के लिए बेहतरीन है।
द रियल-वर्ल्ड ब्रेन (The Real-World Brain): यह एक सतर्क, धीमा दिमाग है जो हर एक विवरण को देखता है और कहता है, "रुको, यहाँ एक दीवार है। सिमेट्री यहाँ लागू नहीं होती।"

इस शोधपत्र का जादू एक गेटकीपर (Gatekeeper) है (एक छोटा AI मॉड्यूल) जो इन दोनों दिमागों के बीच बैठता है।

गेटकीपर कैसे काम करता है:

"डबल-चेक" टेस्ट: कोई भी कदम उठाने से पहले, गेटकीपर दोनों दिमागों से पूछता है कि आगे क्या होने वाला है।
- सिमेट्री ब्रेन: "अगर मैं बाईं ओर मुड़ता हूँ, तो मैं दीवार से टकरा जाऊँगा।" (रुकिए, अगर मैं 90 डिग्री घूमता हूँ, तो दीवार गायब हो जानी चाहिए! मेरा अनुमान है कि मैं इसके आर-पार निकल जाऊँगा।)
- रियल-वर्ल्ड ब्रेन: "अगर मैं बाईं ओर मुड़ता हूँ, तो मैं दीवार से टकरा जाऊँगा। अगर मैं 90 डिग्री घूमता हूँ, तो भी मैं दीवार से टकराऊँगा क्योंकि दीवार स्थिर है।"
टकराव का पता लगाना: गेटकीपर देखता है कि दोनों दिमाग आपस में असहमत हैं। यह असहमति एक रेड फ्लैग (चेतावनी) है! इसका मतलब है कि इस विशिष्ट स्थान पर सिमेट्री टूट गई है।
स्विच बदलना:
- यदि दोनों दिमाग सहमत हैं (जैसे, एक खाली गलियारे में), तो गेटकीपर स्विच को सिमेट्री ब्रेन पर कर देता है। रोबोट बहुत तेज़ी से सीखता है, भूलभुलैया के अन्य हिस्सों से ज्ञान का पुन: उपयोग करता है।
- यदि दोनों दिमाग असहमत हैं (जैसे, दीवार या किसी कठिन बाधा के पास), तो गेटकीपर स्विच को रियल-वर्ल्ड ब्रेन पर कर देता है। रोबोट सिमेट्री के नियम को अनदेखा कर देता है और उस स्थान की विशिष्ट, जटिल वास्तविकता को सीखता है।

यह एक बड़ी बात क्यों है?

इसे कार चलाने की तरह समझें।

सख्त सिमेट्री (Strict Symmetry): आप मान लेते हैं कि हर सड़क एक आदर्श घेरा है। आप तेज़ चलते हैं, लेकिन पहले गड्ढे में टकराकर दुर्घटनाग्रस्त हो जाते हैं।
कोई सिमेट्री नहीं (No Symmetry): आप हर इंच की सड़क को अद्वितीय मानते हैं। आप बहुत धीरे चलते हैं, हर कंकड़ की जांच करते हैं। आप कभी दुर्घटनाग्रस्त नहीं होते, लेकिन आपको कहीं पहुँचने में बहुत समय लगता है।
इस शोधपत्र का दृष्टिकोण: आप चिकनी हाईवे पर तेज़ चलते हैं (सिमेट्री का उपयोग करके), लेकिन जैसे ही आपको गड्ढा या निर्माण कार्य (सिमेट्री ब्रेकिंग) दिखता है, आप तुरंत "सतर्क मोड" में स्विच कर जाते हैं ताकि सुरक्षित रूप से नेविगेट कर सकें। फिर, एक बार बाधा पार करने के बाद, आप वापस "फास्ट मोड" में स्विच कर जाते हैं।

परिणाम

शोधकर्ताओं ने इसे इन पर परखा:

ग्रिड वर्ल्ड्स (Grid Worlds): बाधाओं वाली सरल भूलभुलैया।
रोबोटिक्स: चलने वाले रोबोट (Hopper, Ant) और रोबिक आर्म्स (Fetch, UR5e) जैसे वास्तविक दुनिया के कार्य।

परिणाम: उनकी विधि (जिसे PE-DQN और PE-SAC कहा जाता है) विजेता रही। इसने उन रोबोटों की तुलना में तेज़ी से सीखा जो बिना सिमेट्री के थे, और यह उन रोबोटों की तुलना में बहुत अधिक मजबूत (robust) था जिन्होंने हर जगह जबरदस्ती सिमेट्री लागू करने की कोशिश की थी।

सारांश

यह शोधपत्र AI में "वास्तविक दुनिया की अव्यवस्था" (Real World Messiness) की समस्या को हल करता है। यह रोबोट को लचीला (flexible) बनना सिखाता है: जब चीजें अनुमानित हों तो अत्यधिक कुशल होना, लेकिन जब चीजें जटिल हों तो शॉर्टकट छोड़ देना और बारीकियों पर ध्यान देना। यह एक ऐसे रोबोट के बीच का अंतर है जो अंधाधुंध नियम पुस्तिका का पालन करता है और एक ऐसे रोबोट के बीच जो वास्तव में संदर्भ (context) को समझता है।

यहाँ शोध पत्र "Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) अक्सर सैंपल दक्षता (sample efficiency) और सामान्यीकरण (generalization) में सुधार के लिए समूह समरूपता (group symmetries) (जैसे घूर्णी या स्थानान्तरण अपरिवर्तनीयता) का लाभ उठाता है। मानक दृष्टिकोण यह मानते हैं कि वातावरण एक ग्रुप-इनवेरिएंट मार्कोव डिसीजन प्रोसेस (MDP) है, जहाँ रिवॉर्ड और ट्रांज़िशन डायनेमिक्स पूरी तरह से सममित (symmetric) होते हैं।

हालाँकि, वास्तविक दुनिया के वातावरण शायद ही कभी इस धारणा को वैश्विक स्तर पर पूरा करते हैं। स्थिर बाधाएं (fixed obstacles), एक्चुएशन सीमाएं, किनेमैटिक सिंगुलैरिटीज़, और विशिष्ट रिवॉर्ड शेपिंग जैसे कारक स्थानीय समरूपता-भंग (local symmetry-breaking) उत्पन्न करते हैं।

मुख्य मुद्दा: जब एक RL एजेंट समरूपता-भंग वाले वातावरण में सख्त इक्विवैरिएंस (strict equivariance) लागू करता है, तो बेलमैन बैकअप (Bellman backup) में स्थानीय त्रुटियाँ (due to mismatched dynamics/rewards) स्टेट-एक्शन स्पेस में वैश्विक स्तर पर फैल जाती हैं।
परिणाम: यह प्रसार महत्वपूर्ण वैश्विक वैल्यू एस्टीमेशन त्रुटियों, उप-इष्टतम (suboptimal) पॉलिसियों और ट्रेनिंग अस्थिरता का कारण बनता है। मौजूदा "अनुमानित इक्विवैरिएंस" (approximate equivariance) विधियाँ अक्सर समरूपता को वैश्विक रूप से शिथिल (relax) कर देती हैं, जो सख्त इक्विवैरिएंस के सैंपल दक्षता लाभों का त्याग करती हैं बिना त्रुटि प्रसार की समस्या को पूरी तरह हल किए।

2. कार्यप्रणाली: पार्शियली इक्वीवैरिएंट RL (PE-RL)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो इक्वीवैरिएंस को केवल वहीं चुनिंदा रूप से लागू करता है जहाँ यह मान्य है, जबकि जहाँ समरूपता टूटती है वहाँ मानक (गैर-इक्विवैरिएंट) अपडेट पर वापस आ जाता है।

A. सैद्धांतिक आधार: पार्शियली ग्रुप-इनवेरिएंट MDP (PI-MDP)

लेखक एक PI-MDP ( $M_H$ ) को परिभाषित करते हैं जो एक गेटिंग फंक्शन $\lambda(s, a) \in [0, 1]$ का उपयोग करके वास्तविक वातावरण ( $M_N$ ) और एक ग्रुप-इनवेरिएंट सन्निकटन ( $M_E$ ) के बीच इंटरपोलेशन करता है।

डायनेमिक्स और रिवॉर्ड्स: PI-MDP का रिवॉर्ड $R_H$ और ट्रांज़िशन $P_H$ एक कॉनवेक्स कॉम्बिनेशन (convex combinations) हैं:
$R_H(s, a) = (1-\lambda)R_E(s, a) + \lambda R_N(s, a)$
$P_H(\cdot|s, a) = (1-\lambda)P_E(\cdot|s, a) + \lambda P_N(\cdot|s, a)$
ऑप्टिमलिटी ऑपरेटर: PI-MDP के लिए बेलमैन ऑपरेटर इक्वीवैरिएंट और मानक ऑपरेटरों का एक लीनियर कॉम्बिनेशन है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि यदि गेटिंग फंक्शन $\lambda$ समरूपता-भंग वाले क्षेत्रों में सही ढंग से वास्तविक MDP ( $\lambda=1$ ) की ओर रूट करता है और सममित क्षेत्रों में इक्वीवैरिएंट MDP ( $\lambda=0$ ) की ओर, तो वैश्विक वैल्यू एरर सीमित और न्यूनतम रहता है। यह स्थानीय त्रुटियों को वैश्विक स्तर पर फैलने से रोकता है।

B. एल्गोरिथमिक कार्यान्वयन

इस ढांचे को दो व्यावहारिक एल्गोरिदम के माध्यम से लागू किया गया है: PE-DQN (डिस्क्रीट कंट्रोल के लिए) और PE-SAC (कंटीन्यूअस कंट्रोल के लिए)।

डिसग्रीमेंट-आधारित गेटिंग ( $\lambda$ ):
- सिस्टम दो वन-स्टेप प्रेडिक्टर्स को प्रशिक्षित करता है: एक इक्विवैरिएंट प्रेडिक्टर ( $\hat{P}_E$ ) जो ग्रुप सिमेट्री द्वारा बाधित है, और एक अनकन्स्ट्रेंड प्रेडिक्टर ( $\hat{P}_N$ )।
- डिसग्रीमेंट स्कोर: $\hat{P}_E$ और $\hat{P}_N$ के बीच विसंगति (discrepancy) के आधार पर एक स्केलर $d(s, a)$ की गणना की जाती है (जैसे टोटल वेरिएशन डिस्टेंस या स्क्वेर्ड एरर)।
- तर्क: सममित क्षेत्रों में, दोनों प्रेडिक्टर्स सहमत होते हैं ( $d \approx 0$ )। समरूपता-भंग वाले क्षेत्रों में, इक्वीवैरिएंट प्रेडिक्टर वास्तविक डायनेमिक्स को मॉडल करने में विफल रहता है, जिससे उच्च डिसग्रीमेंट ( $d \gg 0$ ) होता है।
- ट्रेनिंग: एक गेटिंग नेटवर्क $\lambda_\omega$ को हाई डिसग्रीमेंट (समरूपता-भंग) को एक सूडो-लेबल ( $y=1$ ) के रूप में अनुमान लगाने के लिए बाइनरी क्रॉस-एन्ट्रॉपी के माध्यम से प्रशिक्षित किया जाता है।
गेटेड वैल्यू मिक्सचर्स (क्रिटिक):
- Q-फंक्शन एक गेटेड मिश्रण है: $Q_\theta = (1-\lambda_\omega)Q_E + \lambda_\omega Q_N$ ।
- जब $\lambda_\omega \approx 1$ होता है, तो एजेंट इक्विवैरिएंस त्रुटियों से बचने के लिए अनकन्स्ट्रेंड क्रिटिक $Q_N$ पर निर्भर करता है। जब $\lambda_\omega \approx 0$ होता है, तो यह सैंपल दक्षता के लिए इक्वीवैरिएंट क्रिटिक $Q_E$ का उपयोग करता है।
गेटेड पॉलिसी (एक्टर):
- कंटीन्यूअस कंट्रोल (SAC) के लिए, पॉलिसी एक इक्वीवैरिएंट पॉलिसी $\pi_E$ और एक नॉन-इक्विवैरिएंट पॉलिसी $\pi_N$ का प्रोडक्ट-ऑफ-एक्सपर्ट्स (PoE) ब्लेंड है।
- सुगमता सुनिश्चित करने के लिए, एक स्टेट-ओनली गेट $\lambda_\zeta(s)$ का उपयोग किया जाता है, जो कंजर्वेटिव तरीके से एक्शन-डिपेंडेंट क्रिटिक गेट्स को एग्रीगेट करता है (यदि स्टेट $s$ पर कोई भी एक्शन समरूपता तोड़ने के रूप में फ्लैग किया जाता है, तो नॉन-इक्विवैरिएंट हेड को सक्रिय करता है)।

3. मुख्य योगदान

सैद्धांतिक विश्लेषण: औपचारिक रूप से बताया कि कैसे स्थानीय समरूपता उल्लंघन एक-चरणीय बेलमैन बैकअप के माध्यम से वैश्विक वैल्यू एरर को प्रेरित करते हैं, यह प्रदर्शित करते हुए कि ग्लोबल रिलैक्सेशन अपर्याप्त है और चयनात्मक सुधार आवश्यक है।
PI-MDP ढांचा: पार्शियली ग्रुप-इनवेरिएंट MDP को पेश किया, जो एक सैद्धांतिक निर्माण है जो इक्वीवैरिएंट और मानक अपडेट के बीच अनुकूल रूप से स्विच करने की अनुमति देता है।
व्यावहारिक एल्गोरिदम: PE-DQN और PE-SAC विकसित किए, जो डायनेमिक रूप से उपयुक्त इंडक्टिव बायस (inductive bias) चुनने के लिए डिसग्रीमेंट-आधारित गेटिंग का उपयोग करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न डिग्री के समरूपता-भंग के साथ डिस्क्रीट और कंटीन्यूअस डोमेन में सख्त इक्वीवैरिएंट और एप्रोक्सिमेट इक्वीवैरिएंट बेसलाइन की तुलना में प्रदर्शन किया।

4. प्रयोगात्मक परिणाम

लेखकों ने Grid-World (डिस्क्रीट) और MuJoCo/UR5e (कंटीन्यूअस लोकोमोशन और मैनिपुलेशन) बेंचमार्क पर अलग-अलग डिग्री के समरूपता-भंग के साथ PE-RL का मूल्यांकन किया।

Grid-World (डिस्क्रीट):
- सेटअप: घूर्णी समरूपता ( $C_4$ ) को तोड़ने के लिए बाधाएं जोड़ी गईं।
- परिणाम: जैसे-जैसे बाधाओं की संख्या बढ़ी, सख्त इक्वीवैरिएंट DQN का प्रदर्शन तेजी से गिरा। PE-DQN ने उच्च प्रदर्शन बनाए रखा, बाधा-समृद्ध क्षेत्रों में नॉन-इक्विवैरिएंट हेड की ओर प्रभावी ढंग से रूट करते हुए और अन्य स्थानों पर इक्वीवैरिएंस का उपयोग करते हुए। इसने "लगभग इक्वीवैरिएंट" बेसलाइन से काफी बेहतर प्रदर्शन किया।
- मजबूती (Robustness): PE-DQN स्टोकेस्टिक ट्रांज़िशन और रिवॉर्ड-लेवल समरूपता-भंग (passable but penalized obstacles) के तहत भी मजबूत रहा।
कंटीन्यूअस कंट्रोल (लोकोमोशन और मैनिपुलेशन):
- टास्क: Hopper, Ant, Swimmer, Fetch Reach, और UR5e Reach।
- परिणाम:
  - Swimmer (लगभग पूर्ण समरूपता) में, PE-SAC तेजी से कन्वर्ज हुआ, सख्त इक्वीवैरेंट प्रदर्शन के बराबर।
  - UR5e Reach (ओरिएंटेशन और कोलिजन के कारण उच्च समरूपता-भंग) में, सख्त इक्वीवैरेंट विधियां अस्थिर हो गईं या कोलैप्स हो गईं। PE-SAC स्थिर रहा और नॉन-इक्विवैरिएंट हेड पर निर्भरता बदलकर सर्वश्रेष्ठ रिटर्न प्राप्त किया।
  - PE-SAC ने वैनिला RL की तुलना में बेहतर सैंपल दक्षता और एप्रोक्सिमेट विधियों की तुलना में बेहतर मजबूती दिखाई।

5. महत्व और प्रभाव

अंतराल को पाटना: यह कार्य इक्वीवैरिएंट RL की उच्च सैंपल दक्षता और वास्तविक, अपूर्ण वातावरणों के लिए आवश्यक मजबूती के बीच के तनाव को हल करता है।
एरर प्रोपेगेशन मिटिगेशन: समरूपता-भंग सुधारों को स्थानीयकृत करके, यह विधि संपूर्ण वैल्यू फंक्शन के "संदूषण" (contamination) को रोकती है, जो पिछले दृष्टिकोणों की एक महत्वपूर्ण खामी है।
व्यावहारिक प्रयोज्यता: यह दृष्टिकोण गेटिंग मैकेनिज्म के अलावा जटिल आर्किटेक्चरल बदलावों की आवश्यकता के बिना मानक RL (DQN, SAC) के साथ संगत है, जो इसे उन रोबोटिक कंट्रोल कार्यों के लिए एक व्यवहार्य समाधान बनाता है जहाँ समरूपता अक्सर वैश्विक के बजाय स्थानीय होती है।
भविष्य की दिशा: शोध पत्र इस ढांचे को विजन-आधारित कंट्रोल और अधिक जटिल वास्तविक रोबोटिक सिस्टम तक विस्तारित करने का सुझाव देता है जहाँ समरूपता स्वाभाविक रूप से आंशिक (partial) होती है।