🤖 machine learning

Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

यह शोध पत्र जनरलइज़ेशन वाया इवोल्यूशनरी रिवॉर्ड शेपिंगिंग (GERS) का प्रस्ताव करता है, जो एक बाइलेवल ऑप्टिमाइज़ेशन फ्रेमवर्क है जो केवल स्केलर वैलिडेशन फीडबैक के आधार पर रिवॉर्ड शेपिंग पैरामीटर्स को अनुकूलित करने के लिए CMA-ES का उपयोग करके प्रतिबंधित परिदृश्यों में सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) के सामान्यीकरण को बढ़ाता है, जिससे यह वैलिडेशन वातावरणों तक ट्रेजेक्टरी एक्सेस की आवश्यकता के बिना मानक बेसलाइनों से बेहतर प्रदर्शन करता है और डोमेन रैंडमाइजेशन प्रदर्शन के बराबर पहुँचता है।

मूल लेखक: Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

प्रकाशित 2026-06-16

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना सिखा रहे हैं। आमतौर पर, आप इसे एक आदर्श, नियंत्रित जिम में सिखाते हैं जहाँ फर्श हमेशा चिकना होता है, हवा स्थिर होती है, और रोबोट के पैर बिल्कुल सही वजन के होते हैं। रोबोट उस जिम में बखूबी चलना सीख जाता है।

लेकिन फिर, आप रोबोट को वास्तविक दुनिया में भेज देते हैं। अचानक, फर्श फिसलन भरा हो जाता है, हवा चल रही होती है, और रोबोट के पैर भारी महसूस होने लगते हैं। क्योंकि रोबोट ने केवल "परफेक्ट जिम" वाला चलना सीखा था, वह तुरंत गिर जाता है। उसने जिम के लिए खुद को बहुत अधिक अनुकूलित (overfitted) कर लिया था और वास्तविक दुनिया में सामान्यीकरण (generalize) करने में विफल रहा।

यह पेपर इस समस्या को ठीक करने के लिए एक नई विधि पेश करता है जिसे GERS (Generalization via Evolutionary Reward Shaping) कहा जाता है, विशेष रूप से उस कठिन स्थिति में जहाँ आप यह नहीं देख सकते कि रोबोट वास्तविक दुनिया में कैसे विफल हुआ, आप केवल यह देख सकते हैं कि वह विफल हो गया।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "ब्लैक बॉक्स" वैलिडेटर (The "Black Box" Validator)

कई वास्तविक दुनिया के परिदृश्यों में (जैसे किसी क्लाइंट के निजी नेटवर्क पर सुरक्षा AI का परीक्षण करना), आपके पास दो प्रकार के वातावरण होते हैं:

प्रशिक्षण जिम (The Training Gym): आपके पास यहाँ पूर्ण पहुंच है। आप रोबोट का हर कदम, उसकी हर गलती और उसके द्वारा उत्पन्न हर लॉग देख सकते हैं।
वैलिडेशन ब्लैक बॉक्स (The Validation Black Box): आपके पास कुछ अन्य वातावरण हैं (जैसे क्लाइंट का वास्तविक नेटवर्क), लेकिन गोपनीयता या सुरक्षा कारणों से, आप रोबोट के कदमों को नहीं देख सकते। आप केवल अंत में एक संख्या देख सकते हैं: "क्या वह सफल रहा? यह रहा एक स्कोर।"

मानक AI प्रशिक्षण विधियों को आमतौर पर वैलिडेशन वातावरण में रोबोट के कदमों (trajectory) को देखने की आवश्यकता होती है ताकि वे सुधार कैसे करें, यह सीख सकें। चूंकि आप ब्लैक बॉक्स में कदमों को नहीं देख सकते, इसलिए मानक विधियाँ फंस जाती हैं। वे ब्लैक बॉक्स से नहीं सीख सकतीं, इसलिए वे ट्रेनिंग जिम के प्रति ओवरफिट होती रहती हैं।

2. समाधान: "ट्यूनिंग नॉब" (The "Tuning Knob" - Reward Shaping)

लेखक एक चतुर समाधान प्रस्तावित करते हैं। ब्लैक बॉक्स स्कोर का उपयोग करके सीधे रोबोट को सिखाने के बजाय, वे ट्रेनिंग जिम में खेल के नियमों को बदलने का निर्णय लेते हैं।

रोबोट के "रिवॉर्ड फंक्शन" (इनाम देने की प्रक्रिया) को एक शिक्षक के रूप में सोचें जो ग्रेड देता है।

मानक शिक्षक: "यदि तुम अपना पैर आगे बढ़ाते हो, तो तुम्हें 1 अंक मिलेगा।"
समस्या: रोबोट पैर चलाने का एक अजीब, झटकेदार तरीका सीख जाता है जिससे उसे जिम में 1 अंक तो मिलता है, लेकिन वह वास्तविक दुनिया में विफल हो जाता है।
GERS शिक्षक: सिस्टम ग्रेडिंग सिस्टम में एक "ट्यूनिंग नॉब" (गणितीय रूप से, एक वेक्टर $\nu$ ) जोड़ता है। यह नियमों को थोड़ा बदल देता है: "यदि तुम अपना पैर सुचारू रूप से आगे बढ़ाते हो, तो तुम्हें 1.5 अंक मिलेंगे। यदि तुम झटके लेते हो, तो तुम्हें 0 अंक मिलेंगे।"

लक्ष्य इस "ट्यूनिंग नॉब" के लिए परफेक्ट सेटिंग खोजना है ताकि रोबोट चलने का एक ऐसा तरीका सीख सके जो न केवल जिम में, बल्कि ब्लैक बॉक्स वातावरण में भी काम करे।

3. दो-स्तरीय खेल (The Two-Level Game - Bilevel Optimization)

पेपर इस परफेक्ट ट्यूनिंग नॉब को खोजने के लिए एक "दो-स्तरीय खेल" का उपयोग करता है:

स्तर 1 (छात्र): रोबोट (एक एल्गोरिदम जिसका नाम PPO है) वर्तमान ट्यूनिंग नॉब सेटिंग्स का उपयोग करके ट्रेनिंग जिम में चलना सीखने की कोशिश करता है। वह एक पॉलिसी (चलने के नियमों का एक सेट) सीखता है।
स्तर 2 (कोच): एक अलग एल्गोरिदम (जिसे CMA-ES कहा जाता है, जो एक विकासवादी जीवविज्ञानी की तरह है) ट्यूनिंग नॉब को देखता है। वह पूछता है: "यदि हम इस नॉब को थोड़ा बदलते हैं, तो क्या रोबोट को ब्लैक बॉक्स में बेहतर स्कोर मिलेगा?"
- कोच को ब्लैक बॉक्स में रोबोट के कदमों की परवाह नहीं है। उसे केवल अंतिम स्कोर की परवाह है।
- यदि रोबोट ब्लैक बॉक्स में उच्च स्कोर प्राप्त करता है, तो कोच उस ट्यूनिंग नॉब सेटिंग को बनाए रखता है। यदि स्कोर गिर जाता है, तो कोच नॉब को फिर से बदल देता है।

कोच इस प्रक्रिया को हजारों बार दोहराता है, ट्यूनिंग नॉब को तब तक विकसित करता है जब तक कि वह ऐसा संस्करण न खोज ले जो रोबोट को चलने की ऐसी शैली सिखाए जो ब्लैक बॉक्स में जीवित रहने के लिए पर्याप्त मजबूत हो, भले ही रोबोट ने अपने प्रशिक्षण के दौरान कभी ब्लैक बॉक्स को देखा ही न हो।

4. परिणाम: संभावनाओं को मात देना (The Results: Beating the Odds)

लेखकों ने चार अलग-अलग रोबोट कार्यों (जैसे पोल को संतुलित करना, कूदना, दौड़ना और चार पैरों पर चलना) पर इसका परीक्षण किया।

बेसलाइन (मानक AI): केवल जिम में प्रशिक्षित। यह जिम में चैंपियन बन गया लेकिन भौतिकी (physics) बदलने पर (जैसे भारी पैर या फिसलन भरा फर्श) तुरंत बिखर गया।
"डोमेन रैंडमाइजेशन" (DR) विधि: यह वर्तमान गोल्ड स्टैंडर्ड है। यह रोबोट को एक साथ कई अलग-अलग जिमों में प्रशिक्षित करती है (सभी संभावित वास्तविक दुनिया की स्थितियों का अनुकरण करती है)। यह बहुत अच्छा काम करता है, लेकिन इसके लिए आपको उन सभी विभिन्न जिमों तक पहुंच और रोबोट के सभी कदमों को देखने की आवश्यकता होती है।
GERS (नई विधि): इसके पास केवल एक ट्रेनिंग जिम और ब्लैक बॉक्स स्कोर तक पहुंच थी।
- परिणाम: GERS ने "डोमेन रैंडमाइजेशन" विधि के लगभग बराबर प्रदर्शन किया, भले ही इसके पास बहुत कम जानकारी थी। इसने केवल एक जिम में रिवॉर्ड्स को "शेप" (आकार देने) के माध्यम से अनदेखे, कठिन वातावरण में सामान्यीकरण करने में सफलता प्राप्त की।

सारांश उपमा (Summary Analogy)

कल्प_ना कीजिए कि आप एक शेफ को व्यंजन बनाना सिखा रहे हैं।

मानक प्रशिक्षण: आप उन्हें केवल अपने किचन में अपने विशिष्ट स्टोव पर खाना बनाना सिखाते हैं। वे आपके स्टोव पर पूरी तरह से खाना बनाना सीख जाते हैं। जब वे किसी अलग स्टोव वाले रेस्टोरेंट में जाते हैं, तो खाना जल जाता है।
डोमेन रैंडमाइजेशन: आप उन्हें 100 अलग-अलग किचनों में 100 अलग-अलग स्टोव पर खाना बनाना सिखाते हैं। वे किसी भी चीज़ के अनुकूल ढलना सीख जाते हैं। (लेकिन इसके लिए आपको 100 किचनों तक पहुंच की आवश्यकता होती है।)
GERS: आप उन्हें केवल अपने किचन में खाना बनाना सिखाते हैं। हालाँकि, आपके पास एक अलग, गुप्त रेस्टोरेंट में एक "गुप्त टेस्ट-टेस्टर" है। आप नहीं देख सकते कि वे गुप्त रेस्टोरेंट में कैसे खाना बना रहे हैं, लेकिन आपको एक स्कोर मिलता है: "स्वादिष्ट" या "बेस्वाद"।
- GERS एक स्मार्ट 'सू-शेफ' (sous-chef) की तरह है जो केवल गुप्त टेस्ट-टेस्टर के स्कोर के आधार पर रेसिपी निर्देशों (रिवॉर्ड शेपिंग) को एडजस्ट करता है।
- अंततः, रेसिपी निर्देश इतने बदल जाते हैं कि शेफ इस तरह से खाना बनाना सीख जाता है जो किसी भी किचन में स्वादिष्ट लगे, भले ही उन्होंने केवल आपके किचन में अभ्यास किया हो।

यह पेपर सिद्ध करता है कि आपको हमेशा वास्तविक दुनिया में रोबोट की विफलता के हर कदम को देखने की आवश्यकता नहीं होती; आपको बस अंतिम परिणामों के आधार पर प्रशिक्षण के नियमों को समायोजित करने का एक स्मार्ट तरीका चाहिए।

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में सामान्यीकरण के लिए विकासवादी द्वि-स्तरीय पुरस्कार शेपिंग (Evolutionary Bilevel Reward Shaping)

समस्या का निरूपण
यह शोध पत्र डीप सुदृढीकरण शिक्षण (RL) में सामान्यीकरण अंतराल (generalization gap) को संबोधित करता है, जहाँ सीमित वातावरणों पर प्रशिक्षित नीतियां (policies) अनदेखे परीक्षण वातावरणों में प्रदर्शन करने में विफल रहती हैं जिनमें भिन्न गतिकी (dynamics) होती है (जैसे, परिवर्तनशील संक्रमण प्रायिकताएं)। लेखक एक विशिष्ट, प्रतिबंधित परिदृश्य पर ध्यान केंद्रित करते हैं जो गोपनीयता-संरक्षण या प्रतिबंधित सेटिंग्स में आम है:

प्रशिक्षण वातावरण ( $M_{train}$ ): प्रशिक्षण वातावरणों का एक छोटा, निश्चित सेट जहाँ पूर्ण अवस्था-क्रिया प्रक्षेपवक्र (state-action trajectories) दृश्यमान होते हैं।
सत्यापन वातावरण ( $M_{val}$ ): सत्यापन वातावरणों का एक बड़ा सेट जहाँ केवल स्केलर प्रदर्शन मेट्रिक्स (संचयी अविच्छिन्न पुरस्कार/cumulative undiscounted rewards) उपलब्ध होते हैं। पूर्ण प्रक्षेपवक्र अप्राप्य हैं, जो नीति ग्रेडिएंट (policy gradients) या मानक डोमेन रैंडमाइजेशन (DR) तकनीकों की गणना को रोकता है जो विविध प्रक्षेपवक्र डेटा पर निर्भर करती हैं।
उद्देश्य: सत्यापन वातावरणों से प्राप्त सीमित स्केलर फीडबैक का उपयोग करके प्रशिक्षण वातावरणों पर प्रशिक्षण को निर्देशित करके, अनदेखे परीक्षण वातावरणों पर सामान्यीकरण प्रदर्शन ( $J_{gen}$ ) को अधिकतम करना।

कार्यप्रणाली: रिवॉर्ड शेपिंग के माध्यम से सामान्यीकरण (GERS)
लेखक GERS प्रस्तावित करते हैं, जो एक द्वि-स्तरीय अनुकूलन ढांचा (bilevel optimization framework) है जिसे बिना सत्यापन प्रक्षेपवक्रों तक पहुँच के, सामान्यीकरण में सुधार के लिए पुरस्कार फलन (reward function) को स्वचालित रूप से आकार देने (shape करने) के लिए डिज़ाइन किया गया है।

द्वि-स्तरीय निरूपण (Bilevel Formulation):
- निम्न स्तर (नीति अनुकूलन - Lower Level): एक RL एजेंट (Proximal Policy Optimization, PPO का उपयोग करते हुए) एक शेप्ड (shaped) पुरस्कार फलन $\hat{r}_\nu$ का उपयोग करके प्रशिक्षण वातावरणों ( $M_{train}$ ) पर एक नीति $\pi_\theta$ सीखता है। इसका उद्देश्य प्रशिक्षण डेटा पर डिस्काउंटेड रिटर्न को अधिकतम करना है: $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$ ।
- उच्च स्तर (पुरस्कार शेपिंग अनुकूलन - Upper Level): एक विकासवादी रणनीति (Covariance Matrix Adaptation Evolution Strategy, CMA-ES) पुरस्कार शेपिंग मापदंडों $\nu$ को अनुकूलित करती है। इसका उद्देश्य सत्यापन वातावरणों पर निम्न-स्तरीय नीति द्वारा प्राप्त संचयी अ-शेप्ड (unshaped) पुरस्कार को अधिकतम करना है: $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$ ।
- शेप्ड रिवॉर्ड को रैखिक रूप से परिभाषित किया गया है: $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$ , जहाँ $\phi(s, a)$ अवस्था और क्रिया वेक्टर्स को संयोजित करता है।
एल्गोरिदम कार्यान्वयन:
- प्रीट्रेनिंग (Pretraining): एक PPO एजेंट को पहले मूल पुरस्कार फलन पर प्री-ट्रेन किया जाता है ताकि एक मजबूत इनिशियलाइजेशन प्रदान किया जा सके।
- विकासवादी खोज (Evolutionary Search): CMA-ES उम्मीदवार पुरस्कार मापदंडों $\nu$ के नमूने लेता है। प्रत्येक उम्मीदवार के लिए, PPO एजेंट को (प्री-ट्रेन्ड पॉलिसी को शुरुआती बिंदु के रूप में उपयोग करते हुए) शेप्ड रिवॉर्ड के साथ प्रशिक्षण वातावरणों पर फाइन-ट्यून किया जाता है।
- मूल्यांकन (Evaluation): परिणामी नीतियों का सत्यापन वातावरणों पर मूल्यांकन किया जाता है ताकि स्केलर स्कोर प्राप्त किया जा सके। ये स्कोर CMA-ES अपडेट को निर्देशित करते हैं।
- दक्षता (Efficiency): कम्प्यूटेशनल लागत को कम करने के लिए, यह विधि प्री-ट्रेन्ड मॉडल से पैरामीटर शेयरिंग (Actor और Critic दोनों नेटवर्क को विरासत में लेना) का उपयोग करती है और CMA-ES उम्मीदवारों के समानांतर मूल्यांकन का उपयोग करती है।

प्रमुख योगदान

नवीन सेटिंग: यह शोध पत्र उस चुनौती को औपचारिक रूप देता है और संबोधित करता है जहाँ सत्यापन वातावरण "ब्लैक बॉक्स" के रूप में कार्य करते हैं जो केवल स्केलर रिटर्न प्रदान करते हैं, एक ऐसी बाधा जिसे मानक डोमेन रैंडमाइजेशन (DR) या प्रोसीजरल कंटेंट जनरेशन (PCG) विधियों द्वारा अक्सर अनदेखा किया जाता है।
द्वि-स्तरीय ढांचा: यह एक द्वि-स्तरीय अनुकूलन दृष्टिकोण पेश करता है जो नीति सीखने (निम्न स्तर) को पुरस्कार फलन डिजाइन (उच्च स्तर) से अलग करता है, और प्रशिक्षण तथा सत्यापन प्रदर्शन के बीच के अंतर को पाटने के लिए विकासवादी रणनीतियों का उपयोग करता है।
डेटा दक्षता: यह विधि प्रदर्शित करती है कि सत्यापन वातावरणों में प्रक्षेपवक्रों तक पहुँच के बिना, केवल स्केलर फीडबैक पर निर्भर रहकर भी उच्च सामान्यीकरण प्राप्त किया जा सकता है।

प्रायोगिक परिणाम
लेखकों ने चार MuJoCo निरंतर नियंत्रण कार्यों (InvertedPendulum, Hopper, HalfCheetah, Ant) पर GERS का मूल्यांकन किया, जिनमें विभिन्न भौतिक पैरामीटर (जैसे, द्रव्यमान, घर्षण, गुरुत्वाकर्षण) शामिल थे।

बेसलाइन तुलना: एक एकल वातावरण पर प्रशिक्षित मानक PPO ने महत्वपूर्ण ओवरफिटिंग दिखाई, जिससे उच्च प्रशिक्षण पुरस्कार प्राप्त हुए लेकिन अनदेखे परीक्षण वातावरणों में खराब प्रदर्शन हुआ।
GERS प्रदर्शन: GERS ने सभी कार्यों में मानक PPO बेसलाइन को काफी पीछे छोड़ दिया, कई मामलों में (जैसे, InvertedPendulum) प्रशिक्षण प्रदर्शन के तुलनीय सामान्यीकरण प्रदर्शन प्राप्त किया।
डोमेन रैंडमाइजेशन (DR) के साथ तुलना:
- GERS की तुलना एक DR बेसलाइन से की गई थी जिसने प्रशिक्षण डेटा के रूप में उन्हीं वातावरणों का उपयोग किया था (पूर्ण प्रक्षेपवक्र पहुँच के साथ)।
- जबकि DR ने जटिल कार्यों (HalfCheetah, Ant) पर सर्वश्रेष्ठ प्रदर्शन किया, GERS ने सरल कार्यों (InvertedPendulum, Hopper) पर DR को पछाड़ दिया।
- महत्वपूर्ण रूप से, GERS ने बहुत अधिक सख्त सूचना बाधाओं (सत्यापन वातावरणों में प्रक्षेपवक्र पहुँच का अभाव) के तहत काम करते हुए भी DR के मुकाबले प्रतिस्पर्धी मजबूती हासिल की।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) विश्लेषण: हीटमैप मूल्यांकन ने दिखाया कि GERS ने तब भी मजबूत मजबूती बनाए रखी जब एक भौतिक पैरामीटर को चरम OOD क्षेत्रों में धकेला गया, हालांकि जब कई पैरामीटर एक साथ चरम स्थिति में थे तो प्रदर्शन गिर गया।

महत्व और दावे
शोध पत्र का दावा है कि GERS प्रतिबंधित डेटा एक्सेस बाधाओं के तहत प्रभावी रूप से RL सामान्यीकरण को बढ़ाता है। इसका प्राथमिक महत्व इस बात को प्रदर्शित करने में निहित है कि स्केलर सत्यापन फीडबैक पर विकासवादी रणनीतियों के माध्यम से अनुकूलित रिवॉर्ड शेपिंग, डोमेन रैंडमाइजेशन के एक व्यवहार्य विकल्प के रूप में कार्य कर सकता है जब प्रक्षेपवक्र डेटा उपलब्ध न हो। लेखक तर्क देते हैं कि यह दृष्टिकोण स्वचालित रेड टीमिंग या गोपनीयता-संवेदनशील तैनाती जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए विशेष रूप से प्रासंगिक है, जहाँ डेवलपर्स लक्ष्य प्रणालियों के आंतरिक अवस्था संक्रमणों (internal state transitions) तक पहुँच नहीं सकते हैं, लेकिन प्रदर्शन परिणामों को देख सकते हैं।

स्वीकृत सीमाएँ
लेखक विनम्रतापूर्वक कुछ सीमाओं को नोट करते हैं:

मूल्यांकन सघन-पुरस्कार (dense-reward) निरंतर नियंत्रण कार्यों तक सीमित है; स्पार्स-रिवॉर्ड (sparse-reward) समस्याओं में इसकी प्रयोज्यता असत्यापित है।
उच्च कम्प्यूटेशनल लागत ने स्वतंत्र परीक्षणों की संख्या को सीमित कर दिया, जिससे सांख्यिकीय शक्ति प्रभावित हुई।
प्रदर्शन लाभ रिवॉर्ड शेपिंग और कई स्टोकेस्टिक रन में से सर्वश्रेष्ठ नीति के चयन का मिश्रण है; रिवॉर्ड शेपिंग के विशिष्ट योगदान को अलग करने के लिए एक एब्लेशन अध्ययन (ablation study) की आवश्यकता है।
उच्च-स्तरीय CMA-ES सभी प्रयोगों में पूरी तरह से अभिसरित (converge) नहीं हुआ, जो भविष्य के कार्य में शोर-जागरूक (noise-aware) वेरिएंट की आवश्यकता का सुझाव देता है।

1. समस्या: "ब्लैक बॉक्स" वैलिडेटर (The "Black Box" Validator)

2. समाधान: "ट्यूनिंग नॉब" (The "Tuning Knob" - Reward Shaping)

3. दो-स्तरीय खेल (The Two-Level Game - Bilevel Optimization)

4. परिणाम: संभावनाओं को मात देना (The Results: Beating the Odds)

सारांश उपमा (Summary Analogy)

इसी तरह के और पेपर