🤖 machine learning

Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

यह शोध पत्र एक अर्ध-पर्यवेक्षित (semi-supervised) रिवॉर्ड शेपिंग दृष्टिकोण प्रस्तावित करता है जो ट्रजेक्टरी रिप्रजेंटेशन सीखने के लिए नवीन डेटा ऑग्मेंटेशन के माध्यम से गैर-शून्य और शून्य-रिवॉर्ड ट्रांज़िशन का लाभ उठाता है, जो एटाारी (Atari) और रोबोटिक मैनिपुलेशन जैसे विरल-रिवॉर्ड (sparse-reward) वातावरण में पर्यवेक्षित बेसलाइनों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Wenyun Li, Wenjie Huang, Chen Sun

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenyun Li, Wenjie Huang, Chen Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं, जैसे कि Montezuma's Revenge या Seaquest। इन खेलों में, रोबोट को "थम्स अप" (एक इनाम) तभी मिलता है जब वह कुछ बहुत विशिष्ट करता है, जैसे किसी गोताखोर को बचाना या लक्ष्य तक पहुँचना। 99% समय, रोबोट बस इधर-उधर घूम रहा होता है, और गेम उसे शून्य फीडबैक देता है। यह साइकिल चलाना सीखने जैसा है, जहाँ आपको केवल तभी "अच्छा काम किया" कहा जाता है जब आप पूरे एक मिनट तक बिना गिरे खड़े रहने में सफल होते हैं, लेकिन आपको इस बात का कोई संकेत नहीं मिलता कि आप कब लड़खड़ा रहे थे या कब गिरने वाले थे।

यह स्पार्स रिवॉर्ड प्रॉब्लम (Sparse Reward Problem) है। क्योंकि रोबोट को बहुत कम बार "अच्छा काम किया" सुनने को मिलता है, इसलिए उसे यह समझने में संघर्ष करना पड़ता है कि वह क्या सही कर रहा है।

पुराना तरीका: अनुमान लगाना और जांचना

पारंपरिक रूप से, शोधकर्ताओं ने एक मानव शिक्षक द्वारा रोबोट को देखने और यह कहने की कोशिश की कि "हे, वह चाल अच्छी थी!" या एक कंप्यूटर प्रोग्राम का उपयोग किया जो केवल उन दुर्लभ क्षणों से सीखता था जब रोबोट वास्तव में सफल हुआ था।

समस्या: यह एक भाषा सीखने जैसा है जहाँ आप केवल उन शब्दों के डिक्शनरी एंट्री पढ़ रहे हैं जिन्हें आप पहले से जानते हैं। यदि आप केवल उन कुछ मौकों का अध्ययन करते हैं जब आपको "थम्स अप" मिला था, तो आपके पास खेल के नियमों को सीखने के लिए पर्याप्त डेटा नहीं होगा।

नया विचार: "सेमी-सुपरवाइज्ड" जासूस

इस पेपर के लेखक एक नई विधि प्रस्तावित करते हैं जिसे SSRS (सेमी-सुपरवाइज्ड रिवॉर्ड शेपिंग) कहा जाता है। इसे एक ऐसे जासूस को काम पर रखने की तरह समझें जो शब्दों के बीच के अर्थ पढ़ने में बहुत कुशल है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. संकेतों के दो प्रकार

"गोल्ड" (Gold) संकेत: ये वे दुर्लभ क्षण हैं जब रोबोट को वास्तविक इनाम (एक "थम्स अप") मिलता है।
"साइलेंट" (Silent) संकेत: ये वे लाखों क्षण हैं जहाँ रोबोट को शून्य इनाम मिलता है।
पुराना दृष्टिकोण: केवल "गोल्ड" संकेतों को देखता था।
SSRS दृष्टिकोण: दोनों को देखता है। यह मानता है कि भले ही रोबोट को शून्य अंक मिल रहे हों, फिर भी वह कुछ "ठीक" या "लगभग सही" कर रहा होगा।

2. जासूस का तर्क (सेमी-सुपरवाइज्ड लर्निंग)
जासूस (AI मॉडल) यह सीखने के लिए "गोल्ड" संकेतों को देखता है कि एक "अच्छा" मूव कैसा दिखता है। फिर, वह "साइलेंट" संकेतों को देखता है। वह पूछता है: "यह साइलेंट मूव उस 'गोल्ड' मूव जैसा दिखता है जो मैंने पहले देखा था। शायद इसे भी एक छोटा सा 'अच्छा काम किया' मिलना चाहिए?"

यह कंसिस्टेंसी रेगुलराइजेशन (Consistency Regularization) नामक तकनीक का उपयोग करता है। कल्पना कीजिए कि आप जासूस को बिल्ली की एक तस्वीर दिखाते हैं, लेकिन आप उसे थोड़ा धुंधला कर देते हैं या रोशनी बदल देते हैं। जासूस को अभी भी कहना चाहिए, "यह एक बिल्ली है।" यदि वह कहता है, "यह एक कुत्ता है," तो वह भ्रमित है।

इस पेपर में, वे रोबोट के पथ (मूव्स का एक क्रम) को लेते हैं, उसमें थोड़ा बदलाव करते हैं (जैसे फोटो को धुंधला करना), और पूछते हैं कि क्या इनाम अभी भी वही रहना चाहिए। यदि उत्तर सुसंगत (consistent) है, तो जासूस अपने स्वयं के निर्णय पर भरोसा करना सीख जाता है।

3. सीक्रेट सॉस: "एंट्रॉपी ऑग्मेंटेशन" (Entropy Augmentation)
आमतौर पर, जब आप डेटा को जासूस के लिए बदलते हैं, तो आप उसे उल्टा कर सकते हैं या उसका एक हिस्सा काट सकते हैं (जैसे फोटो एडिट करना)। लेकिन यह पेपर एक चतुर नई तकनीक पेश करता है जिसे एंट्रॉपी ऑग्मेंटेशन कहा जाता है।

उपमा: कल्पना कीजिए कि रोबोट का पथ एक गाना है। "एंट्रॉपी" इस बात का माप है कि वह गाना कितना अराजक (chaotic) या अनुमानित है।
गाने को उल्टा करने के बजाय, जासूस गाने के "अराजक स्वरूप" (chaos) का विश्लेषण करता है। यदि एक अराजक पथ अचानक अधिक व्यवस्थित हो जाता है, तो वह एक संकेत है!
लेखकों ने पाया कि इस विशेष प्रकार के रोबोट लर्निंग के लिए डेटा को बदलने का एक बेहतर तरीका सामान्य फोटो-एडिटिंग ट्रिक्स की तुलना में यह "अराजकता" (entropy) को मापना था। इसने जासूस को खेल के नियमों को तोड़े बिना रोबोट के पथ को समझने में मदद की।

परिणाम: एक बड़ी जीत

शोधकर्ताओं ने इसका परीक्षण इन पर किया:

अटारी गेम्स (Atari Games): क्लासिक वीडियो गेम जहाँ इनाम बहुत दुर्लभ होते हैं।
रोबोटिक्स: एक रोबोटिक हाथ जो ब्लॉक पकड़ने की कोशिश कर रहा है।

परिणाम:

नया तरीका (SSRS) पुराने तरीकों की तुलना में बहुत तेज़ी से सीखा और उच्च स्कोर प्राप्त किया।
सबसे कठिन खेलों (जैसे Montezuma's Revenge) में, नए तरीके ने पिछले सर्वोत्तम तरीकों की तुलना में दोगुना स्कोर हासिल किया।
केवल "एंट्रॉपी" ट्रिक ने डेटा को बदलने के अन्य तरीकों की तुलना में प्रदर्शन को लगभग 15% बढ़ा दिया।

यह क्यों मायने रखता है

पेपर का दावा है कि "साइलेंट" क्षणों (शून्य इनाम) को खाली स्थान के बजाय मूल्यवान डेटा के रूप में मानकर, और इस नए "अराजकता-मापने" वाले तरीके का उपयोग करके, हम रोबोट और गेम-प्लेइंग एजेंटों को बहुत अधिक कुशलता से सिखा सकते हैं। यह एक ऐसे अंधेरे कमरे में जाने जैसा है जहाँ आप केवल कुछ चमकते बिंदुओं को देखते हैं, और फिर आप पूरे मानचित्र को देख पाते हैं क्योंकि आपने छायाओं की व्याख्या करना सीख लिया है।

संक्षेप में: यह पेपर AI को केवल "गोल्ड स्टार" मिलने का इंतज़ार करने के बजाय, बीच के शांत क्षणों से भी सीखना सिखाता है, और यह सुनिश्चित करने के लिए एक विशेष गणितीय ट्रिक का उपयोग करता है कि वह भ्रमित न हो।

तकनीकी सारांश: रिइन्फोर्समेंट लर्निंग में स्पार्स रिवॉर्ड्स को आकार देना: एक सेमी-सुपरवाइज्ड दृष्टिकोण

समस्या विवरण
रीइन्फोर्समेंट लर्निंग (RL) वास्तविक दुनिया के परिदृश्यों में एक मुख्य चुनौती का सामना करता है जहाँ रिवॉर्ड सिग्नल अत्यधिक स्पार्स (sparse) होते हैं। ऐसे वातावरणों में, एजेंटों को न्यूनतम तत्काल फीडबैक प्राप्त होता है, जिससे रिटर्न्स में उच्च वेरिएंस (variance) और इष्टतम नीतियों (optimal policies) को सीखने में कठिनाई होती है। जबकि रिवॉर्ड शेपिंग और डेंसिफिकेशन सामान्य समाधान हैं, वे अक्सर "रिवॉर्ड हैकिंग" से ग्रस्त होते हैं, जहाँ एजेंट कृत्रिम रिवॉर्ड्स को अधिकतम करने के लिए इच्छित डिज़ाइन से विचलित व्यवहार सीखते हैं। इसके विपरीत, सुपरवाइज्ड-आधारित रिवॉर्ड शेपिंग विधियाँ, जो नॉन-एक्सपर्ट प्रदर्शनों (demonstrations) पर निर्भर करती हैं, तब खराब सैंपल एफिशिएंसी (sample efficiency) का शिकार होती हैं जब नॉन-जीरो-रिवॉर्ड ट्रांजिशन अत्यंत दुर्लभ होते हैं। मौजूदा दृष्टिकोण शून्य रिवॉर्ड वाले अधिकांश ट्रांजिशन का प्रभावी ढंग से उपयोग करने में संघर्ष करते हैं।

कार्यप्रणाली: सेमी-सुपरवाइज्ड रिवॉर्ड शेपिंग (SSRS)
लेखक सेमी-सुपरवाइज्ड रिवॉर्ड शेपिंग (SSRS) फ्रेमवर्क का प्रस्ताव करते हैं, जो सेमी-सुपरवाइज्ड लर्निंग (SSL) तकनीकों का लाभ उठाकर इस अंतर को पाटता है। मुख्य विचार न केवल दुर्लभ नॉन-जीरो-रिवॉर्ड ट्रांजिशन पर, बल्कि प्रचुर मात्रा में उपलब्ध जीरो-रिवॉर्ड ट्रांजिशन पर भी रिवॉर्ड शेपिंग करना है, जिसके लिए ट्रजेक्टरी स्पेस रिप्रेजेंटेशन (trajectory space representations) को सीखना आवश्यक है।

यह फ्रेमवर्क निम्नलिखित प्रमुख घटकों के माध्यम से कार्य करता है:

रिवॉर्ड एस्टीमेशन को क्लासिफिकेशन के रूप में: रिवॉर्ड शेपिंग की समस्या को एक क्लासिफिकेशन कार्य के रूप में फ्रेम किया गया है। सिस्टम स्टेट-एक्शन पेयर्स को $Z$ (जिसमें देखे गए नॉन-जीरो रिवॉर्ड्स और जीरो शामिल हैं) के एक डिस्क्रीट सेट से रिवॉर्ड वैल्यू असाइन करना सीखता है। रिवॉर्ड एस्टिमेटर में दो न्यूरल नेटवर्क शामिल हैं:
- $R_V(s)$ : एक स्टेट-वैल्यू रिवॉर्ड डिस्ट्रीब्यूशन फंक्शन जो एक स्टेट को $Z$ पर एक प्रोबेबिलिटी डिस्ट्रीब्यूशन में मैप करता है।
- $R_Q(s, a)$ : एक स्टेट-एक्शन वैल्यू रिवॉर्ड डिस्ट्रीब्यूशन फंक्शन जो एक स्टेट-एक्शन पेयर को $Z$ पर एक प्रोबेबिलिटी डिस्ट्रीब्यूशन में मैप करता है।
  एक ट्रांजिशन के लिए अंतिम कॉन्फिडेंस स्कोर वेक्टर $q_t$ इन दोनों डिस्ट्रीब्यूशन का एक वेटेड कॉम्बिनेशन है।
सेमी-सुपरवाइज्ड ऑप्टिमाइजेशन: फ्रेमवर्क पॉलिसी अपडेट और रिवॉर्ड एस्टिमेटर ऑप्टिमाइजेशन के बीच बारी-बारी से कार्य करता है।
- सुपरवाइज्ड लॉस ( $L_r$ ): ज्ञात नॉन-जीरो रिवॉर्ड्स वाले ट्रांजिशन्स के लिए, एस्टिमेटर को थ्रेशोल्डेड क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके अपने प्रेडिक्शन और ग्राउंड ट्रुथ के बीच विसंगति को कम करने के लिए प्रशिक्षित किया जाता है।
- कंसिस्टेंसी रेगुलराइजेशन ( $L_s$ ): जीरो-रिवॉर्ड ट्रांजिशन्स के लिए, मॉडल कंसिस्टेंसी रेगुलराइजेशन का उपयोग करता है। यह इनपुट ट्रांजिशन्स पर वीक (weak) और स्ट्रॉन्ग (strong) डेटा ऑगमेंटेशन लागू करता है। मॉडल को वीकली ऑगमेंटेड और स्ट्रॉन्गली ऑगमेंटेड वर्जन के बीच कंसिस्टेंट प्रेडिक्शन उत्पन्न करने के लिए ऑप्टिमाइज़ किया जाता है, बशर्ते कि कॉन्फिडेंस $\lambda$ से अधिक हो। यह रिवॉर्ड फंक्शन को रिफाइन करने के लिए अनलेबल जीरो-रिवॉर्ड डेटा का उपयोग करता है।
एन्ट्रॉपी ऑगमेंटेशन: एक नया डेटा ऑगमेंटेशन तकनीक पेश किया गया है जो विशेष रूप से नॉन-इमेज टास्क के लिए है। पारंपरिक इमेज ऑगमेंटेशन (जैसे कटआउट, रोटेशन) के विपरीत, जो ट्रजेक्टरी स्पेस में स्मूथनेस धारणाओं का उल्लंघन कर सकते हैं, यह विधि शैनन एन्ट्रॉपी (Shannon Entropy) का उपयोग करती है। यह स्टेट मैट्रिक्स की एन्ट्रॉपी की गणना करता है और स्टेट रिप्रेजेंटेशन को विचलित (perturb) करने के लिए इसका उपयोग करता है। यह स्मूथनेस और क्लस्टरिंग धारणाओं को बनाए रखता है जो SSL को ट्रजेक्टरी स्पेस में प्रभावी बनाने के लिए आवश्यक हैं।
मोनोटोनिसिटी कंस्ट्रेंट (Monotonicity Constraint): ट्रेनिंग को स्थिर करने और एक्शन एडवांटेज के रिप्रेजेंटेशन को बेहतर बनाने के लिए, एक कंस्ट्रेंट पेश किया गया है। यह उन मामलों को दंडित करता है जहाँ अनुमानित एडवांटेज ( $R_Q(s, a)$ और $R_V(s)$ के बीच का अंतर) नेगेटिव होता है, यह सुनिश्चित करता है कि एडवांटेज फंक्शन स्टेट बेसलाइन पर सापेक्ष सुधारों को कैप्चर करे।

प्रमुख योगदान

SSRS फ्रेमवर्क: एक नवीन फ्रेमवर्क जो RL में SSL को एकीकृत करता है, जिससे स्पार्स-रिवॉर्ड वातावरण में सैंपल एफिशिएंसी में सुधार के लिए नॉन-जीरो और जीरो-रिवॉर्ड दोनों ट्रांजिशन्स पर रिवॉर्ड शेपिंग संभव होती है।
एन्ट्रॉपी ऑगमेंटेशन: ट्रजेक्टरी स्पेस के लिए अनुकूलित एक एन्ट्रॉपी-आधारित डेटा परटर्बेशन मेथड का प्रस्ताव, जो पारंपरिक ऑगमेंटेशन मेथड्स (जैसे cutout, smooth, translation) की तुलना में बेहतर प्रदर्शन करता है।
RL में SSL का अनुभवजन्य सत्यापन: यह पेपर अनुभवजन्य रूप से जांच करता है कि RL में SSL कब प्रभावी होता है, यह प्रदर्शित करते हुए कि ट्रजेक्टरी स्पेस उन आवश्यक धारणाओं (स्मूथनेस और क्लस्टरिंग) का पालन करता है जो SSL पद्धतियों के लिए आवश्यक हैं।
मोनोटोनिसिटी कंस्ट्रेंट: स्टेट-वैल्यू और स्टेट-एक्शन-वैल्यू एस्टिमेटर्स के बीच संबंध को रेगुलेट करने के लिए एक कंस्ट्रेंट का परिचय, जो ट्रेनिंग स्टेबिलिटी को बढ़ाता है।

प्रायोगिक परिणाम
SSRS फ्रेमवर्क का मूल्यांकन स्पार्स-रिवॉर्ड अटाारी एनवायरमेंट्स (जैसे Montezuma's Revenge, Seaquest, Venture) और रोबोटिक मैनिपुलेशन टास्क (FetchReach) में किया गया।

बेसलाइन्स के विरुद्ध प्रदर्शन: SSRS ने लगातार सुपरवाइज्ड-आधारित दृष्टिकोणों (RCP, SORS) और मानक RL बेसलाइन्स को पछाड़ दिया। Montezuma's Revenge जैसे अत्यधिक स्पार्स वातावरण में, SSRS ने सुपरवाइज्ड बेसलाइन्स की तुलना में दोगुने तक के पीक स्कोर प्राप्त किए।
ऑगमेंटेशन प्रभावकारिता: प्रस्तावित एन्ट्रॉपी ऑगमेंटेशन ने अन्य ऑगमेंटेशन मेथड्स की तुलना में बेस्ट स्कोर में 15.8% की वृद्धि दर्ज की।
एब्लेशन स्टडीज: प्रयोगों ने मोनोटोनिसिटी कंस्ट्रेंट के महत्व की पुष्टि की, जिससे पता चला कि इस कंस्ट्रेंट के साथ SSRS (SSRS-ST) ने बिना इसके (SSRS-NST) की तुलना में अधिकांश टेस्ट किए गए वातावरणों में उच्च बेस्ट स्कोर प्राप्त किया।
हाइपरपैरामीटर मजबूती: अध्ययन में अपडेट प्रोबेबिलिटी ( $p_u$ ), कॉन्फिडेंस थ्रेशोल्ड ( $\lambda$ ), और कंसिस्टेंसी कोएफिशिएंट ( $\beta$ ) जैसे हाइपरपैरामीटर्स का विश्लेषण किया गया। परिणामों ने संकेत दिया कि प्रदर्शन तब चरम पर होता है जब कॉन्फिडेंस थ्रेशोल्ड 0.8 और 0.9 के बीच होता है, और कंसिस्टेंसी कोएफिशिएंट का फाइनल रिजल्ट पर न्यूनतम प्रभाव पड़ता है लेकिन यह ट्रेनिंग डायनेमिक्स को प्रभावित करता है।

महत्व और दावे
पेपर का दावा है कि रिवॉर्ड शेपिंग को एक सेमी-सुपरवाइज्ड क्लासिफिकेशन प्रॉब्लम के रूप में मानकर, एजेंट प्रभावी रूप से अधिकांश जीरो-रिवॉर्ड ट्रांजिशन्स से सीख सकते हैं, जिन्हें आमतौर पर छोड़ दिया जाता है या कम उपयोग किया जाता है। लेखक तर्क देते हैं कि RL में ट्रजेक्टरी स्पेस SSL के लिए आवश्यक धारणाओं (क्लस्टरिंग और स्मूथनेस) को पूरा करता है, जिससे मॉडल जीरो-रिवॉर्ड ट्रांजिशन्स के लिए विश्वसनीय रिवॉर्ड सिग्नल का अनुमान लगा सकता है। एन्ट्रॉपी ऑगमेंटेशन का परिचय एक महत्वपूर्ण नवाचार के रूप में रेखांकित किया गया है जो RL ऑब्जर्वेशन्स की प्रकृति के अनुसार SSL परटर्बेशन तकनीकों को अनुकूलित करता है, जिससे नॉन-विजुअल डेटा पर इमेज-सेंट्रिक ऑगमेंटेशन लगाने के खतरों से बचा जा सके। अंततः, यह कार्य प्रदर्शित करता है कि SSL रिवॉर्ड शेपिंग की प्रभावकारिता को महत्वपूर्ण रूप से बढ़ा सकता है, जिससे चुनौतीपूर्ण, स्पार्स-रिवॉर्ड डोमेन में एजेंट के स्कोर में सुधार होता है।

पुराना तरीका: अनुमान लगाना और जांचना

नया विचार: "सेमी-सुपरवाइज्ड" जासूस

परिणाम: एक बड़ी जीत

यह क्यों मायने रखता है

इसी तरह के और पेपर