🤖 machine learning

Performance Variation in Deep Reinforcement Learning

यह शोध पत्र पारंपरिक अनिश्चितता अनुमानों की आलोचना करके और प्रदर्शन भिन्नता को बेहतर ढंग से चित्रित करने के लिए पर्सेंटाइल-आधारित उपकरणों (मिन-मैक्स आईपीआर और रन-वाइज पर्सेंटाइल हाइलाइटिंग) का प्रस्ताव देकर डीप रिइन्फोर्समेंट लर्निंग में कम रन-टू-रन मजबूती की चुनौती को संबोधित करता है, जिनका उपयोग यह प्रदर्शित करने के लिए किया जाता है कि कैसे विशिष्ट आर्किटेक्चरल विकल्प और एल्गोरिद्मिक डिज़ाइन पीपीओ (PPO), एसएसी (SAC), टीडी-एमपीसी (TD-MPC) और डीक्यूएन (DQN) वेरिएंट्स के बीच स्थिरता को अलग-अलग तरह से प्रभावित करते हैं।

मूल लेखक: Haruto Tanaka, A. Rupam Mahmood

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haruto Tanaka, A. Rupam Mahmood

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एथलीटों (AI एल्गोरिदम) की एक टीम को प्रशिक्षित करने वाले एक कोच हैं जो एक विशिष्ट बाधा दौड़ (वीडियो गेम या रोबोट कार्य) को पूरा करने के लिए तैयार हो रहे हैं। आप उनसे कहते हैं, "इस कोर्स को 100 बार दौड़ो, और मैं तुम्हें बताऊंगा कि तुम कितने अच्छे हो।"

डीप रिइन्फोर्समेंट लर्निंग (RL) की दुनिया में, यह एक निराशाजनक समस्या है: भले ही आप बिल्कुल एक जैसे निर्देशों को 100 समान एथलीटों को दें, फिर भी उनके परिणाम बहुत अलग हो सकते हैं। कोई एक खिलाड़ी एक आदर्श दौड़ पूरी कर सकता है, जबकि दूसरा अपने ही पैरों में उलझकर गिर सकता है। इसे परफॉरमेंस वेरिएशन (प्रदर्शन भिन्नता) कहा जाता है।

यह शोध पत्र तर्क देता है कि वैज्ञानिक इस विसंगति को मापने के लिए गलत उपकरणों का उपयोग कर रहे थे, और यह वास्तव में क्या हो रहा है, इसे देखने के लिए दो नए, सरल उपकरण प्रस्तावित करता है।

समस्या: "औसत" का झूठ

लंबे समय से, शोधकर्ता यह मापने की कोशिश कर रहे हैं कि एक एल्गोरिदम कितना सुसंगत है, इसके लिए वे औसत (average) परिणाम देखते हैं और उसके चारों ओर एक "छायांकित बैंड" (जैसे कि त्रुटि का मार्जिन) बना देते हैं।

लेखक कहते हैं कि यह एक मौसम पूर्वानुमान देखने जैसा है जो कहता है, "इस सप्ताह का औसत तापमान 70°F है," जिसके साथ एक छोटा सा छायांकित बैंड है। यह सुनने में अच्छा लगता है, लेकिन यह इस तथ्य को छिपा देता है कि सोमवार को तापमान जमा देने वाला 30°F था और शुक्रवार को झुलसा देने वाला 100°F था।

दोष: ये "छायांकित बैंड" (सांख्यिकीय अनिश्चितता) प्रयोगों को अधिक चलाने पर सिकुड़ते जाते हैं, जिससे एल्गोरिदम वास्तव में जितना है उससे अधिक सुसंगत दिखाई देता है। वे "आउटलेयर्स" (outliers)—उन दौड़ों को भी पकड़ने में विफल रहते हैं जहाँ AI पूरी तरह से विफल हो जाता है।
उपमा: एक डार्टबोर्ड की कल्पना करें। यदि आप 100 डार्ट फेंकते हैं, और 90 बुल्सआई (bullseye) पर लगते हैं लेकिन 10 छत पर टकरा जाते हैं, तो "औसत" शानदार दिख सकता है। लेकिन यदि आप एक सुरक्षा निरीक्षक हैं, तो आप उन 10 डार्ट्स की परवाह करते हैं जो छत से टकराए हैं। पुराने तरीके छत से टकराने वाली घटनाओं को अनदेखा कर देते हैं।

समाधान: दो नए उपकरण

लेखक इस अराजकता को विज़ुअलाइज़ करने और मापने के दो नए तरीके प्रस्तावित करते हैं:

1. "मिन-मैक्स IPR-90" (90% सुरक्षा जाल)

औसत देखने के बजाय, यह टूल परिणामों के मध्य 90% को देखता है।

यह कैसे काम करता है: कल्पना कीजिए कि आप सभी 100 एथलीटों को सबसे खराब से सबसे अच्छे क्रम में खड़ा करते हैं। आप नीचे के 5% (कुल आपदाओं) और ऊपर के 5% (भाग्यशाली चमत्कारों) को हटा देते हैं। फिर आप "अच्छे" धावकों में से सबसे खराब और "अच्छे" धावकों में से सबसे अच्छे के बीच की दूरी को मापते हैं।
यह बेहतर क्यों है: यह संख्या आपको प्रदर्शन के "फैलाव" (spread) के बारे में बताती है। एक छोटी संख्या का अर्थ है कि सभी एथलीट लगभग समान गति से दौड़ रहे हैं। एक बड़ी संख्या का अर्थ है कि टीम अप्रत्याशित है। यह एक सरल प्रतिशत है जिसे अजीब गणितीय चालों से धोखा नहीं दिया जा सकता।

2. RPH (रन-वाइज पर्सेंटाइल हाइलाइटिंग) ("हाइलाइट रील")

एक धुंधले रेखाओं के बादल या छायांकित बैंड के बजाय, यह तरीका ग्राफ पर केवल तीन विशिष्ट रेखाओं को हाइलाइट करता है:

5वां पर्सेंटाइल (विश्वसनीय दौड़ों में से "सबसे खराब")।
50वां पर्सेंटाइल (मध्यिका या "टिपिकल" दौड़)।
95वां पर्सेंटाइल (विश्वसनीय दौड़ों में से "सबसे अच्छी")।
विजुअल: एक रेस ट्रैक की कल्पना करें। हर एक धावक के पथ को एक धुंधले ग्रे धब्बे के रूप में दिखाने के बजाय, आप सबसे धीमे विश्वसनीय धावक, औसत धावक और सबसे तेज़ विश्वसनीय धावक को चमकीले रंगों में हाइलाइट करते हैं। आप तुरंत देख सकते हैं कि उनके बीच का अंतर कितना बड़ा है। यदि अंतर बहुत बड़ा है, तो एल्गोरिदम अस्थिर है।

उन्होंने क्या खोजा (केस स्टडीज)

लेखकों ने यह देखने के लिए तीन अलग-अलग परिदृश्यों में अपने नए उपकरणों का परीक्षण किया कि वे क्या प्रकट करते हैं:

1. "नॉर्मलाइजेशन" प्रयोग (इंजन को ठीक करना)

उन्होंने दो लोकप्रिय एल्गोरिदम: PPO और SAC में "लेयरनॉर्म" (AI के आंतरिक गणित को स्थिर करने की एक तकनीक) जोड़ने का प्रयास किया।

परिणाम: PPO के लिए, नए उपकरणों ने दिखाया कि इन स्टेबलाइजर्स को जोड़ने से धावक बहुत अधिक सुसंगत हो गए (5वें और 95वें पर्सेंटाइल के बीच का अंतर कम हो गया)। SAC के लिए, उपकरणों ने दिखाया कि इन स्टेबलाइजर्स ने लगभग कुछ नहीं किया; धावक अभी भी इधर-उधर बिखरे हुए थे।
सीख: एक इंजन के लिए जो काम करता है, वह दूसरे को ठीक करने के लिए आवश्यक रूप से काम नहीं करता है।

2. "सुपरस्टार" तुलना (PPO, SAC, TD-MPC, TD-MPC2)

उन्होंने 48 अलग-अलग रोबोट कार्यों पर चार अलग-अलग एल्गोरिदम की तुलना की।

परिणाम: एक एल्गोरिदम, TD-MPC, स्पष्ट विजेता था। इसने न केवल दौड़ जीती (उच्च स्कोर प्राप्त किया); बल्कि यह सबसे सुसंगत भी था। इसका "फैलाव" बहुत कम था। अन्य या तो धीमे थे या बहुत अप्रत्याशित थे।
सीख: यहाँ तक कि सबसे आधुनिक AI में भी एक उच्च "विफलता दर" (लग लगभग 35% समय, शीर्ष 5% दौड़ अभी भी एक अच्छा स्कोर प्राप्त करने में विफल रही) होती है, लेकिन TD-MPC उनमें सबसे विश्वसनीय था।

3. "एटारी" मुकाबला (DQN बनाम रेनबो)

उन्होंने पुराने ज़माने के वीडियो गेम (जैसे BattleZone और Qbert*) खेलने वाले क्लासिक एल्गोरिदम की तुलना की।

परिणाम: Rainbow, DQN की तुलना में जीतने में बहुत बेहतर था। हालाँकि, नए उपकरणों ने एक आश्चर्यजनक बात उजागर की: दोनों एल्गोरिदम एक-दूसरे जितने ही "जिटरी" (jittery) और अप्रत्याशित थे। Rainbow बस एक "जिटरी" विजेता था, जबकि DQN एक "जिटरी" लूज़र था।
सीख: अधिक बार जीतना मतलब अधिक स्थिर होना नहीं है।

निष्कर्ष

यह शोध पत्र निष्कर्ष निकालता है कि हमें "औसत" नंबरों और "छायांकित बैंड" के पीछे छिपना बंद कर देना चाहिए जो AI को वास्तव में होने की तुलना में अधिक स्थिर दिखाते हैं। Min-Max IPR-90 (फैलाव को मापने के लिए) और RPH (सबसे खराब/सबसे अच्छे विश्वसनीय रन को विज़ुअलाइज़ करने के लिए) का उपयोग करके, शोधकर्ता अंततः अपने AI की वास्तविक "भंगुरता" (brittleness) को देख सकते हैं।

यह औसत तापमान देने वाले मौसम रिपोर्ट से हटकर एक ऐसी रिपोर्ट की तरह है जो स्पष्ट रूप से दिखाती है: "यह एक बेहतरीन दिन हो सकता है, या यह एक आपदा हो सकती है। उम्मीद करने योग्य रेंज यह है।"

तकनीकी सारांश: डीप रिइन्फोर्समेंट लर्निंग में प्रदर्शन भिन्नता

समस्या विवरण

डीप रिइन्फोर्समेंट लर्निंग (RL) एल्गोरिदम अपनी जटिल व्यवहारों को सीखने की क्षमता के लिए जाने जाते हैं, लेकिन वे समान रूप से कॉन्फ़िगर किए गए एजेंटों के स्वतंत्र रन के बीच "लॉटरी जैसी" प्रदर्शन संवेदनशीलता के लिए भी कुख्यात हैं। यह रन-टू-रन प्रदर्शन भिन्नता वैज्ञानिक कठोरता में बाधा डालती है क्योंकि यह परिणाम की पुनरुत्पादन क्षमता (reproducibility), निष्पक्ष एल्गोरिदम तुलना और हाइपरपैरामीटर ट्यूनिंग को जटिल बनाती है। इसके अलावा, व्यावहारिक अनुप्रयोगों में, यह परिवर्तनशीलता सुरक्षा जोखिम पैदा करती है, क्योंकि अप्रत्याशित रूप से अप्रभावी व्यवहार हो सकते हैं।

इस मुद्दे के महत्व के बावजूद, अनुभवजन्य डीप आरएल अध्ययन अक्सर एकत्रित प्रदर्शन मेट्रिक्स के पक्ष में प्रदर्शन भिन्नता की अनदेखी करते हैं। वर्तमान मूल्यांकन अभ्यास अत्यधिक निर्भर हैं:

अनिश्चितता अनुमान (जैसे, इंटरक्वेलटाइल मीन के बूटस्ट्रैप्ड कॉन्फिडेंस इंटरवल, स्टैंडर्ड एरर) पर, जो जनसंख्या मापदंडों के बजाय सैंपल सांख्यिकी और वास्तविक जनसंख्या मापदंडों के बीच विसंगति को मापते हैं। ये मेट्रिक्स रन की संख्या बढ़ने के साथ लुप्त हो जाते हैं ( $O(1/\sqrt{n})$ ), जिससे वे अंतर्निहित डेटा परिवर्तनशीलता को पकड़ने में विफल रहते हैं।
मानक विचलन (Standard deviation) पर, जो गाऊसी वितरण (Gaussian distribution) को मानता है। हालांकि, डीप आरएल प्रदर्शन वितरण अक्सर गैर-गाऊसी (skewed या bimodal) होते हैं, जिससे "अंडररिपोर्टिंग" का जोखिम होता है जहाँ मानक विचलन वितरण के महत्वपूर्ण हिस्सों, जैसे कि विफल रन या भारी पूंछ (heavy tails) को कवर करने में विफल रहता है।

मौजूदा कठोर विधियां जैसे टॉलरेंस इंटरवल्स (TIs) या परफॉरमेंस प्रोफाइल्स अक्सर गणनात्मक रूप से महंगी या सिंगल-टास्क विश्लेषण के लिए व्याख्या करने में कठिन होती हैं। ऐसे मूल्यांकन उपकरणों की आवश्यकता है जो सटीक रूप से सिंगल-टास्क प्रदर्शन भिन्नता को पकड़ सकें और साथ ही व्याख्या योग्य और स्केलेबल भी हों।

कार्यप्रणाली

लेखक सटीकता और व्याख्यात्मकता के बीच संतुलन बनाने के लिए डिज़ाइन किए गए क्वांटिफिकेशन और विज़ुअलाइज़ेशन विधियों के एक समूह का प्रस्ताव करते हैं:

1. मि-मैक्स IPR-90 (क्वांटिफिकेशन)

यह पेपर 5वें से 95वें पर्सेंटाइल से Min-Max Inter-Percentile Range (IPR) पेश करता है, जिसे कार्य के सैद्धांतिक या अनुभवजन्य मि-मैक्स रेंज द्वारा सामान्यीकृत किया गया है।

परिभाषा: $IPR = \frac{U(95) - U(5)}{M_T - m_T} \times 100\%$ , जहाँ $U(x)$ प्रदर्शन सेट का $x$ -वाँ पर्सेंटाइल है, और $M_T, m_T$ कार्य का अधिकतम और न्यूनतम संभव रिटर्न हैं।
तर्क: मानक विचलन के विपरीत, पर्सेंटाइल विशिष्ट डेटा वितरण को नहीं मानते हैं। 5वें-95वें रेंज (90% कवरेज) को जोखिम का आकलन करने के लिए चुना गया है (अधिकांश रन के प्रसार को कैप्चर करने के लिए), जबकि पूर्ण रेंज (0–100%) द्वारा उत्पन्न आउटलेर्स के प्रति अत्यधिक संवेदनशीलता से बचा जा सके।
नॉर्मलाइजेशन: मि-मैक्स नॉर्मलाइजेशन अलग-अलग एल्गोरिदम और अलग-अलग रिवॉर्ड स्केल वाले कार्यों के बीच भिन्नता की सीधी तुलना करने की अनुमति देता है।

2. रन-वाइज पर्सेंटाइल हाईलाइटिंग (RPH) (विज़ुअलाइज़ेशन)

टाइम-वाइज एग्रीगेशन (जैसे, मीन $\pm$ स्टैंडर्ड डेविएशन बैंड्स) के गलत प्रतिनिधित्व के जोखिमों के बिना लर्निंग कर्व्स को विज़ुअलाइज़ करने के लिए, लेखक रन-वाइज पर्सेंटाइल हाईलाइटिंग का प्रस्ताव करते हैं।

तकनीक: प्रत्येक टाइमस्टेप पर सांख्यिकी को एग्रीगेट करने के बजाय, RPH अंतिम प्रदर्शन के 5वें, 50वें (मीडियन) और 95वें पर्सेंटाइल के अनुरूप विशिष्ट लर्निंग कर्व्स को हाईलाइट करता है।
कार्यान्वयन: 5वें और 95वें पर्सेंटाइल कर्व्स को हाइलाइट किया जाता है (उदाहरण के लिए, डॉटेड लाइनों के साथ) ताकि वेरिएशन एनवेलप पर जोर दिया जा सके, जबकि 50वाँ पर्सेंटाइल केंद्रीय प्रवृत्ति (central tendency) का प्रतिनिधित्व करता है। अन्य कर्व्स को ट्रांसपेरेंसी के साथ रेंडर किया जाता है।
लाभ: यह व्यक्तिगत लर्निंग कर्व्स के आकार को सुरक्षित रखता है और शेडेड एरर बैंड्स के कारण होने वाली 'अंडररिपोर्टिंग' के जोखिमों से बचता है। यह फंक्शनल बॉक्सप्लॉट्स (FB) की तुलना में अधिक सरल और व्याख्या योग्य है।

मुख्य योगदान और केस स्टडीज

पेपर 100 स्वतंत्र रन प्रति कार्य का उपयोग करते हुए तीन केस स्टडीज के माध्यम से इन विधियों को मान्य करता है:

केस स्टडी 1: PPO और SAC पर नॉर्मलाइजेशन का प्रभाव

लेखकों ने PPO और SAC पर लेयरनॉर्म (LayerNorm) और पेनअल्टिमेट-लेयर नॉर्मलाइजेशन (PNorm) के प्रभाव का विश्लेषण किया।

निष्कर्ष: PPO में, इन नॉर्मलाइजेशन तकनीकों (व्यक्तिगत रूप से या संयुक्त रूप से) को लागू करने से प्रदर्शन भिन्नता काफी कम हो गई (Min-Max IPR-90 कम हुआ) और अक्सर मीडियन प्रदर्शन में सुधार हुआ। इसके विपरीत, SAC के लिए, इन संशोधनों ने प्रदर्शन भिन्नता को या तो अपरिवर्तित छोड़ दिया या उसे बढ़ा दिया।
निहितार्थ: नॉर्मलाइजेशन के लाभ एल्गोरिदम-विशिष्ट हैं; जो PPO को स्थिर करता है वह आवश्यक रूप से SAC को स्थिर नहीं करता है।

केस स्टडी 2: निरंतर नियंत्रण एल्गोरिदम (PPO, SAC, TD-MPC, TD-MPC2) की तुलना

डीपमाइंड कंट्रोल सूट (DMC) के 48 कार्यों में एक व्यवस्थित तुलना की गई।

निष्कर्ष: TD-MPC और TD-MPC2 ने PPO और SAC की तुलना में सभी मेट्रिक्स (मीन, मीडियन, 5th/95th पर्सेंटाइल) में बेहतर प्रदर्शन किया। महत्वपूर्ण रूप से, TD-MPC ने उच्च डेटा दक्षता बनाए रखते हुए सबसे कम प्रदर्शन भिन्नता (औसत Min-Max IPR-90 $\approx$ 10%) प्रदर्शित की।
अवलोकन: TD-MPC की कम भिन्नता के बावजूद, 10% का औसत IPR-90 सुपरवाइज्ड लर्निंग बेसलाइन्स में देखे गए $\approx$ 2% से काफी अधिक है, जो यह दर्शाता है कि डीप आरएल अभी भी सुसंगत कम-वेरिएशन प्रदर्शन के साथ संघर्ष कर रहा है।

केस स्टडी 3: डिस्क्रीट कंट्रोल एल्गोरिदम (DQN बनाम Rainbow) की तुलना

अध्ययन ने पांच एटाari वातावरण (ALE) पर DQN और Rainbow की तुलना की।

निष्कर्ष: Rainbow ने मीडियन और पर्सेंटाइल प्रदर्शन के मामले में DQN से काफी बेहतर प्रदर्शन किया। हालांकि, दोनों एल्गोरिदम ने समान, उच्च स्तर की प्रदर्शन भिन्नता (Min-Max IPR-90 $\approx$ 14–23%) प्रदर्शित की।
निहितार्थ: जबकि Rainbow, DQN पर कुल प्रदर्शन में सुधार करता है, यह उच्च रन-टू-रन परिवर्तनशीलता के अंतर्निहित मुद्दे को हल नहीं करता है।

महत्व और दावे

पेपर यह दावा करता है कि Min-Max IPR-90 और RPH डीप आरएल प्रदर्शन के मूल्यांकन के तरीके में एक आवश्यक बदलाव प्रदान करते हैं:

मिसअलाइनमेंट सुधार: वे वेरिएशन के प्रॉक्सी के रूप में अनिश्चितता अनुमानों (जैसे कॉन्फिडेंस इंटरवल) के दुरुपयोग को ठीक करते हैं।
मजबूती (Robustness): पैरामीट्रिक धारणाओं (जैसे गाऊसीता) के बजाय पर्सेंटाइल्स पर भरोसा करके, ये विधियां प्रदर्शन प्रसार का अधिक सटीक सारांश प्रदान करती हैं, विशेष रूप से आरएल में सामान्य गैर-गाऊसी वितरणों के लिए।
व्याख्यात्मकता: RPH एक स्पष्ट दृश्य प्रतिनिधित्व प्रदान करता है जो फंक्शनल बॉक्सप्लॉट्स की तुलना में व्याख्या करने में आसान है और स्टैंडर्ड एरर बैंड्स की तुलना में अधिक सूचनात्मक है।
व्यावहारिक अंतर्दृष्टि: प्रस्तावित उपकरण प्रकट करते हैं कि एल्गोरिदम सुधार (जैसे, TD-MPC या Rainbow में) स्वचालित रूप से कम भिन्नता में नहीं बदलते हैं, जो यह उजागर करता है कि "मजबूती" डीप आरएल अनुसंधान में एक अलग और चुनौतीपूर्ण उद्देश्य बनी हुई है।

लेखक निष्कर्ष निकालते हैं कि हालांकि ये विधियां प्रभावी हैं, फिर भी इनका उपयोग अन्य सांख्यिकीय उपकरणों के साथ पूरक अंतर्दृष्टि प्रदान करने के लिए किया जाना चाहिए, क्योंकि केवल एक सांख्यिकी पर निर्भर रहना अभी भी भ्रामक हो सकता है। इस कार्य का उद्देश्य भविष्य के अनुसंधान को डीप आरएल एजेंटों की विश्वसनीयता और मजबूती का आकलन करने के लिए एक अधिक कठोर ढांचा प्रदान करके सहायता करना है।