🤖 machine learning

Behavior-Consistent Deep Reinforcement Learning

यह शोध पत्र Q-वैल्यू एक्सपेक्टाइल डिसएग्रीमेंट (QED) को प्रस्तुत करता है, जो एक स्टेट-डिपेंडेंट टेम्परेचर शेड्यूलर है जो मैक्सिमम-एन्ट्रॉपी सुदृढीकरण शिक्षण (reinforcement learning) में डबल-क्रिटिक डिसएग्रीमेंट का लाभ उठाकर निरंतर-नियंत्रण कार्यों (continuous-control tasks) में उच्च प्रदर्शन बनाए रखते हुए क्रॉस-रन पॉलिसी डाइवर्जेंस को महत्वपूर्ण रूप से कम करता है।

मूल लेखक: Marcel Hussing, Liv G. d'Aliberti, Claas Voelcker, Benjamin Eysenbach, Eric Eaton

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marcel Hussing, Liv G. d'Aliberti, Claas Voelcker, Benjamin Eysenbach, Eric Eaton

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: AI ट्रेनिंग में "पासे का खेल" (The "Roll of the Dice")

कल्पना कीजिए कि आप एक रोबोट को चीते की तरह दौड़ने के लिए प्रशिक्षित कर रहे हैं। आप प्रशिक्षण कार्यक्रम को 10 बार चलाते हैं। एक आदर्श दुनिया में, हर बार जब आप "स्टार्ट" दबाते हैं, तो रोबोट बिल्कुल एक ही तरह से सीखता है और अंत में एक ही तरह की चाल (gait) के साथ दौड़ता है।

वास्तविकता में, रिइन्फोर्समेंट लर्निंग (RL) बहुत अव्यवस्थित होती है। शुरुआत में होने वाले छोटे, यादृच्छिक (random) अंतरों के कारण (जैसे डेटा का क्रम बदलना या रैंडम नंबर जनरेटर का सीड), 10 रोबोट पूरी तरह से अलग तरह से दौड़ सकते हैं:

रोबोट #1 अपने पंजों पर दौड़ना सीखता है।
रोबोट #2 अपनी एड़ी पर दौड़ना सीखता है।
रोबोट #3 उछलकर चलना सीखता है।

भले ही वे सभी फिनिश लाइन तक लगभग एक ही गति से पहुँच जाएँ, लेकिन वे इसे पूरी तरह से अलग तरीकों से करते हैं। यह एक बड़ी समस्या है। यदि आप एक वैज्ञानिक हैं, तो आप यह नहीं बता पाएंगे कि आपका नया विचार वास्तव में काम कर रहा है या आपको बस एक विशेष "लकी सीड" (lucky seed) मिल गया था। यदि आप एक डेवलपर हैं जो किसी रोबट को तैनात (deploy) करने की कोशिश कर रहे हैं, तो आपको नहीं पता होगा कि जिस संस्करण का आपने परीक्षण किया है, वह वास्तविक मशीन पर स्थापित करते समय भी उसी तरह व्यवहार करेगा या नहीं।

समाधान: "व्यवहार-सुसंगत" (Behavior-Consistent) लर्निंग

लेखकों ने Behavior-Consistent RL नामक एक नया प्रशिक्षण तरीका प्रस्तावित किया है। उनका लक्ष्य केवल रोबोट को तेज़ बनाना नहीं है; बल्कि यह सुनिश्चित करना है कि हर बार जब आप इसे प्रशिक्षित करें, तो यह एक ही विशिष्ट व्यवहार सीखे।

इसे एक गाना गाने वाले समूह (choir) को सिखाने जैसा समझें। आप केवल यह नहीं चाहते कि गायक सही सुर लगाएँ (उच्च प्रदर्शन); आप यह भी चाहते हैं कि वे हर बार अभ्यास के दौरान एक ही स्वर, वॉल्यूम और टाइमिंग के साथ गाएँ, ताकि गाना हर बार एक जैसा ही सुनाई दे, चाहे उसका संचालन कोई भी कर रहा हो।

असली मंत्र: "टेम्परेचर" (Temperature) नॉब

पेपर Maximum Entropy RL की अवधारणा का उपयोग करता है। सरल शब्दों में, यह एक ऐसी विधि है जहाँ AI को बहुत जल्दी कठोर होने के बजाय थोड़ा "रैंडम" या "एक्सप्लोरेटरी" (खोजबीन करने वाला) होने के लिए प्रोत्साहित किया जाता है।

लेखकों ने इस प्रणाली में टेम्परेचर (जिसे अक्सर $\alpha$ द्वारा दर्शाया जाता है) नामक एक विशेष "नॉब" की खोज की।

हाई टेम्परेचर (High Temperature): AI बहुत "चिल" होता है और कई अलग-अलग क्रियाएं आज़माता है। यह बहुत रैंडम होता है।
लो टेम्परेचर (Low Temperature): AI "गंभीर" हो जाता है और उस एक सबसे अच्छे कार्य को चुनता जिसे वह जानता है।

अंतर्दृष्टि (Insight):
यदि आप तापमान को उच्च रखते हैं, तो AI को एक "मानक" व्यवहार (एक यूनिफॉर्म प्रायर) के करीब रहने के लिए मजबूर किया जाता है। यह हाइकर्स के एक समूह को बताने जैसा है, "किसी भी दिशा में मत भागो; इसी बड़े घेरे के भीतर रहो।" यदि सभी एक ही बड़े घेरे में रहते हैं, तो इस बात की अधिक संभावना है कि वे एक ही जगह पर पहुँचेंगे, भले ही उन्होंने अलग-अलग जगहों से शुरुआत की हो।

हालाँकि, एक पेच है: यदि आप हमेशा तापमान को उच्च रखते हैं, तो AI कभी भी कुशल (efficient) नहीं बन पाएगा। वह बहुत अधिक रैंडम बना रहेगा और सबसे अच्छे रास्ते पर कभी स्थिर नहीं हो पाएगा।

नवाचार: QED (स्मार्ट थर्मोस्टेट)

लेखकों ने QED (Q-value Expectile Disagreement) नामक एक नया एल्गोरिदम बनाया है। QED को AI के "टेम्परेचर" नॉब के लिए एक स्मार्ट थर्मोस्टेट के रूप में समझें।

यह इस प्रकार काम करता है:

डबल-क्रिटिक (The Double-Critic): AI के पास दो "जज" (क्रिटिक्स) होते हैं जो अनुमान लगाते हैं कि कोई क्रिया कितनी अच्छी है। आमतौर पर, वे सहमत होते हैं। लेकिन कभी-कभी, वे बुरी तरह असहमत होते हैं।
असहमति का संकेत (The Disagreement Signal): जब दोनों जज असहमत होते हैं, तो इसका मतलब है कि AI भ्रमित है या दुनिया के बारे में अनिश्चित है।
QED का नियम:
- जब जज असहमत हों (उच्च अनिश्चितता): QED टेम्परेचर को ऊपर (UP) कर देता है। यह AI को बताता है, "हमें अभी नहीं पता कि क्या हो रहा है, इसलिए रैंडम बनो और एक्सप्लोर करो! समूह के करीब रहो ताकि हम पटरी से न उतर जाएँ।"
- जब जज सहमत हों (कम अनिश्चितता): QED टेम्परेचर को नीचे (DOWN) कर देता है। यह AI को बताता है, "ठीक है, हमें पता है कि क्या काम करता है। अब सटीक बनो और अपना प्रदर्शन बेहतर करो।"

यह क्यों महत्वपूर्ण है (परिणाम)

लेखकों ने इसका परीक्षण 18 विभिन्न जटिल कार्यों (जैसे चलना, तैरना और संतुलन बनाने वाले रोबोट) पर किया।

परिणाम: उन्होंने पाया कि QED का उपयोग करने से रोबට्स अलग-अलग प्रशिक्षण दौरों में लगभग एक जैसा व्यवहार करते हैं।
उपमा (Analogy): कल्पना कीजिए कि आपके पास केक बनाने की कोशिश कर रहे 10 अलग-अलग शेफ हैं।
- QED के बिना: शेफ A चॉकलेट केक बनाता है, शेफ B वैनिला स्पंज बनाता है, और शेफ C बैटर को जला देता है। वे सभी "ठीक" स्वाद देते हैं, लेकिन वे पूरी तरह से अलग हैं।
- QED के साथ: सभी 10 शेफ हर बार बिल्कुल एक ही चॉकलेट केक, उसी बनावट और स्वाद के साथ बनाते हैं।
ट्रेड-ऑफ (The Trade-off): पेपर स्वीकार करता है कि कभी-कभी, सबको इतना सुसंगत बनाने से वे शुरू में थोड़ा धीरे सीख सकते हैं (क्योंकि उन्हें सेटल होने से पहले अधिक एक्सप्लोर करना पड़ता है)। हालाँकि, इसका लाभ यह है कि अंतिम परिणाम विश्वसनीय होता है। आप जानते हैं कि आपको क्या मिल रहा है।

सारांश

पेपर का तर्क है कि AI में, प्रदर्शन जितना महत्वपूर्ण है, निरंतरता (consistency) भी उतनी ही महत्वपूर्ण है। सिर्फ इसलिए कि एक AI स्मार्ट है, इसका मतलब यह नहीं है कि वह उपयोगी है यदि वह हर बार चालू करने पर अलग तरह से व्यवहार करता है।

उन्होंने QED पेश किया, जो एक स्मार्ट गाइड की तरह काम करता है। यह AI को तब "ढीला और खोजी" रखता है जब वह भ्रमित होता है (ताकि वह किसी अजीब दिशा में न भटक जाए) और जब वह आत्मविश्वासी होता है तो "सटीक और केंद्रित" रखता है। परिणाम एक ऐसा प्रशिक्षण प्रक्रिया है जहाँ AI हर बार एक ही व्यवहार सीखता है, जिससे यह वास्तविक दुनिया में बहुत अधिक सुरक्षित और भरोसेमंद बनता है।

तकनीकी सारांश: व्यवहार-सुसंगत डीप रिइन्फोर्समेंट लर्निंग (Behavior-Consistent Deep Reinforcement Learning)

समस्या विवरण (Problem Statement)

रिइन्फोर्समेंट लर्निंग (RL) एल्गोरिदम अक्सर स्वतंत्र प्रशिक्षण दौरों (independent training runs) में उच्च विचरण (high variance) प्रदर्शित करते हैं। हालांकि अंतिम प्रदर्शन मेट्रिक्स (रिटर्न्स) समान दिखाई दे सकते हैं, लेकिन अंतर्निहित नीतियां (underlying policies) अक्सर काफी भिन्न होती हैं। यह स्थिरता की कमी वैज्ञानिक मूल्यांकन के लिए चुनौतियां पैदा करती है, जिसमें कई सीड्स (seeds) पर औसत निकालना आवश्यक होता है, और व्यावहारिक परिनियोजन (deployment) के लिए भी, जहाँ रिवॉर्ड डिज़ाइन, डिबगिंग और सुरक्षा सत्यापन जैसी पुनरावृत्ति प्रक्रियाएं अविश्वसनीय हो जाती हैं यदि समान स्थितियां गुणात्मक रूप से भिन्न व्यवहार उत्पन्न करती हैं। मौजूदा कार्यों ने इस परिवर्तनशीलता को मुख्य रूप से एक ऐसे शोर (noise) के रूप में माना है जिसे औसत निकालकर समाप्त किया जा सकता है, न कि एक ऐसी संपत्ति के रूप में जिसे स्पष्ट रूप से नियंत्रित किया जा सके।

कार्यप्रणाली (Methodology)

सैद्धांतिक आधार (Theoretical Foundation)

लेखक व्यवहार-सुसंगत RL (BRL) को एक उद्देश्य के रूप में औपचारिक रूप देते हैं, जो ऐसी नीतियां सीखने के लिए है जो उच्च-प्रदर्शन करने वाली होने के साथ-साथ स्वतंत्र दौरों में वितरण संबंधी रूप से समान (distributionally similar) भी हों। मुख्य सैद्धांतिक अंतर्दृष्टि मैक्सिमम एंट्रॉपी (MaxEnt) RL पर आधारित है। एक सामान्य पूर्ववर्ती (prior) की ओर नीतियों को नियमित (regularize) करके (विशेष रूप से MaxEnt में एक समान पूर्ववर्ती), पॉलिसी स्पेस को सीमित किया जाता है।

यह शोध पत्र पॉलिसी डाइवर्जेंस और Q-फंक्शन असहमति (Q-function disagreement) के बीच एक सैद्धांतिक संबंध स्थापित करता है:

थ्योरम 4.1: बोल्ट्ज़मैन नीतियों (Boltzmann policies) के लिए, यदि तापमान पैरामीटर $\alpha(s)$ को दो Q-वैल्यू वेक्टर्स के बीच पॉइंटवाइज असहमति ( $\|Q^{(1)} - Q^{(2)}\|_\infty$ ) के समानुपाती सेट किया जाता है, तो प्रेरित नीतियों के बीच कुलबैक-लीलर (KL) डाइवर्जेंस सीमित रहता है। विशेष रूप से, $\alpha(s) = \max(\alpha_{min}, \frac{\|Q^{(1)} - Q^{(2)}\|_\infty}{\kappa})$ सेट करने से $D_{KL}(\pi^{(1)} \|\pi^{(2)}) \leq 2\kappa$ सुनिश्चित होता है।
थ्योरम 4.2: सॉफ्ट वैल्यू इटरेशन में इस असहमति-स्केल्ड तापमान का उपयोग करने से युग्मित रन (coupled runs) अनुकूल अनरेगुलराइज्ड Q-फंक्शन के एक पड़ोस में अभिसरित (converge) हो सकते हैं, जिसमें त्रुटि सीमा तापमान फ्लोर $\alpha_{min}$ और प्रारंभिक असहमति द्वारा नियंत्रित होती है।

व्यावहारिक एल्गोरिदम: Q-वैल्यू एक्सपेक्टाइल डिसएग्रीमेंट (QED)

अन्य स्वतंत्र दौरों से सीधे Q-फंक्शन्स तक पहुँचना अव्यावहारिक है। इसे संबोधित करने के लिए, लेखक Q-वैल्यू एक्सपेक्टाइल डिसएग्रीमेंट (QED) का प्रस्ताव करते हैं, जो क्रॉस-रन असहमति के लिए सिंगल-रन प्रॉक्सी का उपयोग करता है।

डबल-क्रिटिक प्रॉक्सी (Double-Critic Proxy): QED "डबल Q" ट्रिक का लाभ उठाता है, जिसमें समानांतर में प्रशिक्षित दो न्यूरल नेटवर्क क्रिटिक्स ( $Q_{\theta_1}, Q_{\theta_2}$ ) का उपयोग किया जाता है। लेखकों का अनुमान है कि एक ही रन के भीतर इन दो क्रिटिक्स के बीच की असहमति, एक प्रतिनिधि प्रॉक्सी के रूप में कार्य करती है जो दो स्वतंत्र दौरों के बीच मौजूद असहमति को दर्शाती है।
एक्सपेक्टाइल एग्रीगेशन (Expectile Aggregation): सभी क्रियाओं पर अधिकतमकरण (maximization) की प्रतिकूल प्रकृति (जो आउट-ऑफ-डिस्ट्रीब्यूशन क्रियाओं पर एक्सट्रपोलेशन त्रुटियों को उजागर कर सकती है) से बचने के लिए, QED वर्तमान नीति से ली गई क्रियाओं पर दोनों क्रिटिक्स के बीच के पूर्ण अंतर के अपर एक्सपेक्टाइल (upper expectile) की गणना करता है।
अनुकूली तापमान (Adaptive Temperature): $\alpha_{QED}(s)$ को इस एक्सपेक्टाइल असहमति के आधार पर गतिशील रूप से समायोजित किया जाता है:
$\alpha_{QED}(s) = \text{clip}\left( \frac{e\Delta(s)}{k \cdot d}, \alpha_{min}, \alpha_{max} \right)$
जहाँ $e\Delta(s)$ एक्सपेक्टाइल असहमति है, $k$ एक हाइपरपैरामीटर है जो ट्रेड-ऑफ को नियंत्रित करता है, और $d$ एक्शन डायमेंशन है।
ऑफ-पॉलिसी अस्थिरता को संभालना: शोध पत्र में उल्लेख है कि बिना सोचे-समझे एंट्रॉपी बढ़ाने से ऑफ-पॉलिसी एक्सट्रपोलेशन त्रुटियां बढ़ सकती हैं, जिससे ट्रेनिंग कोलैप्स हो सकता है। इसे कम करने के लिए, QED का मूल्यांकन विशेष रूप से उन एल्गोरिदम पर किया गया है जो डिस्ट्रीब्यूशन शिफ्ट को संभालने के लिए डिज़ाइन किए गए हैं: SAC-LN (लेयर नॉर्मलाइजेशन के साथ सॉफ्ट एक्टर-क्रिटिक) और MAD-SAC (मॉडल-ऑगमेंटेड डेटा SAC)।

मुख्य योगदान (Key Contributions)

BRL का औपचारिकीकरण: व्यवहार-सुसंगत सुदृढीकरण लर्निंग (BRL) के परिवेश को पेश किया, जो रिटर्न मैक्सिमाइजेशन के साथ-साथ व्यवहारिक निरंतरता को एक मुख्य उद्देश्य के रूप में फ्रेम करता है।
सैद्धांतिक संबंध: MaxEnt RL में पॉलिसी डाइवर्जेंस और क्रिटिक असहमति के बीच संबंध को सिद्ध किया, यह दिखाते हुए कि तापमान को असहमति द्वारा स्केल करने से नीतियों के बीच KL डाइवर्जेंस सीमित हो जाता है।
ऑफ-पॉलिसी चुनौतियों की पहचान: यह स्पष्ट किया कि कैसे उच्च-एंट्रॉपी MaxEnt RL, ऑफ-पॉलिसी एक्सट्रपोलेशन त्रुटियों को बढ़ा सकता है, जिससे स्थिर बेस एल्गोरिदम के बिना कार्यात्मक पॉलिसी कोलैप्स हो सकता है।
QED एल्गोरिदम: QED का प्रस्ताव दिया, जो एक व्यावहारिक विधि है जो क्रॉस-रन व्यवहारिक निरंतरता को प्रेरित करने के लिए सिंगल-रन क्रिटिक असहमति का उपयोग करती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने dm_control सुइट के 18 कंटीन्यूअस-कंट्रोल कार्यों पर 10 रैंडम सीड्स का उपयोग करके QED का मूल्यांकन किया।

डाइवर्जेंस में कमी: QED ने मानक एंट्रॉपी ट्यूनिंग (जैसे, टारगेट एंट्रॉपी के साथ SAC) की तुलना में पेयरवाइज पॉलिसी डाइवर्जेंस (सिमेट्रिक KL द्वारा मापा गया) को दो क्रम (two orders of magnitude) तक कम कर दिया।
प्रदर्शन संरक्षण: अधिकांश मामलों में, QED प्रतिस्पर्धी नॉर्मलाइज्ड रिटर्न्स बनाए रखता है। बहुत कम KL डाइवर्जेंस के लिए, अधिकतम 5% की मामूली कमी देखी गई, जिसका कारण Q-फंक्शन अनिश्चितता को कम करने के लिए एल्गोरिदम द्वारा लंबे समय तक अन्वेषण (exploration) करना है।
विचरण में कमी: MAD-SAC बेसलाइन पर, QED ने रिटर्न्स के विचरण (95% बूटस्ट्रैप कॉन्फिडेंस इंटरवल की चौड़ाई द्वारा मापा गया) को लगभग 50% कम कर दिया।
व्यवहारिक निरंतरता: गुणात्मक विज़ुअलाइज़ेशन (जैसे, cheetah_run) और मात्रात्मक मेट्रिक्स (संचयी L2 एक्शन डिस्टेंस) ने पुष्टि की कि QED विभिन्न दौरों में दृश्य रूप से और सांख्यिकीय रूप से समान व्यवहार उत्पन्न करता है, जबकि मानक प्रशिक्षण अलग-अलग व्यवहार मोड (जैसे, अलग-अलग हॉपिंग या वॉकिंग पैटर्न) देता है।
उच्च-विचरण वाले कार्य: अत्यंत अस्थिर hopper_hop कार्य पर, QED ने न केवल प्रदर्शन में सुधार किया बल्कि सभी प्रशिक्षण दौरों को एक ही प्रदर्शन स्तर पर अभिसरित होने के लिए संरेखित किया, जबकि बेसलाइन उच्च विचरण प्रदर्शित कर रही थी।

महत्व और दावे (Significance and Claims)

यह शोध पत्र तर्क देता है कि व्यवहारिक निरंतरता को नियंत्रित करना RL सिस्टमों की स्थिरता और पुनरुत्पादकता (reproducibility) के लिए संभव और फायदेमंद है। परिवर्तनशीलता को शोर के बजाय एक स्पष्ट नियंत्रित संपत्ति के रूप में मानकर, लेखक सुझाव देते हैं कि व्यवहारिक निरंतरता एक महत्वपूर्ण घटक है जो स्केलेबल और विश्वसनीय RL के लिए आवश्यक है।

इसका महत्व निम्नलिखित को सक्षम बनाना है:

वैज्ञानिक मूल्यांकन: वास्तविक एल्गोरिदम सुधारों का पता लगाने के लिए विशाल औसत निकालने की आवश्यकता को कम करना।
परिनियोजन (Deployment): यह सुनिश्चित करना कि रिवॉर्ड ट्यूनिंग और सुरक्षा सत्यापन जैसी पुनरावृत्ति प्रक्रियाएं स्टोकेस्टिक अनिश्चितताओं से प्रभावित न हों।
डिबगिंग: एल्गोरिदम की विफलताओं और रैंडम वेरिएंस के बीच अंतर करना आसान बनाना।

लेखक विनम्रतापूर्वक सीमाओं का उल्लेख करते हैं, विशेष रूप से यह कि विधि पॉइंटवाइज Q-अनुमानों पर निर्भर करती है जो अभिसरित होने में समय ले सकते हैं, और प्रदर्शन और समानता के बीच का ट्रेड-ऑफ उच्च-आयामी कार्यों में अधिक स्पष्ट हो जाता है। वे निष्कर्ष निकालते हैं कि हालांकि QED स्थिरता के लिए एक सिद्धांतपूर्ण दृष्टिकोण प्रदान करता है, भविष्य के कार्यों में लॉन्ग-होरिजन निरंतरता और वैध व्यवहार रणनीतियों की विविधता और एकरूपता के बीच संतुलन को संबोधित करने की आवश्यकता है।