💻 computer science

Hybrid TD3: Overestimation Bias Analysis and Stable Policy Optimization for Hybrid Action Space

यह शोध पत्र हाइब्रिड TD3 का प्रस्ताव करता है, जो एक नवीन सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) एल्गोरिदम है जो ओवरएस्टिमेशन बायस (अति-अनुमानित पूर्वाग्रह) के एक कठोर सैद्धांतिक विश्लेषण और रोबोटिक हेरफेर कार्यों में बेहतर प्रशिक्षण स्थिरता और प्रदर्शन प्राप्त करने के लिए एक भारित क्लिप्ड Q-लर्निंग लक्ष्य को पेश करके पैरामीटराइज्ड हाइब्रिड एक्शन स्पेस को स्वाभाविक रूप से संभालता है।

मूल लेखक: Thanh-Tuan Tran, Thanh Nguyen Canh, Nak Young Chong, Xiem HoangVan

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thanh-Tuan Tran, Thanh Nguyen Canh, Nak Young Chong, Xiem HoangVan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक हाथ को एक जटिल कार्य करना सिखा रहे हैं, जैसे कि एक बिखरी हुई मेज से एक विशिष्ट खिलौने को उठाना और उसे एक बॉक्स में रखना। यह केवल हाथ को हिलाने के बारे में नहीं है; रोबोट को एक साथ दो प्रकार के निर्णय लेने होते हैं:

"क्या" (डिस्क्रीट चॉइस - Discrete Choice): क्या मुझे सक्शन कप को चालू (ON) करना चाहिए या बंद (OFF)? (यह एक सरल हाँ/ना का निर्णय है)।
"कैसे" (कंटीन्यूअस चॉइस - Continuous Choice): इसके 6 जोड़ों (joints) को कितनी गति से और किस कोण पर घूमना चाहिए? (यह संभावनाओं की एक सहज, अनंत श्रेणी है)।

इस संयोजन को हाइब्रिड एक्शन स्पेस (Hybrid Action Space) कहा जाता है। यह एक कार चलाने जैसा है जहाँ आपको यह तय करना होता है कि हेडलाइट्स चालू करनी हैं या बंद, और ठीक उसी समय आपको यह भी तय करना होता है कि एक्सीलेटर को कितनी जोर से दबाना है।

समस्या: रोबोट का अति-आत्मविश्वास (The Robot's Overconfidence)

यह शोध पत्र रोबोट सिखाने में एक बड़ी समस्या पर ध्यान केंद्रित करता है: ओवरएस्टिमेशन बायस (Overestimation Bias - अति-अनुमान का पूर्वाग्रह)।

कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि वह घबराया हुआ है, तो वह बेतरतीब ढंग से अनुमान लगा सकता है। यदि वह हर उत्तर पर "100%" का अनुमान लगाता है, तो वह एक बार भाग्यशाली हो सकता है, लेकिन वह वास्तविक परीक्षा में विफल हो जाएगा। सुदृढीकरण शिक्षण (Reinforcement Learning) में, रोबोट का "मस्तिष्क" (जिसे 'क्रिटिक' कहा जाता है) यह अनुमान लगाने की कोशिश करता है कि कोई चाल कितनी अच्छी होगी। दुनिया की शोर-शराबे और अराजकता (जैसे वस्तुओं का हिलना, रोशनी का बदलना) के कारण, मस्तिष्क अक्सर अति-आत्मविश्वासी हो जाता है। उसे लगता है कि एक खराब चाल वास्तव में एक बहुत अच्छी चाल है।

हाइब्रिड सेटिंग में, यह स्थिति और भी खराब हो जाती है। रोबोट को "स्विच" (ON/OFF) और "एक्सीलेटर" की गति, दोनों का निर्णय एक साथ लेना होता है। यदि वह गलत स्विच स्थिति के मूल्य का अति-अनुमान लगा लेता है, तो वह गलत निर्णयों के एक लूप में फंस जाता है, यह सोचते हुए कि वह बहुत अच्छा काम कर रहा है जबकि वास्तव में वह विफल हो रहा होता है।

समाधान: हाइब्रिड TD3 (Hybrid TD3)

लेखक एक नया एल्गोरिदम प्रस्तावित करते हैं जिसे हाइब्रिड TD3 कहा जाता है। इसे रोबोट को एक "रियलिटी चेक" (वास्तविकता की जांच) प्रणाली देने के रूप में समझें।

यह इस प्रकार काम करता है, एक सरल उदाहरण के माध्यम से:

1. जुड़वां न्यायाधीश (Twin Critics)

एक अकेला न्यायाधीश यह तय करने के बजाय कि कोई चाल अच्छी है या नहीं, हाइब्रिड TD3 दो न्यायाधीशों (क्रिटिक्स) का उपयोग करता है।

मानक दृष्टिकोण: रोबोट एक न्यायाधीश से पूछता है, "क्या यह चाल अच्छी है?" न्यायाधीश कहता है, "हाँ, 100/100!" (लेकिन न्यायाधीश झूठ बोल रहा है क्योंकि वह अति-आत्मविश्वासी है)।
हाइब्रिड TD3: रोबोट दो न्यायाधीशों से पूछता है। न्यायाधीश A कहता है "90/100," और न्यायाधीश B कहता है "40/100।" औसत या उच्चतम स्कोर लेने के बजाय, हाइब्रिड TD3 निचले स्कोर (जिसे "क्लिप्ड मिनिमम" कहा जाता है) को चुनता है।
क्यों? यह रोबोट को रूढ़िवादी (conservative) होने के लिए मजबूर करता है। यह मान लेता है कि चाल उतनी ही अच्छी है जितना कि सबसे खराब तर्कसंगत अनुमान। यह रोबोट को अति-आत्मविश्वासी होने और दुर्घटनाग्रस्त होने से रोकता है।

2. "सॉफ्ट" वोट (Weighted Clipped Q-Learning)

यही इस शोध पत्र का सबसे बड़ा नवाचार है।

पुराना तरीका: "ON/OFF" स्विच तय करते समय, रोबोट उस एकल विकल्प को चुनता था जिसे वह सबसे अच्छा समझता था (जैसे, "ON") और इस संभावना को अनदेखा कर देता था कि "OFF" भी ठीक हो सकता था। यह बहुत कठोर था।
नया तरीका (Hybrid TD3): रोबोट सभी संभावित स्विच विकल्पों को देखता है। वह केवल एक को नहीं चुनता; वह सभी संभावनाओं का एक भारित औसत (weighted average) लेता है, लेकिन फिर भी उस "जुड़वां न्यायाधीश" वाली सुरक्षा जांच को लागू करता है।
उपमा: कल्पना कीजिए कि आप एक रेस्टोरेंट चुन रहे हैं।
- पुराना तरीका: आप उस रेस्टोरेंट को चुनते हैं जिसकी रेटिंग सबसे अधिक है और बाकी सब कुछ अनदेखा कर देते हैं। यदि वह रेटिंग केवल एक इत्तेफाक थी, तो आपका भोजन खराब होगा।
- हाइब्रिड TD3: आप शीर्ष 3 रेस्टोरेंट्स को देखते हैं। आप जानते हैं कि "सर्वश्रेष्ठ" वाला रेस्टोरेंट बढ़ा-चढ़ाकर बताया गया हो सकता है, इसलिए आप शीर्ष विकल्पों के एक "सुरक्षित" औसत को लेते हैं, जिससे यह सुनिश्चित होता है कि आप एक गलत अनुमान के कारण निराश न हों। यह रोबोट की सीखने की प्रक्रिया को सुचारू बनाता है और दुर्घटनाग्रस्त होने की संभावना को कम करता है।

यह क्यों महत्वपूर्ण है: "अराजकता" की परीक्षा (The "Chaos" Test)

शोधकर्ताओं ने इसे एक सिमुलेशन में टेस्ट किया जहाँ उन्होंने हर बार रोबोट द्वारा कार्य करने पर सब कुछ बदल दिया:

वस्तुओं का आकार, माप और रंग बदल गया।
मेज हिल गई।
घर्षण (friction) बदल गया।

इसे डोमेन रैंडमाइजेशन (Domain Randomization) कहा जाता है। यह एक ड्राइवर को सिम्युलेटर में प्रशिक्षित करने जैसा है जहाँ मौसम हर 5 सेकंड में धूप से बर्फीले तूफान या रेगिस्तानी धूल भरी आंधी में बदल जाता है।

परिणाम:

अन्य रोबोट (पुराने तरीकों जैसे SAC या PPO का उपयोग करने वाले) भ्रमित हो गए। उन्होंने अपने कौशल का अति-अनुमान लगाया, जोखिम भरे कदम उठाए और सीखने में विफल रहे।
हाइब्रिड TD3 शांत रहा। क्योंकि यह "निराशावादी" (हमेशा यह मानकर कि चाल उम्मीद से थोड़ी खराब हो सकती है) था, इसने सुरक्षित रूप से सीखा। इसने दुर्घटनाग्रस्त नहीं किया, और इसने वस्तुओं को उठाने और हिलाने का कौशल सीखा, भले ही इसने पहले उन विशिष्ट वस्तुओं को कभी न देखा हो।

मुख्य निष्कर्ष (The Big Picture)

यह शोध पत्र सिद्ध करता है कि जब आप एक रोबक को जटिल, मिश्रित निर्णय (स्विच + गति) लेने के लिए सिखा रहे हों, तो थोड़ा निराशावादी होना आशावादी होने से बेहतर है।

रोबोट को विनम्र रखने के लिए दो न्यायाधीशों का उपयोग करके और "स्विच" निर्णयों के लिए एकल विकल्प चुनने के बजाय औसत निकालकर, हाइब्रिड TD3 एक ऐसा रोबोट बनाता है जो तेजी से सीखता है, कम दुर्घटनाग्रस्त होता है, और वास्तव में अराजक, अप्रत्याशित वास्तविक दुनिया को संभाल सकता है। यह एक ऐसे रोबोट के बीच का अंतर है जो सोचता है कि वह एक सुपरहीरो है और एक ऐसे रोबोट के बीच का अंतर है जो अपनी सीमाओं को जानता है और सुरक्षित रूप से काम पूरा करता है।

यहाँ शोध पत्र "Hybrid TD3: Overestimation Bias Analysis and Stable Policy Optimization for Hybrid Action Space" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रोबोटिक मैनिपुलेशन कार्यों (robotic manipulation tasks) को लागू करने के लिए डीप रिइन्फोर्समेंट लर्निंग (DRL) को लागू करने की चुनौतियों का समाधान करता है, जिनमें डिस्क्रीट-कंटीन्यूअस हाइब्रिड एक्शन स्पेस (discrete-continuous hybrid action spaces) की आवश्यकता होती है।

चुनौती: रोबोटिक कार्यों में अक्सर उच्च-स्तरीय डिस्क्रीट निर्णय (जैसे, "पकड़ना" बनाम "छोड़ना") और निम्न-स्तरीय निरंतर नियंत्रण (जैसे, जॉइंट वेलोसिटी या टॉर्क) शामिल होते हैं।
मौजूदा विधियों की सीमाएँ:
- डिस्क्रीटाइजेशन (Discretization): निरंतर घटकों को डिस्क्रीट बनाने से एक्शन स्पेस का घातांकीय विस्तार (exponential blowup) हो जाता है।
- रिलैक्सेशन (Relaxation): डिस्क्रीट विकल्पों को निरंतर अनुमानों में बदलने से त्रुटियाँ आती हैं और पॉलिसी की गुणवत्ता कम हो जाती है।
- अस्थिरता (Instability): मौजूदा हाइब्रिड एल्गोरिदम (जैसे, Hybrid-SAC, P-DQN) अक्सर ओवरएस्टिमेशन बायस (overestimation bias) से ग्रस्त होते हैं, विशेष रूप से फुल डोमेन रैंडमाइजेशन (जहाँ ऑब्जेक्ट पोज़, मास और सीन रैंडम रूप से बदलते हैं) के तहत। यह बायस एक स्व-सुदृढ़ फीडबैक लूप बनाता है जहाँ शोर युक्त वैल्यू अनुमान लक्ष्य (targets) को बढ़ा देते हैं, जिससे प्रशिक्षण अस्थिरता और खराब अभिसरण (convergence) होता है।

2. कार्यप्रणाली: Hybrid TD3 (Methodology: Hybrid TD3)

लेखक Hybrid TD3 का प्रस्ताव करते हैं, जो ट्विन डिलेड डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (TD3) एल्गोरिदम का एक विस्तार है, जिसे पैरामीटराइज्ड हाइब्रिड एक्शन स्पेस को स्वाभाविक रूप से संभालने के लिए डिज़ाइन किया गया है।

A. मुख्य आर्किटेक्चर (Core Architecture)

फैक्टराइज्ड पॉलिसी (Factorized Policy): पॉलिसी $\pi(a|s)$ को एक डिस्क्रीट घटक $\pi_d$ (जिसे सॉफ्टमैक्स के माध्यम से कैटेगोरिकल डिस्ट्रीब्यूशन के रूप में मॉडल किया गया है) और एक निरंतर घटक $\pi_c$ (जॉइंट वेलोसिटी के लिए डिटरमिनिस्टिक एक्टर हेड) में विभाजित किया गया है।
ट्विन क्रिटिक्स (Twin Critics): दो क्रिटिक नेटवर्क $Q_{\phi_1}$ और $Q_{\phi_2}$ मिलकर स्टेट-एक्शन पेयर $(s, a_c, a_d)$ का मूल्यांकन करते हैं।
वेटेड क्लिप्ड Q-लर्निंग टारगेट (Weighted Clipped Q-Learning Target):
- मानक TD3 एक ग्रीडी डिस्क्रीट एक्शन ( $\arg\max$ ) चुनता है और दो क्रिटिक्स के ऊपर क्लिप्ड मिनिमम लागू करता है।
- Hybrid TD3 नवाचार: एक एकल ग्रीडी डिस्क्रीट एक्शन चुनने के बजाय, यह विधि पूर्ण डिस्क्रीट एक्शन डिस्ट्रीब्यूशन पर टारगेट को मार्जिनलाइज (marginalize) करती है।
- टारगेट समीकरण:
  $y = r + \gamma \frac{1}{K} \sum_{k=1}^{K} \pi_d(a_d^{(k)} | s') \min_{i=1,2} Q'_{\phi_i}(s', a'_c, a_d^{(k)})$
- यह दृष्टिकोण एक "सॉफ्ट," डिस्ट्रीब्यूशन-वेटेड वैल्यू अनुमान को प्रसारित करता है, जो ग्रेडिएंट सिग्नल को सुचारू बनाता है और शुरुआती प्रशिक्षण के दौरान डिस्क्रीट मिसक्लासिफिकेशन के प्रति संवेदनशीलता को कम करता है।

B. ओवरएस्टिमेशन बायस का सैद्धांतिक विश्लेषण (Theoretical Analysis of Overestimation Bias)

शोध पत्र पाँच हाइब्रिड एल्गोरिदम वेरिएंट्स के बीच अपेक्षित एस्टिमेशन बायस ( $\delta_Q$ ) के एक औपचारिक क्रम को स्थापित करने वाला एक कठोर सैद्धांतिक विश्लेषण प्रदान करता है।

मुख्य निष्कर्ष: लेखक सिद्ध करते हैं कि Hybrid TD3 सबसे कम अपेक्षित बायस (सबसे अधिक नकारात्मक/अंडरएस्टिमेशन) प्राप्त करता है, इसके बाद HyACC/HyTQC, HyDARC, और अंत में HyDATD3 (सबसे कम नकारात्मक/ओवरएस्टिमेशन के प्रति सबसे अधिक प्रवण) आते हैं।
निहितार्थ: अत्यधिक स्टोकेस्टिक वातावरण (फुल डोमेन रैंडमाइजेशन) में, एक टाइटली बाउंड अंडरएस्टिमेशन (निराशावाद/pessimism) अधिक स्थिर और लाभकारी होता है, बजाय इसके कि बायस को पूरी तरह से समाप्त करने या ओवरएस्टिमेशन की अनुमति देने का प्रयास किया जाए। "क्लिप्ड डबल Q-लर्निंग" तंत्र प्रभावी रूप से इस बायस को नियंत्रित करता है।

3. प्रमुख योगदान (Key Contributions)

व्यवस्थित अनुभवजन्य विश्लेषण: फुल डोमेन रैंडमाइजेशन के तहत हाइब्रिड एक्शन RL के लिए TD3 को सबसे स्थिर बैकबोन के रूप में पहचाना, जो अपने डिटरमिनिस्टिक पॉलिसी और ट्विन-क्रिटिक आर्किटेक्चर के कारण SAC, DDPG और PPO से बेहतर प्रदर्शन करता है।
वेटेड क्लिप्ड Q-लर्निंग टारगेट: एक नया टारगेट फंक्शन पेश किया जो डिस्क्रीट एक्शन डिस्ट्रीब्यूशन पर मार्जिनलाइज करता है। यह ग्रेडिएंट स्मूथनेस में सुधार करता है जबकि मानक TD3 के बायस-रिडक्शन गुणों को बनाए रखता है।
कठोर बायस ऑर्डरिंग: पाँच हाइब्रिड वेरिएंट के लिए औपचारिक बाउंड्स और एक पूर्ण क्रम (ordering) प्राप्त किया, जो एल्गोरिदम चयन के लिए सिद्धांत आधारित मार्गदर्शन प्रदान करता है।
जीरो-शॉट जनरलाइजेशन: प्रदर्शित किया कि प्रस्तावित विधि प्रशिक्षण के दौरान अनदेखे (unseen) ऑब्जेक्ट श्रेणियों तक प्रभावी ढंग से सामान्यीकृत (generalize) होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन सिमुलेशन (PyBullet) में एक UF850 रोबोटिक आर्म पर चार मैनिपुलेशन कार्यों पर किया गया: Reach, Pick, Move, और Put।

बायस-मिटिगेशन वेरिएंट्स के साथ तुलना:
- HyACC, HyTQC, HyDARC, और HyDATD3 की तुलना में Hybrid TD3 ने उच्चतम औसत रिटर्न और सबसे तेज़ अभिसरण (fastest convergence) प्राप्त किया।
- जबकि HyACC और HyTQC अपनी स्टोकेस्टिक प्रकृति के कारण उच्च पॉजिटिव बायस (ओवरएस्टिमेशन) दिखाते थे, Hybrid TD3 ने टाइटली बाउंड, लगभग शून्य या थोड़ा नेगेटिव बायस बनाए रखा, जिससे बेहतर स्थिरता मिली।
समर्पित हाइब्रिड बेसलाइन्स के साथ तुलना:
- Hybrid TD3 ने स्टेट-ऑफ-द-आर्ट हाइब्रिड एल्गोरिदम (Hybrid-SAC, TD3AQ, TSMPDQN, PASAC, ADSAC) को पछाड़ दिया।
- TSMPDQN और PASAC जैसे बेसलाइन्स ने अस्थिर ट्रेनिंग कर्व और बार-बार होने वाले कोलैप्स (collapse) का प्रदर्शन किया, जबकि Hybrid TD3 ने निरंतर लर्निंग दिखाई।
जनरलाइजेशन (Generalization):
- पॉलिसी ने बिना पुन: प्रशिक्षण के अनसीन ऑब्जेक्ट सेट्स (विभिन्न आकार, साइज, टेक्सचर) पर उच्च सफलता दर प्राप्त की।
- अनसीन सेट पर सफलता दर (Success Rates): Reach (94.25%), Pick (90.00%), Move (81.75%), Put (82.75%)।
- स्टैंडर्ड और अनसीन सेट्स के बीच न्यूनतम प्रदर्शन गिरावट मजबूत जीरो-शॉट जनरलाइजेशन की पुष्टि करती है।

5. महत्व (Significance)

वास्तविक दुनिया के परिदृश्यों में मजबूती: शोध पत्र प्रदर्शित करता है कि भारी अनिश्चितता (डोमेन रैंडमाइजेशन) के तहत रोबोटिक मैनिपुलेशन के लिए, नियंत्रित अंडरएस्टिमेशन (क्लिप्ड डबल Q-लर्निंग के माध्यम से) अनबायस्ड या ओवर-ऑप्टिमिस्टिक एस्टिमेशन के प्रयासों की तुलना में बेहतर है।
एल्गोरिदम मार्गदर्शन: सैद्धांतिक बायस ऑर्डरिंग हाइब्रिड सेटिंग्स में एल्गोरिदम चुनने के लिए एक स्पष्ट ढांचा प्रदान करती है, जो सुझाव देती है कि हाई-वैरिएंस वातावरण में डिटरमिनिस्टिक, ट्विन-क्रिटिक दृष्टिकोण स्टोकेस्टिक या डिस्ट्रिब्यूशनल मेथड्स की तुलना में अधिक पसंद किए जाने चाहिए।
व्यावहारिक अनुप्रयोग: डिस्क्रीट मोड सिलेक्शन और कंटीन्यूअस कंट्रोल को एक साथ संभालने में सफलतापूर्वक सक्षम होकर, Hybrid TD3 असंरचित वातावरण में मजबूत, अनुकूलन योग्य रोबोटिक एजेंटों को तैनात करने के लिए एक व्यवहार्य मार्ग प्रदान करता है।

निष्कर्षतः, Hybrid TD3 TD3 (ट्विन क्रिटिक्स, डिलेड अपडेट्स) के संरचनात्मक लाभों का लाभ उठाकर और उन्हें एक डिस्ट्रीब्यूशन-मार्जिनलाइज्ड टारगेट के साथ बढ़ाकर, हाइब्रिड एक्शन RL की अस्थिरता को हल करता है, जिसके परिणामस्वरूप जटिल रोबोटिक मैनिपुलेशन कार्यों के लिए एक स्टेट-ऑफ-द-आर्ट समाधान प्राप्त होता है।