🤖 machine learning

Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

यह शोध पत्र दो पूर्व में अप्रतिवेदित चुनौतियों, वैल्यू फंक्शन इंटरफेरेंस (value function interference) और ओवरएस्टिमेशन के प्रति संवेदनशीलता (sensitivity to overestimation), की पहचान और विश्लेषण करता है, जो गैर-रेखीय उपयोगिता कार्यों (non-linear utility functions) के साथ उपयोग किए जाने पर वैल्यू-आधारित मल्टी-ऑब्जेक्टिव रीइन्फोर्समेंट लर्निंग एल्गोरिदम के प्रदर्शन में बाधा उत्पन्न करते हैं।

मूल लेखक: Peter Vamplew (EJ), Ethan (EJ), Watkins, Cameron Foale, Richard Dazeley

प्रकाशित 2026-04-23

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peter Vamplew (EJ), Ethan (EJ), Watkins, Cameron Foale, Richard Dazeley

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जो एक दूर स्थित ग्रह तक पहुँचने की कोशिश कर रहे हैं। लेकिन यहाँ एक पेच है: आप केवल वहाँ तेज़ी से पहुँचने की कोशिश नहीं कर रहे हैं। आपके पास एक डैशबोर्ड है जिसमें तीन परस्पर विरोधी लक्ष्य हैं:

गति (Speed): (वहाँ जल्दी पहुँचना)।
ईंधन दक्षता (Fuel Efficiency): (ऊर्जा बचाना)।
सुरक्षा (Safety): (क्षुद्रग्रहों/एस्टरॉयड से बचना)।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इसे मल्टी-ऑब्जेक्टिव रीइन्फोर्समेंट लर्निंग (MORL) कहा जाता है। AI एजेंट (आपका अंतरिक्ष यान का कंप्यूटर) को इन प्रतिस्पर्धी लक्ष्यों के बीच संतुलन बनाना सीखना होगा। आमतौर पर, AI एक "स्कोरकार्ड" (जिसे Q-वैल्यू कहा जाता है) के माध्यम से सीखता है। साधारण AI में, यह स्कोर केवल एक संख्या होती है। लेकिन इस जटिल दुनिया में, स्कोरकार्ड एक वेक्टर (vector) है—संख्याओं की एक सूची, जो प्रत्येक लक्ष्य के लिए एक संख्या है (जैसे, [गति: 10, ईंधन: 5, सुरक्षा: 9])।

पीटर वैम्पलव और उनके सहयोगियों द्वारा लिखित यह शोध पत्र खोज निकालता है कि जब आप इन जटिल स्कोरकार्डों को गैर-रैखिक (non-linear) प्राथमिकताओं (जहाँ आपकी खुशी का गणित एक सीधी रेखा नहीं है) के साथ उपयोग करने की कोशिश करते हैं, तो दो प्रमुख "ग्लिच" (खामियां) उत्पन्न होती हैं।

यहाँ दोनों समस्याओं का विवरण दिया गया है, जिन्हें रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है।

समस्या 1: "औसत बनाम वास्तविकता" का जाल (वैल्यू फंक्शन इंटरफेरेंस)

अवधारणा:
मानक AI में, यदि आप कोई जुआ खेलते हैं, तो AI औसत परिणाम की गणना करता है और उस औसत के आधार पर निर्णय लेता है। यह तब ठीक काम करता है जब आपकी खुशी एक सीधी रेखा (linear) हो। लेकिन यदि आपकी खुशी एक वक्र (curve/non-linear) है, तो औसत आपसे झूठ बोल सकता है।

उदाहरण: लॉटरी टिकट बनाम गारंटीकृत नकद
कल्पना कीजिए कि आप एक कैसीनो में हैं। आपके पास दो विकल्प हैं:

विकल्प A (जुआ): $10** या **$ 100 जीतने का 50/50 मौका।
- इसका औसत मूल्य $55 है।
विकल्प B (सुरक्षित दांव): गारंटीकृत $40।

परिदृश्य 1: यदि आप पैसे को रैखिक रूप से पसंद करते हैं।
यदि आप केवल सबसे अधिक पैसा चाहते हैं, तो $55 (A का औसत)$ 40 (B) से बेहतर है। आप A चुनते हैं। सरल।

परिदृश्य 2: यदि आप जोखिम से डरते हैं (Non-linear utility)।
मान लीजिए कि आपकी "खुशी" का फंक्शन अजीब है। आप हारने से बहुत डरते हैं, इसलिए $10 मिलना आपको दुखी करता है, लेकिन$ 100 मिलना आपको बेहद उत्साहित कर देता है।

विकल्प A के लिए आपकी खुशी का औसत कम हो सकता है क्योंकि $10 मिलने का जोखिम इसे नीचे खींच लेता है।
हालाँकि, शोध पत्र एक विशिष्ट गणितीय जाल की ओर इशारा करता है: कभी-कभी, AI पहले औसत वेक्टर (average vector) की गणना करता है, और फिर आपके खुशी के फॉर्मूले को लागू करता है।
- वह औसत वेक्टर देखता है: [गति: 55, ...]|
- वह उस औसत पर खुशी की गणना करता है: Happiness(55)।
- जाल: कुछ जटिल गणितीय परिदृश्यों में (जैसे कि पेपर में बताए गए "कॉन्वेक्स" या "कॉन्केव" कर्व्स), Happiness(Average) और Average(Happiness) एक समान नहीं होते हैं।

वास्तविक दुनिया का परिणाम:
AI किसी जुए के "औसत वेक्टर" को देख सकता है, एक स्कोर की गणना कर सकता है, और यह निर्णय ले सकता है कि यह सुरक्षित दांव से बेहतर है। लेकिन वास्तव में, यदि आप वास्तव में 100 बार वह खेल खेलते हैं, तो आप हर बार सुरक्षित दांव लेने में अधिक खुश होंगे। AI "औसत" से भ्रमित हो जाता है और गलत रास्ता चुन लेता है, जिससे उप-इष्टतम (sub-optimal) परिणाम मिलता है।

समाधान:
पेपर सुझाव देता है कि यदि AI को दो ऐसे चालों के बीच चयन करना है जो समान रूप से अच्छी दिखती हैं, तो उसे सिक्का नहीं उछालना चाहिए (यानी रैंडमली नहीं चुनना चाहिए)। उसे हर बार एक ही चीज़ चुननी चाहिए (डिटरमिनिस्टिक)। यह AI को गलती से एक "नकली औसत" बनाने से रोकता है जो उसके अपने तर्क को भ्रमित कर देता है।

समस्या 2: "अतिशयोक्तिपूर्ण स्कोर" की संवेदनशीलता (Overestimation)

अवसेप्ट:
AI एल्गोरिदम अक्सर थोड़े अधिक उत्साहित हो जाते हैं। वे किसी चाल को उसकी वास्तविक क्षमता से अधिक (overestimate) आंकते हैं। साधारण AI (एकल उद्देश्य) में, यह ज्यादा मायने नहीं रखता। यदि आप सोचते हैं कि एक चाल 8 के बजाय 10 अंक की है, और दूसरी चाल 5 की है, तो भी आप पहली चाल ही चुनेंगे। रैंकिंग वही रहती है।

उदाहरण: विकृत मानचित्र (Distorted Map)
कल्पना कीजिए कि आप एक मानचित्र के साथ हाइकिंग कर रहे हैं जिसमें थोड़ा सा विरूपण (distortion) है।

रैखिक मानचित्र (साधारण AI): मानचित्र कहता है कि पर्वत A 100 मीटर ऊँचा है, और पर्वत B 50 मीटर ऊँचा है। भले ही मानचित्र गलत हो और वे 105 मीटर और 55 मीटर कहें, फिर भी आप जानते हैं कि A ऊँचा है। आप A चुनते हैं।
गैर-रैखिक मानचित्र (जटिल AI): अब, कल्पना कीजिए कि आपका लक्ष्य केवल "ऊंचाई" नहीं है, बल्कि "प्राकृतिक सुंदरता" है, जो एक अजीब फॉर्मूले पर निर्भर करती है। शायद आप केवल उन पहाड़ों की परवाह करते हैं जो बिल्कुल 100 मीटर से ऊपर हैं, या शायद एक निश्चित बिंदु के बाद सुंदरता तेजी से गिर जाती है।
- यदि मानचित्र पर्वत B को बहुत मामूली रूप से बढ़ा-चढ़ाकर दिखाता है, तो यह अचानक आपके फॉर्मूले के एक "थ्रेशोल्ड" (सीमा) को पार कर सकता है।
- अचानक, AI सोचता है कि पर्वत B सबसे सुंदर है, भले ही पर्वत A वास्तव में बेहतर हो।

वास्तविक दुनिया का परिणाम:
पेपर दिखाता है कि जब आप जटिल, गैर-रैखिक नियमों का उपयोग करते हैं (जैसे "सुरक्षा पूर्ण होनी चाहिए, अन्यथा मुझे गति की परवाह नहीं है"), तो AI के स्कोरकार्ड में थोड़ी सी भी "शोर" (noise) या अतिरंजना (overestimation) पूरी तरह से उसके निर्णय को बदल सकती है।

रैखिक AI: अतिरंजना (Overestimation) केवल एक हानिरहित शोर है।
गैर-रैखिक AI: अतिरंजना एक आपदा है। यह AI को गलत रास्ता चुनने के लिए मजबूर करती है, जिससे प्रदर्शन में भारी गिरावट आती है।

"थ्रेशोल्ड" का उदाहरण:
एक स्पीड लिमिट साइन (गति सीमा बोर्ड) के बारे में सोचें।

यदि आप 59 मील प्रति घंटे की गति से चल रहे हैं और स्पीडोमीटर थोड़ा खराब है और 61 मील प्रति घंटे दिखाता है, तो आप घबरा सकते हैं और सोच सकते हैं कि आप ओवरस्पीडिंग कर रहे हैं।
यदि आप 61 मील प्रति घंटे की गति से चल रहे हैं और स्पीडोमीटर 63 मील प्रति घंटे दिखाता है, तो भी आप ओवरस्पीडिंग ही कर रहे हैं।
लेकिन यदि आपकी "यूटिलिटी" (उपयोगिता) यह है कि "मैं खुश हूँ यदि मैं 60 से नीचे हूँ, और दुखी हूँ यदि मैं इससे ऊपर हूँ," तो स्पीडोमीटर की एक छोटी सी त्रुटि आपकी पूरी भावनात्मक स्थिति को "खुश" से "दुखी" में बदल देती है। AI की अतिरंजना उस टूटे हुए स्पीडोमीटर की तरह काम करती है।

सारांश: हमें क्या करना चाहिए?

लेखकों का निष्कर्ष है कि वर्तमान AI विधियाँ जटिल, बहु-लक्ष्य समस्याओं को संभालने में थोड़ी नाजुक हैं।

अनिश्चितता को रोकें: जब AI दो समान विकल्पों के बीच अनिश्चित हो, तो सिक्का उछालना बंद करें। एक ही विकल्प को लगातार चुनें ताकि "औसत" गणनाओं को भ्रमित होने से बचाया जा सके।
अतिरंजना पर नज़र रखें: उस AI के प्रति बहुत सावधान रहें जो जटिल, गैर-रैखिक नियमों का उपयोग करता है। भविष्य के पुरस्कारों के अनुमान में छोटी सी त्रुटि भी विनाशकारी निर्णय लेने का कारण बन सकती है।
भविष्य के समाधान: पेपर दो तरीके सुझाता है:
- डिस्ट्रिब्यूशनल लर्निंग (Distributional Learning): केवल एक "औसत" स्कोर सीखने के बजाय, AI को संभावित परिणामों की पूरी रेंज सिखाएं (जैसे यह जानना कि $10 मिलने की 50% संभावना है और$ 100 मिलने की 50% संभावना है, न कि केवल "औसत $55")। इससे AI सही खुशी की गणना कर सकता है।
- स्केलराइजेशन (Scalarization): जटिल वेक्टर लक्ष्यों को हर कदम पर तुरंत एक एकल संख्या में बदल दें, बजाय इसके कि अंत तक प्रतीक्षा की जाए। यह "औसत बनाम वास्तविकता" के जाल से पूरी तरह बचता है।

संक्षेप में: जब एक AI को जटिल नियमों के साथ कई परस्पर विरोधी लक्ष्यों को संभालना होता है, तो वह औसत और छोटी त्रुटियों से आसानी से भ्रमित हो जाता है। हमें इसे केवल औसत देखने के बजाय पूरी तस्वीर देखने के लिए प्रशिक्षित करने की आवश्यकता है, और इसके स्कोरकीपिंग में बहुत सटीक होने की आवश्यकता है।

यहाँ Vamplew et al. के शोध पत्र "Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टी-ऑब्जेक्टिव रिइन्फोर्समेंट लर्निंग (MORL), मानक RL का विस्तार है जो कई, परस्पर विरोधी उद्देश्यों वाले वातावरणों के लिए किया जाता है, जिन्हें वेक्टर-वैल्यूड रिवार्ड्स (vector-valued rewards) द्वारा दर्शाया जाता है। जबकि Q-लर्निंग जैसे वैल्यू-आधारित तरीकों को MORL के लिए व्यापक रूप से वेक्टर-वैल्यूड Q-फंक्शन्स सीखने और एक्शन चयन के लिए एक स्केलर ऑपरेटर (यूटिलिटी फंक्शन $U$ ) का उपयोग करके अनुकूलित किया जाता है, यह शोध पत्र दो महत्वपूर्ण, पहले कभी रिपोर्ट न किए गए मुद्दों की पहचान करता है जो नॉन-लीनियर यूटिलिटी फंक्शन्स के उपयोग के दौरान प्रदर्शन में बाधा डालते हैं:

वैल्यू फंक्शन इंटरफेरेंस (Value Function Interference): एजेंट द्वारा सीखा गया अपेक्षित वेक्टर रिटर्न (भविष्य के रिटर्न्स का माध्य/mean), नॉन-लीनियर यूटिलिटी फंक्शन के तहत इष्टतम एक्शन निर्धारित करने के लिए पर्याप्त जानकारी नहीं रख सकता है। विशेष रूप से, अपेक्षित वेक्टर की यूटिलिटी ($U(E[Return]) $), रिटर्न्स की अपेक्षित यूटिलिटी ($ E[U(Return)]$) से भिन्न होती है। यह विसंगति, विशेष रूप से स्टोकेस्टिक (stochastic) वातावरणों में 'एक्सपेक्टेड स्केलेराइज्ड रिटर्न' (ESR) ऑप्टिमाइज़ेशन के लिए, सब-ऑप्टिमल एक्शन चयन की ओर ले जाती है, और यह डिटर्मिनिस्टिक (deterministic) वातावरणों में 'स्केलेराइज्ड एक्सपेक्टेड रिटर्न' (SER) के लिए भी टाई-ब्रेकिंग स्टोकेस्टिसिटी के कारण होता है।
ओवरएस्टिमेशन के प्रति संवेदनशीलता (Sensitivity to Overestimation): जबकि Q-लर्निंग सिंगल-ऑब्जेक्टिव RL में ओवरएस्टिमेशन बायस (overestimation bias) से ग्रस्त होने के लिए जाना जाता है, यह शोध पत्र प्रदर्शित करता है कि MORL में नॉन-लीनियर यूटिलिटी फंक्शन्स इस बायस के प्रति काफी अधिक संवेदनशील होते हैं। यहाँ तक कि निरंतर (consistent) ओवरएस्टिमेशन भी एक्शन के प्राथमिकता क्रम (preference ordering) को बदल सकता है, जिससे एजेंट सब-ऑप्टिमल पॉलिसियों का चयन करने लगता है, जबकि लीनियर स्केलेराइजेशन यूनिफॉर्म ओवरएस्टिमेशन के प्रति सुदृढ़ रहता है।

2. कार्यप्रणाली (Methodology)

लेखक एक टेबुलर मल्टी-ऑब्जेक्टिव Q-लर्निंग (MOQ) एजेंट का उपयोग करके सैद्धांतिक विश्लेषण और प्रयोगात्मक प्रयोगों का संयोजन नियोजित करते हैं।

एल्गोरिदमिक फ्रेमवर्क: वे मानक MOQ (एल्गोरिदम 1) के एक संशोधित संस्करण का उपयोग करते हैं जो वेक्टर रिवार्ड्स को संभालता है और एक संवर्धित स्टेट स्पेस $(s, P, t)$ का उपयोग करता है, जहाँ $P$ संचित रिटर्न वेक्टर है और $t$ टाइम-स्टेप (नॉन-लीनियर यूटिलिटी और डिस्काउंटिंग के लिए आवश्यक) है।
ऑप्टिमाइज़ेशन मानदंड: अध्ययन निम्नलिखित के बीच अंतर करता है:
- SER (Scalarised Expected Return): $U(E[Return])$ को अधिकतम करना।
- ESR (Expected Scalarised Return): $E[U(Return)]$ को अधिकतम करना।
प्रायोगिक सेटअप:
- वैल्यू फंक्शन इंटरफेरेंस: इसे सरल मल्टी-ऑब्जेक्टिव मार्कोव डिसीजन प्रोसेस (MOMDPs) और मल्टी-ऑब्जेक्टिव मल्टी-आर्म्ड बैंडिट्स (MOMABs) पर परखा गया।
  - स्टोकेस्टिक केस: ESR बनाम SER विचलन को प्रदर्शित करने के लिए स्टोकेस्टिक रिवार्ड्स के साथ एक सिंगल-स्टेट बैंडिट।
  - डिटर्मिनिस्टिक केस: एक तीन-स्टेट MOMDP जहाँ डिटर्मिनिस्टिक टाई-ब्रेकिंग (रैंडम बनाम फिक्स्ड इंडेक्स) को हेरफेर किया गया ताकि यह दिखाया जा सके कि कैसे प्रेरित स्टोकेस्टिसिटी इंटरफेरेंस का कारण बनती है।
- ओवरएस्टिमेशन संवेदनशीलता: इसे DST-Mixed ग्रिड-वर्ल्ड वातावरण (जिसे MOMAB में मैप किया गया है) पर परखा गया।
  - तीन यूटिलिटी फंक्शन्स की तुलना की गई: लीनियर स्केलेराइजेशन (Linear Scalarization), थ्रेशोल्डेड लेक्सिकोग्राफिक ऑर्डरिंग (TLO), और चेबिशेव डिस्टेंस (Chebyshev Distance)।
  - प्रयोगों में Q-वैल्यूज (दोनों कंसिस्टेंट और इनकंसिस्टेंट) में नियंत्रित शोर ( $\delta$ ) जोड़कर ओवरएस्टिमेशन का अनुकरण किया गया और गलत पॉलिसी चयन की आवृत्ति और नॉर्मलाइज्ड रिग्रेट (normalized regret) को मापा गया।

3. मुख्य योगदान (Key Contributions)

A. वैल्यू फंक्शन इंटरफेरेंस की पहचान

यह शोध पत्र औपचारिक रूप से वैल्यू फंक्शन इंटरफेरेंस को उस घटना के रूप में परिभाषित करता है जहाँ सीखे गए वेक्टर Q-वैल्यूज (जो अपेक्षित रिटर्न्स का प्रतिनिधित्व करते हैं) एजेंट को इष्टतम पॉलिसी तक मार्गदर्शन करने में विफल रहते हैं क्योंकि यूटिलिटी फंक्शन नॉन-लीनियर होता है।

स्टोकेस्टिक वातावरण: एजेंट $Q(s,a) = E[R]$ सीखता है। यदि $U$ नॉन-लीनियर है, तो $U(Q(s,a)) \neq E[U(R)]$ होता है। एजेंट गलत उद्देश्य को ऑप्टिमाइज़ कर रहा होता है (SER के बजाय ESR)।
डिटर्मिनिस्टिक वातावरण: यहाँ भी, इंटरफेरेंस तब उत्पन्न होता है जब एजेंट समान रूप से इष्टतम क्रियाओं के बीच रैंडम तरीके से टाई तोड़ता है। रैंडम टाई-ब्रेकिंग, रिवॉर्ड स्ट्रीम में कृत्रिम स्टोकेस्टिसिटी पेश करती है, जिससे पिछले स्टेट्स के लिए सीखे गए वेक्टर मान एक ऐसे "मीन" वेक्टर की ओर अभिसरित (converge) होते हैं जो वास्तविक इष्टतम डिटर्मिनिस्टिक पथ की तुलना में कम यूटिलिटी देता है।

B. ओवरएस्टिमेशन संवेदनशीलता का प्रदर्शन

लेखक दिखाते हैं कि जबकि लीनियर स्केलेराइजेशन यूनिफॉर्म ओवरएस्टिमेशन के प्रति अपरिवर्तनीय है (क्योंकि $Q^* + \delta > Q + \delta$ क्रम को सुरक्षित रखता है), नॉन-लीनियर यूटिलिटी फंक्शन्स ऐसा नहीं हैं।

TLO संवेदनशीलता: थ्रेशोल्डेड लेक्सिकोग्राफिक ऑर्डरिंग अत्यंत संवेदनशील है। एक छोटा सा ओवरएस्टिमेशन रिटर्न वेक्टर को यूटिलिटी थ्रेशोल्ड के पार धकेल सकता है, जिससे कथित यूटिलिटी में भारी उछाल आता है और विनाशकारी पॉलिसी त्रुटियां होती हैं।
चेबिशेव संवेदनशीलता: TLO की तुलना में कम संवेदनशील होने के बावजूद, चेबिशेव डिस्टेंस अभी भी मैक्स ऑपरेटर की नॉन-लिनैरिटी के कारण प्रेफरेंस रिवर्सल (preference reversals) से ग्रस्त है।

C. शमन रणनीतियाँ (Mitigation Strategies)

डिटर्मिनिस्टिक टाई-ब्रेकिंग: डिटर्मिनिस्टिक MOMDPs में, रैंडम टाई-ब्रेकिंग को एक डिटर्मिनिस्टिक नियम (जैसे, हमेशा सबसे कम इंडेक्स वाली क्रिया चुनना) से बदलने से सब-ऑप्टिमल पॉलिसियों की अभिसरण आवृत्ति काफी कम हो जाती है, हालांकि यह समस्या को पूरी तरह समाप्त नहीं करता है (विशेष रूप से यदि ग्रीडी एक्शन बार-बार बदलता है)।
प्रस्तावित भविष्य की दिशाएं: लेखक सुझाव देते हैं कि डिस्ट्रिब्यूशनल आरएल (Distributional RL) (केवल माध्य के बजाय रिटर्न्स के वितरण को सीखना) को एकीकृत किया जाए ताकि सही ढंग से ESR का अनुमान लगाया जा सके, या हर टाइम-स्टेप पर रिटर्न्स को स्केलेराइज करने के लिए पोटेंशियल-बेस्ड रिवॉर्ड शेपिंग (Potential-Based Reward Shaping) का उपयोग किया जाए (सीधे ESR सीखना), हालांकि बाद वाला वेक्टर Q-वैल्यूज की व्याख्यात्मकता (interpretability) का त्याग करता है।

4. परिणाम (Results)

स्टोकेस्टिक सेटिंग्स में इंटरफेरेंस: स्टोकेस्टिक बैंडिट प्रयोग में, रैंडम टाई-ब्रेकिंग के साथ मानक MOQ अधिकांश लर्निंग रेट्स के लिए लगभग 100% ट्रायल्स में सब-ऑप्टिमल आर्म की ओर अभिसरित हुआ, जिससे ESR-इष्टतम पॉलिसी सीखने में विफलता हुई।
डिटर्मिनिस्टिक सेटिंग्स में इंटरफेरेंस:
- रैंडम टाई-ब्रेकिंग के साथ, एजेंट अक्सर (विशेष रूप से मध्यम लर्निंग रेट $\alpha \approx 0.5$ के साथ) सब-ऑप्टिमल पॉलिसी (पॉलिसी 2) की ओर अभिसरित हुआ।
- डिटर्मिनिस्टिक टाई-ब्रेकिंग के साथ (लो-इंडेक्स या हाई-इंडेक्स), सब-ऑप्टिमल पॉलिसी की ओर अभिसरण काफी कम हो गया (कुल ट्रायल्स में ~30% की कमी), जो यह सिद्ध करता है कि टाई-ब्रेकिंग तंत्र की स्टोकेस्टिसिटी इंटरफेरेंस का प्राथमिक चालक है।
ओवरएस्टिमेशन प्रभाव:
- लीनियर: ओवरएस्टिमेशन के परिमाण के बावजूद पॉलिसी चयन पर शून्य प्रभाव।
- TLO: अत्यधिक संवेदनशील। न्यूनतम ओवरएस्टिमेशन ( $\delta=0.1$ ) भी गलत पॉलिसी चयन और नॉर्मलाइज्ड रिग्रेट में तीव्र वृद्धि का कारण बना।
- चेबिशेव: मध्यम संवेदनशीलता। जैसे-जैसे ओवरएस्टिमेशन बढ़ा, प्रदर्शन खराब हुआ, लेकिन यह TLO की तुलना में अधिक सुदृढ़ था।
- इनकंसिस्टेंट ओवरएस्टिमेशन: सभी यूटिलिटी फंक्शन्स में कंसिस्टेंट ओवरएस्टिमेशन की तुलना में अधिक विघटनकारी पाया गया, क्योंकि यह सापेक्ष क्रिया प्राथमिकताओं (relative action preferences) को बदल देता है।

5. महत्व (Significance)

यह शोध पत्र MORL एल्गोरिदम के डिज़ाइन और परिनियोजन के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करता है:

सैद्धांतिक सीमा: यह मानक वेक्टर-आधारित Q-लर्निंग की एक मौलिक सीमा को उजागर करता है: नॉन-लीनियर यूटिलिटी ऑप्टिमाइज़ेशन के लिए केवल मीन वेक्टर रिटर्न सीखना अपर्याप्त है। यह इस धारणा को चुनौती देता है कि वेक्टर Q-लर्निंग, MORL में सिंगल-ऑब्जेक्टिव स्केलर Q-लर्निंग का सीधा विकल्प है।
व्यावहारिक निहितार्थ: यह चिकित्सकों को चेतावनी देता है कि सुरक्षा-महत्वपूर्ण (safety-critical) या फेयरनेस-अवेयर अनुप्रयोगों में सामान्य नॉन-लीनियर यूटिलिटी फंक्शन्स के साथ मानक Q-लर्निंग का उपयोग करने से इंटरफेरेंस और ओवरएस्टिमेशन संवेदनशीलता के कारण गंभीर प्रदर्शन गिरावट हो सकती है।
एल्गोरिदमिक मार्गदर्शन: यह सुझाव देता है कि सरल संशोधन, जैसे डिटर्मिनिस्टिक टाई-ब्रेकिंग, डिटर्मिनिस्टिक सेटिंग्स में कुछ समस्याओं को कम कर सकते हैं, लेकिन यह मजबूत ESR ऑप्टिमाइज़ेशन के लिए डिस्ट्रिब्यूशनल आरएल या स्केलेराइज्ड रिवॉर्ड शेपिंग की ओर संकेत करता है।
डीप आरएल प्रासंगरेज: लेखक नोट करते हैं कि ये मुद्दे डीप MORL (जैसे DQN एक्सटेंशन) में और भी बढ़ सकते हैं जहाँ फंक्शन एप्रोक्सिमेशन शोर (noise) पैदा करता है और ग्रीडी एक्शन में बार-बार बदलाव लाता है, जिससे सिस्टम वैल्यू फंक्शन इंटरफेरेंस के प्रति अत्यधिक संवेदनशील हो जाता है।