🤖 AI

Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization

यह शोध पत्र $D^3PO$ को प्रस्तुत करता है, जो एक प्राथमिकता-सशर्त बहु-उद्देश्यीय सुदृढीकरण शिक्षण (multi-objective reinforcement learning) ढांचा है, जो एक विखंडित, विलंब-चरण भारण पाइपलाइन (decomposed, late-stage weighting pipeline) और एक विविधता नियमितकर्ता (diversity regularizer) का उपयोग करके मौजूदा विधियों की सीमाओं को दूर करता है ताकि विविध बेंचमार्क में बेहतर पारेटो फ्रंट कवरेज और उच्च-गुणवत्ता वाली नीतियां प्राप्त की जा सकें।

मूल लेखक: Tanmay Ambadkar, Sourav Panda, Shreyash Kale, Jonathan Dodge, Abhinav Verma

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tanmay Ambadkar, Sourav Panda, Shreyash Kale, Jonathan Dodge, Abhinav Verma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं, लेकिन यह सिर्फ कोई साधारण गेम नहीं है। यह एक ऐसा लेवल है जहाँ आपको एक साथ तीन गेंदों को संभालना है: गति (speed), सुरक्षा (safety), और ऊर्जा दक्षता (energy efficiency)। यदि आप रोबोट को "तेज़" जाने के लिए कहते हैं, तो वह क्रैश हो सकता है। यदि आप उसे "सुरक्षित" रहने के लिए कहते हैं, तो वह इतना धीरे चल सकता है कि कभी गेम पूरा ही न कर पाए। यह मल्टी-ऑब्जेक्टिव रिइन्फोर्समेंट लर्निंग (MORL) की दुनिया है: एक एजेंट को परस्पर विरोधी लक्ष्यों के बीच संतुलन बनाना सिखाना।

लंबे समय तक, शोधकर्ताओं ने इसे हल करने की कोशिश की कि वे शुरुआत में ही सभी लक्ष्यों को एक संख्या में मिलाकर एक एकल "स्कोर" दे दें। वे कहते थे, "ठीक है, गति 50 अंक है, सुरक्षा 50 अंक है, तो आपका कुल स्कोर 100 है।" यह पेपर इस दृष्टिकोण को अर्ली स्केलराइजेशन (Early Scalarization) कहता है।

पेंस स्टेट के तन्मय अंबेडकर और उनकी टीम ने खोजा कि यह "सब कुछ पहले ही मिला देने वाला" दृष्टिकोण दोषपूर्ण है। उन्होंने पाया कि जब लक्ष्य आपस में लड़ते हैं (जैसे गति बनाम सुरक्षा), तो उनके स्कोर को जल्दी जोड़ने से सकारात्मक संकेत नकारात्मक संकेतों को रद्द कर देते हैं। यह बिल्कुल वैसा ही है जैसे किसी कार को आगे धकेलने की कोशिश करना जबकि कोई दूसरा उसे बराबर बल के साथ पीछे खींच रहा हो; कार आगे नहीं बढ़ती और इंजन (लर्निंग एल्गोरिदम) भ्रमित हो जाता है। उनके प्रयोगों में, इस रद्दीकरण (cancellation) ने रोबोट के सीखने के अवसर से पहले ही 60-65% उपयोगी लर्निंग सिग्नल को खत्म कर दिया।

D3PO समाधान: कोचिंग का एक नया तरीका

इसे ठीक करने के लिए, टीम ने D3PO (डिकम्पोज्ड, डाइवर्सिटी-ड्रिवन पॉलिसी ऑप्टिमाइजेशन) नामक एक नया फ्रेमवर्क पेश किया। इसे ऐसे समझें कि D3PO कोई नया रोबोट नहीं है, बल्कि मौजूदा PPO (प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन) एल्गोरिदम के लिए एक स्मार्ट कोचिंग रणनीति है, जो रोबोट को प्रशिक्षित करने का एक लोकप्रिय तरीका है।

यहाँ बताया गया है कि D3PO दो मुख्य ट्रिक्स का उपयोग करके खेल को कैसे बदल देता है:

1. "इंतज़ार करो और देखो" की रणनीति (लेट-स्टेज वेटिंग)
स्कोर को तुरंत मिलाने के बजाय, D3PO रोबोट को कहता है: "पहले हम गति के स्कोर और सुरक्षा के स्कोर को अलग-अलग देखते हैं।"

पुराना तरीका: स्कोर मिलाएं $\rightarrow$ देखें कि चाल अच्छी है या नहीं $\rightarrow$ रोबोट को अपडेट करें।
D3PO का तरीका: देखें कि क्या गति वाली चाल अच्छी है (अलग से) $\rightarrow$ देखें कि क्या सुरक्षा वाली चाल अच्छी है (अलग से) $\rightarrow$ फिर अंतिम अपडेट तय करने के लिए स्कोर को मिलाएं।

पेपर तर्क देता है कि वेटिंग (preferences) को मिलाने के लिए अंत तक इंतजार करके (Late-Stage Weighting), रोबोट प्रत्येक लक्ष्य से मिलने वाली "अच्छी खबर" को सुरक्षित रखता है। भले ही लक्ष्य आपस में लड़ रहे हों, रोबोट कोच द्वारा उन्हें संयोजित करने से पहले प्रत्येक के विशिष्ट सुझाव से सीखता है। यह उस "विनाशकारी रद्दीकरण" (destructive cancellation) को रोकता है जहाँ रोबोट सीखना बंद कर देता है क्योंकि संकेत एक-दूसरे को रद्द कर देते हैं।

2. "व्यक्तित्व" बूस्टर (डाइवर्सिटी रेगुलराइजेशन)
एक और समस्या थी: जब रोबोट को विभिन्न लक्ष्यों को संतुलित करने के लिए कहा जाता है, तो वे अक्सर आलसी हो जाते हैं और केवल एक "सुरक्षित औसत" व्यवहार सीख लेते हैं। वे न तो तेज़ होने की कोशिश करते हैं और न ही धीमे होने की; वे बस औसत दर्जे के बन जाते हैं। इसे मोड कोलैप्स (mode collapse) कहा जाता है।

D3PO इसे एक डाइवर्सिटी रेगुलराइज़र के साथ ठीक करता है। कल्पना कीजिए कि कोच रोबोट को कह रहा है: "यदि आपसे तेज़ होने के लिए कहा गया है, तो आपको सुरक्षित होने के निर्देश के मुकाबले अलग तरह से कार्य करना ही होगा। यदि आप दोनों के लिए एक जैसा व्यवहार करते हैं, तो आपको दंड दिया जाएगा।"
यह रोबोट को संभावनाओं की पूरी रेंज में अपने व्यवहार को फैलाने के लिए मजबूर करता है। एक "ठीक-ठाक" समाधान खोजने के बजाय, यह समाधानों का एक पूरा स्पेक्ट्रम सीखता है, जिसमें "सुपर फास्ट लेकिन जोखिम भरा" से लेकर "सुपर सेफ लेकिन धीमा" और उनके बीच की हर चीज़ शामिल है।

परिणाम: संभावनाओं का एक बेहतर मानचित्र

टीम ने Hopper, Ant, Humanoid, और Building-9d नामक एक जटिल बिल्डिंग सिमुलेशन सहित कुछ कठिन वीडियो गेम वातावरणों पर D3PO का परीक्षण किया। उन्होंने इसकी तुलना मौजूदा सर्वोत्तम तरीकों से की।

परिणाम स्पष्ट थे:

बेहतर कवरेज: D3PO ने पिछले तरीकों की तुलना में बहुत व्यापक और उच्च गुणवत्ता वाला समाधान सेट (जिसे Pare Pareto front कहा जाता है) खोजा। सरल शब्दों में, इसने गेम जीतने के अधिक तरीके खोजे, जो ट्रेड-ऑफ के पूरे मानचित्र को कवर करते हैं, न कि केवल कुछ बिंदुओं को।
दक्षता: जबकि अन्य तरीकों ने सैकड़ों अलग-अलग रोबोटों (प्रत्येक विशिष्ट लक्ष्य मिश्रण के लिए एक) को प्रशिक्षित करने की कोशिश की और भारी मेमोरी की आवश्यकता पड़ी, D3PO ने केवल एक ही रोबोट का उपयोग किया जो किसी भी प्राथमिकता मिश्रण को संभाल सकता था। इससे उन मल्टी-रोबोट दृष्टिकोणों की तुलना में 99% तक मेमोरी बचाई गई।
प्रदर्शन: Humanoid वातावरण में, कुछ अन्य तरीके केवल एक ही समाधान खोजने के साथ ढह गए (Sparsity 0), जबकि D3PO ने 0.003 की Sparsity के साथ विविध समाधानों का एक सेट खोजा, जो साबित करता है कि यह अटका नहीं।

यह पेपर किन चीजों को खारिज करता है

लेखक इस बारे में बहुत विशिष्ट हैं कि क्या काम नहीं करता है या क्या समाधान नहीं है:

उन्होंने जटिल गणित से समस्या को "ठीक करने" को खारिज कर दिया: उन्होंने (और पेपर अपेंडिक्स में चर्चा की है) बाद में मिक्सिंग समस्या को ठीक करने के लिए फैंसी नॉन-लीनियर गणित का उपयोग करने का प्रयास किया, लेकिन इससे ट्रेनिंग अस्थिर हो गई। उनका तर्क है कि समस्या गणित के बहुत सरल होने की नहीं है; बल्कि ऑपरेशन्स का क्रम गलत है।
उन्होंने यह भी खारिज किया कि समस्या "मस्तिष्क की शक्ति की कमी" है: वे दिखाते हैं कि विफलता इसलिए नहीं है क्योंकि रोबोट जटिल लक्ष्यों को समझने के लिए पर्याप्त स्मार्ट नहीं है। विफलता संरचनात्मक है: प्रशिक्षण प्रक्रिया स्वयं उस जानकारी को नष्ट कर देती है जिसे रोबोट उपयोग कर सकता है।
उन्होंने यह भी स्पष्ट किया कि यह हर प्रकार की समस्या का समाधान नहीं है: पेपर स्वीकार करता है कि चूंकि वे अभी भी स्कोर को मिलाने के लिए लीनियर (रैखिक) तरीके का उपयोग करते हैं, इसलिए वे केवल मानचित्र के "कॉन्वेक्स" (convex) हिस्सों पर ही समाधान पा सकते हैं। यदि परफेक्ट ट्रेड-ऑफ कर्व एक गहरी घाटी (concave) की तरह आकार लेता है, तो उनका तरीका, अन्य लीनियर तरीकों की तरह, उसके ऊपर से निकल जाएगा। वे सुझाव देते हैं कि उन गहरी घाटियों को खोजने के लिए भविष्य के कार्यों को उनके तरीके को अन्य उपकरणों के साथ जोड़ने की आवश्यकता हो सकती है।

वे कितने आश्वस्त हैं?

लेखक अपने निष्कर्षों में काफी आश्वस्त हैं, लेकिन वे केवल सिद्धांत नहीं, बल्कि डेटा के साथ अपनी बात रखते हैं।

मापा गया: उन्होंने मापा कि ट्रेनिंग के दौरान 36% से 53% समय लक्ष्य सक्रिय रूप से एक-दूसरे के खिलाफ लड़ रहे थे (नेगेटिव कोसाइन सिमिलैरिटी)।
मापा गया: उन्होंने दिखाया कि अर्ली स्केलरइजेशन ने उनके प्रयोगों में लर्निंग सिग्नल को 60-65% कम कर दिया।
सिमुलेटेड: प्रदर्शन लाभ (जैसे टेबल 1 में Hypervolume स्कोर) MO-Gymnasium जैसे वातावरणों में सिमुलेशन पर आधारित हैं। उन्होंने परिणामों को केवल भाग्य न होने के लिए 5 रैंडम सीड्स के साथ इन्हें चलाया।
सिद्ध (सैद्धांतिक रूप से): उन्होंने गणितीय प्रमाण (अपेंडिक्स में) प्रदान किए जो दिखाते हैं कि जब लक्ष्य संघर्ष करते हैं, तो उनका "लेट-स्टेज वेटिंग" पुराने "अर्ली स्केलरइजेशन" की तुलना में गणितीय रूप से अधिक सिग्नल को सुरक्षित रखता है।

संक्षेप में, पेपर सुझाव देता है कि परस्पर विरोधी लक्ष्यों को संतुलित करने के लिए रोबोट को सिखाने का रहस्य एक बड़ा दिमाग या एक अधिक जटिल गणितीय सूत्र बनाना नहीं है। यह लेसन प्लान (पाठ योजना) के क्रम को बदलने के बारे में है: रोबोट को पहले प्रत्येक लक्ष्य को स्पष्ट रूप से सुनने दें, फिर यह तय करें कि प्रत्येक को कितनी सुनना है। ऐसा करके, D3PO एक ही कुशल रोबोट का उपयोग करके समाधानों का एक समृद्ध और विविध सेट खोजने में सक्षम होता है।

तकनीकी सारांश: प्रेफरेंस कंडिशनड मल्टी-ऑब्जेक्टिव रीइन्फोर्समेंट लर्निंग (D3PO)

समस्या विवरण

मल्टी-ऑब्जेक्टिव रीइन्फोर्समेंट लर्निंग (MORL) का लक्ष्य ऐसे एजेंटों को प्रशिक्षित करना है जो परस्पर विरोधी उद्देश्यों (objectives) के बीच संतुलन बना सकें, जो स्वायत्त ड्राइविंग और लॉजिस्टिक्स जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए एक आवश्यकता है। जबकि सिंगल-ऑब्जेक्टिव RL एक स्केलर रिवॉर्ड को मैक्सिमाइज करता है, MORL पारेटो-ऑप्टिमल (Pareto-optimal) नीतियों के एक सेट की खोज करता है जो उपयोगकर्ताओं को प्रेफरेंस वेक्टर्स के माध्यम से ट्रेड-ऑफ चुनने की अनुमति देता है।

मौजूदा प्रेफरेंस-कंडीशनड तरीके, जो विभिन्न प्रेफरेंसों को संभालने के लिए एक ही पॉलिसी को प्रशिक्षित करते हैं, दो महत्वपूर्ण संरचनात्मक विकृतियों (pathologies) से ग्रस्त हैं:

विनाशकारी एडवांटेज कैंसिलेशन (Destructive Advantage Cancellation): यह अर्ली स्केलेराइजेशन (ES) के कारण होता है, जहाँ ऑप्टिमाइज़ेशन स्टेप से पहले ऑब्जेक्टिव रिवार्ड्स को एक एकल स्केलर में एकत्रित किया जाता है। जब उद्देश्य परस्पर विरोधी होते हैं (जैसे, एक ग्रेडिएंट पॉजिटिव है, दूसरा नेगेटिव), तो यह एकत्रीकरण लर्निंग सिग्नल को रद्द कर देता है। पेपर में दिए गए एम्पिरिकल डायग्नोस्टिक्स से पता चलता है कि निरंतर नियंत्रण (continuous control) बेंचमार्क में, प्रति-ऑब्जेक्टिव ग्रेडिएंट्स ट्रेनिंग के 36-53% स्टेप्स में एक-दूसरे के विपरीत होते हैं, और ES प्रत्येक अपडेट में एग्रीगेटेड एडवांटेज मैग्नीट्यूड को 60-65% तक कम कर सकता है।
रिप्रजेंटेशनल मोड कोलैप्स (Representational Mode Collapse): सिंगल पॉलिसियाँ अक्सर पूर्ण पारेटो फ्रंट (Pareto front) को कवर करने में विफल रहती हैं, और अलग-अलग प्रेफरेंस वेक्टर्स को विशिष्ट ट्रेड-ऑफ के बजाय समान, "सुरक्षित" औसत व्यवहारों से मैप कर देती हैं।

मल्टी-पॉलिसी दृष्टिकोण (विभिन्न प्रेफरेंसों के लिए अलग-अलग नेटवर्क को प्रशिक्षित करना) इन समस्याओं में से कुछ से बचते हैं, लेकिन वे खराब स्केलेबिलिटी, उच्च मेमोरी लागत और सैंपल इनएफिशिएंसी से ग्रस्त होते हैं।

कार्यप्रणाली: D3PO

लेखक D3PO (डीकंपोज्ड, डाइवर्सिटी-ड्रिवन पॉलिसी ऑप्टिमाइज़ेशन) प्रस्तावित करते हैं, जो प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) पर आधारित एक फ्रेमवर्क है जो प्रति-ऑब्जेक्टिव लर्निंग सिग्नल्स को संरक्षित करने और व्यवहार संबंधी विविधता को लागू करने के लिए मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन पाइपलाइन को पुनर्गठित करता है।

1. लेट-स्टेज वेटिंग (LSW) के माध्यम से डीकंपोज्ड ऑप्टिमाइज़ेशन

मानक दृष्टिकोणों के विपरीत, जो PPO क्लिपिंग ऑपरेशन से पहले एडवांटेज पर प्रेफरेंस वेट्स लागू करते हैं, D3PO इस एकत्रीकरण (aggregation) को विलंबित करता है।

मल्टी-हेड क्रिटिक: क्रिटिक प्रत्येक ऑब्जेक्टिव $i$ के लिए स्वतंत्र, अनवेटेड वैल्यू फंक्शन्स $V^{(i)}(s, \omega)$ का अनुमान लगाता है।
प्रति-ऑब्जेक्टिव सरोगेट लॉसेस: प्रत्येक ऑब्जेक्टिव के एडवांटेज सिग्नल $A^{(i)}_t$ के लिए PPO क्लिप्ड सरोगेट लॉस स्वतंत्र रूप से कंप्यूट किया जाता है।
लेट-स्टेज वेटिंग: प्रेफरेंस वेट्स $\omega_i$ को स्टेबलाइज्ड प्रति-ऑब्जेक्टिव लॉसेस को संयोजित करने के लिए क्लिपिंग ऑपरेशन के बाद लागू किया जाता है।
तंत्र (Mechanism): एकत्रीकरण से पहले व्यक्तिगत ऑब्जेक्टिव सिग्नल्स पर PPO क्लिपिंग ऑपरेटर को कार्य करने की अनुमति देकर, D3PO उन ग्रेडिएंट्स के विनाशकारी कैंसिलेशन को रोकता है जिन्हें ES हटा देता है। यदि एक ऑब्जेक्टिव एक बड़ा सकारात्मक अपडेट सुझाता है और दूसरा एक बड़ा नकारात्मक अपडेट, तो क्लिपिंग ऑपरेटर उन्हें स्वतंत्र रूप से बाउंड करता है। अंतिम ग्रेडिएंट इन बाउंडेड अपडेट्स का एक वेटेड सम होता है, जो उस सिग्नल जानकारी को सुरक्षित रखता है जिसे ES त्याग देता है।

2. स्केल्ड डाइवर्सिटी रेगुलराइजेशन

रिप्रजेंटेशनल मोड कोलैप्स को रोकने के लिए, D3PO एक्टर ऑब्जेक्टिव में एक रेगुलराइज़र टर्म पेश करता है।

तंत्र: एक सैंपल किए गए प्रेफरेंस $\omega$ के लिए, एक नजदीकी प्रेफरेंस $\omega'$ जेनरेट किया जाता है। रेगुलराइज़र एक्शन डिस्ट्रीब्यूशंस के कुलबैक-लीब्लर (KL) डाइवर्जेंस और प्रेफरेंस के बीच की दूरी के बीच के स्क्वायर डिफरेंस को दंडित करता है:
$L_{diversity}(\theta) = \mathbb{E}_t \left[ \left( D_{KL}(\pi_\theta(\cdot|s, \omega) \parallel \pi_\theta(\cdot|s, \omega')) - \alpha \|\omega - \omega'\|_1 \right)^2 \right]$
लक्ष्य: यह पॉलिसी को प्रेफरेंस वेक्टर्स के बीच की दूरी के अनुपात में विशिष्ट व्यवहार उत्पन्न करने के लिए प्रोत्साहित करता है, जिससे सिंगल नेटवर्क को पूर्ण पारेटो फ्रंट के पार खींचने में मदद मिलती है।

3. सैद्धांतिक औचित्य

पेपर एक हायरार्की लेम्मा ( $LSW \succ MVS \succeq ES$ ) प्रदान करता है जो यह सिद्ध करता है कि लेट-स्टेज वेटिंग, अर्ली स्केलेराइजेशन (ES) या मिड-स्टेज वेक्टरियल स्केलेराइजेशन (MVS) की तुलना में अधिक सूचनात्मक ग्रेडिएंट सिग्नल्स को सुरक्षित रखती है, जब ऑब्जेक्ट्स परस्पर विरोधी हों और ट्रस्ट रीजन सक्रिय हो। लेखक तर्क देते हैं कि पिछले तरीकों की विफलता अपर्याप्त एक्सप्रेसिविटी या लीनियर स्केलेराइजेशन की सीमाओं के कारण नहीं है, बल्कि सिग्नल्स के समयपूर्व एकत्रीकरण के कारण है।

मुख्य योगदान

डिप्लॉयमेंट-एफिशिएंट SOTA: D3PO एक सिंगल कंटीन्यूअस नेटवर्क का उपयोग करके निरंतर नियंत्रण बेंचमार्क (9 ऑब्जेक्ट्स तक) पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है। यह 200-नेटवर्क एंसेम्बल जैसे पैरामीटराइज्ड मल्टी-पॉलिसी एंसेम्बल से बेहतर प्रदर्शन करता है और 99% तक कम पैरामीटर्स का उपयोग करता है।
डीकंपोज्ड ऑप्टिमाइज़ेशन (LSW): D3PO विश्लेषणात्मक और अनुभवजन्य रूप से प्रदर्शित करता है कि PPO स्टेबिलाइजेशन के बाद स्केलेराइजेशन को विलंबित करने से प्रति-ऑब्जेक्टिव एडवांटेज सिग्नल्स सुरक्षित रहते हैं, जिससे ग्रेडिएंट कैंसिलेशन कम होता है और क्रेडिट असाइनमेंट में सुधार होता है।
स्केल्ड डाइवर्सिटी रेगुलराइजेशन: एक अभिनव रेगुलराइज़र जो स्पष्ट रूप से प्रेफरेंस-डिपेंडेंट व्यवहार संबंधी पृथक्करण को लागू करता है, जिससे मोड कोलैप्स कम होता है और पारेटो फ्रंट का सघन कवरेज सुनिश्चित होता है।

प्रयोगात्मक परिणाम

D3PO का मूल्यांकन MO-MuJoCo वातावरण (Hopper, Ant, Humanoid) और हाई-डायमेंशनल टास्क (Building-9d) सहित मानक MORL बेंचमार्क पर CAPQL, C-MORL और PG-MORL जैसे बेसलाइन्स के विरुद्ध किया गया।

पारेटो फ्रंट कवरेज: D3PO लगातार व्यापक और उच्च-गुणवत्ता वाले पारेटो फ्रंट खोजता है। हाइपरवॉल्यूम (HV) और एक्सपेक्टेड यूटिलिटी (EU) के संदर्भ में, D3PO सभी बेसलाइन्स को पछाड़ देता है। उदाहरण के लिए, Humanoid-2d पर, D3PO एक HV $4.03 \times 10^5$ प्राप्त करता है जबकि CAPQL के लिए यह $1.69 \times 10^5$ है।
विविधता और स्पर्सिटी: जबकि कुछ बेसलाइन्स सिंगल-पॉइंट सॉल्यूशंस में कोलैप्स हो जाते हैं (Sparsity = 0), D3PO कम लेकिन गैर-शून्य स्पर्सिटी बनाए रखता है, जो समाधानों के विविध सेट को दर्शाता है। Humanoid-2d में, D3PO ने $0.003 \times 10^4$ की स्पर्सिटी हासिल की, जबकि कई बेसलाइन्स पूरी तरह से कोलैप्स हो गए।
एब्लेशन स्टडीज: LSW या डाइवर्सिटी रेगुलराइज़र को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आती है और बार-बार सिंगल-पॉइंट फ्रंट में कोलैप्स होता है, जो पुष्टि करता है कि दोनों घटक आवश्यक हैं।
दक्षता: D3PO लीनियर स्केलेराइजेशन रिजीम के भीतर काम करता है, जिससे नॉन-लीनियर यूटिलिटी फंक्शन्स या क्वाड्रेटिक प्रोग्रामिंग का कम्प्यूटेशनल ओवरहेड बच जाता है जो कुछ "रिपेयर" विधियों की आवश्यकता होती है।

महत्व और दावे

पेपर का दावा है कि प्रेफरेंस-कंडिशनड MORL में प्राथमिक बाधा पारेटो फ्रंट को कवर करने में लीनियर स्केलेराइजेशन की अक्षमता नहीं है, बल्कि समयपूर्व सिग्नल एकत्रीकरण के कारण होने वाला ऑप्टिमाइज़ेशन पैथोलॉजी है।

एक्सप्रेसिविटी के ऊपर ऑप्टिमाइज़ेशन: लेखक तर्क देते हैं कि मौजूदा ऑपरेशन्स के सरल पुनर्विन्यास (क्लिपिंग के बाद वेट्स लागू करना) से नए पैरामीटर्स, नॉन-लीनियर स्केलेराइजेशन, या एंसेबल ओवरहेड पेश किए बिना स्टेट-ऑफ-द-आर्ट परिणाम मिलते हैं।
व्यावहारिकता: एक सिंगल पॉलिसी पर निर्भर रहकर, D3PO मल्टी-पॉलिसी दृष्टिकोणों की तुलना में मेमोरी फुटप्रिंट और डिप्लॉयमेंट जटिलता को नाटकीय रूप से कम करता है, जिससे यह गतिशील ट्रेड-ऑफ समायोजन की आवश्यकता वाले वास्तविक दुनिया के अनुप्रयोगों के लिए उपयुक्त बनता है।
सीमाएँ: लेखक स्वीकार करते हैं कि सभी लीनियर स्केलेराइजेशन विधियों की तरह, D3PO सैद्धांतिक रूप से कॉन्वेक्स कवरेज सेट (CCS) तक सीमित है और स्ट्रिक्टली कॉन्केव पारेटो फ्रंट (जैसे, Deep Sea Treasure) को रिकवर नहीं कर सकता है। वे यह भी नोट करते हैं कि LSW तंत्र PPO के विशिष्ट ट्रस्ट-रीजन क्लिपिंग पर निर्भर करता है और ऑफ-पॉलिसी एल्गोरिदम जैसे SAC या TD3 में आसानी से स्थानांतरित नहीं होता है।

निष्कर्षतः, D3PO सुझाव देता है कि MORL प्रदर्शन में ऑप्टिमाइज़ेशन बॉटलनेक्स, जितना पहले माना जाता था, उससे कहीं अधिक महत्वपूर्ण भूमिका निभाते हैं, और डीकंपोज्ड पाइपलाइनों के माध्यम से प्रति-ऑब्जेक्टिव लर्निंग सिग्नल्स को संरक्षित करना मजबूत, स्केलेबल एजेंटों की दिशा में एक महत्वपूर्ण कदम है।