तकनीकी सारांश: उद्देश्य-व्यवहार संरेखण: MORL के लिए नैदानिक (Diagnostics)

समस्या विवरण

वास्तविक दुनिया के निर्णय लेने के लिए अक्सर एक साथ कई प्रतिस्पर्धी उद्देश्यों को अनुकूलित करने की आवश्यकता होती है। मल्टी-ऑब्जेक्टिव रीइन्फोर्समेंट लर्निंग (MORL) में, मानक दृष्टिकोण पारेटो अनुकूल नीतियों (पारेटो सेट, PS) और उनके संगत मान वेक्टरों (पारेटो फ्रंट, PF) का एक सेट उत्पन्न करना है। जबकि यह उद्देश्यों के बीच के ट्रेड-ऑफ को उजागर करता है, वर्तमान नैदानिक विधियाँ विशेष रूप से इन उद्देश्य मूल्यों पर निर्भर करती हैं।

पहचानी गई मुख्य समस्या उद्देश्य-व्यवहार मिसअलाइनमेंट (Objective-Behavior Misalignment) है: ऐसी नीतियां जो उद्देश्य स्थान (objective space) में समीप हैं (अर्थात, समान अपेक्षित रिटर्न रखती हैं), वे मौलिक रूप से भिन्न व्यवहार संबंधी प्रक्षेपवक्र (behavioral trajectories) प्रदर्शित कर सकती हैं। स्केलराइजेशन विधियाँ, जो पुरस्कारों को एक एकल सिग्नल में संयोजित करती हैं, ज्ञात रूप से नाजुक होती हैं; भार (weight) में छोटे परिवर्तन भी भारी व्यवहार परिवर्तन उत्पन्न कर सकते हैं। हालांकि, एक उत्पन्न पारेटो फ्रंट के भीतर भी, पड़ोसी नीतियां अलग-अलग प्रक्षेपवक्रों (जैसे, सख्ती से बाईं ओर बनाम सख्ती से दाईं ओर जाना) का पालन कर सकती हैं जो समान या लगभग समान रिटर्न वेक्टर प्रदान करते हैं। केवल PF पर निर्भर रहना नीति चयन के जोखिम को अनदेखा करने का जोखिम उठाता है, जिससे ऐसी नीतियों को तैनात किया जा सकता है जो संख्यात्मक बेंचमार्क को तो संतुष्ट करती हैं लेकिन व्यवहार में अवांछनीय या असुरक्षित निष्पादन पैटर्न प्रदर्शित करती हैं।

कार्यप्रणाली (Methodology)

लेखक एक मॉड्यूलर, खोजपूर्ण नैदानिक वर्कफ़्लो प्रस्तावित करते हैं जिसे पारेटो फ्रंट के साथ व्यवहार संबंधी विविधताओं को उजागर करने के लिए डिज़ाइन किया गया है जिन्हें केवल उद्देश्य मान प्रकट नहीं करते हैं। वर्कफ़्लो तीन प्राथमिक चरणों से बना है:

1. MORL प्रशिक्षण और प्रक्षेपवक्र निष्कर्षण (Trajectory Extraction)

एक MORL एजेंट को PS और PF का प्रतिनिधित्व करने वाले नीतियों का एक विविध सेट प्राप्त करने के लिए प्रशिक्षित किया जाता है। ढांचा उपयोग किए गए विशिष्ट MORL एल्गोरिदम के प्रति उदासीन (agnostic) है; प्रयोगों में, लेखक अलग-अलग वेट वेक्टर्स के साथ प्रशिक्षित नीतियों की एक आबादी बनाए रखने वाले एक विकासवादी दृष्टिकोण (MORL/D) का उपयोग करते हैं। प्रत्येक नीति के लिए, उनके वेक्टर-मूल्य वाले रिटर्न के साथ प्रक्षेपवक्रों (rollouts) का एक सेट निकाला जाता है।

2. व्यवहार एन्कोडिंग के माध्यम से एकत्रीकरण (Aggregation via Behavior Encoding)

निकाले गए प्रक्षेपवक्रों को सघन, अर्थपूर्ण व्यवहार संबंधी निरूपण उत्पन्न करने के लिए संसाधित किया जाता है।

• एन्कोडर (Encoder): वर्कफ़्लो एक सीखे गए प्रक्षेपवक्र एन्कोडर (Mone et al., 2026 पर आधारित) का उपयोग करता है जिसे एक मिश्रित कंट्रास्टिव लॉस फंक्शन के माध्यम से प्रशिक्षित किया गया है। इसमें पूर्ण प्रक्षेपवक्र ($L_{CLS}$), प्रक्षेपवक्र खंड ($L_{SEG}$), और खंडों के जोड़े ($L_{PAIR}$), साथ ही एक डीप इन्फोमैक्स ($L_{DIM}$) रेगुलराइज़र शामिल है।
• एम्बेडिंग (Embedding): एन्कोडर स्टेट-एक्शन अनुक्रमों को एक लेटेंट स्पेस में मैप करता है। एक सुव्यवस्थित ज्यामिति सुनिश्चित करने के लिए, डिजेनरेट एम्बेडिंग्स को रोकने के लिए एक वेरिएंस-कोवेरिएंस रेगुलराइज़र लागू किया जाता है।
• एकत्रीकरण (Aggregation): एक एकल नीति के लिए कई प्रक्षेपवक्र एम्बेडिंग्स को (माध्य/mean के माध्यम से) एकत्रित किया जाता है ताकि एक एकल व्यवहार वेक्टर $z(\pi)$ प्राप्त हो सके, जो व्यवहार मैनिफोल्ड $Z$ को परिभाषित करता है।

3. उद्देश्य-व्यवहार संरेखण का विश्लेषण

वर्कफ़्लो उद्देश्य स्थान (PF) की ज्यामिति की तुलना व्यवहार स्थान ($Z$) के साथ तीन नैदानिक उपकरणों का उपयोग करके करता है:

• विश्वसनीयता (Trustworthiness) और निरंतरता (Continuity): नॉनलीनियर प्रोजेक्शन विश्लेषण से अनुकूलित, ये मेट्रिक्स पड़ोस संरक्षण (neighborhood preservation) को मापते हैं।
  • विश्वसनीयता (Trustworthiness - $T$): मापता है कि क्या PF में पड़ोसी $Z$ में भी पड़ोसी बने रहते हैं।
  • निरंतरता (Continuity - $C$): मापता है कि क्या $Z$ में पड़ोसी PF में भी पड़ोसी बने रहते हैं।
  • कम मान एक संरचनात्मक बेमेल का संकेत देते हैं जहाँ उद्देश्य निकटता व्यवहार समानता की भविष्यवाणी करने में विफल रहती है।
• लिप्सचिट्ज़ स्कैटर प्लॉट्स (Lipschitz Scatter Plots): ऑप्टिमाइज़ेशन लैंडस्केप विश्लेषण से प्रेरित, ये प्लॉट फ्रंट के साथ क्रमवार नीतियों के लिए उद्देश्य स्थान में दूरियों (x-अक्ष) और व्यवहार स्थान में दूरियों (y-अक्ष) के बीच संबंध को विज़ुअलाइज़ करते हैं।
  • क्रिटिकल रीजन (ऊपरी-बाएँ): वे बिंदु जहाँ नीतियां उद्देश्य स्थान में करीब हैं लेकिन व्यवहार स्थान में दूर हैं। ये उन जोड़ों को चिह्नित करते हैं जिन्हें मैन्युअल निरीक्षण की आवश्यकता होती है।
  • होल्स (निचले-दाएँ): वे बिंदु जहाँ व्यवहार संबंधी अंतर के सापेक्ष उद्देश्य अंतर बड़े होते हैं।
• गुणात्मक "आईबॉल" टेस्ट (Qualitative "Eyeball" Test): वर्कफ़्लो नीति रोलआउट को रेंडर करता है ताकि मानव पर्यवेक्षक सीधे सत्यापित कर सकें कि क्या मात्रात्मक विसंगतियाँ प्रत्यक्ष व्यवहार संबंधी अंतरों के अनुरूप हैं।

प्रमुख योगदान

1. एक संरचनात्मक अंतराल की पहचान: पेपर औपचारिक रूप से उद्देश्य-व्यवहार मिसअलाइनमेंट (परिभाषा 1) को एक ज्यामितीय गुण के रूप में परिभाषित करता है जहाँ पारेटो फ्रंट और व्यवहार स्थान के बीच का मैपिंग पड़ोस को संरक्षित करने में विफल रहता है। यह रेखांकित करता है कि यह गैप MORL नीति सेटों का एक संरचनात्मक गुण है जिसे वर्तमान शोध में अक्सर अनदेखा किया जाता है।
2. मॉड्यूलर नैदानिक वर्कफ़्लो: लेखक व्यवहार-स्थान निरूपण बनाने और उनके स्थानीय ढांचे की तुलना पारेटो फ्रंट से करने के लिए एक स्केलेबल फ्रेमवर्क पेश करते हैं। इसका डिज़ाइन वैकल्पिक एन्कोडर्स, एकत्रीकरण योजनाओं और मेट्रिक्स को समायोजित करता है।
3. मात्रात्मक और दृश्य नैदानिक: पेपर विशिष्ट मेट्रिक्स (Trustworthiness, Continuity) और विज़ुअल टूल्स (Lipschitz scatter plots) प्रस्तावित करता है जो उन नीति जोड़ों को चिह्नित करते जहाँ उद्देश्य-स्थान निकटता व्यवहार विविधता का एक खराब सारांश है।

परिणाम

दृढ़ ग्रिड वातावरण और निरंतर नियंत्रण बेंचमार्क दोनों पर दृष्टिकोण का सत्यापन किया गया:

• डीप सी ट्रेजर (Deep Sea Treasure - DST):

  • लेफ्ट-राइट DST: इस वेरिएंट में, PF पर पड़ोसी नीतियां अलग-अलग बाईं ओर या दाईं ओर के प्रक्षेपवक्र प्रदर्शित करती थीं। वर्कफ़्लो ने इस मिसअलाइनमेंट को सफलतापूर्वक पकड़ा, जिससे कम विश्वसनीयता (0.51) और निरंतरता (0.47) प्राप्त हुई। लिप्सचिट्ज़ स्कैटर प्लॉट्स ने स्पष्ट रूप से "क्रिटिकल रीजन" की पहचान की जहाँ नीतियां उद्देश्य स्थान में करीब थीं लेकिन व्यवहार स्थान में दूर थीं।
  • स्मूथ DST: इस वेरिएंट में, उद्देश्य और व्यवहार स्थान संरेखित थे। मेट्रिक्स ~1.0 के करीब थे, और स्कैटर प्लॉट्स ने सुसंगत दूरियों को दिखाया, जो संरेखित और मिसअलाइन्ड परिदृश्यों के बीच अंतर करने की विधि की क्षमता की पुष्टि करता है।
  • एन्कोडर सत्यापन: सीखे गए ट्रांसफॉर्मर एम्बेडिंग्स ने मैन्युअल रूप से डिज़ाइन किए गए एम्बेडिंग्स के साथ सुसंगत व्यवहार संबंधी क्लस्टरिंग उत्पन्न की, जो बिना किसी बाहरी एनोटेशन के प्रासंगिक व्यवहार संबंधी पैटर्न को पकड़ने की एन्कोडर की क्षमता को प्रमाणित करती है।

• मुजोको (MuJoCo) वातावरण (MO-HalfCheetah और MO-Hopper):

  • वैश्विक मेट्रिक्स ने मजबूत संरेखण (औसत पर Trustworthiness/Continuity > 0.94) का संकेत दिया, जो बताता है कि इन विशिष्ट कार्यों के लिए, PF सामान्यतः व्यवहार की भविष्यवाणी करता है।
  • हालाँकि, स्कैटर प्लॉट्स ने स्थानीय विसंगतियों को प्रकट किया। MO-Hopper में, विशिष्ट नीति जोड़े (जैसे, 50 बनाम 51) जो क्रिटिकल रीजन में स्थित थे, समान उद्देश्य रिटर्न के बावजूद दृश्य व्यवहार संबंधी अंतर (जैसे, लंजिंग बनाम अपराइट पोस्चर) प्रदर्शित करते थे। MO-HalfCheetah में, अंतर अधिक सूक्ष्म थे, जो व्यवहार स्थान की छोटी दूरियों के साथ सह-संबंधित थे।
  • परिणाम दर्शाते हैं कि समस्या की जटिलता बढ़ने पर भी विधि प्रभावी रहती है, जो उच्च-आयामी निरंतर डोमेन में भी निरीक्षण के लिए विशिष्ट नीति जोड़ों को सामने लाने में सक्षम है।

महत्व और दावे

यह पेपर इस कार्य को समाधान के बजाय एक नैदानिक उपकरण (diagnostic tool) के रूप में प्रस्तुत करता है। लेखक स्पष्ट रूप से कहते हैं कि उनका वर्कफ़्लो यह निर्धारित नहीं करता है कि निर्दिष्ट रिवॉर्ड ऑब्जेक्टिव्स तैनाती के लिए पर्याप्त हैं या देखे गए व्यवहार संबंधी अंतर हानिकारक हैं या नहीं; ऐसे निर्णयों के लिए हितधारकों की प्राथमिकताओं के बारे में बाहरी जानकारी की आवश्यकता होती है।

इसके बजाय, इस कार्य का महत्व निम्नलिखित में निहित है:

• स्वचालित फ्लैगिंग: उन नीति जोड़ों की पहचान करने के लिए एक स्केलेबल साधन प्रदान करना जिन्हें मैन्युअल निरीक्षण की आवश्यकता है, जो निर्णय लेने वालों को प्रस्तुत किए जाने वाले संख्यात्मक सारांश का पूरक है।
• पारदर्शिता: "ब्लाइंड स्पॉट्स" को प्रकट करके नीति चयन के लिए अधिक पारदर्शी आधार प्रदान करना जहाँ उद्देश्य मेट्रिक्स व्यवहार संबंधी जोखिमों को छिपा देते हैं।
• एल्गोरिदम बेंचमार्किंग: हाइपरवॉल्यूम जैसे मानक अभिसरण और विविधता मापों के परे, जनरेट किए गए फ्रंट की व्यवहार संबंधी स्थिरता और पूर्वानुमान क्षमता के आधार पर MORL एल्गोरिदम के मूल्यांकन के लिए एक नया आयाम पेश करना।
• सिंगल-ऑब्जेक्टिव RL अंतर्दृष्टि: स्कैटर प्लॉट पद्धति उन रिवॉर्ड फंक्शन्स की भी पहचान कर सकती है जो सिंगल-ऑब्जेक्टिव RL में अस्थिरता के प्रति संवेदनशील हैं, जहाँ रिवॉर्ड स्ट्रक्चर में मामूली बदलाव असंगत व्यवहारिक बदलावों को ट्रिगर करते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि वर्कफ़्लो उद्देश्य-व्यवहार संबंध को समझने की दिशा में एक महत्वपूर्ण कदम है, यह मॉड्यूलर है और विशिष्ट ह्यूरिस्टिक्स (जैसे, नीति क्रम) पर निर्भर है जिन्हें उच्च-आयामी उद्देश्य स्थानों के लिए परिशोधन की आवश्यकता हो सकती है।