Risk-Aware Preference Learning for Stochastic Outcomes

तकनीकी सारांश: स्टोकेस्टिक परिणामों के लिए जोखिम-जागरूक प्राथमिकता शिक्षण (Risk-Aware Preference Learning)

समस्या विवरण
वरीयता-आधारित पुरस्कार शिक्षण (Preference-based reward learning) स्वायत्त प्रणालियों को मानवीय इरादों के अनुरूप ढालने के लिए एक मानक प्रतिमान है, विशेष रूप से सामाजिक रोबोट नेविगेशन जैसे डोमेन में जहाँ उद्देश्यों (सुरक्षा, दक्षता, मानदंड) को मैन्युअल रूप से निर्दिष्ट करना कठिन होता है लेकिन तुलनाओं के माध्यम से व्यक्त करना आसान होता है। हालाँकि, मौजूदा दृष्टिकोण मुख्य रूप से यह मान लेते हैं कि मानव मूल्यांकनकर्ता अनिश्चित परिणामों का आकलन अपेक्षित उपयोगिता (Expected Utility - EU) का उपयोग करके करते हैं, जो परिणामों की उपयोगिताओं को उनकी संभावनाओं के भार के साथ रैखिक रूप से जोड़ता है।

लेखक एक महत्वपूर्ण विसंगति की पहचान करते हैं: व्यवहारिक अर्थशास्त्र (Behavioral economics) दर्शाता है कि मनुष्य व्यवस्थित रूप से जोखिम-संवेदनशील होते हैं, और अक्सर दुर्लभ विनाशकारी घटनाओं (जैसे टक्कर) को अधिक महत्व देते हैं और हानि के प्रति अरुचि (Loss aversion) प्रदर्शित करते हैं। स्टोकेस्टिक वातावरण में, यह मानते हुए कि मानव अपेक्षित उपयोगिता (EU) का पालन करता है, जब वास्तविक निर्णय लेने वाला जोखिम-संवेदनशील हो, तो पुरस्कार शिक्षण में संरचनात्मक त्रुटियाँ (Structural errors) हो सकती हैं। विशेष रूप से, शिक्षार्थी (Learner) जोखिम संवेदनशीलता को परिणाम उपयोगिता के अंतर के रूप में गलत तरीके से एनकोड कर सकता है, जिससे उपयोगकर्ता क्या महत्व देता है और वह अनिश्चितता को कैसे भार देता है, इनके बीच भ्रम पैदा हो जाता है। यह शोध जांचता है कि क्या स्टोकेस्टिक रोबोट परिणामों पर प्राथमिकताओं से पुरस्कार रिकवरी (Reward recovery) में सुधार करने के लिए मानव जोखिम संवेदनशीलता को मॉडल करना प्रभावी है।

कार्यप्रणाली (Methodology)
यह अध्ययन मानव निर्णय लेने के दो मॉडलों की तुलना करने के लिए एक ब्रैडली-टेरी (Bradley-Terry) वरीयता शिक्षण ढांचे का उपयोग करता है:

1. अपेक्षित उपयोगिता (EU): एक मानक बेसलाइन जहाँ क्रिया $A$ का मान परिणाम उपयोगिताओं का संभाव्यता-भारित योग है: $V_{EU}(A) = \sum p_i \theta^\top \phi(o_i)$।
2. संचयी प्रोस्पेक्ट थ्योरी (Cumulative Prospect Theory - CPT): एक गैर-रैखिक मॉडल जो निम्नलिखित के माध्यम से जोखिम संवेदनशीलता को कैप्चर करता है:
   • वैल्यू फंक्शन (Value Function): लाभ और हानि का एक असममित रूपांतरण, $v(x)$, जो हानि अरुचि ($\lambda > 1$) और घटती संवेदनशीलता ($\alpha, \eta$) को शामिल करता है।
   • संभाव्यता वेटिंग (Probability Weighting): एक विरूपण फलन (Distortion function), $w(p)$, जो $\gamma < 1$ होने पर दुर्लभ घटनाओं को अधिक महत्व देता है।
   • निर्णय भार (Decision Weights): संचयी संभावनाओं पर रैंक-निर्भर रूपांतरण के माध्यम से गणना की गई।

प्रायोगिक सेटअप (Experimental Setup)
लेखकों ने एक 2D सोशल नेविगेशन सिमुलेशन बनाया जहाँ एक रोबोट गतिशील वातावरण (जो हेलबिंग-मोलनार सोशल फोर्स मॉडल द्वारा संचालित पैदल यात्रियों से भरा है) में सात मेटा-एक्शन (जैसे आगे बढ़ना, मुड़ना, रुकना) में से चुनता है।

• स्टोकेस्टिसिटी (Stochasticity): प्रत्येक रोबोट क्रिया परिणामों के एक वितरण को प्रेरित करती है। प्रत्येक क्रिया के लिए, फीचर वेक्टर्स (न्यूनतम क्लीयरेंस, विचलन, प्रगति, सुगमता, टक्कर की संख्या) के अनुभवजन्य वितरण को उत्पन्न करने के लिए $K=50$ स्टोकेस्टिक रोलआउट सिम्युलेट किए गए।
• सिंथेटिक टीचर्स (Synthetic Teachers): वरीयता डेटा को "टीचर्स" द्वारा उत्पन्न किया गया था जो या तो EU मॉडल या CPT मॉडल का उपयोग कर रहे थे। CPT टीचर्स ने दो जोखिम प्रोफाइल का उपयोग किया: T&K (ट्वर्स्की और कानमैन के अनुभवजन्य मापदंडों पर आधारित) और Strong (प्रवर्धित जोखिम संवेदनशीलता)।
• लर्नर्स (Learners): उत्पन्न युग्म तुलनाओं (Pairwise comparisons) पर दो प्रकार के लर्नर्स को प्रशिक्षित किया गया:
  • EU लर्नर: रैखिक उपयोगिता एकत्रीकरण मानता है।
  • CPT लर्नर: रिवॉर्ड वेट्स ($\theta$) और CPT मापदंडों का संयुक्त रूप से अनुमान लगाता है।
• मूल्यांकन (Evaluation): प्रदर्शन को होल्ड-आउट एक्शन रिग्रेट (Held-out action regret) के आधार पर मापा गया, जिसे वास्तविक उपयोगकर्ता मॉडल द्वारा चुनी गई क्रिया और सीखे गए मॉडल द्वारा चुनी गई क्रिया के बीच के अंतर के रूप में परिभाषित किया गया है।

मुख्य परिणाम (Key Results)
प्रयोगों से रिवॉर्ड रिकवरी के संबंध में निम्नलिखित निष्कर्ष प्राप्त हुए:

• EU टीचर्स: जब प्राथमिकताओं को EU टीचर द्वारा उत्पन्न किया गया था, तो EU लर्नर ने सबसे कम रिग्रेट प्राप्त किया। CPT लर्नर ने EU लर्नर से बेहतर प्रदर्शन नहीं किया, जो यह सुझाव देता है कि जब अंतर्निहित प्रक्रिया रैखिक होती है, तो CPT मापदंडों को पेश करने से अनावश्यक लचीलापन आता है और सैंपल दक्षता कम हो जाती है।
• CPT टीचर्स: जब प्राथमिकताओं को जोखिम-संवेदनशील (CPT) टीचर्स द्वारा उत्पन्न किया गया था, तो CPT लर्नर ने EU लर्नर की तुलना में काफी बेहतर प्रदर्शन किया।
  • जैसे-जैसे प्रशिक्षण युग्मों की संख्या बढ़ी, CPT लर्नर के लिए रिग्रेट लगातार कम होता गया।
  • EU लर्नर काफी उच्च रिग्रेट स्तर पर बना रहा।
  • परिणाम दर्शाते हैं कि जब उपयोगकर्ता जोखिम संवेदनशीलता प्रदर्शित करते हैं, तो एक EU लर्नर इन विकल्पों को समझाने के लिए रिकवर्ड रिवॉर्ड फंक्शन को विकृत करने का प्रयास करता है, जबकि एक CPT लर्नर रिवॉर्ड वेट्स और जोखिम संवेदनशीलता को सफलतापूर्वक अलग कर देता है।

महत्व और दावे (Significance and Claims)
यह शोध निष्कर्ष निकालता है कि संचयी प्रोस्पेक्ट थ्योरी (CPT) के माध्यम से मानव जोखिम संवेदनशीलता को स्पष्ट रूप से मॉडल करना अनिश्चितता के तहत रिवॉर्ड लर्निंग में सुधार करता है, विशेष रूप से तब जब प्राथमिकता-जनरेटिंग प्रक्रिया में तीव्र जोखिम संवेदनशीलता शामिल हो। लेखक तर्क देते हैं कि स्टोकेस्टिक डोमेन में सटीक रिवॉर्ड फंक्शन प्राप्त करने के लिए उपयोगकर्ता की जोखिम-संवेदनशील चयन प्रक्रिया के साथ लर्नर के प्रेफरेंस मॉडल का मेल खाना महत्वपूर्ण है।

लेखक अपने निष्कर्षों के दायरे के संबंध में एक मध्यम रुख बनाए रखते हैं:

• परिणाम सिंथेटिक डेटा से प्राप्त प्रारंभिक साक्ष्य के रूप में प्रस्तुत किए गए हैं।
• अध्ययन सिमुलेशन में CPT-आधारित लर्नर्स के सैद्धांतिक और एल्गोरिद्मिक लाभ को प्रदर्शित करता है, लेकिन स्पष्ट रूप से कहता है कि मानव-विषय सत्यापन (Human-subject validation) भविष्य का कार्य बना हुआ है।
• यह पेपर वास्तविक दुनिया के रोबोटों में तत्काल तैनाती का दावा नहीं करता है, बल्कि सामाजिक नेविगेशन जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों में पक्षपाती रिवॉर्ड लर्निंग से बचने के लिए EU-CPT मिसमैच को संबोधित करने के महत्व को रेखांकित करता है।