A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions
यह शोध पत्र एक औपचारिक, तीन-चरणीय ढांचे को प्रस्तुत करता है जो गैर-विशेषज्ञों को मापने योग्य परिणाम चरों को व्यवस्थित रूप से व्युत्पन्न करके, बहुपद-समय अनुकूलन (polynomial-time optimization) के माध्यम से कारण संबंधी प्रतिनिधि प्रतिफल पदों के एक उपसमुच्चय का चयन करके, और एक ज्यामितीय रूप से ढाले गए प्राथमिकता उद्ለት (preference elicitation) प्रक्रिया के माध्यम से भार (weights) को फिट करके मानव-संरेखित रैखिक प्रतिफल कार्यों को डिजाइन करने में सक्षम बनाता है जो एक संघर्ष-मुक्त व्यवहार्य क्षेत्र की गारंटी देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखाने की कोशिश कर रहे हैं, लेकिन आप उसे केवल एक मैनुअल नहीं दे सकते। इसके बजाय, आपको उसे एक "स्कोरकार्ड" देना होगा जिसे 'रिवॉर्ड फंक्शन' (पुरस्कार फलन) कहा जाता है। हर बार जब रोबोट कुछ अच्छा करता है, जैसे अपनी लेन में रहना, तो उसका स्कोर बढ़ जाता है। हर बार जब वह कुछ बुरा करता है, जैसे किसी कर्ब (किनारे) से टकरा जाना, तो उसका स्कोर कम हो जाता है। रोबोट का लक्ष्य सरल है: उच्चतम संभव स्कोर प्राप्त करना। लेकिन यहाँ पेचीदा बात यह है कि यदि आप स्कोरकार्ड को गलत तरीके से डिजाइन करते हैं, तो रोबोट सिस्टम का फायदा उठाने का कोई चालाकी भरा तरीका ढूंढ सकता है। वह बहुत तेज़ गति से गाड़ी चलाना सीख सकता है लेकिन सब कुछ से टकराकर दुर्घटनाग्रस्त हो सकता है क्योंकि आप उसे यह बताना भूल गए कि दुर्घटनाग्रस्त होना बुरा है। यह आर्टिफिशियल इंटेलिजेंस के क्षेत्र में एक बड़ी समस्या है जिसे 'रिनफोर्समेंट लर्निंग' (सुदृढीकरण सीखना) कहा जाता है। लंबे समय तक, केवल दुनिया के शीर्ष विशेषज्ञ ही ऐसे स्कोरकार्ड बना सकते थे, और वे भी अक्सर ऐसी गलतियाँ करते थे जिससे रोबॉक्स अजीब या खतरनाक व्यवहार करने लगते थे। बड़ा सवाल यह है: हम एक अस्पष्ट मानवीय इच्छा, जैसे "सुरक्षित और आरामदायक तरीके से गाड़ी चलाएं," को एक सटीक गणितीय सूत्र में कैसे बदलें जिसे एक रोबोट समझ सके बिना भ्रमित हुए या सिस्टम को चकमा देने की कोशिश किए?
टेक्सास विश्वविद्यालय, ऑस्टिन के शोधकर्ताओं की एक टीम ने इस पहेली को हल करने के लिए एक नया, चरण-दर-चरण ढांचा प्रस्तावित किया है, जिससे गैर-विशेषज्ञों के लिए इन रोबोट स्कोरकार्ड को डिजाइन करना संभव हो जाता है। वे अपने तरीके को एक "औपचारिक प्रक्रिया" कहते हैं जो किसी कार्य के प्राकृतिक भाषा विवरण को एक गणितीय रूप से सुदृढ़ रिवॉर्ड फंक्शन में बदल देता है। इसे एक रेसिपी की तरह समझें जो एक बिखरे हुए, मानवीय विचार को लेती है और उसे मशीन के लिए एक साफ, संघर्ष-मुक्त निर्देश सेट में पकाकर तैयार करती है। उनका दृष्टिकोण तीन मुख्य चरणों पर आधारित है: पहले, बड़े लक्ष्य को छोटे, मौलिक इच्छाओं में तोड़ना; दूसरा, उन इच्छाओं को मापने के लिए सही उपकरणों का चयन करना ताकि एक ही चीज़ को दो बार न गिना जाए; और तीसरा, यह पता लगाना कि प्रत्येक माप का कितना महत्व है, इसके लिए मानव से विभिन्न परिदृश्यों की तुलना करने के लिए पूछना। लेखक दिखाते हैं कि इस सख्त प्रक्रिया का पालन करके, आप "रिवॉर्ड हैकिंग" (जहाँ रोबोट सिस्टम का फायदा उठाता है) के सामान्य जाल से बच सकते हैं और यह सुनिश्चित कर सकते हैं कि रोबोट का व्यवहार वास्तव में वही हो जो मानव वास्तव में चाहता है।
रोबोट व्यवहार के लिए तीन-चरणीय रेसिपी
यह शोध पत्र एक ऐसे ढांचे को प्रस्तुत करता है जो एक 'ट्रांसलेटर' (अनुवादक) के रूप में कार्य करता है, जो एक मानव की प्राकृतिक भाषा की इच्छा को एक 'लीनियर रिवॉर्ड फंक्शन' में बदल देता है—जो एक गणितीय समीकरण है जहाँ विभिन्न कारकों को विशिष्ट भार (weights) के साथ जोड़ा जाता है। लेखक तर्क देते हैं कि यह प्रक्रिया गैर-विशेषज्ञों के लिए सुलभ होनी चाहिए और इसमें तीन अलग-अलग चरण शामिल हैं।
चरण 1: "मैं चाहता हूँ" से "क्या मापना है" तक
पहला चरण स्पष्टता के बारे में है। कल्पना कीजिए कि आप एक रोबोट को कहते हैं, "मुझे एक सुरक्षित और तेज़ यात्रा चाहिए।" यह कंप्यूटर के लिए बहुत अस्पष्ट है। यह ढांचा इस इच्छा को मौलिक उद्देश्यों (fundamental objectives) में "निसाारित" करने के लिए एक निर्देशित वर्कफ़्लो का सुझाव देता है। आप सब कुछ जो आप चाहते हैं उसकी सूची बनाना शुरू करते हैं, और फिर आप तब तक "क्यों?" पूछते रहते हैं जब तक कि आप मूल मूल्यों तक नहीं पहुँच जाते। उदाहरण के लिए, "ट्रैफिक से बचें" का अर्थ "समय को न्यूनतम करना" हो सकता है, और "सुरक्षित रूप से ड्राइव करें" का अर्थ "टक्कर को न्यूनतम करना" हो सकता है।
एक बार जब आपके पास ये मुख्य लक्ष्य होते हैं, तो आपको उन्हें परिणाम चरों (outcome variables) में बदलना होगा—ऐसी चीजें जिन्हें आप वास्तव में माप सकते हैं। आप "सुरक्षा" को सीधे नहीं माप सकते, लेकिन आप "पीक एक्सेलरेशन" (शिखर त्वरण) या "यात्री संतुष्टि" को माप सकते हैं। शोध पत्र एक चेकलिस्ट प्रदान करता है: यदि किसी लक्ष्य को मापा नहीं जा सकता, तो उसे और अधिक तोड़ें। यदि वह चीज़ जिसे आप मापना चाहते हैं वह प्रशिक्षण के दौरान दिखाई नहीं देती है, तो उस कारण को खोजें जो दिखाई देता है। और यदि किसी माप का फायदा उठाया जा सकता है (गेम किया जा सकता है), तो आपको अपने मापों में विविधता लानी होगी ताकि एक को फायदा उठाने का मतलब यह न हो कि आपने वास्तव में लक्ष्य प्राप्त कर लिया है। यह चरण सुनिश्चित करता है कि आप रोबोट को परिणाम का दिखावा करने के लिए पुरस्कृत नहीं कर रहे हैं।
चरण 2: सही उपकरणों का चयन करना (द कॉज़ल फ़िल्टर)
अब आपके पास मापने वाली चीजों की एक लंबी सूची है। लेकिन सब कुछ मापना महंगा और भ्रमित करने वाला है। यदि आप "गति" और "गंतव्य तक पहुँचने का समय" दोनों को मापते हैं, तो आप एक ही चीज़ को दो बार गिन सकते हैं क्योंकि गति समय को बदलने का कारण बनती है। यहीं पर शोध पत्र एक चतुर गणितीय ट्रिक पेश करता है।
लेखक इन मापों के बीच के संबंधों को एक मानचित्र (ग्राफ) के रूप में देखते हैं जहाँ तीर दिखाते हैं कि क्या क्या कारण बनता है। वे उन मापों के एक उपसमूह को चुनने का प्रस्ताव देते हैं जो सभी मौलिक लक्ष्यों को कवर करता है लेकिन कम से कम प्रयास में होता है। वे इसे मिनिमम-कॉस्ट पार्शियल कवर (Minimum-Cost Partial Cover) समस्या कहते हैं। इसे हल करने के लिए, वे ग्राफ थ्योरी की एक विधि का उपयोग करते हैं जिसे मैक्स-फ्लो (max-flow) कहा जाता है, जो नेटवर्क में पाइपों के माध्यम से पानी के मार्ग को खोजने जैसा है। इस समस्या को एक फ्लो नेटवर्क में बदलकर, वे एक कंप्यूटर एल्गोरिदम का उपयोग करके एक सटीक, गैर-अतिव्यापी मापों का सेट पा सकते हैं। यह केवल अनुमान लगाने के पुराने, अव्यवस्थित तरीके को एक सटीक, इष्टतम चयन प्रक्रिया से बदल देता है।
चरण 3: डायल ट्यून करना (वेट फिटिंग)
अंत में, आपके पास आपके चुने हुए माप (जैसे समय, लागत और आराम) हैं, लेकिन आपको यह जानने की आवश्यकता है कि प्रत्येक का कितना महत्व है। क्या 1 मिनट बचाने के लिए यात्रा को झटकेदार बनाना उचित है? इसका उत्तर देने के लिए, ढांचा प्रेफरेंस एलिसिटेशन (Preference Elicitation) का उपयोग करता है। अनुमान लगाने के बजाय, सिस्टम मानव से पूछता है: "क्या आप ऐसी यात्रा पसंद करेंगे जो 10 मिनट लंबी हो लेकिन बहुत सहज हो, या ऐसी जो 5 मिनट छोटी हो लेकिन झटकेदार हो?"
शोध पत्र इसे एक ज्यामितीय समस्या के रूप में प्रस्तुत करता है। एक 3D स्पेस की कल्पना करें जहाँ प्रत्येक बिंदु अलग-अलग भारों (weights) के सेट का प्रतिनिधित्व करता है (कि आप समय बनाम आराम को कितना महत्व देते हैं)। हर बार जब मानव एक प्रश्न का उत्तर देता है, तो सिस्टम एक रेखा (हाइपरप्लेन) खींचता है जो उस आधे स्थान को काट देती है जहाँ उत्तर गलत होता। सिस्टम फिर सबसे अच्छा अगला प्रश्न चुनता है—एक ऐसा प्रश्न जो शेष स्थान को आधा कर देता है, ठीक वैसे ही जैसे एक जासूस संदिग्धों को कम करता है। लेखक दिखाते हैं कि एनालिटिक सेंटर कटिंग प्लेन मेथड (Analytic Center Cutting Plane Method) का उपयोग करके, वे एक विशिष्ट संख्या में प्रश्नों के साथ (लगभग चरों की संख्या गुना वांछित सटीकता का लघुगणक) सटीक भार पा सकते हैं। यह सुनिश्चित करता है कि अंतिम स्कोरकार्ड सुसंगत है और इसमें विरोधाभासी नियम नहीं हैं।
यह क्यों महत्वपूर्ण है
शोध पत्र का सुझाव है कि यह ढांचा रोबोट प्रशिक्षण की तीन प्रमुख समस्याओं को हल करता है। पहला, यह 'मैक्स-फ्लो' का उपयोग करके अतिरेक (redundancy) को रोकता है ताकि हम एक ही चीज़ को दो बार न मापें। दूसरा, यह पुरस्कारों को उन मौलिक उद्देश्यों में स्थापित करके रिवॉर्ड हैकिंग को रोकता है जिन्हें मानव वास्तव में महत्व देता है, न कि मध्यवर्ती व्यवहारों को जिनका रोबोट फायदा उठा सकता है। तीसरा, यह गणितीय रूप से गारंटी देता है कि अंतिम भार मानव के सभी उत्तरों के साथ सुसंगत है, न कि केवल एक सर्वोत्तम अनुमान है, जिससे पसंदीदा मिसअलाइनमेंट (preference misalignment) ठीक हो जाता है।
लेखक स्वीकार करते हैं कि यह एक नई विधि है और "प्रेफरेंस एलिसिटेशन" वाला हिस्सा अभी भी एक मानव (या विशेषज्ञ प्रणाली) पर निर्भर करता है जो प्रश्नों के उत्तर देता है। हालाँकि, वे तर्क देते हैं कि इस प्रक्रिया को एक औपचारिक, चरण-दर-चरण एल्गोरिदम बनाकर, वे एक ऐसी दुनिया की ओर पहला बड़ा कदम उठा रहे हैं जहाँ कोई भी गणित में पीएचडी या वर्षों के परीक्षण और त्रुटि के बिना एक ऐसा रिवॉर्ड फंक्शन डिजाइन कर सकता है जिसका रोबोट वास्तव में पालन करेगा। उन्होंने एक अराजक, केवल विशेषज्ञों के लिए उपलब्ध कला को एक संरचित, समाधान योग्य पहेली में बदल दिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।