Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives
यह शोध पत्र UCB-BQRL को प्रस्तुत करता है, जो एक मॉडल-आधारित सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो सिद्ध रिग्रेट बाउंड्स (regret bounds) और क्वांटाइल मूल्यांकन के लिए कम्प्यूटेशनल हार्डनेस परिणामों के साथ स्थिर, जोखिम-संवेदनशील शिक्षण प्राप्त करने के लिए एक स्मूद् लोअर-बफर्ड क्वांटाइल ऑब्जेक्टिव और एक सटीक डायनेमिक प्रोग्रामिंग प्रक्रिया (EVI-BQ) का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक शक्तिशाली विधि है जिसे 'रिनफोर्समेंट लर्निंग' (reinforcement learning) कहा जाता है, जहाँ एक कंप्यूटर प्रोग्राम चीजों को आजमाकर और यह देखकर सीखता है कि उनका क्या परिणाम होता है। कल्पना कीजिए कि एक छात्र साइकिल चलाना सीख रहा है: वह गिरता है, अपने संतुलन को समायोजित करता है, और अंततः सफल होता है। डिजिटल क्षेत्र में, ये प्रोग्राम एक वातावरण के साथ अंतःक्रिया करते हैं, अच्छे विकल्पों के लिए पुरस्कार प्राप्त करते हैं, और समय के साथ अपने कुल पुरस्कार को अधिकतम करने के लिए सीखते हैं। दशकों से, इन प्रोग्रामों के लिए मानक लक्ष्य सरल रहा है: उच्चतम औसत स्कोर प्राप्त करना। यह दृष्टिकोण कई कार्यों के लिए अच्छी तरह से काम करता है, जैसे वीडियो गेम खेलने से लेकर इन्वेंट्री प्रबंधन तक। हालाँकि, वित्त या स्वास्थ्य सेवा जैसे उच्च-जोखम वाले क्षेत्रों में, औसत पर्याप्त नहीं है। एक डॉक्टर को केवल ऐसे उपचार की आवश्यकता नहीं होती जो औसतन अच्छा काम करता हो; उसे एक ऐसे उपचार की आवश्यकता होती है जो विनाशकारी विफलता से बच सके, भले ही इसके लिए औसत सफलता दर थोड़ी कम क्यों न हो जाए। इसी तरह, एक निवेशक एक ऐसी रणनीति को प्राथमिकता दे सकता है जो एक सुरक्षित न्यूनतम रिटर्न की गारंटी देती हो, बजाय उस रणनीति के जो भारी संभावित लाभ तो देती है लेकिन कुल नुकसान का जोखिम भी उठाती है। इन स्थितियों को संभालने के लिए, शोधकर्ताओं ने "क्वांटाइल" (quantile) नामक एक अवधारणा की ओर रुख किया है। औसत को देखने के बजाय, एक क्वांटाइल परिणामों के वितरण में एक विशिष्ट बिंदु को देखता है, जैसे कि निचले दस प्रतिशत या शीर्ष नब्बे प्रतिशत, जिससे निर्णय लेने वाला आवश्यकतानुसार सुरक्षा या आक्रामकता पर ध्यान केंद्रित कर सकता है।
हालाँकि, चुनौती यह है कि वितरण के इन विशिष्ट बिंदुओं को अनुकूलित करना बेहद कठिन है। औसत के विपरीत, जो वातावरण में बदलाव करने पर सुचारू रूप से बदलता है, ये विशिष्ट बिंदु अचानक उछल सकते हैं। यदि एक कंप्यूटर प्रोग्राम डेटा से दुनिया के नियमों को सीखता है, और उस डेटा में एक छोटी सी त्रुटि है, तो प्रोग्राम का एक "सुरक्षित" परिणाम के बारे में विचार अचानक पूरी तरह से अलग चीज़ में बदल सकता है। यह अस्थिरता जोखिम-संवेदनशील लक्ष्यों के लिए विश्वसनीय शिक्षण प्रणाली बनाना कठिन बनाती है। एक नए अध्ययन में, वर्जीनिया टेक के शोधकर्ताओं ने इस समस्या का समाधान विकसित किया है। उन्होंने एक नया लर्निंग एल्गोरिदम बनाया है जो इन अचानक उछालों को सुचारू बनाता है, जिससे कंप्यूटर दोषपूर्ण डेटा के बावजूद सुरक्षित और प्रभावी ढंग से सीख सकता है।
शोधकर्ता मोहम्मद अलीपुर-वैज़ी, हुआयांग ज़ोंग और सजाद खोदाडडियन ने एक विधि पेश की जिसे वे UCB-BQRL कहते हैं। मुख्य विचार एक विशिष्ट परिणाम के तीखे, नुकीले लक्ष्य को एक "बफ़र्ड" (buffered) संस्करण से बदलना है। परिणामों के वितरण में एक सटीक बिंदु को लक्षित करने के बजाय, एल्गोरिदम उस बिंदु के ठीक नीचे एक छोटे से दायरे को लक्षित करता है। यह इस छोटे से दायरे के परिणामों का औसत निकालता है, जिससे एक सुचारू, स्थिर लक्ष्य बनता है जिसे सीखना बहुत आसान होता है। इसे एक पेंसिल की नोक पर संतुलन बनाने बनाम एक छोटे, सपाट प्लेटफॉर्म पर संतुलन बनाने की तरह समझें; प्लेटफॉर्म मामूली डगमगाहट के प्रति कम संवेदनशील होता है। सीखने की प्रक्रिया के दौरान इस सुचारू लक्ष्य का उपयोग करके, एल्गोरिदम वातावरण का पता लगा सकता है और चीजें कैसे काम करती हैं इसका एक मॉडल बना सकता है, बिना अपने डेटा की मामूली त्रुटियों से विचलित हुए। एक बार जब सीखना पूरा हो जाता है, तो एल्गोरिदम मूल, तीखे लक्ष्य के विरुद्ध अंतिम परिणाम का मूल्यांकन कर सकता है, यह सुनिश्चित करते हुए कि लक्ष्य वही रहे जो उपयोगकर्ता का इरादा था।
अपने तरीके का परीक्षण करने के लिए, टीम ने 'एसेट सेलिंग' (asset selling) नामक एक क्लासिक निर्णय लेने वाली समस्या पर इसे लागू किया। इस परिदृश्य में, एक विक्रेता एक निश्चित अवधि में किसी वस्तु के लिए प्रस्तावों की एक श्रृंखला प्राप्त करता है। प्रत्येक चरण में, विक्रेता को यह तय करना होता है कि क्या वर्तमान प्रस्ताव को स्वीकार करके रुकना है, या उसे अस्वीकार करना है और नए, यादृच्छिक (random) प्रस्ताव की प्रतीक्षा करनी है। चुनौती यह है कि अंतिम कीमत को अधिकतम करने के लिए रुकने का सही क्षण कब है। वास्तविक दुनिया में, विक्रेता भविष्य के प्रस्तावों की सटीक संभावनाओं को नहीं जानता; उसे अनुभव से उन्हें सीखना होगा। शोधकर्ताओं ने सिमुलेशन चलाए जहाँ उनके नए एल्गोरिदम को अंतिम कीमत के एक विशिष्ट क्वांटाइल को अधिकतम करने का प्रयास करते हुए इन संभावनाओं को सीखना था। उन्होंने अपने तरीके की तुलना कई स्थापित शिक्षण तकनीकों के साथ की, जिसमें औसत कीमत को अधिकतम करने के लिए डिज़ाइन किए गए और अज्ञात को खोजने के लिए अलग-अलग रणनीतियों का उपयोग करने वाले अन्य तरीके शामिल थे।
परिणामों ने दिखाया कि उनका नया एल्गोरिदम अपने विशिष्ट कार्य में उत्कृष्ट रहा। जब लक्ष्य मध्य मार्ग, यानी 'मीडियन' (median) परिणाम को अधिकतम करना था, तो नए तरीके ने एक ऐसी नीति सीखी जो दूसरों की तुलना में काफी बेहतर प्रदर्शन करती थी। जब लक्ष्य शीर्ष दस प्रतिशत परिणामों को अधिकतम करने की ओर स्थानांतरित हुआ, तो इसने फिर से प्रतिस्पर्धा को पछाड़ दिया। दिलचस्प बात यह है कि जब एल्गोरिदम को बहुत रूढ़िवादी होने के लिए प्रशिक्षित किया गया था, यानी परिणामों के निचले दस प्रतिशत को लक्षित किया गया था, तब भी इसने मानक औसत स्कोर द्वारा आंके जाने पर बहुत खराब प्रदर्शन नहीं किया। यह प्रतिस्पर्धी बना रहा, जो यह सुझाव देता है कि जोखिम पर ध्यान केंद्रित करने का अर्थ आवश्यक रूप से समग्र प्रदर्शन का त्याग करना नहीं है। अध्ययन में एक कठोर गणितीय प्रमाण भी शामिल था जो यह दर्शाता है कि एल्गोरिदम की सीखने की गति सैद्धांतिक रूप से उतनी ही तेज़ है जितनी कि समस्या की कठिनाई को देखते हुए संभव है। उन्होंने प्रदर्शित किया कि सीखने की गति समस्या के एक विशिष्ट गुण पर निर्भर करती है: लक्ष्य बिंदु के पास परिणाम वितरण में कितना परिवर्तन होता है। यदि वितरण उस बिंदु के पास बहुत सपाट या अस्थिर है, तो सीखना स्वाभाविक रूप से धीमा होता है, और उनका तरीका इस कठिनाई को सही ढंग से ध्यान में रखता है।
व्यावहारिक सफलता के अलावा, शोधकर्ताओं ने इन समस्याओं के गणित के बारे में एक आश्चर्यजनक तथ्य का पता लगाया। उन्होंने सिद्ध किया कि केवल दो संभावित अवस्थाओं और एक क्रिया वाले बहुत सरल परिदृश्यों के लिए भी, एक निश्चित रणनीति के लिए विशिष्ट परिणाम के सटीक मान की गणना करना कम्प्यूटेशनल रूप से अत्यंत कठिन है। इसका अर्थ यह है कि जबकि उनका एल्गोरिदम प्रभावी ढंग से सीखने का एक तरीका प्रदान करता है, जटिल वास्तविक दुनिया की समस्याओं के लिए सर्वोत्तम रणनीति की सटीक, पूर्ण गणना तेजी से करना संभव नहीं है। यह खोज सीखने की सांख्यिकीय क्षमता को पूर्ण नियोजन की कम्प्यूटेशनल क्षमता से अलग करती है। शोधकर्ताओं का कार्य यह दावा नहीं करता है कि उन्होंने हर जोखिम-संवेदनशील समस्या को हल कर लिया है, बल्कि यह उच्च दांव और शोर वाले डेटा के बीच सीखने के लिए एक मजबूत, स्थिर ढांचा प्रदान करता है। आगे के मार्ग को सुचारू बनाकर, उन्होंने कृत्रिम बुद्धिमत्ता को सुरक्षा और पुरस्कार के बीच के नाजुक संतुलन को उस विश्वसनीयता के साथ नेविगेट करना संभव बना दिया है जो पहले पहुंच से बाहर थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।