Learning optimal policies from event logs through reinforcement learning: a comparison of deep and MDP-based approaches
यह शोध पत्र प्रिसक्रिप्टिव प्रोसेस मॉनिटरिंग के लिए एक सुदृढीकरण शिक्षण (Reinforcement Learning) ढांचे का प्रस्ताव करता है जो प्रमुख प्रदर्शन संकेतकों (KPIs) को अनुकूलित करने के लिए कार्यों की सिफारिश करने हेतु ऐतिहासिक इवेंट लॉग्स से सीधे इष्टतम व्यवहार संबंधी नीतियों को सीखता है, जो एक मॉडल-आधारित मार्कोव निर्णय प्रक्रिया दृष्टिकोण की एक मॉडल-मुक्त डीप आरएल विधि के साथ तुलना करता है और यह प्रदर्शित करता है कि दोनों प्रभावी ढंग से KPIs में सुधार करते हैं जबकि मॉडल-आधारित दृष्टिकोण बेहतर कम्प्यूटेशनल दक्षता प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त बैंक के मैनेजर हैं। हर दिन, ग्राहक ऋण (लोन) के लिए आवेदन करते हैं। कभी लोन स्वीकृत हो जाता है, कभी अस्वीकार कर दिया जाता है, और कभी ग्राहक बस बीच में ही छोड़कर चला जाता है। आपका लक्ष्य सरल है: जितने संभव हो सके उतने ग्राहकों को अपने लोन ऑफर के लिए "हाँ" कहने के लिए प्रेरित करना।
हालाँकि, आप सब कुछ नियंत्रित नहीं करते। आप बैंक के कार्यों को नियंत्रित करते हैं (जैसे कोई ऑफर भेजना या अधिक जानकारी मांगना), लेकिन आप ग्राहक के कार्यों को नियंत्रित नहीं करते (जैसे स्वीकार करना, अस्वीकार करना या प्रक्रिया छोड़ देना)। यह शतरंज खेलने जैसा है जहाँ आप केवल अपने मोहरे चला सकते हैं, लेकिन आपका प्रतिद्वंद्वी (ग्राहक) अपने मूड के आधार पर रैंडम तरीके से चाल चलता है।
यह शोध पत्र इस बारे में है कि कंप्यूटर को एक बेहतरीन बैंक मैनेजर बनने के लिए कैसे सिखाया जाए, इसके लिए पुराने रिकॉर्ड्स का उपयोग करके कि अतीत में बैंक ने यह खेल कैसे खेला था। लक्ष्य एक आदर्श रणनीति खोजने का है ताकि जीत अधिक बार हासिल की जा सके।
दो "कोच" (दो प्रशिक्षक)
शोधकर्ताओं ने कंप्यूटर को यह रणनीति सिखाने के लिए दो अलग-अलग तरीकों (या कोचों) का परीक्षण किया, जो रीइन्फोर्समेंट लर्निंग (एक प्रकार का AI जो प्रयास और त्रुटि से सीखता है, लेकिन इस मामले में, यह लाइव खेलने के बजाय एक इतिहास की किताब से सीखता है) का उपयोग करता है।
1. "मैप मेकर" (MDP-आधारित दृष्टिकोण)
यह कोच अतीत के हजारों लोन आवेदनों को देखता है और खेल का एक विस्तृत मानचित्र (Map) बनाने की कोशिश करता है।
- यह कैसे काम करता है: यह समान स्थितियों को एक साथ समूह में रखता है (जैसे "ग्राहक ने $10k मांगा और हमने ऑफर भेजा") और गणना करता है कि आगे क्या होने की संभावना है। यह एक स्पष्ट नियम पुस्तिका बनाता है: "यदि आप स्थिति A में हैं, तो कार्य B करें।"
- उपमा: कल्पना कीजिए कि एक GPS है जिसने शहर की हर एक सड़क का नक्शा बना लिया है। उसे पता है कि कौन सा मोड़ ट्रैफिक की ओर ले जाता है और कौन सा शॉर्टकट की ओर। वह आपको रास्ता बताने से पहले शहर का एक पूर्ण मॉडल तैयार करता है।
- चुनौती: यह मानचित्र बनाने में कुछ काम लगता है, और यदि मानचित्र बहुत विस्तृत है, तो यह दुर्लभ, अजीब घटनाओं से भ्रमित हो सकता है। इसे ठीक करने के लिए, शोधकर्ताओं ने इतिहास की किताब में दुर्लभ, अविश्वसनीय रास्तों को अनदेखा करने के लिए एक "फिल्टर" जोड़ा।
2. "डीप लर्नर" (ऑफलाइन डीप RL)
यह कोच मानचित्र बनाने की कोशिश नहीं करता है। इसके बजाय, यह एक सुपर-स्मार्ट न्यूरल नेटवर्क (कई परतों वाले मस्तिष्क की तरह) का उपयोग करता है जो इतिहास की किताब को देखता है और सीधे सबसे अच्छा कदम होने का अनुमान लगाता है।
- यह कैसे काम करता है: यह पिछले रिकॉर्ड्स को पढ़ता है और उन छिपे हुए पैटर्न को खोजने की कोशिश करता है जिन्हें एक इंसान या सरल मानचित्र मिस कर सकता है। यह डेटा को बार-बार देखकर सीखता है।
- उपमा: कल्पना कीजिए कि एक ग्रैंडमास्टर शतरंज खिलाड़ी जिसने लाखों मैच देखे हैं। उन्हें बोर्ड का नक्शा बनाने की आवश्यकता नहीं है; वे अनुभव से बनी अंतर्दृष्टि (Intuition) के आधार पर सही चाल को "महसूस" कर सकते हैं।
- चुनौती: यह "मस्तिष्क" बहुत भारी है। इसे प्रशिक्षित करने में बहुत समय लगता है और इसके लिए बहुत अधिक कंप्यूटिंग पावर की आवश्यकता होती है, जैसे कि सुपरकंप्यूटर का उपयोग करके एक विशाल पहेली को हल करना।
प्रयोग: सिमुलेशन एरिना (Simulation Arena)
चूंकि आप केवल यह देखने के लिए वास्तविक ग्राहकों को गलत सलाह देना शुरू नहीं कर सकते कि क्या होता है (इससे बैंक का पैसा खर्च होगा), इसलिए शोधकर्ताओं ने एक आभासी सिमुलेशन बनाया।
- उन्होंने लोन प्रक्रिया का एक "वीडियो गेम" संस्करण बनाया।
- उन्होंने कंप्यूटर को अपने द्वारा सीखी गई रणनीतियों का उपयोग करके हजारों बार खेल खेलने दिया।
- उन्होंने स्कोर मापा: बैंक ने कितना लाभ कमाया? (लाभ = अर्जित ब्याज घटा ऋण पर खर्च किया गया समय)।
उन्हें क्या पता चला
परिणाम दिलचस्प थे:
- दोनों कोच जीते: "मैप मेकर" और "डीप लर्नर" दोनों ने ऐसी रणनीतियाँ विकसित कीं जो बैंक के पुराने, मानक तरीके से कहीं बेहतर थीं। दोनों ने बैंक को ग्राहकों से अधिक "हाँ" प्राप्त करने में मदद की।
- मैप मेकर थोड़ा बेहतर था: "मैप मेकर" (MDP) ने लगातार थोड़ी बेहतर रणनीतियाँ खोजीं, विशेष रूप से कठिन और दुर्लभ स्थितियों में। यह यह जानने में अधिक विश्वसनीय था कि वास्तव में क्या करना है।
- मैप मेकर बहुत तेज़ था: यह सबसे बड़ा अंतर था। "मैप मेकर" ने कुछ ही मिनटों में अपनी रणनीति सीख ली। "डीप लर्नर" को प्रशिक्षित करने में घंटों (या डेटा के आकार के आधार पर दिनों) का समय लगा।
- उपमा: मैप मेकर एक ऐसे छात्र की तरह था जिसने एक पाठ्यपुस्तक पढ़ी और 10 मिनट में परीक्षा पास कर ली। डीप लर्नर उस छात्र की तरह था जिसे उसी ग्रेड के लिए पूरी विश्वकोश (Encyclopedia) को 100 बार फिर से पढ़ना पड़ा।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि यदि आप चाहते हैं कि कंप्यूटर पिछले डेटा का उपयोग करके किसी व्यावसायिक प्रक्रिया (जैसे लोन अप्रूवल) को चलाना सीखे:
- आपको हमेशा सबसे जटिल, भारी-भरकम AI (Deep Learning) की आवश्यकता नहीं होती है।
- एक सरल दृष्टिकोण जो प्रक्रिया का एक स्पष्ट मॉडल बनाता है (MDP), उतना ही अच्छा काम करता है, यदि बेहतर नहीं, और यह चलाने में बहुत तेज़ और सस्ता है।
यह एक अनुस्मारक है कि कभी-कभी, एक अच्छा, स्पष्ट मानचित्र एक अत्यंत जटिल मस्तिष्क से बेहतर होता है, खासकर जब आप केवल कुशलतापूर्वक काम पूरा करना चाहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।