Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches
यह शोध पत्र प्रेडिक्टिव प्रोसेस मॉनिटरिंग के लिए सीक्वेंस, टैबुलर और एलएलएम-आधारित दृष्टिकोणों का एक तुलनात्मक बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि जहाँ सीक्वेंस मॉडल अगले-गतिविधि (नेक्स्ट-एक्टिविटी) की भविष्यवाणी करने में उत्कृष्ट हैं और टैबुलर फाउंडेशन मॉडल टेम्पोरल कार्यों के लिए प्रतिस्पर्धी हैं, वहीं एलएलएम अपनी उच्च कम्प्यूटेशनल लागत के बावजूद आम तौर पर कम प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त रसोई को देख रहे हैं। ऑर्डर आ रहे हैं, शेफ सब्जियां काट रहे हैं, तल रहे हैं और प्लेट सजा रहे हैं, और कभी-कभी कोई व्यंजन सॉस या किसी गायब सामग्री के इंतजार में अटका हुआ है। यदि आप भविष्य में झाँक पाते और ठीक से जान पाते कि अगला कदम क्या होगा, भोजन में कितना समय लगेगा, या क्या ऑर्डर होने में देरी होने वाली है, तो आप समस्याओं के होने से पहले ही उन्हें ठीक कर सकते थे। यही प्रेडिक्टिव प्रोसेस मॉनिटरिंग (PPM) का मूल है। यह कंप्यूटर विज्ञान की एक शाखा है जो चीजों के होने के डिजिटल "रसीदों" को देखती है—जैसे कार बनाने वाली कोई फैक्ट्री या ऋण (लोन) स्वीकृत करने वाला कोई बैंक—ताकि यह अनुमान लगाया जा सके कि आगे क्या होने वाला है। वर्षों तक, इसे करने का सबसे अच्छा तरीका एक विशेष कंप्यूटर मस्तिष्क को शुरू से प्रशिक्षित करना था, उसे उस एक विशिष्ट रसोई के विशिष्ट नियम सिखाना था। लेकिन हाल ही में, सुपर-स्मार्ट, सामान्य-उद्देश्य वाले कंप्यूटरों की एक नई लहर आई है जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। ये वे मॉडल हैं जो कविताएं लिख सकते हैं, कोड कर सकते हैं और आपसे चैट कर सकते हैं, और लोगों ने सोचा: "क्या हम इन सामान्य दिग्गजों से अपनी रसोई के भविष्य की भविष्यवाणी करने के लिए बस पूछ सकते हैं?" इसी समय, एक तीसरा विकल्प सामने आया: टेबुलर फाउंडेशन मॉडल्स, जो विशेषज्ञ सांख्यिकीविदों (statisticians) की तरह हैं जो कहानियों के बजाय डेटा को साफ पंक्तियों और कॉलमों में देखते हैं। बड़ा सवाल यह है: क्या हमें अभी भी उन विशेष रसोई विशेषज्ञों की आवश्यकता है, या क्या सामान्य दिग्गजों और पंक्ति-कॉलम सांख्यिकीविदों ने नियंत्रण ले लिया है?
यह शोध पत्र एक विशाल 'टेस्ट टेस्ट' है यह देखने के लिए कि इन तीन "शेफों" में से कौन वास्तव में सबसे अच्छा भोजन बनाता है। शोधकर्ताओं ने पांच अलग-अलग वास्तविक "रसोईओं" (बिजनेस प्रोसेस से जुड़े डेटासेट) का उपयोग करके एक नियंत्रित प्रतियोगिता आयोजित की और मॉडल्स से तीन चीजें बताने को कहा: अगला गतिविधि (activity) क्या है, अगले चरण में कितना समय लगेगा, और पूरे काम के पूरा होने में कितना समय बचा है। उन्होंने पुराने जमाने के सीक्वेंस मॉडल्स (जो केवल इस काम के लिए शुरू से प्रशिक्षित किए गए थे) को LLMs (जिन्हें प्रक्रिया को सीखने के लिए LoRA नामक तकनीक का उपयोग करके अनुकूलित किया गया था) और टेबुलर मॉडल्स (जो इन-कॉन्टेक्स्ट लर्निंग का उपयोग करते हैं, जिसका अर्थ है कि वे बिना पुन: प्रशिक्षण के अपने सामने मौजूद उदाहरणों को देखकर सीखते हैं) के खिलाफ खड़ा किया।
परिणाम थोड़े आश्चर्यजनक और पुराने लोगों के लिए थोड़े राहत भरे थे। जब अगली गतिविधि का अनुमान लगाने की बात आई (जैसे यह अनुमान लगाना कि शेफ अब प्याज काटेगा), तो विशेष सीक्वेंस मॉडल्स स्पष्ट विजेता थे। वे लगातार उच्चतम सटीकता प्राप्त करते रहे, और LLMs तथा टेबुलर मॉडल्स को पीछे छोड़ दिया। शोध पत्र सुझाव देता है कि ऐसा इसलिए है क्योंकि ये मॉडल घटनाओं के विशिष्ट क्रम और प्रवाह को समझने में माहिर हैं, खासकर जब प्रक्रिया कई संभावित रास्तों (ब्रांचिंग) के साथ जटिल हो जाती है। टेबल्स मॉडल्स वास्तव में समय संबंधी कार्यों के लिए काफी अच्छे थे, और समय का अनुमान लगाने में अक्सर विशेषज्ञों के समान ही प्रदर्शन करते थे। हालाँकि, LLMs, बावजूद इसके कि वे सबसे प्रसिद्ध और चलाने में महंगे हैं, आमतौर पर पीछे रह गए। उन्हें गणना करने में बहुत अधिक समय लगा (एक एकल डेटासेट के लिए कभी-कभी 200 मिनट से अधिक समय लगा, जबकि अन्य मॉडल्स के लिए एक मिनट से भी कम समय लगा) और वे हमेशा सही उत्तर भी नहीं दे पाए। वास्तव में, एक डेटासेट पर, LLMs ने बार-बार भविष्यवाणी की कि प्रक्रिया समाप्त हो गई है जबकि वह समाप्त नहीं हुई थी, जिससे उन्होंने बहुत सी समयपूर्व गलतियाँ कीं।
इसलिए, शोध पत्र निष्कर्ष निकालता है कि हालांकि चमकदार, सामान्य-उद्देश्य वाले LLMs दिलचस्प हैं, लेकिन वे प्रक्रिया में आगे क्या होने वाला है, इसकी भविष्यवाणी करने के लिए विशेष मॉडल्स का सिंहासन नहीं छीन पाए हैं। विशेष मॉडल्स अभी भी इस काम के लिए सबसे विश्वसनीय शेफ हैं, जबकि टेबुलर मॉडल्स समय संबंधी प्रश्नों के लिए एक मजबूत, तेज़ विकल्प हैं। लेखक सुझाव देते हैं कि LLMs को पकड़ बनाने के लिए और भी बड़े होने या अलग तरह से प्रशिक्षित होने की आवश्यकता हो सकती है, और फिलहाल, यदि आप किसी जटिल प्रक्रिया में यह जानना चाहते हैं कि आगे क्या होगा, तो पुराना, विशेष दृष्टिकोण ही सबसे सटीक दांव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।