David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM
यह शोध पत्र सात वास्तविक जीवन के इवेंट लॉग्स के माध्यम से एक व्यवस्थित बेंचमार्क प्रस्तुत करता है जो यह दर्शाता है कि एक सरल काउंटिंग-आधारित आर्गमैक्स (argmax) बेसलाइन अक्सर अगली गतिविधि की भविष्यवाणी करने में जटिल डीप लर्निंग मॉडल्स और अरबों-पैरामीटर वाले एलएलएम (LLMs) के प्रदर्शन के बराबर या उसके करीब पहुँच जाती है, जो इस धारणा को चुनौती देती है कि बढ़ती मॉडल जटिलता और प्रीट्रेनिंग लगातार बेहतर परिणाम प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अगला कदम बताने के लिए क्या हमें सुपर-कंप्यूटर की ज़रूरत है?
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। आपने उसका आधा हिस्सा देख लिया है, और अब आप अंदाज़ा लगाना चाहते हैं कि आगे क्या होगा।
- "गोलिएथ" (Goliath) दृष्टिकोण: आप 1,000 विशेषज्ञ फिल्म समीक्षकों की एक टीम को काम पर रखते हैं जिन्होंने अब तक की हर फिल्म देखी है। वे भविष्य बताने के लिए इतिहास, संस्कृति और कहानी कहने के अपने विशाल ज्ञान का उपयोग करते हैं।
- "डेविड" (David) दृष्टिकोण: आप बस पिछला दृश्य देखते हैं। यदि नायक ने अभी-अभी तलवार उठाई है, तो आप अनुमान लगाते हैं कि अगले दृश्य में लड़ाई होगी। यदि नायक अभी-अभी रात का खाना खाने बैठा है, तो आप अनुमान लगाते हैं कि अगला दृश्य खाना खाने से संबंधित होगा।
यह शोध पत्र पूछता है: क्या हमें वास्तव में उन 1,000 विशेषज्ञों (गोलिएथ) की आवश्यकता है, या केवल पिछले दृश्य को देखना (डेविड) ही काफी है?
परिवेश: बिजनेस प्रोसेस (व्यावसायिक प्रक्रियाएं) की भविष्यवाणी करना
शोधकर्ता प्रेडिक्टिव प्रोसेस मॉनिटरिंग (Predictive Process Monitoring) नामक क्षेत्र में काम कर रहे हैं। एक बिजनेस प्रोसेस को किसी रेसिपी या फैक्ट्री असेंबली लाइन की तरह समझें।
- लक्ष्य: पहले से उठाए गए कदमों की एक सूची (जैसे, "ऑर्डर प्राप्त हुआ," "भुगतान की जाँच की गई," "सामान पैक किया गया") को देखते हुए, अगले कदम (जैसे, "सामान भेजें") की भविष्यवाणी करना।
- प्रतिद्वंद्वी:
- Argmax (डेविड): एक बहुत ही सरल नियम। यह बस यह गिनता है कि अतीत में एक विशिष्ट कदम के बाद दूसरा कदम कितनी बार आया है। यदि "शिपिंग" (भेजना) "पैकिंग" के बाद 90% बार हुई, तो यह "शिपिंग" का अनुमान लगाता है।
- LSTMs: पुराने, स्मार्ट कंप्यूटर जो अनुक्रमों (sequences) को अच्छी तरह याद रखते हैं।
- Transformers और LLMs (गोलिएथ): विशाल, अरबों पैरामीटर वाले AI मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) जिन्हें पूरे इंटरनेट पर "प्री-ट्रेन" (पूर्व-प्रशिक्षित) किया गया है। विचार यह है कि चूंकि वे भाषा और पैटर्न के बारे में बहुत कुछ जानते हैं, इसलिए वे बिजनेस स्टेप्स की भविष्यवाणी करने में माहिर होने चाहिए।
प्रयोग: "शब्दावली" की समस्या
शोधकर्ताओं ने इन विशाल AI मॉडलों (LLMs) को व्यावसायिक कार्यों के लिए उपयोग करने की कोशिश की। लेकिन बिजनेस डेटा प्राकृतिक भाषा नहीं है। यह "बिल्ली चटाई पर बैठी है" जैसा नहीं है; यह "इवेंट आईडी 405: इनवॉइस स्वीकृत हुआ" जैसा है।
AI को समझने योग्य बनाने के लिए, उन्हें बिजनेस डेटा को AI की भाषा में अनुवाद (translate) करना पड़ा। उन्होंने इसे इस प्रकार किया:
- एक विशाल प्री-ट्रेंड मॉडल (गोलिएथ) लिया।
- इसके शब्दकोश (dictionary) को बदल दिया ताकि यह अंग्रेजी शब्दों के बजाय बिजनेस शब्दों को समझ सके।
- इसे विशिष्ट व्यावसायिक नियम सिखाए (Fine-tuning)।
फिर उन्होंने इन "अनुवादित" दिग्गजों की तुलना इनसे की:
- शून्य से प्रशिक्षित छोटे मॉडलों (जो केवल बिजनेस डेटा पर सीख रहे थे) से।
- साधारण "Argmax" काउंटर से।
- पुराने LSTM मॉडलों से।
परिणाम: दिग्गज लड़खड़ा गया
शोध के निष्कर्ष आश्चर्यजनक हैं और उन्हें "डेविड बनाम गोलिएथ" के रूप में संक्षेपित किया जा सकता है, जहाँ डेविड जीतता है या बराबरी करता है।
1. "प्री-ट्रेनिंग" का मिथक
शोधकर्ताओं ने पाया कि विशाल AI ने इंटरनेट से जो "ज्ञान" सीखा था (प्री-ट्रेनिंग), वह काम नहीं आया।
- उपमा: कल्पना कीजिए कि एक शेफ है जिसने दुनिया के हर व्यंजन को पकाया है (प्री-ट्रेन्ड AI)। आप उससे केवल तीन सामग्रियों का उपयोग करके एक बहुत ही विशिष्ट, सरल सैंडविच बनाने के लिए कहते हैं। वह शेफ फ्रेंच व्यंजनों के अपने विशाल ज्ञान का उपयोग करके सैंडविच बनाने की कोशिश करता है, लेकिन अंत में पता चलता है कि एक स्थानीय डेली (दुकान) का कर्मचारी, जो केवल वही विशिष्ट सैंडविच बनाता है (शून्य से प्रशिक्षित मॉडल), उससे बेहतर काम करता है। शेफ का विशाल ज्ञान वास्तव में एक बाधा बन गया।
2. बड़ा होना बेहतर नहीं है
उन्होंने छोटे से लेकर विशाल (अरबों पैरामीटर) तक के मॉडलों का परीक्षण किया।
- परिणाम: मॉडल को 1,000 गुना बड़ा बनाने से वह 1,000 गुना स्मार्ट नहीं हुआ। वास्तव में, छोटे और सरल मॉडल अक्सर दिग्गजों के समान या उनसे बेहतर प्रदर्शन करते थे।
3. साधारण काउंटर जीतता है (ज्यादातर मामलों में)
अधिकांश बिजनेस डेटासेट्स पर, साधारण "Argmax" काउंटर (डेविड) ने अरबों पैरामीटर वाले AI के समान ही प्रदर्शन किया।
- क्यों? बिजनेस प्रोसेस अक्सर दोहराव वाले होते हैं। यदि 90% बार स्टेप A के बाद स्टेप B आता है, तो आपको यह जानने के लिए सुपर-कंप्यूटर की आवश्यकता नहीं है। आपको बस एक कैलकुलेटर की आवश्यकता है। जटिल AI बहुत अधिक था।
4. दिग्गज कब जीतता है?
विशाल AI (और शून्य से प्रशिक्षित मॉडल) केवल दो विशिष्ट डेटासेट्स (BPI12 और BPI17) पर स्पष्ट बढ़त दिखा सके। ये एकमात्र मामले थे जहाँ बिजनेस प्रोसेस इतना जटिल था, या डेटा इतना विविध था, कि इसके लिए एक साधारण काउंटर से अधिक परिष्कृत मस्तिष्क की आवश्यकता थी।
मुख्य निष्कर्ष (Takeaway)
यह शोध पत्र निष्कर्ष निकालता है कि बिजनेस प्रोसेस प्रेडिक्शन का क्षेत्र समस्याओं को हल करने के लिए "हथौड़ों" (विशाल AI मॉडल) का उपयोग करने की कोशिश कर रहा है, जबकि एक "गुलेल" (एक साधारण काउंटर या छोटा मॉडल) भी पर्याप्त होगा।
- वहाँ दिग्गज को न लाएँ जहाँ गुलेल की आवश्यकता हो।
- विशाल AI मॉडल को प्रशिक्षित करने में लाखों खर्च करने से पहले, विशेषज्ञों को सबसे पहले एक साधारण फ्रीक्वेंसी काउंटर (frequency counter) आज़माना चाहिए।
- यदि अधिक जटिल मॉडल की आवश्यकता है, तो एक विशाल, प्री-ट्रेंड इंटरनेट मॉडल को काम करने के लिए मजबूर करने के बजाय, विशिष्ट डेटा पर शून्य से एक छोटा मॉडल प्रशिक्षित करना बेहतर है।
संक्षेप में: इस विशिष्ट कार्य में "स्मार्ट" AI ने एक साधारण कैलकुलेटर से अधिक स्मार्ट व्यवहार नहीं किया। शोधकर्ता सुझाव देते हैं कि हम चीजों को बहुत जटिल बनाना बंद करें और सरल, अधिक कुशल उपकरणों का उपयोग करना शुरू करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।