Human-Centered Evaluation of an LLM-Based Process Modeling Copilot: A Mixed-Methods Study with Domain Experts
यह मिश्रित-पद्धति वाला अध्ययन डोमेन विशेषज्ञों के साथ एक LLM-संचालित BPMN कोपायलट का मूल्यांकन करता है, जो स्वीकार्य उपयोगिता और विश्वसनीयता संबंधी चिंताओं के कारण कम विश्वास के बीच एक महत्वपूर्ण अंतर को प्रकट करता है, जिससे प्रक्रिया मॉडलिंग एजेंटों के लिए स्वचालित बेंचमार्क के साथ-साथ मानव-केंद्रित मूल्यांकन की आवश्यकता रेखांकित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, तेज़ बोलने वाला सहायक है जो दावा करता है कि वह केवल आपके द्वारा कारखाने के काम करने के तरीके के वर्णन को सुनकर कारखाने के जटिल ब्लूप्रिंट (नक्शे) बना सकता है। आप कहते हैं, "पहले, कच्चा माल आता है, फिर उन्हें धोया जाता है, फिर वे ओवन में जाते हैं," और सहायक तुरंत एक आरेख (डायग्राम) बना देता है।
यही बिल्कुल वह चीज़ है जिसे बनाने की कोशिश इस शोध पत्र के शोधकर्ताओं ने की है: एक AI "को-पायलट" जो आपके बोले गए या लिखे गए विवरणों को BPMN आरेखों (जो कि व्यावसायिक प्रक्रियाओं के केवल फैंसी, मानकीकृत ब्लूप्रिंट हैं) में बदल देता है।
टीम ने KICoPro नामक एक टूल बनाया और पांच वास्तविक विशेषज्ञों (वे लोग जो पेशेवर रूप से ये ब्लूप्रिंट बनाते हैं) को इसे आज़माने के लिए कहा। वे यह जानना चाहते थे: क्या यह चीज़ वास्तव में उपयोगी है, या यह सिर्फ एक मज़ेदार खिलौना है?
यहाँ उनकी खोज की कहानी है, जिसे सरल भाषा में समझाया गया है:
1. "सुंदर चेहरा, कांपते हाथ" वाली समस्या
विशेषज्ञों को टूल का लुक और फील पसंद आया। इसके साथ चैट करना आसान था, बटन काम कर रहे थे, और यह काफी फ्रेंडली महसूस हुआ। एक "उपयोगिता" (usability) परीक्षण पर, इसने 100 में से 67 का अच्छा स्कोर प्राप्त किया।
उपमा: एक ऐसी कार की कल्पना करें जिसमें सुंदर लेदर इंटीरियर, एक स्मूथ स्टीयरिंग व्हील और एक बेहतरीन रेडियो हो। आपको इसमें बैठना बहुत पसंद है। लेकिन जब आप इसे चलाने की कोशिश करते हैं, तो इंजन अटकने लगता है, ब्रेक अविश्वसनीय होते हैं, और मैप अक्सर गलत होता है।
- परिणाम: विशेषज्ञों ने कहा, "मुझे इस कार को चलाना पसंद है, लेकिन मैं इसे आपात स्थिति में मुझे अस्पताल पहुँचाने के लिए भरोसेमंद नहीं मानूँगी।" उनका ट्रस्ट स्कोर (विश्वास स्कोर) केवल 100 में से 48 था। उन्हें विश्वास नहीं था कि AI हर बार काम को सही ढंग से पूरा करेगा।
2. "मन पढ़ने" का संघर्ष
विशेषज्ञों को एक अजीब समस्या का सामना करना पड़ा: वे जानते थे कि वे क्या चाहते हैं (एक ब्लूप्रिंट), लेकिन उन्हें यह नहीं पता था कि उसे कैसे मांगें।
- उपमा: यह एक बेकर से कस्टम केक ऑर्डर करने जैसा है। आप कहते हैं, "मुझे एक केक चाहिए।" बेकर एक सादा स्पंज केक देता है। आप कहते हैं, "मुझे स्ट्रॉबेरी वाला चॉकलेट केक चाहिए।" बेकर एक जला हुआ चॉकलेट केक दे देता जिसमें स्ट्रॉबेरी भी नहीं होती। आपको एहसास होता है कि आपको अपनी पसंद पाने के लिए एक "केक व्हिस्परर" (केक का विशेषज्ञ) बनना होगा, लेकिन बेकर कभी यह नहीं पूछता, "क्या आपको वनीला चाहिए या चॉकलेट?"
- निष्कर्ष: AI ने स्पष्टीकरण वाले प्रश्न (clarifying questions) कभी नहीं पूछे। यदि विवरण अस्पष्ट था, तो AI ने बस अंदाज़ा लगा लिया। यदि प्रक्रिया लंबी और जटिल थी, तो AI भ्रमित हो गया और केवल आधा चित्र ही बना पाया।
3. "चंकिंग" (टुकड़ों में बांटना) का तरीका
अच्छे परिणाम पाने के लिए, विशेषज्ञों को अतिरिक्त मानसिक मेहनत करनी पड़ी। वे एक साथ पूरे कारखाने का वर्णन नहीं कर सकते थे। उन्हें अपने बड़े विचार को छोटे-छोटे, आसानी से समझे जाने वाले टुकड़ों में तोड़ना था और एक-एक करके AI से उन्हें बनाने के लिए कहना था।
- उपमा: एक पेंटर को "मेरे लिए पूरा ग्रैंड कैन्यन पेंट करो" कहने के बजाय, आपको कहना होगा, "आसमान पेंट करो," फिर "चट्टानें पेंट करो," फिर "नदी पेंट करो।"
- समस्या: इससे विशेषज्ञ थक गए। उन्हें अपने दिमाग में पूरा चित्र बनाए रखना था और फिर उन टुकड़ों को खुद ही आपस में जोड़ना था। टूल को उनका काम आसान बनाना था, लेकिन वास्तव में इसने उन्हें AI की गलतियों को "ठीक करने" के लिए और अधिक मेहनत करने पर मजबूर कर दिया।
4. "मौन साथी" (Silent Partner)
विशेषज्ञों ने गौर किया कि AI सड़क के नियमों (BPMN मानकों) का पालन बहुत खराब तरीके से करता है। कभी-कभी यह ऐसी रेखाएं खींच देता था जो वहां नहीं होनी चाहिए थीं या महत्वपूर्ण विवरण जैसे कि "यह कार्य कौन करता है?" को छोड़ देता था।
- उपमा: यह एक GPS की तरह है जो कभी-कभी आपको झील में गाड़ी चलाने के लिए कहता है क्योंकि उसने मैप को ठीक से चेक नहीं किया था।
- डर: एक वास्तविक व्यवसाय में, यदि आप AI पर भरोसा करते हैं और वह एक गलत ब्लूप्रिंट बना देता है, तो आप ऐसा कारखाना बना सकते हैं जो काम ही न करे। विशेषज्ञों ने कहा, "मैं अभी तक इसे महत्वपूर्ण निर्णयों के लिए भरोसेमंद नहीं मान सकती।"
5. विशेषज्ञों के सपने
इन खामियों के बावजूद, विशेषज्ञों के पास बड़े विचार थे कि भविष्य में यह टूल कैसे अद्भुत हो सकता है:
- "स्केच-टू-ड्राफ्ट" बॉट: कल्पना कीजिए कि आप नैपकिन पर एक टेढ़ा-मेढ़ा चित्र बनाते हैं, और AI उसे तुरंत एक पेशेवर ब्लूप्रिंट में बदल देता है।
- "क्वालिटी पुलिस": AI आपके मौजूदा ब्लूप्रिंट की जांच कर सकता है ताकि यह सुनिश्चित हो सके कि आपने कंपनी के किसी नियम का उल्लंघन नहीं किया है।
- "लोकल ब्रेन": AI का एक ऐसा संस्करण जो विशेष रूप से आपकी कंपनी के इतिहास पर प्रशिक्षित हो, ताकि वह आपकी विशिष्ट शब्दावली और नियमों को समझ सके।
मुख्य निष्कर्ष
इस पेपर का मुख्य सबक यह है: सिर्फ इसलिए कि कोई टूल उपयोग करने में आसान है, इसका मतलब यह नहीं है कि वह भरोसेमंद भी है।
आपके पास एक ऐसा चैटबॉट हो सकता है जिससे बात करना बहुत अच्छा लगता हो (उच्च उपयोगिता), लेकिन अगर यह बार-बार गलतियाँ करता है या गलत अंदाज़ा लगाता है (कम विश्वसनीयता), तो पेशेवर लोग इसे गंभीर काम के लिए इस्तेमाल नहीं करेंगे।
निष्कर्ष: हम केवल कंप्यूटर के साथ AI का परीक्षण नहीं कर सकते (यह देखने के लिए कि कोड सही है या नहीं)। हमें इसे इंसानों के साथ टेस्ट करना होगा यह देखने के लिए कि क्या वे इसे उपयोग करने में सुरक्षित महसूस करते हैं। व्यवसाय में AI का भविष्य केवल इसे स्मार्ट बनाने के बारे में नहीं है; यह इसे अधिक स्पष्ट, अपनी गलतियों के प्रति अधिक ईमानदार, और चित्र बनाना शुरू करने से पहले सवाल पूछने में बेहतर बनाने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।