User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models
यह शोध पत्र उपयोगिता संबंधी आवश्यकताओं (usability requirements) के लिए उपयोगकर्ता समीक्षाओं का विश्लेषण करने हेतु लार्ज लैंग्वेज मॉडल्स (LLMs) के उपयोग की क्षमता की जांच करता है, जो एक कोडेड डेटासेट और प्रॉम्प्ट इंजीनियरिंग के माध्यम से यह प्रदर्शित करता है कि यदि प्रॉम्प्ट्स को सावधानीपूर्वक डिज़ाइन किया जाए, तो LLMs उपयोगिता संबंधी समस्याओं की पहचान करने में मानव-तुलनीय प्रदर्शन प्राप्त कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त रेस्टोरेंट के शेफ हैं। आप ठीक से जानना चाहते हैं कि आपके ग्राहक आपके खाने के बारे में क्या सोचते हैं ताकि आप अपने मेनू में सुधार कर सकें। आप हर व्यंजन को चखने और विस्तृत रिपोर्ट लिखने के लिए पेशेवर फूड क्रिटिक्स की एक टीम को काम पर रख सकते हैं, लेकिन यह महंगा और धीमा है। इसके बजाय, आप अपनी वेबसाइट पर लोगों द्वारा छोड़े गए हजारों अव्यवस्थित, भावनात्मक और कभी-कभी भ्रमित करने वाले रिव्यूज (समीक्षाओं) को बस पढ़ सकते हैं।
यह पेपर एक सुपर-इंटेलिजेंट कंप्यूटर (जिसे लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) को उन अव्यवस्थित रिव्यूज को पढ़ने और उनमें से वास्तव में यूजेबिलिटी (usability)—यानी, ऐप का उपयोग करना कितना आसान या कठिन है—के बारे में खोजने के लिए सिखाने के बारे में है।
यहाँ उनके प्रयोग की कहानी है, जिसे सरल रूप में विभाजित किया गया है:
समस्या: बहुत अधिक शोर, बहुत कम समय
सॉफ्टवेयर कंपनियाँ यूजर रिव्यूज में डूब रही हैं। लोग लिखते हैं जैसे, "यह ऐप एक दुःस्वप्न है!" या "मैंने तीन बार क्लिक किया और फिर भी यह काम नहीं कर रहा!" या "मुझे नया फीचर पसंद है, लेकिन बटन बहुत छोटा है।"
- पुराना तरीका: उपयोगी शिकायतों को खोजने के लिए शोधकर्ता पहले मशीन लर्निंग का उपयोग करके कंप्यूटर को प्रशिक्षित करते थे। लेकिन यह एक कुत्ते को हजारों स्टिक (डंडों) को फेंककर चीज़ पकड़ना सिखाने जैसा था और इस उम्मीद में था कि वह सीख जाएगा। इसके लिए पहले डेटा को लेबल करने के लिए भारी मानवीय श्रम की आवश्यकता थी।
- नया विचार: क्या होगा यदि हम बस एक सुपर-इंटेलिजेंट कंप्यूटर (LLM) से उन रिव्यूज को पढ़ने और हमें यह बताने के लिए कहें कि कौन से "यूजेबिलिटी" के बारे में हैं? ये कंप्यूटर पहले से ही पूरे इंटरनेट पर प्रशिक्षित हैं, इसलिए वे बिना हमें शून्य से सिखाए संदर्भ (context) को समझ सकते हैं।
प्रयोग: "टेस्ट टेस्ट" (स्वाद परीक्षण)
जर्मनी के शोधकर्ताओं ने एक नियंत्रित परीक्षण स्थापित किया यह देखने के लिए कि क्या कंप्यूटर एक मानव विशेषज्ञ की तरह काम कर सकता है।
सामग्री (Ingredients): उन्होंने तीन बहुत अलग प्रकार के ऐप्स से 300 वास्तविक यूजर रिव्यूज एकत्र किए:
- एक ट्रैफिक/रडार ऐप (ड्राइवर्स के लिए)।
- एक ग्रोसरी स्टोर ऐप (शॉपर्स के लिए)।
- एक म्यूजिक-मेकिंग ऐप (म्यूजिशियंस के लिए)।
- ये तीनों क्यों? यह सुनिश्चित करने के लिए कि कंप्यूटर केवल एक विशिष्ट प्रकार की भाषा में अच्छा न हो।
मानव निर्णायक (Human Judges): दो मानव विशेषज्ञों ने सभी 300 रिव्यूज को पढ़ा। उन्होंने यह तय करने के लिए कि क्या कोई रिव्यू "यूजेबिलिटी" के बारे में है (True) या नहीं (False), एक प्रसिद्ध चेकलिस्ट (निएल्सन के 10 यूजेबिलिटी ह्यूरिस्टिक्स) का उपयोग किया। वे कठिन मामलों पर तब तक बहस करते रहे जब तक कि वे सहमत नहीं हो गए। इसने "गोल्ड स्टैंडर्ड" उत्तर कुंजी (answer key) बनाई।
कंप्यूटर छात्र: उन्होंने LLM को निर्देशों का एक सेट (जिसे प्रॉम्प्ट कहा जाता है) दिया। इस प्रॉम्प्ट को एक रेसिपी की तरह समझें।
- पहला प्रयास: रेसिपी अस्पष्ट थी। कंप्यूटर भ्रमित हो गया।
- दूसरा और तीसरा प्रयास: शोधकर्ताओं ने रेसिपी को परिष्कृत किया, अधिक विशिष्ट चरण और उदाहरण जोड़े (जैसे कंप्यूटर को यह बताना कि, "यदि कोई कहता है कि ऐप 'कठिन/असुविधाजनक' है, तो यह यूजेबिलिटी इश्यू माना जाएगा")।
- अंतिम परीक्षण: उन्होंने कंप्यूटर को अंतिम, पॉलिश की हुई रेसिपी दी और उसे सभी 300 रिव्यूज को ग्रेड करने के लिए कहा।
परिणाम: एक आशाजनक, लेकिन अपूर्ण छात्र
शोधकर्ताओं ने कंप्यूटर के ग्रेड की तुलना मानव विशेषज्ञों की उत्तर कुंजी के साथ की।
- अच्छी खबर: कंप्यूटर "True" रिव्यूज को खोजने में आश्चर्यजनक रूप से अच्छा था। उसने बहुत अधिक यूजेबिलिटी शिकायतों को मिस नहीं किया। यदि किसी इंसान ने कहा, "यह एक यूजेबिलिटी समस्या है," तो कंप्यूटर आमतौर पर उससे सहमत होता था।
- बुरी खबर: कंप्यूटर थोड़ा अधिक उत्साही था। इसने कभी-कभी उन रिव्यूज को भी "यूजेबिलिटी समस्या" के रूप में चिह्नित किया जिन्हें इंसान केवल सामान्य शिकायत या बग मानते थे।
- विश्वसनीयता जांच: जब उन्होंने यह मापा कि कंप्यूटर और इंसान कितनी बार ठीक उसी उत्तर पर सहमत हुए, तो परिणाम मिले-जुले रहे।
- म्यूजिक ऐप के लिए, वे काफी अच्छी तरह सहमत थे।
- ट्रैफिक और ग्रोसरी ऐप्स के लिए, वे अधिक असहमत थे।
- महत्वपूर्ण रूप से, कंप्यूटर की गलतियाँ उन्हीं जगहों पर नहीं हुईं जहाँ इंसान अनिश्चित थे। कंप्यूटर अपनी अनूठी गलतियाँ कर रहा था, जिसका अर्थ है कि वह अभी भी पूरी तरह से मानव विशेषज्ञ की तरह "सोच" नहीं पा रहा है।
निष्कर्ष: एक सहायक, न कि एक प्रतिस्थापन
पेपर यह निष्कर्ष निकालता है कि हालांकि कंप्यूटर पूरी तरह से मानव विशेषज्ञों की जगह लेने के लिए तैयार नहीं है, लेकिन यह एक बहुत उपयोगी उपकरण है।
LLM को एक सुपर-फास्ट इंटर्न की तरह समझें।
- यदि आप इंटर्न से 1,000 रिव्यूज पढ़ने के लिए कहते हैं, तो वह यूजेबिलिटी के बारे में लगभग हर एक शिकायत ढूंढ लेगा।
- वह कुछ ऐसी चीजों को भी चिह्नित कर सकता है जो वास्तव में यूजेबिलिटी के मुद्दे नहीं हैं (गलत अलार्म), लेकिन शोधकर्ताओं का तर्क है कि वास्तविक समस्या को मिस करने की तुलना में कुछ अतिरिक्त रिव्यूज की जांच करना बेहतर है।
- इसे अच्छी तरह से चलाने की कुंजी प्रॉम्प्ट (निर्देश) थी। एक अस्पष्ट निर्देश से खराब परिणाम मिले; एक विस्तृत, सावधानीपूर्वक तैयार किए गए निर्देश से अच्छे परिणाम मिले।
संक्षेप में: अब आपको रिव्यूज पढ़ने के लिए कंप्यूटर को महीनों तक प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस एक स्मार्ट कंप्यूटर को बहुत स्पष्ट निर्देश देने की आवश्यकता है, और यह आपको यह खोजने में बहुत मदद कर सकता है कि आपके यूजर्स वास्तव में क्या चाहते हैं। हालाँकि, आपको विशेष रूप से कठिन मामलों के लिए काम की दोबारा जांच करने के लिए एक इंसान की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।