Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model
यह अध्ययन चेक सरकारी ऐप समीक्षाओं को तीन भावना श्रेणियों में सटीक रूप से वर्गीकृत करने के लिए एक मानकीकृत ज़ीरो-शॉट लार्ज लैंग्वेज मॉडल प्रक्रिया को मान्य करता है, जो उच्च प्रदर्शन और स्थिरता प्रदर्शित करता है और साथ ही गैर-अंग्रेजी डिजिटल सार्वजनिक सेवा विश्लेषण में मानव संदर्भ लेबल और सटीक दस्तावेज़ीकरण की महत्वपूर्ण आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हर दिन, लाखों लोग अपने स्मार्टफोन की छोटी स्क्रीन के माध्यम से अपने सरकारों के साथ संवाद करते हैं। वे प्रिस्क्रिप्शन (नुस्खे) के भुगतान के लिए, पहचान संबंधी दस्तावेज़ों को नवीनीकृत करने के लिए, या सार्वजनिक रिकॉर्ड तक पहुँचने के लिए ऐप्स का उपयोग करते हैं। हालाँकि ये उपकरण जीवन को आसान बनाने के लिए बनाए गए हैं, लेकिन वे उपयोगकर्ता समीक्षाओं के रूप में फीडबैक की एक निरंतर धारा भी उत्पन्न करते हैं। ये लघु, अनौपचारिक पाठ डिजिटल सार्वजनिक सेवाओं के बारे में नागरिक कैसा महसूस करते हैं, यह समझने के लिए एक खजाना हैं, लेकिन वे शोधकर्ताओं के लिए एक चुनौती भी हैं। एक साधारण स्टार रेटिंग के विपरीत, जो एक संख्या प्रदान करती है, एक समीक्षा में ऐसे शब्द होते हैं जिनमें सूक्ष्मता, व्यंग्य और जटिल भावनाएं होती हैं। उन देशों में जहाँ प्राथमिक भाषा अंग्रेजी नहीं है, इस फीडबैक का विश्लेषण करना और भी कठिन हो जाता है क्योंकि आमतौर पर इस कार्य के लिए उपयोग किए जाने वाले परिष्कृत कंप्यूटर प्रोग्राम अक्सर अंग्रेजी डेटा पर प्रशिक्षित होते हैं और अन्य भाषाओं के विशिष्ट व्याकरण और शब्दावली के साथ संघर्ष करते हैं।
लंबे समय तक, इस समस्या का समाधान या तो समीक्षाओं को अंग्रेजी में अनुवाद करना रहा है या प्रत्येक विशिष्ट भाषा के लिए कस्टम सॉफ्टवेयर बनाना, एक ऐसी प्रक्रिया जिसमें लेबल किए गए डेटा और तकनीकी विशेषज्ञता की विशाल मात्रा की आवश्यकता होती है। हालाँकि, एक नए प्रकार के आर्टिफिशियल इंटेलिजेंस का उदय हुआ है, जिसे 'लार्ज लैंग्वेज मॉडल' (विशाल भाषा मॉडल) के रूप में जाना जाता है। ये मॉडल इंटरनेट से प्राप्त व्यापक टेक्स्ट पर प्रशिक्षित होते हैं और बिना किसी नए काम के लिए पुन: प्रशिक्षित हुए संदर्भ और निर्देश को समझ सकते हैं। शोधकर्ताओं के सामने प्रश्न यह है कि क्या ये शक्तिशाली उपकरण बिना किसी विशेष ट्यूनिंग के, सरकारी ऐप्स की संक्षिप्त, गैर-अंग्रेजी समीक्षाओं में भावनाओं को सटीक रूप से पढ़ने और वर्गीकृत करने में सक्षम हैं, और क्या वे इतना सुसंगत रूप से ऐसा कर सकते हैं कि सार्वजनिक प्रशासकों द्वारा उन पर भरोसा किया जा सके।
जान इवेंजेलिस्टा पुरकिने यूनिवर्सिटी, उस्ती नाद लाबेम के शोधकर्ताओं की एक टीम ने चेक भाषा को अपना परीक्षण मामला (टेस्ट केस) बनाकर इस प्रश्न का उत्तर देने का प्रयास किया। उन्होंने चेक गणराज्य में नागरिकों द्वारा उपयोग किए जाने वाले छह विभिन्न सरकारी मोबाइल अनुप्रयोगों से दस हजार से अधिक समीक्षाओं का एक विशाल संग्रह एकत्र किया। ये ऐप्स इलेक्ट्रॉनिक प्रिस्क्रिप्शन से लेकर डिजिटल पहचान पत्रों तक, सेवाओं की एक विस्तृत श्रृंखला को कवर करते हैं। शोधकर्ता यह देखना चाहते थे कि क्या लार्ज लैंग्वेज मॉडल का उपयोग करने वाली एक मानकीकृत प्रक्रिया इन समीक्षाओं को तीन सरल श्रेणियों में विभाजित कर सकती है: सकारात्मक, नकारात्मक, या तटस्थ। परिणामों को विश्वसनीय बनाने के लिए, उन्होंने केवल कंप्यूटर के आउटपुट पर भरोसा नहीं किया। इसके बजाय, उन्होंने पाँच सौ समीक्षाओं के एक सावधानीपूर्वक चयनित नमूने को पढ़कर और उनकी भावना पर सहमति बनाकर एक "ग्राउंड ट्रुथ" (वास्तविक सत्य) तैयार किया। यह मानव-सत्यापित नमूना वह बेंचमार्क बना जिसके विरुद्ध कंप्यूटर के प्रदर्शन को मापा गया।
अध्ययन ने लार्ज लैंग्वेज मॉडल की तुलना कई अन्य विधियों से की, जिसमें सरल शब्द-गणना उपकरण और टेक्स्ट विश्लेषण के लिए आमतौर पर उपयोग किए जाने वाले पुराने प्रकार के एआई शामिल थे। शब्द-गणना उपकरण, जो सकारात्मक और नकारात्मक शब्दों के शब्दकोशों पर निर्भर करते हैं, खराब प्रदर्शन करते रहे। वे अक्सर वाक्य के संदर्भ को समझने में विफल रहे, यह पहचानने में चूक गए कि कैसे एक शब्द जैसे "लेकिन" (but) समीक्षा के अर्थ को पूरी तरह से बदल सकता है। पुराने एआई मॉडल, हालांकि डिक्शनरी की तुलना में बेहतर थे, फिर भी चेक सरकारी डेटा पर विशिष्ट प्रशिक्षण के बिना उच्च सटीकता प्राप्त करने के लिए संघर्ष करते रहे। इसके विपरीत, लार्ज लैंग्वेज मॉडल ने, जब उसे टेक्स्ट को वर्गीकृत करने के लिए स्पष्ट निर्देश दिए गए, चेक भाषा की बारीकियों को समझने की एक उल्लेखनीय क्षमता प्रदर्शित की। इसने परीक्षण के अधिकांश मामलों में भावना को सही ढंग से पहचाना, और मानव विशेषज्ञों के निर्णयों के साथ उच्च स्तर की सहमति प्रदर्शित की।
शोध के सबसे महत्वपूर्ण निष्कर्षों में से एक परिणामों की स्थिरता थी। क्योंकि लार्ज लैंग्वेज मॉडल जटिल प्रणालियाँ हैं, इसलिए यह चिंता थी कि एक ही विश्लेषण को दो बार चलाने से अलग-अलग उत्तर मिल सकते हैं। शोधकर्ताओं ने समान परिस्थितियों में वर्गीकरण प्रक्रिया को पांच अलग-अलग बार चलाकर इसका परीक्षण किया। उन्होंने पाया कि मॉडल का नया संस्करण अविश्वसनीय रूप से सुसंगत था, जो हर बार लगभग समान परिणाम दे रहा था। यह निरंतरता वास्तविक दुनिया के उपयोग के लिए महत्वपूर्ण है, क्योंकि इसका अर्थ है कि उपकरण का भरोसा किया जा सकता है कि वह एक ही समस्या के लिए समान उत्तर देगा, चाहे उसका उपयोग कभी भी किया जाए। हालाँकि, मॉडल के पुराने संस्करण ने रन के बीच बहुत अधिक भिन्नता दिखाई, जो यह सुझाव देता है कि सॉफ्टवेयर का विशिष्ट संस्करण बहुत मायने रखता है।
जब शोधकर्ताओं ने पूरे दस हजार समीक्षाओं के संग्रह पर सबसे स्थिर और सटीक मॉडल लागू किया, तो नागरिक भावना की एक स्पष्ट तस्वीर उभर कर आई। विश्लेषण से पता चला कि नकारात्मक फीडबैक सबसे आम था, जिसमें लगभग दो-तिहाई समीक्षाएं असंतोष व्यक्त करती थीं। सकारात्मक समीक्षाएं कुल का लगभग एक चौथाई थीं, जबकि वास्तव में तटस्थ टिप्पणियाँ सबसे दुर्लभ थीं, जो आठ प्रतिशत से भी कम थीं। दिलचस्प बात यह है कि समीक्षाओं का टेक्स्ट हमेशा उपयोगकर्ताओं द्वारा ऐप्स को दी गई स्टार रेटिंग से पूरी तरह मेल नहीं खाता था। जबकि एक-स्टार रेटिंग लगभग हमेशा नकारात्मक टेक्स्ट के अनुरूप थी, और पांच-स्टार रेटिंग आमतौर पर सकारात्मक टेक्स्ट से मेल खाती थी, मध्य भाग अव्यवस्थित था। कई तीन-स्टार समीक्षाओं में नकारात्मक टेक्स्ट था, और कुछ पांच-स्टार समीक्षाओं में शिकायतें भी शामिल थीं, जिससे पता चलता है कि उपयोगकर्ता अपनी भावनाओं को उन तरीकों से मिलाते हैं जिन्हें एक साधारण स्टार रेटिंग नहीं पकड़ सकती।
अध्ययन ने यह भी रेखांकित किया कि तकनीक कहाँ चुनौतियों का सामना करती है। कंप्यूटर के लिए सही श्रेणी में आना सबसे कठिन था—"तटस्थ" भावना। इस श्रेणी में तथ्यात्मक विवरण, प्रश्न, या मिश्रित भावनाएं शामिल हैं जहाँ कोई प्रबल भावना मौजूद नहीं होती है। मॉडल कभी-कभी एक तटस्थ टिप्पणी और थोड़ी नकारात्मक या सकारात्मक टिप्पणी के बीच अंतर करने में संघर्ष करता था। हालाँकि, इस कठिनाई के बावजूद, मॉडल ने उन सभी उपलब्ध विधियों को पछाड़ दिया जिनमें कस्टम प्रशिक्षण की आवश्यकता नहीं थी। शोधकर्ताओं ने निष्कर्ष निकाला कि एक लार्ज लैंग्वेज मॉडल का उपयोग करने वाली मानकीकृत प्रक्रिया प्रभावी रूप से संक्षिप्त, गैर-अंग्रेजी नागरिक फीडबैक का विश्लेषण कर सकती है, बशर्ते कि प्रक्रिया को सावधानीपूर्वक प्रलेखित और मानव निर्णय के विरुद्ध सत्यापित किया जाए।
यह कार्य यह सुझाव नहीं देता है कि तकनीक पूर्ण है या यह पूरी तरह से मानवीय अंतर्द зрения का स्थान ले सकती है। शोधकर्ताओं ने इस बात पर जोर दिया कि मॉडल का प्रदर्शन उसे दिए गए विशिष्ट निर्देशों और सत्यापन प्रक्रिया की गुणवत्ता पर निर्भर करता है। उन्होंने यह भी नोट किया कि परिणाम इस विशेष सेट के सरकारी ऐप्स और चेक भाषा के लिए विशिष्ट हैं, और विभिन्न अनुप्रयोग या भाषाएँ अलग परिणाम दे सकती हैं। फिर भी, अध्ययन इस बात का पुख्ता प्रमाण प्रदान करता है कि सार्वजनिक प्रशासक अब इन उपकरणों का उपयोग करके अपने नागरिकों को बड़े पैमाने पर सुन सकते हैं, यहाँ तक कि उन भाषाओं में भी जहाँ विशेष सॉफ्टवेयर पहले उपलब्ध नहीं था। हजारों असंरचित टिप्पणियों को स्पष्ट, वर्गीकृत डेटा में बदलकर, ये उपकरण लोगों के दैनिक अनुभवों को समझने का एक नया तरीका प्रदान करते हैं, जिससे सरकारों को उन उपकरणों को बेहतर बनाने में मदद मिलती है जो उनकी सेवा करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।