A Multi-Model Approach to English-Bangla Sentiment Classification of Government Mobile Banking App Reviews
यह अध्ययन एक हाइब्रिड लेबलिंग दृष्टिकोण और कई मॉडलों का उपयोग करके चार बांग्लादेशी सरकारी मोबाइल बैंकिंग ऐप्स की 5,652 अंग्रेजी और बांग्ला समीक्षाओं का विश्लेषण करता है, जो यह प्रकट करता है कि पारंपरिक मशीन लर्निंग एल्गोरिदम सेंटीमेंट वर्गीकरण में ट्रांसफॉर्मर-आधारित मॉडलों से बेहतर रहे, साथ ही लेनदेन की गति और इंटरफ़ेस डिज़ाइन को प्राथमिक उपयोगकर्ता समस्याओं के रूप में पहचाना और अंग्रेजी और बांग्ला प्रसंस्करण के बीच एक महत्वपूर्ण प्रदर्शन अंतर को उजागर किया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि बांग्लादेश के चार सरकारी बैंकों (सोनली, अग्रनी, जनता और रूपाली) ने अपने मोबाइल ऐप्स बनाए हैं ताकि लोग अपने पैसे का प्रबंधन कर सकें। ये ऐप्स डिजिटल शाखाओं की तरह हैं, लेकिन इसमें आपको चलकर जाने के बजाय बस स्क्रीन पर टैप करना होता है।
यह शोध पत्र अनिवार्य रूप से इन चार ऐप्स के लिए एक विशाल "रिपोर्ट कार्ड" है, जिसे गूगल प्ले स्टोर पर छोड़े गए हजारों उपयोगकर्ता अनुभवों (रिव्यू) का विश्लेषण करके लिखा गया है। शोधकर्ता यह जानना चाहते थे: क्या लोग खुश हैं? वे किस बात की शिकायत कर रहे हैं? और क्या कंप्यूटर उनकी शिकायतों को अंग्रेजी और बांग्ला दोनों में समझ सकते हैं?
यहाँ उनके निष्कर्षों की कहानी दी गया है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. जासूसी का काम: बिखरे हुए डेटा की सफाई
शोधकर्ताओं ने 11,000 से अधिक समीक्षाओं के साथ शुरुआत की। यह डेटा का एक बिखरा हुआ ढेर था—कुछ डुप्लिकेट थे, कुछ अंग्रेजी या बांग्ला के अलावा अन्य भाषाओं में थे, और कुछ केवल निरर्थक शब्द थे।
- उपमा: कल्पना कीजिए कि आप मिश्रित कंचों (मार्बल्स) के एक बड़े बैग को छाँटने की कोशिश कर रहे हैं। उन्हें टूटे हुए और गलत रंगों वाले कंचों को बाहर फेंकना पड़ा जब तक कि उनके पास 5,652 समीक्षाओं (ज्यादातर अंग्रेजी, कुछ बांग्ला) का एक साफ बैग नहीं बच गया।
2. लेबलिंग की समस्या: स्टार्स बनाम शब्द
आमतौर पर, जब आप किसी ऐप को रेटिंग देते हैं, तो 1 या 2 स्टार का मतलब होता है "मुझे यह पसंद नहीं है," और 4 या 5 का मतलब होता है "मुझे यह बहुत पसंद है।" लेकिन कभी-कभी, लोग एक अच्छा रिव्यू लिखते हैं लेकिन किसी बग (तकनीकी खराबी) के कारण 1 स्टार दे देते हैं, या इसके विपरीत भी होता है।
- समाधान: शोधकर्ताओं ने एक "हाइब्रिड" दृष्टिकोण अपनाया। उन्होंने स्टार रेटिंग को पहली संभावना माना, लेकिन फिर उन्होंने एक स्मार्ट कंप्यूटर प्रोग्राम (एक AI) का उपयोग किया जो वास्तविक शब्दों को पढ़ता है। यदि स्टार और शब्द आपस में मेल नहीं खाते थे, तो उन्होंने भ्रम से बचने के लिए उस समीक्षा को हटा दिया।
- परिणाम: उनके पास समीक्षाओं का एक छोटा, बहुत विश्वसनीय सेट बचा जहाँ स्टार और शब्द एक-दूसरे से सहमत थे।
3. दौड़: पुराना स्कूल बनाम नया स्कूल AI
शोधकर्ताओं ने यह देखने के लिए दो प्रकार के कंप्यूटर मॉडलों के बीच मुकाबला कराया कि कौन सा मॉडल यह बेहतर अनुमान लगा सकता है कि कोई समीक्षा सकारात्मक थी या नकारात्मक:
- "पुराना स्कूल" टीम: ये पारंपरिक, सरल गणितीय मॉडल हैं (जैसे रैंडम फॉरेस्ट और SVM)। इन्हें अनुभवी, बिना किसी तामझाम वाले अकाउंटेंट की तरह समझें जिन्होंने सब कुछ देखा है।
- "नया स्कूल" टीम: ये विशाल, जटिल AI मॉडल हैं (जैसे XLM-RoBERTa)। इन्हें प्रतिभाशाली पीएचडी छात्रों की तरह समझें जिन्होंने पूरा इंटरनेट पढ़ लिया है लेकिन शायद वे चीजों को बहुत अधिक गहराई से सोचने लगते हैं।
चौंकाने वाला तथ्य: पुराने स्कूल के अकाउंटेंट जीत गए। वे "प्रतिभाशाली पीएचडी छात्रों" की तुलना में थोड़े अधिक सटीक और तेज़ थे। शोधकर्ताओं ने महसूस किया कि इस विशिष्ट कार्य (बैंकिंग समीक्षाओं) के लिए, सरल उपकरण वास्तव में बेहतर थे क्योंकि "प्रतिभाशाली" मॉडलों को विशिष्ट बोलचाल और बैंकिंग शब्दों को सीखने के लिए अधिक डेटा की आवश्यकता थी।
4. "एस्पेक्ट" जासूस: लोग वास्तव में किस बात से नाराज हैं?
एक अलग, अत्यधिक विशिष्ट AI (DeBERTa) का उपयोग करते हुए, उन्होंने केवल यह नहीं पूछा कि "क्या यह खुश है या दुखी?" बल्कि उन्होंने पूछा, "विशेष रूप से क्या उन्हें दुखी कर रहा है?"
उन्होंने छह श्रेणियों को देखा: गति (Speed), सुरक्षा (Security), डिज़ाइन (Design), ग्राहक सेवा (Customer Service), फीचर्स (Features), और लेनदेन (Transactions)।
- फैसला: सबसे बड़ी शिकायतें गति (ऐप धीमा है) और डिज़ाइन (उपयोग करने में भ्रमित करने वाला है) के बारे में थीं।
- सबसे खराब प्रदर्शन: एक ऐप, eJanata, स्पष्ट रूप से खराब प्रदर्शन करने वाला था। इसकी रेटिंग सबसे खराब थी, गति सबसे धीमी थी, और इसके डिज़ाइन के बारे में सबसे अधिक शिकायतें थीं। यह उस छात्र की तरह था जो हर विषय में फेल हो गया।
- विजेता: Rupali e-Bank सबसे अधिक पसंद किया गया, हालांकि उनमें से कोई भी पूर्ण नहीं था।
5. भाषा का अंतर: "अंग्रेजी बनाम बांग्ला" असमानता
यह सबसे महत्वपूर्ण निष्कर्ष है। शोधकर्ताओं ने परीक्षण किया कि AI अंग्रेजी बनाम बांग्ला में समीक्षाओं को कितनी अच्छी तरह समझता है।
- परिणाम: AI बांग्ला की तुलना में अंग्रेजी को समझने में 16% बेहतर था।
- रूपक: एक ऐसे अनुवादक की कल्पना करें जो मूल रूप से अंग्रेजी बोलने वाला है लेकिन उसने केवल एक बुनियादी बांग्ला क्लास ली है। यदि आप उसे एक जटिल कानूनी दस्तावेज़ अनुवाद करने के लिए कहते हैं, तो वह अंग्रेजी वाले हिस्से को सही कर सकता है लेकिन बांग्ला के सूक्ष्म अर्थों (nuance) को मिस कर सकता है।
- यह क्यों मायने रखता है: बांग्लादेश के कई ग्रामीण उपयोगकर्ता केवल बांग्ला बोलते हैं। यदि बैंक इस AI का उपयोग शिकायतों को स्वचालित रूप से छाँटने के लिए करता है, तो बांग्ला बोलने वालों की शिकायतें अनदेखी या गलत समझी जा सकती हैं क्योंकि कंप्यूटर उन्हें उतना नहीं समझ पाता जितना वह अंग्रेजी को समझता है। यह निष्पक्षता का मुद्दा है।
6. समय यात्रा: समय के साथ भावना कैसे बदली
2021 से 2025 तक की समीक्षाओं को देखते हुए, उन्होंने एक पैटर्न देखा:
- "अपडेट" का अभिशाप: हर बार जब बैंकों ने ऐप का नया संस्करण जारी किया, तो शिकायतों में उछाल आया। यह एक रेस्तरां द्वारा अपना मेनू बदलने जैसा है; लोग तब तक भ्रमित और क्रोधित रहते हैं जब तक कि वे इसके आदी नहीं हो जाते।
- रुझान: वर्षों के दौरान, ऐप्स थोड़े खराब होते गए, विशेष रूप से eJanata ऐप के लिए नकारात्मक समीक्षाएं बढ़ती गईं।
अंतिम सिफारिशें (द "टू-डू लिस्ट")
इस रिपोर्ट के आधार पर, लेखक बैंकों को तीन चीजें सुझाते हैं:
- बुनियादी चीजों को ठीक करें: ऐसे ऐप्स जारी करना बंद करें जो धीमे या उपयोग करने में कठिन हों। लॉन्च करने से पहले उनका पूरी तरह से परीक्षण करें।
- प्रबंधन पर भरोसा: जब आप ऐप को अपडेट करते हैं, तो इसे धीरे-धीरे करें (जैसे एक छोटे समूह के लिए "बीटा टेस्ट") ताकि आप सभी को एक साथ नाराज न करें। साथ ही, सुरक्षा के बारे में पारदर्शी रहें ताकि लोग आप पर भरोसा कर सकें।
- भाषा का सम्मान करें: बैंकों को विशेष रूप से बांग्ला भाषा के लिए बेहतर AI उपकरण बनाने की आवश्यकता है। यदि वे अपने ग्रामीण ग्राहकों को निष्पक्ष रूप से सेवा देना चाहते हैं, तो वे उन उपकरणों पर भरोसा नहीं कर सकते जो केवल अंग्रेजी को अच्छी तरह समझते हैं।
संक्षेप में: सरकारी बैंकिंग ऐप्स गति और डिज़ाइन के मामले में संघर्ष कर रहे हैं, एक ऐप विशेष रूप से खराब प्रदर्शन कर रहा है, और ग्राहकों को सुनने वाली तकनीक अभी तक बांग्ला बोलने वाले बहुमत के लिए निष्पक्ष नहीं है। बैंकों को अपने उपयोगकर्ताओं की बात सुननी होगी, बग्स को ठीक करना होगा, और अपनी स्थानीय भाषा को समझने के लिए बेहतर उपकरण बनाने होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।