Multilingual Artificial Intelligence for Classifying Ethiopian FinTech User Reviews

इथियोपिया के हलचल भरे डिजिटल बाजारों में, एक शांत क्रांति हो रही है। लाखों लोग मोबाइल फोन का उपयोग करके फिनटेक (FinTech) नामक अनुप्रयोगों के माध्यम से पैसे भेजने, बिलों का भुगतान करने और अपनी बचत का प्रबंधन करने के लिए कर रहे हैं। इन उपकरणों ने उन स्थानों तक बैंकिंग पहुँचा दी है जहाँ पारंपरिक बैंक शाखाएँ कभी नहीं पहुँच सकीं, लेकिन इस तीव्र विकास के साथ फीडबैक की बाढ़ भी आई है। हर दिन, उपयोगकर्ता अपने फोन पर समीक्षाएं लिखते हैं, सफलता की कहानियाँ साझा करते हैं या तकनीकी खामियों की शिकायत करते हैं। ये संदेश हमेशा एक ही औपचारिक भाषा में नहीं लिखे होते हैं। इसके बजाय, ये अंग्रेजी, अमारिक (जो इथियोपिया की सबसे व्यापक रूप से बोली जाने वाली भाषा है), और दोनों के एक अनूठे मिश्रण का एक जीवंत संगम हैं, जहाँ एक वाक्य एक भाषा में शुरू हो सकता है और दूसरी में समाप्त हो सकता है। यह भाषाई रचनात्मकता पाठ को समृद्ध और मानवीय बनाती है, लेकिन यह इसे कंप्यूटर के लिए समझना अविश्वसनीय रूप से कठिन भी बना देती है। वर्षों से, चुनौती मशीनों को इन अव्यवस्थित, बहुभाषी नोट्स को पढ़ने और यह समझने के लिए शिक्षित करने की रही है कि उपयोगकर्ता वास्तव में किस बारे में बात कर रहा है। क्या व्यक्ति ऐप के डिज़ाइन से खुश है? क्या वे भुगतान विफल होने के कारण नाराज हैं? क्या उन्हें लॉग इन करने में मदद चाहिए? इन प्रश्नों का स्पष्ट उत्तर न होने के कारण, बैंक और ऐप डेवलपर्स अनुमान लगाने के लिए मजबूर हैं, और उन विशिष्ट समस्याओं को ठीक करने में असमर्थ हैं जो उनके ग्राहकों को परेशान करती हैं।

शोधकर्ताओं की एक टीम इस पहेली को सुलझाने के लिए एक प्रणाली बनाने के उद्देश्य से आगे बढ़ी जो इन समीक्षाओं को स्वचालित रूप से सेवा की पांच अलग-अलग श्रेणियों में वर्गीकृत कर सके। उन्होंने बीससे अधिक इथियोपियाई वित्तीय अनुप्रयोगों से हजारों वास्तविक उपयोगकर्ता टिप्पणियाँ एकत्र कीं। यह संग्रह विशाल था, जिसकी शुरुआत आठ हजार से अधिक प्रविष्टियों से हुई थी, लेकिन शोधकर्ताओं को सावधान रहना पड़ा। उन्होंने डेटा को साफ किया, डुप्लिकेट, स्पैम और खाली संदेशों को हटाया, जब तक कि उनके पास सात हजार से अधिक समीक्षाओं का एक ठोस सेट नहीं बच गया। ये समीक्षाएं इस बात का सच्चा प्रतिबिंब थीं कि लोग वास्तव में कैसे बोलते हैं: कुछ पूरी तरह से अंग्रेजी में लिखी गई थीं, कुछ अमारिक में, और कई दोनों का एक तरल मिश्रण थीं। शोधकर्ताओं ने फिर कंप्यूटरों के एक समूह को इन ग्रंथों को पढ़ने और उन्हें लेबल करने के लिए प्रशिक्षित किया। श्रेणियां विशिष्ट थीं: सामान्य प्रशंसा या सुझाव, ऐप के डिज़ाइन या उपयोगकर्ता अनुभव के साथ समस्याएं, लेनदेन या भुगतान में विफलताएं, लॉग इन करने या पहचान सत्यापित करने के साथ मुद्दे, और ग्राहक सहायता के बारे में शिकायतें।

यह देखने के लिए कि कौन सा दृष्टिकोण सबसे अच्छा काम करता है, टीम ने तीन अलग-अलग प्रकार की कंप्यूटर बुद्धिमत्ता का परीक्षण किया। सबसे पहले, उन्होंने पुराने, सरल तरीकों को आजमाया जो विशिष्ट शब्दों और वाक्यांशों की तलाश करते हैं। इसके बाद, उन्होंने गहरे न्यूरल नेटवर्क का उपयोग किया, जो ऐसे सिस्टम हैं जिन्हें मानव मस्तिष्क की तरह पैटर्न सीखने के लिए डिज़ाइन किया गया है, लेकिन भाषा के जटिल संदर्भ के बिना। अंत में, उन्होंने उन्नत "ट्रांसफॉर्मर" मॉडल का परीक्षण किया। ये शक्तिशाली सिस्टम हैं जिन्हें दुनिया भर के विशाल पाठ पर प्रशिक्षित किया गया है, जिससे वे शब्दों के पीछे के संदर्भ और अर्थ को समझ सकते हैं, भले ही वे शब्द भाषाओं के बीच मिश्रित हों। शोधकर्ता इन परीक्षणों को चलाने के मामले में बहुत सख्त थे। उन्होंने सुनिश्चित किया कि कंप्यूटर ने सीखने के दौरान कभी भी परीक्षण के उत्तर न देखे हों, जिससे डेटा को याद करने (memorizing) से रोका जा सके। उन्हें एक प्रमुख समस्या का भी सामना करना पड़ा: अधिकांश समीक्षाएं सकारात्मक प्रशंसा थीं, जबकि बहुत कम गंभीर विफलताओं जैसे कि पैसा खोने या लॉगिन त्रुटियों के बारे में थीं। यदि कंप्यूटर केवल बहुमत से सीखता, तो वह दुर्लभ लेकिन महत्वपूर्ण शिकायतों को अनदेखा कर देता। इसे ठीक करने के लिए, उन्होंने डेटा को सावधानीपूर्वक संतुलित किया ताकि कंप्यूटर दुर्लभ समस्याओं पर समान ध्यान दे सके, बिना उस संतुलन को अंतिम परीक्षण में लीक किए।

परिणामों ने एक स्पष्ट विजेता दिखाया। सबसे उन्नत मॉडल, विशेष रूप से वे जो अफ्रीकी भाषाओं को ध्यान में रखकर डिज़ाइन किए गए थे, अन्य सभी से बेहतर प्रदर्शन करते हैं। एक मॉडल, जिसे अफ्रीकी भाषण पैटर्न की बारीकियों को समझने के लिए प्रशिक्षित किया गया था, ने 96.7% सटीकता और 96.0% मैक्रो-F1 के साथ सबसे मजबूत प्रदर्शन हासिल किया। इसके ठीक बाद अन्य शक्तिशाली बहुभाषी मॉडल आए। पुराने, सरल तरीके और मानक न्यूरल नेटवर्क ने अच्छा प्रदर्शन किया, लेकिन वे उन्नत प्रणालियों की सटीकता का मुकाबला नहीं कर सके, विशेष रूप से मिश्रित-भाषा वाली कठिन समीक्षाओं के मामले में। अध्ययन में पाया गया कि जबकि कंप्यूटर शुद्ध अंग्रेजी या शुद्ध अमारिक को पढ़ने में उत्कृष्ट थे, वे अभी भी मिश्रित-भाषा वाले संदेशों के साथ थोड़ा संघर्ष करते थे जहाँ भाषाओं को मिला दिया जाता है। यह एक स्वाभाविक बाधा है, क्योंकि भाषाओं का मिश्रण अद्वितीय पैटर्न बनाता है जिन्हें सीखना कठिन होता है। शोधकर्ताओं ने यह भी पाया कि बहुत छोटी समीक्षाएं, जिनमें अक्सर पर्याप्त संदर्भ की कमी होती है, उन्हें सही ढंग से वर्गीकृत करना कंप्यूटर के लिए सबसे कठिन था।

यह कार्य केवल कंप्यूटर मॉडल को रैंक करने से कहीं अधिक है; यह इथियोपिया के अद्वितीय भाषाई परिदृश्य को संभालने के लिए एक स्पष्ट रोडमैप प्रदान करता है। शोधकर्ताओं ने प्रदर्शित किया कि ये निष्कर्ष संदर्भपूर्ण बहुभाषी प्रतिनिधित्व के मूल्य को दर्शाते हैं और साथ ही यह भी दिखाते हैं कि डेटा असंतुलन, भाषाई भिन्नता, छोटी समीक्षाएं और संसाधन बाधाएं महत्वपूर्ण सीमाएं बनी हुई हैं। केवल उन उपकरणों का उपयोग करने के बजाय जो अंग्रेजी बोलने वालों के लिए बनाए गए हैं और यह उम्मीद करने के बजाय कि वे इथियोपियाई समीक्षाओं पर पूरी तरह से काम करेंगे, अध्ययन सुझाव देता है कि सिस्टम को स्थानीय भाषाओं और जिस तरह से लोग उन्हें मिलाते हैं, उसके लिए ट्यून करने की आवश्यकता है। अध्ययन ने यह भी रेखांकित किया कि जबकि तकनीक इन समीक्षाओं को उच्च सटीकता के साथ वर्गीकृत कर सकती है, यह एक पूर्ण समाधान नहीं है। सिस्टम तब सबसे अच्छा काम करता है जब डेटा का एक अच्छा संतुलन हो और जब समीक्षाएं संदर्भ प्रदान करने के लिए पर्याप्त लंबी हों। इथियोपिया में बैंकों और ऐप डेवलपर्स के लिए, इसका मतलब है कि अब उनके पास हजारों ग्राहक शिकायतों और सुझावों को स्वचालित रूप से छाँटने का एक विश्वसनीय तरीका है, जिससे वे ठीक से पहचान सकते हैं कि किन उपयोगकर्ताओं को भुगतान या लॉगिन में समस्या हो रही है ताकि वे इसे जल्दी से ठीक कर सकें। अध्ययन निष्कर्ष निकालता है कि हालांकि आर्टिफिशियल इंटेलिजेंस ने इन जटिल, बहुभाषी बातचीत को समझने में एक बड़ी छलांग लगाई है, यात्रा अभी समाप्त नहीं हुई है। तकनीक मदद करने के लिए तैयार है, लेकिन इसे वास्तव में दोषरहित बनने के लिए और अधिक डेटा, विशेष रूप से मिश्रित-भाषा वाली समीक्षाओं के लिए, अभी भी आवश्यकता है।