Detection of Emotions in Hindi-English Code Mixed Text Data
यह शोध पत्र हिंदी-अंग्रेजी कोड-मिक्स्ड टेक्स्ट का एक नया एनोटेटेड कॉर्पस प्रस्तुत करता है और क्रोध, भय, खुशी और उदासी को वर्गीकृत करने के लिए इमोशन डिटेक्शन में सुधार करने हेतु एक व्यंजन-प्रतिबंधित (consonant-constrained) नॉर्मलाइजेशन पद्धति प्रस्तावित करता है, जो यह प्रदर्शित करता है कि पांच तुलनात्मक बेसलाइन में से एक सब-वर्ड LSTM मॉडल ने उच्चतम सटीकता (76.6%) प्राप्त की है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरे वैश्विक बाज़ार के रूप में करें जहाँ विभिन्न देशों के लोग डिजिटल हवा में अपने विचारों, चुटकुलों और भावनाओं को चिल्लाकर व्यक्त कर रहे हैं। भारत में, इस बातचीत का एक बड़ा हिस्सा "हिंग्लिश" नामक एक अनूठी, हाइब्रिड भाषा में होता है। यह एक भाषाई स्मूदी की तरह है जहाँ हिंदी और अंग्रेजी एक ही वाक्य में आपस में मिल जाती हैं। समस्या यह है कि क्योंकि हर कोई अपने फोन पर लैटिन वर्णमाला (वही अक्षर जिनका हम अंग्रेजी के लिए उपयोग करते हैं) का उपयोग करके इसे टाइप करता है, इसलिए हिंदी शब्दों को लिखने के लिए कोई सख्त नियम नहीं हैं। एक व्यक्ति "love" को pyaar लिख सकता है, दूसरा pyar, और तीसरा pyr। कंप्यूटर के लिए, ये तीन पूरी तरह से अलग शब्द लगते हैं, जिससे सॉफ्टवेयर के लिए यह समझना बहुत कठिन हो जाता है कि लोग वास्तव में क्या कह रहे हैं।
यहीं से "नेचुरल लैंग्वेज प्रोसेसिंग" (NLP) का विज्ञान आता है। NLP को कंप्यूटर को मानव भाषा पढ़ने और समझने के लिए सिखाने के रूप में समझें। हालांकि कंप्यूटर यह समझने में काफी कुशल हो गए हैं कि कोई वाक्य सामान्य रूप से "खुश" है या "दुखी" (सेंटिमेंट एनालिसिस), लेकिन उन्हें क्रोध, भय या उत्साह जैसी विशिष्ट, जटिल भावनाओं का पता लगाने में संघर्ष करना पड़ता है, खासकर जब टेक्स्ट अव्यवस्थित और मिला-जुला हो। इन विशिष्ट भावनाओं को समझना महत्वपूर्ण है क्योंकि इससे कंप्यूटर को यह जानने में मदद मिलती है कि क्या कोई केवल बुरा दिन बिता रहा है या वह वास्तव में खतरे में है, जो ऑनलाइन सुरक्षा और मानसिक स्वास्थ्य निगरानी जैसी चीजों के लिए अत्यंत महत्वपूर्ण है।
यहाँ, जयपुर के LNMIIT के एक शोधकर्ता ने इस अव्यवस्थित, मिश्रित-भाषा वाली पहेली को सुलझाने का निर्णय लिया। वे कंप्यूटर को हिंग्लिश टेक्स्ट में चार विशिष्ट भावनाओं—क्रोध, भय, उदासी और खुशी—को पहचानने के लिए प्रशिक्षित करना चाहते थे। ऐसा करने के लिए, उन्हें सबसे पहले भावनाओं का अपना "शब्दकोश" बनाना पड़ा। उन्होंने ट्विटर और वीडियो कमेंट सेक्शन से 1,589 वाक्य एकत्र किए, जहाँ लोग स्वतंत्र रूप से बातचीत कर रहे थे। हिंदी के दो मूल भाषियों (जो अंग्रेजी में भी कुशल हैं) ने प्रत्येक वाक्य को पढ़ा और भावना को लेबल किया। वे लगभग पूरी तरह से लेबल पर सहमत थे, जिससे एक उच्च-गुणवत्ता वाला ट्रेनिंग सेट तैयार हुआ।
शोधकर्ता को एक कठिन बाधा का सामना करना पड़ा: वर्तनी (स्पेलिंग) की अराजकता। चूंकि लोग हिंदी शब्दों को कई अलग-अलग तरीकों से लिखते हैं, इसलिए कंप्यूटर भ्रमित होता रहता था। इसे ठीक करने के लिए, शोधकर्ता ने एक चतुर "नॉर्मलाइजेशन" (सामान्यीकरण) तकनीक का आविष्कार किया। कल्पना कीजिए कि आपके पास मोजों का एक ढेर है जिसमें कुछ पर "Red," कुछ पर "Redd," और कुछ पर "Rd" लिखा है। यह अनुमान लगाने के बजाय कि कौन सा सही है, कंप्यूटर शब्द के "कंकाल" (व्यंजन) और इस बात को देखता है कि वह शब्द समान संदर्भों में कितनी बार दिखाई देता है। इसके बाद वह सभी अजीब स्पेलिंग को एक साथ समूहित करता है और उन्हें सबसे सामान्य संस्करण से बदल देता है। यह डेटा को साफ कर देता है ताकि कंप्यूटर स्पेलिंग की गलतियों से विचलित न हो।
इसके बाद, उन्होंने यह देखने के लिए पांच अलग-अलग कंप्यूटर "मस्तिष्क" (एल्गोरिदम) का परीक्षण किया कि कौन सा भावना का सबसे अच्छा अनुमान लगा सकता है। उन्होंने सरल सांख्यिकीय विधियों की तुलना जटिल न्यूरल नेटवर्क से की। सबसे बड़ा आश्चर्य? सबसे जटिल मॉडल, जो पूरे शब्दों के बजाय शब्दों के सूक्ष्म निर्माण खंडों (सब-वर्ड्स) को देखता था, दौड़ जीत गया। इसने 76.6% की सटीकता प्राप्त की, जो कि उस 30.8% से एक बड़ी छलांग है जो आपको तब मिलती है जब आप केवल सबसे आम भावना का अनुमान लगाते हैं। यह सुझाव देता है कि शब्दों को छोटे टुकड़ों में तोड़ने से कंप्यूटर को स्पेलिंग के विविध रूपों को बेहतर ढंग से संभालने में मदद मिलती है।
हालाँकि, शोधकर्ता पूरी जीत का दावा करने में सावधान रहे। उन्होंने पाया कि एक सरल, पुराना तरीका जिसे "नैव बेयस" (Naïve Bayes) कहा जाता है (जो मूल रूप से इस बात की गिनती करता है कि कुछ शब्द कितनी बार आते हैं) एक फैंसी न्यूरल नेटवर्क के लगभग बराबर प्रदर्शन करता है। यह सुझाव देता है कि छोटी सोशल मीडिया पोस्ट में, भावनाएं अक्सर एक या दो प्रमुख शब्दों द्वारा व्यक्त की जाती हैं, इसलिए एक साधारण वर्ड-काउंटर भी आश्चर्यजनक रूप से अच्छा काम कर सकता है। पेपर इस निष्कर्ष के साथ समाप्त होता है कि हालांकि सब-वर्ड मॉडल वर्तमान में चैंपियन है, लेकिन उनके डेटासेट (1,589 वाक्य) का छोटा आकार यह निश्चित रूप से कहना कठिन बनाता है कि क्या एक विधि वास्तव में दूसरी से श्रेष्ठ है। उनका सुझाव है कि सबसे बड़ी बाधा एल्गोरिदम नहीं, बल्कि डेटा की कमी है; उदाहरणों के बहुत बड़े संग्रह के साथ, ये कंप्यूटर हमारे डिजिटल दिलों को पढ़ने में और भी अधिक सटीक हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।