Code-Mixed Corpora for Indian Social Media: Baselines and Insights for Hinglish Language Identification
यह शोध पत्र टोकन-स्तरीय हिंग्लिश भाषा पहचान के लिए एक हल्का, कैरेक्टर-लेवल TF-IDF और लॉजिस्टिक रिग्रेशन बेसलाइन प्रस्तुत करता है जो COMI-LINGUA डेटासेट पर 95.92% सटीकता प्राप्त करता है, जो बहुभाषी मॉडलों से लगभग 7% बेहतर प्रदर्शन करता है और महत्वपूर्ण त्रुटि विश्लेषण एवं भारत में भविष्य की समावेशी भाषा प्रौद्योगिकियों के लिए एक रोडमैप प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरे वैश्विक टाउन स्क्वायर के रूप में करें। इस चौक में, विभिन्न देशों के लोग आपस में बातें कर रहे हैं, लेकिन उनमें से कई एक अनूठी, हाइब्रिड बोली बोल रहे हैं। भारत में, इस बोली को "हिंग्लिश" कहा जाता है, जो हिंदी और अंग्रेजी का एक जीवंत मिश्रण है जिसे अक्सर रोमन वर्णमाला (वही अक्षर जिनका उपयोग हम अंग्रेजी के लिए करते हैं) का उपयोग करके टाइप किया जाता है। यह मीम्स, व्हाट्सएप ग्रुप और सोशल मीडिया कमेंट्स की भाषा है। हालाँकि, कंप्यूटर को इस मिश्रण को समझना सिखाना उन बिखरे हुए लेगो ब्रिक्स (Lego bricks) के ढेर को छाँटने के लिए एक रोबोट को सिखाने जैसा है, जहाँ कुछ ब्रिक्स पर हिंदी शब्द लिखे हैं, कुछ पर अंग्रेजी, और कई तो बस धुंधले हैं या अलग-अलग लोगों द्वारा अलग तरह से स्पेल किए गए हैं। इस अध्ययन के क्षेत्र को नेचुरल लैंग्वेज प्रोसेसिंग (NLP) कहा जाता है, और एक मिश्रित वाक्य में यह पता लगाने का विशिष्ट कार्य कि कौन सा शब्द किस भाषा का है, उसे लैंग्वेज आइडेंटिफिकेशन (LID) कहा जाता है। यह इसलिए महत्वपूर्ण है क्योंकि यदि कंप्यूटर यह नहीं समझ सकते कि वास्तविक लोग वास्तव में कैसे बात करते हैं, तो वे मददगार उपकरण जैसे अनुवादक या सर्च इंजन नहीं बना सकते जो सभी के लिए काम करें, विशेष रूप से भारत जैसी भाषाई रूप से विविध जगह में।
यह शोध पत्र कंप्यूटर को हिंग्लिश टेक्स्ट में हिंदी और अंग्रेजी शब्दों के बीच अंतर पहचानने के लिए प्रशिक्षित करने की जटिल समस्या पर काम करता है। शोधकर्ताओं ने देखा कि आजकल उपयोग किए जाने वाले शानदार, विशाल AI मॉडल (जैसे mBERT और XLM-R) वास्तव में इस विशिष्ट कार्य में संघर्ष कर रहे हैं। ये बड़े मॉडल, जो मुख्य रूप से साफ, एकल-भाषा वाली किताबों पर प्रशिक्षित हैं, सोशल मीडिया की अव्यवहारिकता से भ्रमित हो जाते हैं, जहाँ स्पेलिंग लगातार बदलती रहती है और शब्द वाक्य के बीच में ही भाषा बदल देते हैं। इसे ठीक करने के लिए, लेखक ने कोई बड़ा, अधिक जटिल राक्षस नहीं बनाया; इसके बजाय, उन्होंने एक सरल, हल्का टूल बनाया। उन्होंने COMI-LINGUA नामक डेटासेट का उपयोग किया, जिसमें हिंग्लिश के 1,00,000 से अधिक विशेषज्ञ-लेबल वाले उदाहरण शामिल हैं, ताकि एक सीधा सिस्टम प्रशिक्षित किया जा सके। यह सिस्टम अक्षरों के छोटे टुकड़ों (कैरेक्टर एन-ग्राम्स) को देखता है और यह अनुमान लगाने के लिए कि कोई शब्द हिंदी है या अंग्रेजी, लॉजिस्टिक रिग्रेशन (Logistic Regression) नामक एक बुनियादी गणितीय तकनीक का उपयोग करता है।
परिणाम आश्चर्यजनक रूप से प्रभावी थे। सरल मॉडल ने वैलिडेशन सेट पर 96.06% की सटीकता और टेस्ट सेट पर 95.92% की सटीकता प्राप्त की, साथ ही 0.9509 का मैक्रो-F1 स्कोर भी रहा। यह उन विशाल, जटिल मल्टीलिंगुअल मॉडलों के प्रदर्शन से लगभग 7% बेहतर है। लेखक का सुझाव है कि इस विशिष्ट कार्य के लिए, "सledgehammer" (भारी हथौड़े) वाले दृष्टिकोण की आवश्यकता नहीं है; एक सटीक, अच्छी तरह से डिज़ाइन किया गया 'स्कैल्पल' (सर्जिकल चाकू) बेहतर काम करता है। हालाँकि, उन्होंने यह भी पाया कि यह सिस्टम पूर्ण नहीं है। एरर एनालिसिस (त्रुटि विश्लेषण) के माध्यम से, उन्होंने तीन मुख्य चीजें खोजीं जो अभी भी कंप्यूटर को उलझा देती हैं: छोटे शब्द जो दोनों भाषाओं में एक जैसे दिखते हैं (जैसे "is" या "me"), एक ही हिंदी शब्द जिसे कई अलग-अलग तरीकों से लिखा गया हो (जैसे "acha," "achha," या "achaa"), और हिंदी वाक्यों में उधार लिए गए अंग्रेजी शब्द (जैसे "party" या "school") जो सिस्टम को भ्रमित कर देते हैं जब आसपास का टेक्स्ट हिंदी होता है। शोध पत्र यह निष्कर्ष निकालता है कि जबकि सरल कैरेक्टर-आधारित मॉडल एक मजबूत, पुनरुत्पादक शुरुआती बिंदु हैं, भविष्य के कार्यों को पूरे वाक्य के संदर्भ को समझने और इन अव्यवस्थित स्पेलिंग विविधताओं को संभालने पर ध्यान केंद्रित करने की आवश्यकता है ताकि हिंग्लिश में महारत हासिल की जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।