Automatically Detecting Code-Switching Between Nigerian Pidgin English and English

नाइजीरिया के हलचल भरे, बहुभाषी परिदृश्यों में, भाषा शायद ही कभी एक एकल, स्थिर धारा होती है। इसके बजाय, यह एक गतिशील प्रवाह है जहाँ दो भाषाएँ अक्सर एक ही वाक्य में एक साथ बहती हैं। यह अभ्यास, जिसे कोड-स्विचिंग (code-switching) कहा जाता है, तब होता है जब एक वक्ता मानक अंग्रेजी और नाइजीरियाई पिडिन अंग्रेजी (Nigerian Pidgin English) के बीच सहजता से आवाजाही करता है, जो कि एक जीवंत क्रेओल भाषा है और विभिन्न जातीय समूहों के बीच एक सेतु के रूप में लाखों लोगों द्वारा उपयोग की जाती है। कंप्यूटरों के लिए, जो पाठ को समझने के लिए कठोर नियमों और स्पष्ट श्रेणियों पर निर्भर करते हैं, यह तरलता एक बड़ी पहेली पेश करती है। पारंपरिक उपकरण अक्सर यह बताने में संघर्ष करते हैं कि एक भाषा कहाँ समाप्त होती है और दूसरी कहाँ शुरू होती है, विशेष रूप से जब दूसरी भाषा, पिडिन, में कोई एकल मानकीकृत वर्तनी नहीं होती है और वह विभिन्न क्षेत्रों में व्यापक रूप से भिन्न होती है। इन बदलावों को सटीक रूप से पहचानने का तरीका न होने के कारण, कंप्यूटर उन समृद्ध, मिश्रित-भाषा की बातचीत को प्रभावी ढंग से संसाधित नहीं कर सकते हैं जो लाखों लोगों के दैनिक जीवन को परिभाषित करती है, जिससे मानव संचार का एक विशाल हिस्सा डिजिटल तकनीक के लिए अदृश्य रह जाता है।

इस समस्या को हल करने के लिए, बैंगोर यूनिवर्सिटी के शोधकर्ताओं ने इन मिश्रित-भाषा वाले ग्रंथों के लिए एक नए प्रकार का मानचित्र बनाने का लक्ष्य रखा। उन्होंने एक वास्तविक दुनिया के लेखन का विशाल संग्रह एकत्र करके शुरुआत की, जिसमें तीस अलग-अलग पुस्तकों की कहानियाँ, एक ऑनलाइन फोरम की हजारों टिप्पणियाँ और समाचार लेखों के सैकड़ों लेखों को एक साथ जोड़ा गया। इस विविध मिश्रण ने यह सुनिश्चित किया कि वे लोगों के बोलने और लिखने के पूर्ण विस्तार को पकड़ सकें, समाचार रिपोर्टों की औपचारिक संरचना से लेकर इंटरनेट उपयोगकर्ताओं के अनौपचारिक, तीव्र संवादों तक। टीम ने फिर एक "ग्राउंड ट्रुथ" (ground truth) डेटासेट बनाया, जो एक सावधानीपूर्वक सत्यापित संदर्भ मार्गदर्शिका है जहाँ मानव विशेषज्ञों ने मैन्युअल रूप से प्रत्येक बिंदु को चिह्नित किया जहाँ भाषा अंग्रेजी से पिडिन या वापस अंग्रेजी में बदली थी। यह मानव-सत्यापित मानचित्र वह स्वर्ण मानक (gold standard) था जिसके विरुद्ध सभी कंप्यूटर मॉडल का परीक्षण किया जाना था।

शोधकर्ताओं ने फिर कई अलग-अलग प्रकार के कंप्यूटर प्रोग्रामों को प्रशिक्षित किया ताकि वे इन बदलावों को अपने आप पहचानना सीख सकें। उन्होंने आर्टिफिशियल इंटेलिजेंस के क्षेत्र में सामान्य संदिग्धों का परीक्षण किया, जैसे कि डीप लर्निंग मॉडल जो इस तरह की नकल करने का प्रयास करते हैं जैसे मानव मस्तिष्क शब्दों के अनुक्रमों को संसाधित करता है। उन्होंने पारंपरिक सांख्यिकीय क्लासिफायर (statistical classifiers) का भी परीक्षण किया जो अक्षरों के समूहों में पैटर्न तलाशते हैं। हालाँकि, सबसे आश्चर्यजनक और प्रभावी उपकरण कुछ बहुत अलग निकला: एक संपीड़न-आधारित (compression-based) मॉडल। सरल शब्दों में, इस प्रकार का प्रोग्राम यह सीखकर काम करता है कि एक विशिष्ट भाषा में अक्षर एक-दूसरे का अनुसरण कैसे करते हैं, ठीक वैसे ही जैसे एक व्यक्ति जिसने एक पुस्तक को इतनी बार पढ़ा है कि वह बिना सोचे अगले शब्द की भविष्यवाणी कर सकता है। शोधकर्ताओं ने 'प्रिडिक्शन बाय पार्शियल मैचिंग' (Prediction by Partial Matching) नामक एक विशिष्ट विधि का उपयोग किया, जो कंप्यूटर को चरित्र-दर-चरित्र (character by character) पाठ का विश्लेषण करने की अनुमति देता है, जिससे तत्काल संदर्भ के आधार पर अगला क्या होगा, इसका एक संभाव्यता मानचित्र (probability map) तैयार होता है।

जब टीम ने इन विभिन्न कार्यक्रमों को अपने मानव-सत्यापित मानचित्र के विरुद्ध परखा, तो परिणाम बहुत स्पष्ट थे। डीप लर्निंग मॉडल, जिन्हें अच्छी तरह से काम करने के लिए विशाल डेटा की आवश्यकता होती है, तालमेल बिठाने में संघर्ष करते रहे और उम्मीद से कम सटीकता स्कोर प्राप्त किया। पारंपरिक सांख्यिकीय मॉडलों ने बेहतर प्रदर्शन किया, जिसमें एक विशिष्ट रैंडम फॉरेस्ट क्लासिफायर (random forest classifier) ने 89 प्रतिशत की सटीकता प्राप्त की। फिर भी, संपीड़न-आधारित मॉडल, जिन्हें सीखने के लिए विशाल डेटासेट की आवश्यकता नहीं होती है, सबसे अच्छे पारंपरिक मॉडलों के समान ही प्रदर्शन करते रहे, जिन्होंने 89 प्रतिशत की सटीकता भी हासिल की। जो बात इन संपीड़न मॉडलों को विशेष रूप से प्रभावशाली बनाती थी, वह थी उनकी गति और दक्षता। जबकि अन्य मॉडलों को प्रशिक्षित करने और संसाधित करने में अधिक समय लगा, संपीड़न मॉडल भाषा के पैटर्न को सीख सकते थे और कुछ ही सेकंड में नए पाठ का विश्लेषण कर सकते थे, जिसमें बहुत कम कंप्यूटिंग शक्ति की आवश्यकता थी।

अध्ययन ने भाषाओं के बारे में भी दिलचस्प विवरणों का खुलासा किया। पाठ का विश्लेषण करके, शोधकर्ताओं ने पाया कि नाइजीरियाई पिडिन एक अधिक संकुचित शब्दावली का उपयोग करती है, जो मानक अंग्रेजी की व्यापक, विविध शब्दावली की तुलना में उच्च-आवृत्ति वाले शब्दों के एक छोटे सेट पर बहुत अधिक निर्भर करती है। इसकी संरचनात्मक भिन्नता ने कंप्यूटर मॉडलों को दोनों के बीच अंतर करने में मदद की, क्योंकि पिडिन में अक्षर अनुक्रमों के सांख्यिकीय पैटर्न इतने विशिष्ट थे कि उन्हें बिना किसी विशाल शब्दकोश के भी पहचाना जा सकता था। कन्फ्यूजन मैट्रिसेस (confusion matrices), जो दिखाते हैं कि मॉडलों ने कहाँ गलतियाँ कीं, से पता चला कि संपीड़न मॉडल पिडिन की पहचान करने में विशेष रूप से कुशल थे, जिन्होंने लगभग 93 प्रतिशत पिडिन खंडों को सही ढंग से चिह्नित किया, हालांकि उन्होंने कभी-कभी कुछ अंग्रेजी को पिडिन समझ लिया।

अंततः, यह शोध दर्शाता है कि कठिन भाषाई समस्याओं को हल करने के लिए आपको हमेशा सबसे जटिल, डेटा-भूखे आर्टिफिशियल इंटेलिजेंस की आवश्यकता नहीं होती है। नाइजीरियाई पिडिन जैसी कम-संसाधन वाली भाषाओं के लिए, जिनमें प्रमुख विश्व भाषाओं के लिए उपलब्ध विशाल डिजिटल अभिलेखागार की कमी है, सरल सांख्यिकीय दृष्टिकोण सबसे उन्नत न्यूरल नेटवर्क के समान ही प्रभावी हो सकते हैं। संपीड़न-आधारित मॉडल एक शक्तिशाली, तेज़ और कुशल विकल्प साबित हुए, जो उच्च सटीकता के साथ मिश्रित-भाषा पाठ को विभाजित करने में सक्षम थे। एक नया, मैन्युअल रूप से सत्यापित डेटासेट प्रदान करके और इन हल्के मॉडलों की व्यवहार्यता को सिद्ध करके, शोधकर्ताओं ने भविष्य के उपकरणों के लिए एक द्वार खोल दिया है जो अंततः लाखों लोगों की समृद्ध, कोड-स्विचिंग बातचीत को समझ और संसाधित कर सकते हैं, जिससे विविध और विकसित होती भाषाओं के बोलने वालों के लिए डिजिटल तकनीक अधिक समावेशी बन सके।