Automatic Correction of Writing Anomalies in Hausa Texts

कल्पना कीजिए कि हौसा (Hausa) भाषा पश्चिम अफ्रीका का एक जीवंत, हलचल भरा बाज़ार है, जिसे लगभग 8 करोड़ लोग बोलते हैं। दशकों से, यह बाज़ार मौखिक रूप से फल-फूल रहा है। लेकिन हाल ही में, लोगों ने अपने सामान को डिजिटल बाज़ार (सोशल मीडिया, टेक्स्टिंग और इंटरनेट) में लाना शुरू कर दिया है। समस्या क्या है? इस डिजिटल दौड़ में, "सामान" (टेक्स्ट) अव्यवस्थित हो रहा है।

लोग बहुत तेज़ी से टाइप कर रहे हैं, अक्षरों को मिला रहे हैं, या शब्दों के बीच स्थान (स्पेस) डालना भूल जा रहे हैं। यह वैसा ही है जैसे कोई रेसिपी लिखने की कोशिश कर रहा हो लेकिन गलती से "नमक" की जगह "चीनी" डाल दे या सभी शब्दों को एक साथ जोड़कर एक विशाल, अटूट ब्लॉक बना दे। जबकि एक इंसान आसानी से समझ सकता है कि उनका मतलब क्या था, कंप्यूटर पूरी तरह से भ्रमित हो जाते हैं। यह अव्यवस्था हौसा बोलने वालों के लिए अनुवाद ऐप्स या सर्च इंजन जैसे सहायक उपकरणों को ठीक से काम करने से रोकती है।

यह शोध पत्र इस गंदगी को स्वचालित रूप से साफ करने के लिए एक डिजिटल सफाईकर्मी (digital janitor) बनाने के बारे में है।

समस्या: डिजिटल युग की "टाइपिंग की गलतियाँ" (Typos)

लेखकों ने देखा कि ऑनलाइन हौसा टेक्स्ट विशिष्ट प्रकार की त्रुटियों से भरा हुआ है:

• अक्षरों का अदल-बदल (Character Swaps): हौसा में विशेष अक्षर होते हैं जिनमें "हुक" (जैसे ɓ, ɗ, ƙ, ƴ) होते हैं जो मानक अंग्रेजी अक्षरों जैसे दिखते हैं लेकिन अलग ध्वनि देते हैं। लोग अक्सर इनके स्थान पर साधारण अंग्रेजी संस्करण (b, d, k, y) टाइप करते हैं। यह "cat" लिखने जैसा है जब आपका मतलब "bat" था—एक छोटा सा बदलाव जो अर्थ को पूरी तरह बदल देता है।
• स्पेसिंग की अराजकता (Spacing Chaos): कभी-कभी स्पेस हटा दिए जाते हैं (जिससे "go home" "gohome" जैसा दिखने लगता है), और कभी-कभी वहां स्पेस जोड़ दिए जाते हैं जहाँ उनकी आवश्यकता नहीं होती।

लेखक एक क्लासिक "मुर्गी और अंडे" वाली समस्या की ओर इशारा करते हैं: कंप्यूटर को इन त्रुटियों को ठीक करना सिखाने के लिए, आपको "अव्यवस्थित" वाक्यों के एक विशाल पुस्तकालय की आवश्यकता होती है जिन्हें उनके "साफ" संस्करणों के साथ जोड़ा गया हो। लेकिन हौसा के लिए ऐसा कभी भी एकत्र नहीं किया गया था।

समाधान: "सिंथेटिक नॉइज़" फैक्ट्री

चूंकि वे प्रशिक्षण के लिए पर्याप्त वास्तविक दुनिया के अव्यवस्थित टेक्स्ट नहीं ढूंढ सके, इसलिए लेखकों ने गंदगी का निर्माण करने का निर्णय लिया।

1. साफ पुस्तकालय (The Clean Library): उन्होंने विकिपीडिया और आधिकारिक दस्तावेजों जैसे स्रोतों से 4,00,000 से अधिक साफ, उच्च गुणवत्ता वाले हौसा वाक्य एकत्र किए।
2. नॉइज़ मशीन (The Noise Machine): उन्होंने एक कंप्यूटर प्रोग्राम बनाया जो जानबूझकर इन साफ वाक्यों को "बिगाड़" देता था। यह बेतर ढंग से अक्षरों को बदल देता था, स्पेस हटा देता था, और अक्षरों को दोहरा देता था, जिससे यह नकल की जा सके कि लोग वास्तव में सोशल मीडिया पर गलतियाँ कैसे करते हैं।
3. कैलिब्रेशन (The Calibration): उन्होंने टेक्स्ट को केवल बेतर ढंग से नहीं बिगाड़ा; उन्होंने वास्तविक ट्विटर पोस्ट का अध्ययन किया ताकि यह सुनिश्चित हो सके कि उनकी "नकली" गलतियाँ बिल्कुल वैसी ही दिखें और महसूस हों जैसी "असली" गलतियाँ होती हैं। उन्होंने 4,00,000 जोड़ों का एक विशाल डेटासेट बनाया: अव्यवस्थित वाक्य $\rightarrow$ साफ वाक्य।

प्रशिक्षण: कंप्यूटर को सिखाना

इस नए डेटासेट के साथ, उन्होंने कई अलग-अलग प्रकार के AI मॉडल (सोचिए कि वे परीक्षा देने वाले विभिन्न छात्र हैं) को प्रशिक्षित किया। उन्होंने इन मॉडलों से पूछा: "यहाँ एक अव्यवस्थित वाक्य है; कृपया इसे सही ढंग से फिर से लिखें।"

उन्होंने विभिन्न "छात्रों" का परीक्षण किया, जिनमें शामिल थे:

• M2M100: एक मल्टीलिंगुअल मॉडल जिसे 100 भाषाओं के बीच अनुवाद करने के लिए डिज़ाइन किया गया है।
• AfriTeVA: विशेष रूप से अफ्रीकी भाषाओं के लिए प्रशिक्षित एक मॉडल।
• N-ATLaS: Llama 3 पर आधारित एक बहुत बड़ा, शक्तिशाली मॉडल।

आश्चर्यजनक परिणाम:
आप उम्मीद कर सकते हैं कि सबसे बड़ा, सबसे महंगा मॉडल (N-ATLaS) जीतेगा। और हालांकि इसने बहुत अच्छा प्रदर्शन किया, लेकिन M2M100 मॉडल (जो बहुत छोटा और हल्का है) ने कई मामलों में इसके बराबर, या बेहतर प्रदर्शन किया। यह एक छोटी, फुर्तीली स्पोर्ट्स कार द्वारा एक भारी, ईंधन की खपत करने वाले ट्रक को रेस में हराने जैसा था। यह अच्छी खबर है क्योंकि छोटे मॉडल चलाना सस्ता और तेज़ होता है।

क्या टेक्स्ट को साफ करने से वास्तव में मदद मिलती है?

लेखक केवल टेक्स्ट को साफ करने तक ही नहीं रुके; वे यह देखना चाहते थे कि क्या एक साफ कमरा वास्तव में श्रमिकों (AI टूल्स) को अपना काम बेहतर ढंग से करने में मदद करता है। उन्होंने तीन परिदृश्यों का परीक्षण किया:

1. टेक्स्ट को छाँटना (Genre Detection): कहानियों को प्रकार (जैसे समाचार बनाम साहित्य) के आधार पर छाँटने के लिए कहा जाने पर, AI अव्यवस्थित टेक्स्ट के साथ संघर्ष करता है। एक बार टेक्स्ट साफ होने के बाद, AI का प्रदर्शन अपने मूल उच्च स्तर पर वापस आ गया।
2. अनुवाद (हौसा से अंग्रेजी): यह सबसे नाटकीय था। अव्यवस्थित हौसा का अनुवाद करने पर, अनुवाद की गुणवत्ता काफी गिर जाती है। पहले हौसा टेक्स्ट को साफ करने के बाद, अंग्रेजी अनुवाद बहुत अधिक सटीक हो जाते हैं। यह एक ऐसी रेसिपी का अनुवाद करने जैसा है जो क्रेयॉन की लकीरों में लिखी गई है बनाम एक जो साफ लिखावट में लिखी गई है; साफ संस्करण बहुत बेहतर परिणाम देता है।
3. प्रश्न पूछना (LLMs): AI चैटबॉट्स से हौसा में प्रश्न पूछते समय, अव्यवस्थित टेक्स्ट के कारण बॉट्स भ्रमित हो जाते हैं या गलत उत्तर देते हैं। टेक्स्ट को साफ करने से बॉट्स को प्रश्न समझने में मदद मिली, हालांकि कुछ जटिल कार्य (जैसे गणित) सफाई के बाद भी कठिन बने रहे।

सीमाएँ: सफाईकर्मी पूर्ण नहीं है

लेखक अपनी खामियों के बारे में ईमानदार हैं। उनका "डिजिटल सफाईकर्मी" पूर्ण नहीं है।

• संदर्भ भ्रम (Context Confusion): कभी-कभी AI वर्तनी की त्रुटि को ठीक करता है लेकिन अर्थ बदल देता है। उदाहरण के लिए, यह एक नाम को ठीक कर सकता है लेकिन किसी अन्य भाषा में सामान्य नाम का उपयोग कर सकता है, बजाय इसके कि वह विशिष्ट हौसा संस्करण का उपयोग करे।
• "अपूरणीय" त्रुटियाँ (The "Unfixable" Errors): कुछ मामलों में, शोर इतना गंभीर था कि AI मूल अर्थ का अनुमान नहीं लगा सका, और वाक्य निरर्थक (gibberish) बन गया।

मुख्य निष्कर्ष (The Takeaway)

यह शोध पत्र डिजिटल हौसा भाषा को साफ करने के लिए एक ब्लूप्रिंट प्रदान करता है। एक विशाल, सिंथेटिक डेटासेट बनाकर और एक स्मार्ट, कुशल AI मॉडल को प्रशिक्षित करके, लेखकों ने दिखाया है कि हम लेखन त्रुटियों को स्वचालित रूप से ठीक कर सकते हैं। यह केवल टेक्स्ट को सुंदर नहीं बनाता है; यह एक आधार के रूप में कार्य करता है, जिससे अन्य उपकरण (जैसे अनुवादक और चैटबॉट्स) अंततः लाखों हौसा बोलने वालों के लिए प्रभावी ढंग से काम कर पाते हैं।

उन्होंने अपना "मेसी-टू-क्लीन" (अव्यवस्थित-से-साफ) डेटासेट और अपना कोड सार्वजनिक कर दिया है, ताकि अन्य शोधकर्ता इन उपकरणों का उपयोग न केवल हौसा, बल्कि उन अन्य भाषाओं की मदद के लिए भी कर सकें जो समान डिजिटल विकास संबंधी चुनौतियों का सामना कर रही हैं।