DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing
यह शोध पत्र DATASHI को प्रस्तुत करता है, जो एक नया समानांतर अंग्रेजी-ताशलहियत (Tashlhiyt) कॉर्पस है जिसे अमेज़िग (Amazigh) भाषा प्रसंस्करण में कम-संसाधन चुनौतियों को संबोधित करने के लिए डिज़ाइन किया गया है ताकि ऑर्थोग्राफिक सामान्यीकरण अध्ययनों को सक्षम बनाया जा सके और यह प्रदर्शित किया जा सके कि अत्याधुनिक लार्ज लैंग्वेज मॉडल्स, विशेष रूप से जेमिनी-2.5-प्रो (Gemini-2.5-Pro), फ्यू-शॉट प्रॉम्प्टिंग (few-shot prompting) के माध्यम से इस भाषा की जटिल ध्वन्यात्मक विशेषताओं को प्रभावी ढंग से संभाल सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास कहानियों का एक विशाल पुस्तकालय है जो एक सुंदर, प्राचीन भाषा में लिखा गया है जिसे तशलीहय्त (मोरक्को में बोली जाने वाली एक प्रकार की अमिगाज़/बर्बर भाषा) कहा जाता है। लेकिन समस्या यह है कि हर कोई इसे अलग तरह से लिखता है। कुछ लोग आधिकारिक वर्णमाला का उपयोग करते हैं, कुछ एक अजीब शॉर्टकट वाले लैटिन वर्णमाला का उपयोग करते हैं (जैसे किसी विशिष्ट गले की ध्वनि के लिए "7" संख्या का उपयोग करना), और अन्य सोशल मीडिया पर शब्दों को आपस में मिला देते हैं या उन्हें जैसे चाहें वैसे लिख देते हैं।
यह ऐसा है जैसे आप एक रेसिपी पढ़ने की कोशिश कर रहे हों जहाँ एक व्यक्ति "कप" लिखता है, दूसरा "c" लिखता है, और तीसरा "1 कप मैदा" लिखता है लेकिन "मैदा" को "flor" के रूप में लिख देता है। कंप्यूटर इस कचरे से पूरी तरह भ्रमित हो जाते हैं। वे अनुवाद नहीं कर सकते, खोज नहीं सकते, या भाषा को समझ नहीं सकते क्योंकि "नियम" टूट गए हैं।
यह शोध पत्र DATASHI पेश करता है, जो एक नया प्रोजेक्ट है जिसे इस गड़बड़ी को ठीक करने और कंप्यूटर को ठीक से तशलीहय्त बोलना सिखाने के लिए डिज़ाइन किया गया है।
1. समस्या: वर्तनी का "वाइल्ड वेस्ट" (अराजकता)
लंबे समय से, तशलीहय्त डिजिटल दुनिया के लिए एक "भूला हुआ चचेरा भाई" रहा है। जबकि अंग्रेजी या फ्रेंच जैसी बड़ी भाषाओं के पास सटीक शब्दकोश और स्पेल-चेकर होते हैं, तशलीहयत् एक ऐसे शहर की तरह है जहाँ कोई ट्रैफिक लाइट नहीं है।
- अराजकता: लोग एक ही शब्द को 10 अलग-अलग तरीकों से लिखते हैं।
- अंतराल: कंप्यूटरों को सीखने के लिए एक "मानक" संस्करण की आवश्यकता होती है। इसके बिना, अनुवाद के लिए AI उपकरण या वॉयस असिस्टेंट बस क्रैश हो जाते हैं या बेतुके उत्तर देते हैं।
2. समाधान: "अनुवादक का पुल"
लेखकों ने DATASHI बनाया है, जो अनिवार्य रूप से अंग्रेजी और तशलीहय्त के बीच एक विशाल पुल है।
- संग्रह: उन्होंने 5,000 वाक्य एकत्र किए।
- "असली" पक्ष: उन्होंने आम लोगों (गैर-विशेषज्ञों) से इन वाक्यों को अपनी स्वाभाविक, अव्यवस्थित, "टेक्स्ट-स्पीक" शैली में लिखने के लिए कहा। यह इस बात को पकड़ता है कि लोग वास्तव में कैसे बात करते हैं और टाइप करते हैं।
- "गोल्ड" पक्ष: उन्होंने भाषा विशेषज्ञों से उन्हीं 1,500 वाक्यों को सटीक, मानकीकृत तशलीहय्त में फिर से लिखने के लिए कहा।
- परिणाम: अब, कंप्यूटरों के पास एक ही टेक्स्ट का "पहले" (अव्यवस्थित) और "बाद का" (साफ) संस्करण है। यह एक "फिक्स-इट" गाइड की तरह है जो कंप्यूटर को दिखाता है कि कैसे "ghakudan" को सही "G akud ann" में बदला जाए।
3. परीक्षण: क्या AI सफाई करना सीख सकता है?
शोधकर्ताओं ने केवल पुल ही नहीं बनाया; उन्होंने दुनिया के सबसे स्मार्ट AI रोबोटों (जैसे GPT-5, Gemini, और Claude) का परीक्षण किया यह देखने के लिए कि क्या वे केवल उदाहरणों को देखकर बिखरी हुई लिखावट को साफ करना सीख सकते हैं।
इसे "स्पॉट द डिफरेंस" (अंतर पहचानें) के खेल की तरह समझें:
- चुनौती: AI एक अव्यवस्थित वाक्य देखता है और उसे साफ संस्करण का अनुमान लगाना होता है।
- परिणाम:
- कुछ AI पहेली सुलझाने की कोशिश करने वाले छोटे बच्चों की तरह थे; उन्होंने बहुत सारी गलतियाँ कीं, महत्वपूर्ण अक्षर हटा दिए या यादृच्छिक अक्षर जोड़ दिए।
- विजेता: Gemini-2.5-Pro स्टार स्टूडेंट था। इसने नियमों को सबसे तेज़ी से सीखा और सबसे कम गलतियाँ कीं। यह भाषा के कठिन हिस्सों को संभालने में विशेष रूप से अच्छा था, जैसे कि "जेमिनेशन" (व्यंजनों को दोगुना करना, जैसे tt या ll), जो तशलीहय्त के गुप्त मसालों की तरह हैं जो शब्द का अर्थ बदल देते हैं।
4. यह क्यों मायने रखता है: टेक्स्ट से परे
हमें इस बात से क्यों परवाह है कि क्या एक कंप्यूटर तशलीहय्त की वर्तनी सही ढंग से लिख सकता है?
- वॉयस असिस्टेंट: यदि कंप्यूटर टेक्स्ट को पढ़ नहीं सकता है, तो वह आवाज को भी नहीं समझ सकता। वर्तनी को ठीक करके, यह प्रोजेक्ट इस बात का मार्ग प्रशस्त करता है कि सिरी (Siri) या एलेक्सा (Alexa) अंततः मोरक्को के सुस क्षेत्र में एक दादी की आवाज़ को समझ सकें।
- संरक्षण: यह डिजिटल युग में भाषा को बचाने में मदद करता है, यह सुनिश्चित करता है कि यह इसलिए न खो जाए क्योंकि इसे कंप्यूटर के लिए संभालना "बहुत कठिन" है।
- निष्पक्षता: यह तशलीहयत् बोलने वालों को वे डिजिटल उपकरण देता है जिन्हें अंग्रेजी बोलने वाले स्वाभाविक रूप से प्राप्त करते हैं।
बड़ी तस्वीर
संक्षेप में, DATASHI एक शब्दकोश, एक प्रशिक्षण नियमावली और एक पुल है जो सब कुछ एक साथ है। यह लोगों द्वारा लिखे जाने वाले तशलीहयत् के अराजक, सुंदर, वास्तविक दुनिया के तरीके को लेता है और दुनिया के सबसे स्मार्ट कंप्यूटरों को इसे समझना सिखाता है। यह एक कंप्यूटर के लिए एक छोटा कदम है, लेकिन तशलीहयत् भाषा के लिए एक बड़ी छलांग है, जो एक "लो-रिसोर्स" भाषा को अंततः डिजिटल दुनिया में फलने-फूलने के योग्य बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।