Swa-bhasha Resource Hub: Romanized Sinhala to Sinhala Transliteration Systems and Data Resources
यह शोध पत्र 'स्वा-भाषा रिसोर्स हब' (Swa-bhasha Resource Hub) को प्रस्तुत करता है, जो एक सार्वजनिक रूप से सुलभ मंच है, जो 2020 और 2025 के बीच विकसित रोमनयुक्त सिंहली से सिंहली लिप्यंतरण (transliteration) के लिए डेटा और एल्गोरिदम का एक व्यापक संग्रह प्रदान करता है, साथ ही सिंहली प्राकृतिक भाषा प्रसंस्करण (Natural Language Processing) को आगे बढ़ाने के लिए मौजूदा उपकरणों का एक तुलनात्मक विश्लेषण भी प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि सिंहल भाषा एक सुंदर, जटिल बगीचा है। दशकों से, श्रीलंका के लोग अंग्रेजी कीबोर्ड का उपयोग करके इस बगीचे में प्रवेश करने की कोशिश कर रहे हैं। क्योंकि उनके पास सिंहल कीबोर्ड उपलब्ध नहीं था, इसलिए उन्होंने अंग्रेजी अक्षरों का उपयोग करके सिंहल ध्वनियों को टाइप करना शुरू कर दिया। उन्होंने इसे "सिंग्लिश" (रोमनकृत सिंहल) कहा।
सिंग्लिश को एक गुप्त कोड या टाइपिंग की गलतियों के लहजे के रूप में समझें। यह तेज़ और सुविधाजनक है, लेकिन अव्यवस्थित है। "Adaraya" के रूप में टाइप किया गया एक शब्द "प्रेम" (Love) या "सहायता" (Aid) हो सकता है, जो संदर्भ पर निर्भर करता है। यह ऐसा है जैसे यदि आप "bat" टाइप करते हैं और इसका अर्थ एक जानवर, खेल का उपकरण, या एक क्रिया हो सकता है, और कंप्यूटर को पता ही नहीं चलता कि आप किस बारे का अर्थ निकाल रहे हैं जब तक कि वह पूरे वाक्य को न पढ़ ले।
यह शोध पत्र एक रिपोर्ट कार्ड और एक टूलबॉक्स है जो शोधकर्ताओं की एक टीम (स्वा-भाषा टीम) द्वारा बनाया गया है, जिन्होंने इस अव्यवस्थित कोड को समझने और इसे वापस उचित, सुंदर सिंहल में बदलने में मदद करने के लिए एक पुल बनाने में वर्षों बिताए हैं।
यहाँ उन्होंने क्या बनाया है, इसे सरल रूप में समझाया गया है:
1. समस्या: "अनुवाद में खो जाने" का खेल
टीम ने देखा कि जबकि कंप्यूटर अंग्रेजी से फ्रेंच में अनुवाद करने में माहिर हैं, वे "सिंग्लिश" से सिंहल में अनुवाद करने में संघर्ष करते हैं।
- अव्यवस्था: लोग अलग-अलग तरीके से टाइप करते हैं। कुछ स्वर छोड़ देते हैं (जैसे "kalana" के बजाय "klna" लिखना), कुछ अंग्रेजी वर्तनी के नियमों का उपयोग करते हैं, और कुछ एक ही वाक्य में अंग्रेजी और सिंहल शब्दों को मिला देते हैं।
- अस्पष्टता: सबसे बड़ी सिरदर्दी यह है कि एक टाइप किया गया शब्द के कई अर्थ हो सकते हैं। कंप्यूटर को यह पता लगाने के लिए एक जासूस बनना पड़ता है कि कौन सा अर्थ कहानी में फिट बैठता है।
2. टूलबॉक्स: उन्होंने इसे कैसे ठीक किया
टीम ने केवल एक उपकरण नहीं बनाया; उन्होंने एक पूरा वर्कशॉप बनाया, जिसमें हर पीढ़ी के साथ वे अधिक स्मार्ट होते गए।
नियम-पुस्तिका रोबोट (स्वा भाषा 1.0):
- यह कैसे काम करता था: कल्पना कीजिए कि एक रोबोट है जो सख्त निर्देश पुस्तिका का पालन करता है। यदि वह "k" देखता है, तो वह जानता है कि उसे इसके बाद एक स्वर की आवश्यकता है। यह एक "फजी" (fuzzy) खोज का उपयोग करता है (एक स्पेल-चेकर की तरह जो अनुमान लगाता है) ताकि शब्दकोश में निकटतम मिलान खोजा जा सके।
- परिणाम: यह ठीक था, लेकिन जब लोगों ने नियमों को तोड़ा (जैसे स्वर छोड़ दिए), तो इसे कठिनाई हुई।
हाइब्रिड जासूस (स्वा भाषा 2.0 और एन-ग्राम मॉडल):
- यह कैसे काम करता था: उन्होंने नियम-पुस्तिका रोबोट को एक "सांख्यिकीय जासूस" (Statistical Detective) के साथ जोड़ा। यह जासूस लाखों वाक्यों को देखकर पैटर्न सीखता था। इसने सुझाव देने के लिए एक "ट्राइ" (Trie - एक स्मार्ट ट्री संरचना) का उपयोग किया, जो फोन के ऑटो-कम्प्लीट की तरह है लेकिन सिंहल के लिए।
- परिणाम: सही शब्द का अनुमान लगाने में बहुत बेहतर, लेकिन अभी भी बहुत पेचीदा वाक्यों में भ्रमित हो जाता था।
सुपर-रीडर (BERT और ट्रांसफॉर्मर्स):
- यह कैसे काम करता था: यह टीम का "सुपर-रीडर" है। केवल व्यक्तिगत शब्दों को देखने के बजाय, यह एक साथ पूरे वाक्य को पढ़ता है, और एक इंसान की तरह संदर्भ को समझता है। उन्होंने BERT नामक एक शक्तिशाली AI मॉडल का उपयोग किया (जो एक ऐसे मस्तिष्क की तरह है जिसने संपूर्ण सिंहल टेक्स्ट को पढ़ा है)।
- चाल: जब AI एक भ्रमित करने वाले शब्द को देखता, तो वह उस पर एक "मास्क" लगा देता और पूछता, "इससे पहले और इसके बाद के शब्दों के आधार पर, यहाँ कौन सा शब्द सबसे अच्छा फिट बैठता है?"
- परिणाम: यह विजेता था। इसने अस्पष्टता की समस्याओं को किसी भी पिछले तरीके की तुलना में बेहतर ढंग से हल किया, और परीक्षणों में लगभग पूर्ण सटीकता प्राप्त की।
कोड-मिक्सिंग विशेषज्ञ:
- यह कैसे काम करता था: लोग अक्सर एक वाक्य में अंग्रेजी और सिंहल को मिला देते हैं (जैसे, "I went to the kade [दुकान]")। टीम ने एक विशेष मॉडल बनाया जो एक ऐसे अनुवादक की तरह कार्य करता है जो दोनों भाषाओं में धाराप्रवाह बोलता है, और बिना भ्रमित हुए मिश्रण को संभालता है।
3. लाइब्रेरी: उन्होंने जो डेटा एकत्र किया
आप एक बच्चे को किताबों के बिना पढ़ना नहीं सिखा सकते, और आप AI को डेटा के बिना नहीं सिखा सकते। टीम ने महसूस किया कि सिंग्लिश के लिए कोई अच्छे "पाठ्यपुस्तक" नहीं थे, इसलिए उन्होंने अपने स्वयं के पाठ्यपुस्तक लिखे।
- "स्वा-भाषा" लाइब्रेरी: उन्होंने वास्तविक जीवन (जैसे यूट्यूब कमेंट और सोशल मीडिया) से 7 मिलियन से अधिक शब्द और हजारों वाक्य एकत्र किए। यह एक श्रीलंकाई द्वारा लिखे गए हर अव्यवस्थित नोट को इकट्ठा करने जैसा है ताकि कंप्यूटर को सिखाया जा सके कि वास्तविक लोग वास्तव में कैसे टाइप करते हैं।
- "अस्पष्टता" परीक्षण: उन्होंने एक विशेष क्विज़ बनाया जहाँ एक शब्द के दो अर्थ होते हैं। उन्होंने इस पर अपने AI का परीक्षण किया कि क्या यह कहानी के आधार पर सही अर्थ चुन सकता है।
- "कोड-मिक्सड" संग्रह: उन्होंने उन उदाहरणों को एकत्र किया जहाँ लोग अंग्रेजी और सिंहल को मिलाते हैं, जो एक बहुत ही सामान्य आदत है जिसे पहले शोधकर्ताओं द्वारा अनदेखा किया गया था।
4. परिणाम: दौड़ में कौन जीता?
टीम ने अपने उपकरणों का परीक्षण अन्य तरीकों (जैसे गूगल के टूल्स या पुराने नियम-आधारित सिस्टम) के विरुद्ध किया।
- पुराना तरीका: पुराने नियम-आधारित सिस्टम एक कठोर शिक्षक की तरह थे; वे तब विफल हो जाते थे जब छात्र नियमों को तोड़ते थे।
- नया तरीका: नए "सुपर-रीडर" (BERT-आधारित) मॉडल एक बुद्धिमान संरक्षक की तरह थे। वे संदर्भ को समझते थे और लगभग हर बार सही उत्तर देते थे।
- स्कोर: परीक्षणों में, उनके सर्वश्रेष्ठ मॉडल ने 91% (BLEU स्कोर) का स्कोर प्राप्त किया और बहुत कम गलतियाँ कीं, जबकि पुराने मॉडल बहुत अधिक त्रुटियाँ करते थे।
5. आगे क्या है?
टीम वर्तमान में एक प्रेडिक्टिव टेक्स्ट फीचर पर काम कर रही है। एक ऐसे कीबोर्ड की कल्पना करें जो न केवल आपके द्वारा टाइप किए गए शब्दों का अनुवाद करता है, बल्कि यह भी अनुमान लगाता है कि आप आगे क्या टाइप करने वाले हैं, भले ही आप अपनी अव्यवस्थित, व्यक्तिगत शैली में टाइप कर रहे हों। वे एक विशेष लर्निंग तकनीक (मेटा-लर्निंग) का उपयोग कर रहे हैं ताकि कीबोर्ड आपकी विशिष्ट टाइपिंग आदतों को तेज़ी से सीख सके, बिना आपके निजी डेटा को सर्वर पर स्टोर किए।
सारांश
स्वा-भाषा टीम ने श्रीलंकी लोगों के अंग्रेजी कीबोर्ड पर टाइप करने के अव्यवस्थित, अनौपचारिक तरीके और औपचारिक, सुंदर सिंहल लिपि के बीच एक पुल बनाया है। उन्होंने सरल नियम-पुस्तिकाओं से शुरुआत की, सांख्यिकीय जासूसों की ओर बढ़े, और अंततः एक "सुपर-रीडर" AI बनाया जो संदर्भ को समझता है। उन्होंने उन विशाल डेटा लाइब्रेरी भी बनाईं जिनकी आवश्यकता इन AI को सिखाने के लिए थी। उनका काम यह सिद्ध करता है कि सही उपकरणों के साथ, सिंहल जैसी कम-संसाधन वाली भाषा को भी कंप्यूटर द्वारा पूरी तरह से समझा जा सकता है, भले ही लोग जल्दबाजी में टाइप कर रहे हों।
महत्वपूर्ण नोट: यह शोध पत्र पूरी तरह से टेक्स्ट के अनुवाद की तकनीक और इसे प्रशिक्षित करने के लिए उपयोग किए गए डेटा पर केंद्रित है। यह चिकित्सा अनुप्रयोगों, नैदानिक उपयोगों, या शोध उपकरणों और उनके द्वारा जारी किए गए ओपन-सोर्स कोड के अलावा किसी विशिष्ट भविष्य के उत्पादों का दावा नहीं करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।