LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages
यह शोध पत्र LEVOS का प्रस्ताव करता है, जो तकनीकी शब्दों के कम-संसाधन वाले भारतीय भाषाओं में अनुवाद को बेहतर बनाने के लिए संस्कृत-आधारित वर्ण-स्तर के विभाजन (character-level segmentation) और एक ट्रांसफॉर्मर मॉडल का लाभ उठाता है, जिससे महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है और शैक्षिक सुलभता बढ़ती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दूरदराज के गाँव के बच्चे को "प्रकाश संश्लेषण" (photosynthesis) या "क्वांटम मैकेनिक्स" (quantum mechanics) जैसी जटिल वैज्ञानिक अवधारणाओं को समझने में मदद करने की कोशिश कर रहे हैं। समस्या यह है कि उपलब्ध एकमात्र पाठ्यपुस्तकें अंग्रेजी में हैं, जो वह भाषा है जिसे बच्चा नहीं बोलता। आपको इन शब्दों का उनकी स्थानीय भाषा (जैसे मराठी, कन्नड़ या ओडिया) में अनुवाद करना होगा।
लेकिन यहाँ एक पेच है: ये स्थानीय भाषाएँ "लो-रिसोर्स" (कम संसाधन वाली) हैं, जिसका अर्थ है कि उनके लिए डिजिटल शब्दकोश या कंप्यूटर बहुत कम उपलब्ध हैं। यदि आप बस एक मानक AI से "photosynthesis" का अनुवाद करने के लिए कहते हैं, तो वह एक ऐसा शब्द चुन सकता है जो सुनने में तो सही लगे लेकिन उसका अर्थ बिल्कुल अलग हो, या वह हार मानकर अंग्रेजी शब्द को वैसा ही छोड़ सकता है।
यह शोध पत्र, LEVOS, इस समस्या का एक चतुर समाधान प्रस्तावित करता है, जो एक "भाषाई टाइम मशीन" का उपयोग करता है: संस्कृत।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, जिसे सरल चरणों में विभाजित किया गया है:
1. समस्या: "अनुवाद में खो जाने" का खेल
तकनीकी शब्दों (जैसे "revaluation" या "injection") को जटिल लेगो (Lego) संरचनाओं की तरह समझें। अंग्रेजी में, इन्हें विशिष्ट ब्लॉकों से बनाया जाता है। भारतीय भाषाओं में भी, इन्हें ब्लॉक्स से बनाया जाता है, लेकिन उन्हें कैसे जोड़ा जाए, इसके निर्देश अक्सर गायब होते हैं क्योंकि कंप्यूटर को सिखाने के लिए पर्याप्त डेटा नहीं होता।
जब आप इन शब्दों का अंग्रेजी से सीधे स्थानीय भाषा में अनुवाद करने की कोशिश करते हैं, तो कंप्यूटर भ्रमित हो जाता है। यह एक ऐसी भाषा में लिखे ब्लूप्रिंट का उपयोग करके घर बनाने की कोशिश करने जैसा है जिसे आप मुश्किल से समझते हैं।
2. गुप्त सामग्री: "दादा-दादी" के रूप में संस्कृत
लेखकों ने महसूस किया कि कई भारतीय भाषाएँ (जैसे हिंदी, मराठी और तमिल) दूर की बहनों या चचेरी बहनों की तरह हैं। वे सभी एक सामान्य पूर्वज साझा करती हैं: संस्कृत।
- उपमा: कल्पना कीजिए कि अंग्रेजी एक आधुनिक स्मार्टफोन है। स्थानीय भारतीय भाषाएँ पुराने, मजबूत फोन हैं। संस्कृत वह मूल ब्लूप्रिंट है जिस पर स्मार्टफोन और पुराने फोन दोनों आधारित थे।
- भले ही समय के साथ स्थानीय भाषाएँ बदल गई हैं, फिर भी वे संस्कृत के साथ शब्दावली और निर्माण खंडों (building blocks) का एक बड़ा हिस्सा साझा करती हैं।
टीम का विचार सरल था: अंग्रेजी से स्थानीय भाषा में सीधे अनुवाद न करें। इसके बजाय, संस्कृत को एक पुल के रूप में उपयोग करें।
3. पहला चरण: "शब्द विभाजक" (CharSS)
संस्कृत अपने "संधि" नियमों के लिए प्रसिद्ध है। यह एक जादुई गोंद की तरह है। जब दो संस्कृत शब्दों को एक साथ रखा जाता है, तो वे अक्सर एक लंबे, अटूट शब्द में मिल जाते हैं।
- उदाहरण: "नर" (man) + "इंद्र" (king) मिलकर "नरेन्द्र" बन जाता है।
संस्कृत को एक पुल के रूप में उपयोग करने के लिए, कंप्यूटर को पहले इन शब्दों को अलग करना (un-glue) आना चाहिए। लेखकों ने एक विशेष AI टूल बनाया जिसे CharSS (Character-level Sanskrit Segmentation) कहा जाता है।
- रूपक: CharSS को एक मास्टर शेफ के रूप में सोचें जो ब्रेड के एक विशाल, जुड़े हुए लोफ (fused loaf) को लेकर उसे वापस उसके मूल, व्यक्तिगत अवयवों (sub-words) में पूरी तरह से काट सकता है।
- उन्होंने इस AI को ByT5 नामक एक शक्तिशाली मॉडल का उपयोग करके प्रशिक्षित किया, जो टेक्स्ट को अक्षर-दर-अक्षर (या बाइट-दर-बाइट) देखने और छिपे हुए पैटर्न खोजने में माहिर है।
4. दूसरा चरण: "अनुवादक का सहायक"
एक बार जब वे संस्कृत शब्दों को विभाजित करने में सक्षम हो गए, तो उन्होंने मुख्य अनुवादक (एक AI जिसे NLLB कहा जाता है) की मदद करने के लिए एक चतुर तरकीब का उपयोग किया।
- सेटअप: उनके पास अंग्रेजी शब्द और उनके हिंदी अनुवाद हैं (हिंदी "समृद्ध" है, जिसका अर्थ है कि कंप्यूटर इसे अच्छी तरह जानता है)।
- जादू: उन्होंने हिंदी अनुवाद लिया, उसमें से हिंदी-विशिष्ट हिस्सों को हटा दिया, और अपने "शब्द विभाजक" (CharSS) का उपयोग करके हिंदी शब्द को उसके संस्कृत "मूल" (roots) में बदल दिया।
- बढ़ावा: उन्होंने कंप्यूटर को अंग्रेजी शब्द साथ ही इन संस्कृत मूल शब्दों को अतिरिक्त संकेत (hints) के रूप में दिया।
उपमा: कल्पना कीजिए कि आप "डम शराड्स" (Charades) के एक खेल में एक शब्द का अनुमान लगाने की कोशिश कर रहे हैं।
- बिना इस तरकीब के: आप केवल जानते हैं कि शब्द "Mass" है। आप शायद "भारी वस्तु" (भौतिकी) या "लोगों की भीड़" (सामाजिक) का अनुमान लगाएंगे। आप अंधेरे में अनुमान लगा रहे हैं।
- इस तरकीब के साथ: आपको एक संकेत कार्ड दिया जाता है जिसमें लिखा है, "यह शब्द एक संस्कृत मूल से आता है जिसका अर्थ 'लोग' है।" अचानक, आप जानते हैं कि उत्तर "भीड़" है, न कि "भारी वस्तु"।
5. परिणाम: एक सुगम पुल
टीम ने तीन कठिन क्षेत्रों में इसका परीक्षण किया: प्रशासन, जैव प्रौद्योगिकी (Biotechnology), और रसायन विज्ञान (Chemistry)।
- परिणाम: इन संस्कृत "संकेतों" को जोड़ने से, AI ने काफी कम गलतियाँ कीं। इसने तकनीकी शब्दों का बहुत अधिक सटीक अनुवाद किया।
- मानवीय परीक्षण: उन्होंने परिणामों की जांच करने के लिए मनुष्यों को भी शामिल किया। AI ने, इस संस्कृत पुल का उपयोग करते हुए, ऐसे अनुवाद प्रस्तुत किए जिन्हें मनुष्यों ने मानक पद्धति की तुलना में अधिक उपयोगी और सटीक पाया।
यह क्यों मायने रखता है?
यह केवल कंप्यूटर विज्ञान के बारे में नहीं है; यह शिक्षा और समानता के बारे में है।
- अभी, यदि आप किसी स्थानीय भारतीय भाषा में उन्नत विज्ञान सीखना चाहते हैं, तो आप अक्सर नहीं सीख पाते क्योंकि वे शब्द डिजिटल रूप में मौजूद नहीं हैं।
- इस पद्धति का उपयोग करके, हम उन भाषाओं के लिए उच्च-गुणवत्ता वाले तकनीकी शब्दकोश स्वचालित रूप से बना सकते हैं जिनके संसाधन बहुत कम हैं।
- बड़ी तस्वीर: यह अज्ञानता की नदी पर एक पुल बनाने जैसा है। "संस्कृत पुल" ज्ञान को अंग्रेजी पाठ्यपुस्तकों से मराठी, कन्नड़ या ओडिया बोलने वाले गांवों के छात्रों के हाथों तक पहुँचने देता है, जिससे शिक्षा सभी के लिए सुलभ हो जाती है।
संक्षेप में: लेखकों ने कंप्यूटर को आधुनिक तकनीकी शब्दों को स्थानीय भारतीय भाषाओं में अनुवाद करने के तरीके को समझने के लिए "प्राचीन भाषा" संस्कृत बोलने के लिए प्रशिक्षित किया, जिससे सीखना आसान हो गया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।