Automatic Annotation of Ancient Greek Vowel Length
यह शोधपत्र प्राचीन ग्रीक के लिए पहले सामान्य-उद्देश्यीय, नियम-आधारित मैक्रोनइज़र (macronizer) को प्रस्तुत करता है जो रूपात्मक संदर्भ (morphological context) का उपयोग करके द्विचर अक्षरों (dichrona letters) में स्वर की लंबाई को स्वतः ही एनोटेट करता है, और यह प्रदर्शित करता है कि इसका आउटपुट छंद (verse) और गद्य (prose) दोनों पर उच्च सटीकता प्राप्त करने के लिए एक कैरेक्टर-लेवल ट्रांसफार्मर को प्रभावी ढंग से प्रशिक्षित करता है और डाउनस्ट्रीम प्रोसोडिकल कार्यों में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक ऐसे रहस्य को सुलझाने की कोशिश कर रहे हैं जो दो हज़ार साल पहले खो गया था। यह कोड प्राचीन ग्रीक (Ancient Greek) है, एक ऐसी भाषा जिसने कभी दर्शन, नाटक और पश्चिमी विज्ञान की नींव रखी थी। लेकिन यहाँ एक मोड़ है: प्राचीन लेखक इन ग्रंथों को लिखते समय ध्वनियों का पूरा वर्णमाला उपयोग नहीं करते थे। उनके पास तीन विशिष्ट अक्षरों—अल्फा (alpha), इओटा (iota), और इप्सिलॉन (ypsilon)—के "छोटे" और "लंबे" संस्करण थे—लेकिन उन्होंने पृष्ठ पर उन्हें अलग तरह से नहीं लिखा। यह ऐसा ही है जैसे अंग्रेजी में 'a' के दो संस्करण हों (एक "cat" जैसा छोटा, और एक "father" जैसा लंबा), लेकिन हम दोनों के लिए केवल 'a' ही लिख दें। कविता, व्याकरण और अर्थ को समझने के लिए, आपको यह पता लगाना होगा कि कौन सा 'a' वास्तव में अपेक्षित था। यह केवल स्पेलिंग प्रतियोगिता नहीं है; प्राचीन ग्रीक में, लंबाई गलत होने से एक शब्द क्रिया से संज्ञा में बदल सकता है, या एक प्रश्न को आदेश में बदल सकता है। दशकों तक, कंप्यूटर इन ग्रंथों को पढ़ने में फंस गए क्योंकि वे अंतर नहीं कर सकते थे। बिना यह जाने कि लंबाई क्या है, कंप्यूटर एक संगीतकार की तरह है जो यह जाने बिना गाना बजाने की कोशिश कर रहा है कि कौन से स्वर लंबे हैं और कौन से छोटे।
यहीं से "ऑटोमैटिक एनोटेशन ऑफ एंशिएंट ग्रीक वावेल लेंथ" (Automatic Annotation of Ancient-Greek Vowel Length) की कहानी शुरू होती है। लेखक, अल्बिन थॉर्न क्लैंड (Albin Thörn Cleland) और एरिक कलहेड (Eric Cullhed), एक समस्या का समाधान कर रहे हैं जिसे "मैक्रोनाइजिंग" (macronizing) कहा जाता है। मैक्रोनाइजिंग को एक लंबे डैश या एक छोटी टोपी जैसे छोटे संगीत चिह्नों को अक्षरों के ऊपर जोड़ने के रूप में सोचें, जो कंप्यूटर को यह बताने के लिए है कि, "इस ध्वनि को रोक कर रखें," या "इसे जल्दी बोलें।" चुनौती बहुत बड़ी है: शब्दों के लाखों रूप हैं, और नियम कि कौन सा अक्षर लंबा या छोटा होगा, वह कारकों के एक चक्करदार मिश्रण पर निर्भर करता है—शब्द का अर्थ क्या है, वह कैसे बना है, बोली क्या है, समय काल क्या है, और यहाँ तक कि वह जिस कविता की लय में है, उस पर भी। यह एक "लॉन्ग-टेल प्रॉब्लम" (long-tail problem) है, जिसका अर्थ है कि इसमें इतने सारे दुर्लभ और अजीब मामले हैं कि नियमों की एक साधारण सूची उन्हें कवर नहीं कर सकती। शोधकर्ता जानना चाहते थे: क्या हम एक कंप्यूटर प्रोग्राम बना सकते हैं जो इसे स्वचालित रूप से कर सके? और यदि हम ऐसा करते हैं, तो क्या यह वास्तव में कंप्यूटरों को ग्रीक को बेहतर ढंग से समझने में मदद करता है?
जासूस का टूलकिट: नियम और रिकर्सन (Rules and Recursion)
टीम ने एक "नियम-आधारित मैक्रोनाइज़र" (rule-based macronizer) बनाने से शुरुआत की। इसे एक बहुत ही सख्त, बहुत ही जानकार लाइब्रेरियन के रूप में कल्पना करें जिसने हजारों व्याकरण की पुस्तकें और शब्दकोश याद कर रखे हैं। यह लाइब्रेरियन निर्देशों का एक विशिष्ट सेट का पालन करता है: "यदि शब्द ऐसा दिखता है और इस पर समाप्त होता है, तो स्वर लंबा होना चाहिए।" यदि लाइब्रेरियन 100% सुनिश्चित नहीं है, तो वे अनुमान लगाने के बजाय अक्षर को खाली छोड़ देते हैं।
उन्होंने इस लाइब्रेरियन को 40 मिलियन शब्दों वाले प्राचीन ग्रीक ग्रंथों के एक विशाल पुस्तकालय से परिचित कराया। लाइब्रेरियन आश्चर्यजनक रूप से अच्छा था, जिसने उन कठिन अक्षरों के लिए लगभग 69% सफलता से लंबाई का निर्धारण किया। लेकिन लाइब्रेरियन की एक कमजोरी थी: वे बहुत अधिक सतर्क थे। यदि कोई शब्द दुर्लभ था या उनके आदर्श नियम पुस्तिका में फिट नहीं बैठता था, तो वे बस हार मान लेते थे और उसे खाली छोड़ देते थे। वे उस तरह से "अनुमान" नहीं लगा सकते थे जैसे कि एक इंसान संदर्भ संकेतों (context clues) का उपयोग करके रिक्त स्थानों को भर सकता है।
वह छात्र जो अनुमान लगाना सीखता है
लाइब्रेरियन की हिचकिचाहट को ठीक करने के लिए, लेखकों ने कुछ चतुर प्रयास किया। उन्होंने लाइब्रेरियन के काम को—उन 69% शब्दों को जिनके बारे में लाइब्रेरियन निश्चित था—एक "पाठ्यपुस्तक" के रूप में उपयोग किया ताकि एक नए छात्र को प्रशिक्षित किया जा सके: एक छोटा कृत्रिम बुद्धिमत्ता (AI) जिसे "कैरेक्टर-लेवल ट्रांसफॉर्मर" (character-level transformer) कहा जाता है।
AI छात्र को लाइब्रेरियन के काम को देखते हुए एक प्रतिभाशाली प्रशिक्षु (apprentice) के रूप में समझें। प्रशिक्षु लाइब्रेरियन के सही उत्तरों से सीखता है, लेकिन उसे अक्षरों को एक-एक करके देखने और उन पैटर्न को पहचानने के लिए भी प्रशिक्षित किया जाता है जिन्हें लाइब्रेरियन ने मिस कर दिया था। यहाँ मुख्य ट्रिक यह है कि प्रशिक्षु को उन हिस्सों को अनदेखा करने के लिए कहा गया था जहाँ लाइब्रेरियन अनिश्चित था। इसने प्रशिक्षु को लाइब्रेरियन के संदेहों को सीखने से रोका; इसके बजाय, प्रशिक्षु ने सामान्यीकरण करना सीखा, शब्द के आकार को देखना और कहना, "मुझे लगता है कि यह लंबा है," भले ही लाइब्रेरियन के पास इसके लिए कोई नियम न हो।
परिणाम प्रभावशाली थे। जबकि सख्त लाइब्रेरियन ने लगभग 70% अक्षरों को कवर किया, AI प्रशिक्षु ने लगभग 99.7% को कवर किया। इससे भी महत्वपूर्ण बात यह है कि प्रशिक्षु ने केवल बेतरतीब ढंग से अनुमान नहीं लगाया; इसने कठिन मामलों में लाइब्रेरियन की तुलना में अधिक बार सही उत्तर दिया। मैन्युअल रूप से जांच किए गए ग्रंथों के एक गोल्ड-स्टैंडर्ड बेंचमार्क पर परीक्षण करने पर, AI ने 92% से अधिक की सटीकता हासिल की, जिससे सिद्ध हुआ कि यह केवल कठोर नियमों का पालन करने के बजाय भाषा के "एहसास" (feel) को सीख सकता है।
यह क्यों मायने रखता है: लय को स्कैन करना (Scanning the Rhythm)
शोधकर्ताओं ने केवल अक्षरों को लेबल करने पर ही नहीं रोका; वे यह देखना चाहते थे कि क्या यह नया कौशल वास्तव में अन्य कार्यों में कंप्यूटर की मदद करता है। उन्होंने इसका परीक्षण "स्कैनियन" (scansion) पर किया, जो कविता की लय को समझने की कला है। प्राचीन ग्रीक कविता में, लय पूरी तरह से इस बात पर निर्भर करती है कि एक शब्दांश (syllable) "भारी" (लंबा) है या "हल्का" (छोटा)।
उन्होंने कविता पढ़ने के लिए डिज़ाइन किए गए एक कंप्यूटर प्रोग्राम को लिया और उसे एक ही पाठ के दो संस्करण दिए: एक जिसमें नए स्वर-लंबाई के निशान थे और एक बिना किसी निशान के। परिणाम क्या रहा? जिस प्रोग्राम को "मैक्रोनाइज्ड" (macronized) पाठ मिला, वह कविता की सही लय को समझने में लगभग 5.8% बेहतर था। कंप्यूटर विज्ञान की दुनिया में यह एक महत्वपूर्ण उछाल है। यह दिखाता है कि कंप्यूटर को भाषा की छिपी हुई संगीतमयता सिखाने से वह कविता की संरचना को बहुत बेहतर तरीके से समझ पाता है।
बारीक विवरण (The Fine Print)
बेशक, यह कोई जादू की छड़ी नहीं है जो सब कुछ हल कर दे। लेखक बहुत स्पष्ट हैं कि इसकी सीमाएं क्या हैं। उनका सिस्टम वर्तमान में "एटिक" (Attic) ग्रीक, यानी एथेंस की बोली के लिए ट्यून किया गया है। यदि आप इसे अन्य क्षेत्रों या बाद के कालखंडों की कविता खिलाते हैं, तो यह लंबाई को गलत कर सकता है क्योंकि यह गैर-एटिक शब्दों पर "एटिक नियमों" को लागू कर रहा है। यह एक न्यूयॉर्क के लहजे वाले गाइड द्वारा किसी को दक्षिणी लहजे (Southern drawl) में बोलना सिखाने जैसा है; यह कुछ शब्दों के लिए काम कर सकता है, लेकिन अन्य के लिए गलत हो जाएगा।
साथ ही, AI छात्र ने लाइब्रेरियन की पाठ्यपुस्तक से सीखा। यदि लाइब्रेरियन ने नियमों में गलती की, तो छात्र ने भी वह गलती सीखी। सिस्टम उतना ही अच्छा है जितने अच्छे उसके नियम और डेटा हैं। हालाँकि, लेखकों ने अपने उपकरण, अपना डेटा और अपना बेंचमार्क सभी के लिए उपलब्ध करा दिया है। इसका अर्थ यह है कि अन्य शोधकर्ता अब इस "प्रशिक्षु" को ले सकते हैं, इसे बेहतर पाठ्यपुस्तकों के साथ सिखा सकते हैं, और शायद एक दिन प्राचीन ग्रीक की हर बोली और युग के कोड को तोड़ सकते हैं, जिससे एक शांत, संदिग्ध लिपि को फिर से एक पूर्णतः श्रव्य, लयबद्ध भाषा में बदला जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।