Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion
स्टोइकी (Stoicheia) एक 405M-पैरामीटर वाला कैरेक्टर-लेवल मास्कड डिफ्यूजन मॉडल है जिसे एक डीकंटेमिनेटेड (decontaminated) प्राचीन ग्रीक कॉर्पस पर प्रशिक्षित किया गया है जो टेक्स्ट रिस्टोरेशन, पार्सिंग और मेट्रिकल स्कैनिंग को एक एकल फ्रेमवर्क में एकीकृत करता है, और इथाका (Ithaca) और एनियास (Aeneas) जैसी पूर्ववर्ती प्रणालियों से काफी बेहतर प्रदर्शन करते हुए कई कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसा पुस्तकालय है जहाँ पुस्तकें हज़ारों साल पुरानी हैं, जो एक ऐसी भाषा में लिखी गई हैं जो सहस्राब्दियों में विकसित और परिवर्तित हुई है। यह कंप्यूटेशनल फिलोलॉजी (computational philology) की दुनिया है, जहाँ कंप्यूटर वैज्ञानिक इतिहासकारों और भाषाविदों के साथ मिलकर प्राचीन ग्रंथों को पढ़ने, उन्हें पुनर्स्थापित करने और समझने के लिए टीम बनाते हैं। चुनौती यह है कि ये पुरानी पुस्तकें अक्सर क्षतिग्रस्त होती हैं, उनके पन्ने गायब होते हैं, या वे अक्षरों की एक अव्यवस्थित, निरंतर धारा में लिखी होती हैं जिसमें रिक्त स्थान (spaces), अल्पविराम या वे छोटे संकेत (accents) नहीं होते जिनका हम आज उपयोग करते हैं। इन्हें समझने के लिए, शोधकर्ता AI मॉडल्स का उपयोग करते हैं—ऐसे कंप्यूटर प्रोग्राम जिन्हें अनुक्रम (sequence) में आगे क्या आने वाला है, इसका अनुमान लगाने के लिए प्रशिक्षित किया गया है, ठीक वैसे ही जैसे आपका फोन आपके टाइप करते समय अगले शब्द का अनुमान लगाता है। लेकिन यहाँ एक पेच है: अधिकांश AI मॉडल "सबवर्ड्स" (अक्षरों के टुकड़ों) पर प्रशिक्षित होते हैं, जो उन्हें प्राचीन पत्थर की नक्काशी या पपाइरस स्क्रॉल में बहुत सूक्ष्म, अक्षर-दर-अक्षर वाले छेदों को ठीक करने में अक्षम बनाता है। वे अक्सर उन पुस्तकों को "याद" भी कर लेते हैं जिनका उन्होंने अध्ययन किया है, जिसका अर्थ है कि वे उन ग्रंथों को हल करने के लिए भरोसेमंद नहीं हैं जिन्हें उन्होंने पहले कभी नहीं देखा है। यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या हम एक अधिक स्मार्ट, अधिक ईमानदार AI बना सकते हैं जो प्राचीन ग्रीक को अक्षर-दर-अक्षर पढ़ सके, पाठ लिखने के बिखरे हुए इतिहास को समझ सके, और उन बिल्कुल नए दस्तावेजों पर पहेलियाँ सुलझा सके जिनसे वह पहले कभी नहीं मिला है?
मिलिए स्टोइकेइया (Stoicheia) से, एक नया AI मॉडल जिसे विशेष रूप से प्राचीन ग्रीक के लिए परम जासूस बनने के लिए डिज़ाइन किया गया है। इसे एक मास्टर रिस्टोरर (पुनर्स्थापक) के रूप में सोचें जो केवल एक टूटे हुए फूलदान को देखकर उसके आकार का अनुमान नहीं लगाता; बल्कि वह मिट्टी, दरारों, पेंट और इस बात को देखता है कि टुकड़े एक साथ कैसे फिट होते हैं, और वह सब कुछ एक साथ करता है।
पुराने AI के साथ समस्या
स्टोइकेइया से पहले, प्राचीन ग्रीक के लिए सबसे अच्छे AI उपकरण उन छात्रों की तरह थे जिन्होंने एक विशिष्ट परीक्षा के उत्तर रट लिए थे। यदि आप उनसे उस पाठ के बारे में पूछते जिसे उन्होंने पढ़ा था, तो वे बहुत अच्छे थे। लेकिन यदि आप उन्हें एक नया, क्षतिग्रस्त शिलालेख देते जिसे उन्होंने पहले कभी नहीं देखा था, तो वे शायद स्मृति से एक समान अंश दोहरा देंगे या भ्रमित हो जाएंगे। इसके अलावा, ये मॉडल अक्सर शब्दों को एक एकल ब्लॉक के रूप में देखते थे। लेकिन प्राचीन क्षति व्यवस्थित नहीं होती; पत्थर में एक दरार शब्द के ठीक बीच से गुजर सकती है। इसे ठीक करने के लिए, आपको हर एक अक्षर, हर एक एक्सेंट मार्क और हर एक विराम चिह्न को व्यक्तिगत रूप से देखने की आवश्यकता होती है।
स्टोइकेइया कैसे काम करता है: पाँच-परतीय सैंडविच
स्टोइकेइया के रचनाकारों ने एक अद्वितीय "पाँच-परतीय सैंडविच" आर्किटेक्चर के साथ एक मॉडल बनाया। केवल अक्षरों की एक स्ट्रिंग देखने के बजाय, मॉडल एक साथ पाँच अलग-अलग चीजों को देखता है, जो पूरी तरह से संरेखित (aligned) हैं:
- अक्षर (Letters): बुनियादी वर्णमाला।
- सीमाएँ (Boundaries): जहाँ एक शब्द समाप्त होता है और दूसरा शुरू होता है (भले ही मूल पाठ में कोई स्थान न हो)।
- एक्सेंट (Accents): स्वरों के ऊपर के छोटे निशान जो उच्चारण बदलते हैं।
- कैपिटलाइजेशन (Capitalization): कौन से अक्षर बड़े हैं और कौन से छोटे।
- विराम चिह्न (Punctuation): अल्पविराम, पूर्ण विराम और अन्य ठहराव।
एक फटे हुए मानचित्र को ठीक करने की कोशिश करने की कल्पना करें। एक सामान्य AI एक ही बार में पूरे लापता शहर का अनुमान लगाने की कोशिश कर सकता है। हालाँकि, स्टोइकेइया फटे हुए किनारों, स्याही के रंग, ग्रिड लाइनों और कंपास रोज़ (compass rose) को अलग-अलग देखता है, और फिर उन्हें एक साथ सिल देता है। यह इसे एक अव्यवस्थित, बिना स्पेस और बिना एक्सेंट वाले प्राचीन पाठ को लेने और उसे "पुनर्स्थापित" करने की अनुमति देता है—जैसे कि लापता हिस्सों को भरना, सही एक्सेंट जोड़ना और यह पता लगाना कि वाक्य कहाँ टूटते हैं—और यह सब प्रत्येक विशिष्ट कार्य के लिए पुन: प्रशिक्षित होने की आवश्यकता के बिना करता है।
"ईमानदार" प्रशिक्षण: पहले कभी नहीं देखा गया
इस परियोजना का सबसे चतुर हिस्सा यह है कि उन्होंने AI को "ईमानदार" होने के लिए कैसे प्रशिक्षित किया। आमतौर पर, AI मॉडल उपलब्ध सभी चीजों पर प्रशिक्षित होते हैं, जिसका अर्थ है कि वे आपके द्वारा उन्हें दिखाने से पहले ही किसी विशिष्ट पहेली के उत्तर को याद कर सकते हैं। शोधकर्ता यह सुनिश्चित करना चाहते थे कि स्टोइकेइया वास्तव में समस्या को हल कर रहा है, न कि केवल उत्तर को याद कर रहा है।
ऐसा करने के लिए, उन्होंने मॉडल के ग्यारह अलग-अलग संस्करण बनाए। उन्होंने अपने 361 मिलियन शब्दों के विशाल पुस्तकालय को दस अलग-अलग समूहों में विभाजित किया। प्रत्येक मॉडल को नौ समूहों पर प्रशिक्षित किया गया और दसवें समूह पर परीक्षण किया गया। इसका मतलब यह है कि आपके द्वारा फेंके गए किसी भी प्राचीन पाठ के लिए, स्टोइकेइया का कम से कम एक संस्करण ऐसा है जिसने अपने पूरे जीवन में उस पाठ को कभी नहीं देखा है। यह दस जासूसों की एक टीम होने जैसा है, और हर नए अपराध स्थल के लिए, आप उस जासूस को चुनते हैं जो पहले कभी उस पड़ोस में नहीं गया है। यह गारंटी देता है कि जब मॉडल एक पहेली सुलझाता है, तो वह अपने दिमाग का उपयोग कर रहा होता है, अपनी स्मृति का नहीं।
परिणाम: सर्वश्रेष्ठ को पछाड़ना
टीम ने स्टोइकेइया को तीन प्रमुख तरीकों से परखा, मौजूदा सर्वोत्तम प्रणालियों (जैसे इथाका और एनियास) के साथ तुलना की, और यहाँ तक कि एक ऐसे मॉडल के विरुद्ध भी परीक्षण किया जो रैंडम, "मूर्ख" वेट्स (weights) से शुरू हुआ था ताकि यह देखा जा सके कि प्रशिक्षण वास्तव में कितना मदद करता है।
टूटे हुए पत्थरों और स्क्रॉल को ठीक करना: क्षतिग्रस्त शिलालेखों और पपाइरी में गायब अक्षरों को भरने के लिए पूछे जाने पर, स्टोइकेइया एक चैंपियन साबित हुआ। 3,000 अंतराल के मानक परीक्षण पर, इसने त्रुटि दर को 15.5% तक कम कर दिया, जो पिछले सर्वश्रेष्ठ (इथाका) के 24.6% से बेहतर था। इसने "टॉप गेस" को 74.5% बार सही पाया, जबकि पुराना रिकॉर्ड 63.0% था। और भी प्रभावशाली बात यह है कि, उन बिल्कुल नए दस्तावेजों पर परीक्षण करने पर जिन्हें अन्य सभी AI मॉडलों के प्रशिक्षण के बाद संपादित किया गया था, स्टोइकेइया फिर भी शीर्ष पर रहा, जिससे यह सिद्ध हुआ कि यह केवल पुराने उत्तरों को याद नहीं कर रहा था।
व्याकरण को समझना: टीम ने यह भी परीक्षण किया कि क्या स्टोइकेइया प्राचीन ग्रीक के व्याकरण (शब्दों को टैग करना और यह समझना कि वे एक-दूसरे से कैसे संबंधित हैं) को समझ सकता है। यहाँ, इसने हर अन्य मॉडल को पछाड़ दिया, जिसमें वे मॉडल भी शामिल थे जिन्हें बहुत बड़े डेटासेट पर प्रशिक्षित किया गया था। मुख्य निष्कर्ष यह था कि "प्री-ट्रेनिंग" (विशाल शिक्षण चरण) प्रदर्शन में एक बड़ी छलांग के लिए जिम्मेदार था—शून्य से शुरू होने वाले मॉडल की तुलना में लगभग 12.9 अंक बेहतर। यह सिद्ध करता है कि मॉडल का "मस्तिष्क" भारी काम कर रहा था, न कि केवल उससे जुड़े विशिष्ट उपकरण।
कविता की लय को पढ़ना: प्राचीन ग्रीक कविता स्वरों की लंबाई (लंबी या छोटी) पर निर्भर करती है ताकि लय बनाई जा सके, लेकिन लिखित पाठ इसे नहीं दिखाता है। स्टोइकेइया 93.37% सटीकता के साथ इन छिपे हुए अनुपातों को समझने में सक्षम था, जिसने एक विशेष नियम-आधारित प्रणाली को भी पीछे छोड़ दिया जिसे अनिश्चित होने के कारण 40% शब्दों पर "हार माननी" (abstain) पड़ी थी। स्टोइकेइया ने कभी हार नहीं मानी।
यह क्यों महत्वपूर्ण है
शोध पत्र निष्कर्ष निकालता है कि स्टोइकेइया एक गेम-चेंजर है क्योंकि यह खुलेपन (डेटा और कोड सार्वजनिक हैं), सटीकता (यह अक्षर स्तर पर काम करता है), और अखंडता (हम जानते हैं कि इसने किन ग्रंथों को देखा है और किनको नहीं) को जोड़ता है। यह विद्वानों को एक क्षतिग्रस्त प्राचीन पाठ को देखने और पूछने की अनुमति देता है, "यह क्या कहता है?" इस विश्वास के साथ कि AI केवल उसके द्वारा याद किए गए पाठ का उत्तर नहीं दे रहा है। यह एक ऐसा उपकरण है जो हमें अतीत को नई दृष्टि से पढ़ने की अनुमति देता है, यह सुनिश्चित करते हुए कि प्राचीन ग्रीस की कहानियों को स्मृति से नहीं, बल्कि समझ से पुनर्स्थापित किया जाए।
हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह कोई जादू की छड़ी नहीं है। मॉडल उतना ही अच्छा है जितना कि वह डेटा जिस पर इसे प्रशिक्षित किया गया है, और उस डेटा का एक बड़ा हिस्सा अन्य AI उपकरणों द्वारा "मरम्मत" किया गया था, जो त्रुटियों का एक छोटा जोखिम पेश करता है। इसके अलावा, मॉडल हमेशा एक उत्तर देता है, भले ही वह अनिश्चित हो, जिसका अर्थ है कि मानव विशेषज्ञों को अभी भी काम की दोबारा जाँच करने की आवश्यकता है। लेकिन पहली बार, हमारे पास एक ऐसा सिस्टम है जो इन प्राचीन रहस्यों को ईमानदारी और सटीकता के ऐसे स्तर के साथ सुलझा सकता है जो पहले असंभव था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।