A Reproducible Universal Dependencies-Style Pipeline for Katharevousa Greek Parliamentary Text
यह शोध पत्र प्रारंभिक उत्तर-जुनता काल के कथारेवुसा ग्रीक संसदीय ग्रंथों के लिए यूनिवर्सल डिपेंडेंसीज़-शैली का पार्सिंग संसाधन बनाने हेतु एक पुनरुत्पादक, ओपन-एक्सेस पाइपलाइन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि एक कस्टम XLM-R मॉडल सिंटैक्टिक विश्लेषण में ऑफ-द-शेल्फ पार्सर्स की तुलना में काफी बेहतर प्रदर्शन करता है और ऐतिहासिक OCR डेटा को संसाधित करने के लिए एक ऑडिट करने योग्य कार्यप्रणाली प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास 1970 के दशक के पुराने ग्रीक सरकारी दस्तावेजों का एक विशाल, धूल भरा पुस्तकालय है। ये केवल साधारण दस्तावेज़ नहीं हैं; ये काथारवेउसा (Katharevousa) नामक एक बहुत ही विशिष्ट, औपचारिक ग्रीक शैली में लिखे गए हैं। काथारवेउसा को एक "भाषाई टाइम कैप्सूल" की तरह समझें: यह न तो दार्शनिकों की प्राचीन भाषा है और न ही वह अनौपचारिक भाषा जो आज के लोग बोलते हैं। यह दोनों का एक सख्त, आधिकारिक मिश्रण है, जिसका उपयोग राजनेताओं और वकीलों द्वारा किया जाता था।
समस्या यह है कि आधुनिक कंप्यूटर प्रोग्राम (NLP) ऐसे छात्रों की तरह हैं जिन्होंने केवल आधुनिक ग्रीक या प्राचीन ग्रीक का अध्ययन किया है। जब वे इन 1970 के संसदीय रिकॉर्डों को पढ़ने की कोशिश करते हैं, तो वे भ्रमित हो जाते हैं। वे पुराने व्याकरण और नए शब्दों के अजीब मिश्रण पर लड़खड़ा जाते हैं, और वाक्यों का अर्थ नहीं निकाल पाते।
यह शोध पत्र इन विशिष्ट दस्तावेजों के लिए एक विशेष अनुवादक (specialized translator) बनाने के बारे में है और सबसे महत्वपूर्ण बात यह है कि यह सबको स्पष्ट रूप से दिखाता है कि उन्होंने इसे कैसे बनाया ताकि अन्य लोग उनके काम की जांच कर सकें।
उनकी यात्रा का विवरण यहाँ दिया गया है:
1. एक अस्त-व्यस्त शुरुआती बिंदु (OCR की समस्या)
दस्तावेज भौतिक कागज के रूप में थे, जिन्हें मशीनों (OCR) द्वारा स्कैन किया गया और डिजिटल टेक्स्ट में बदल दिया गया। लेकिन स्कैनर थकी हुई आँखों की तरह होते हैं; वे गलतियाँ करते हैं। वे एक अक्षर को छोड़ सकते हैं, एक शब्द को दो हिस्सों में बाँट सकते हैं, या पुराने विराम चिह्नों के कारण भ्रमित हो सकते हैं।
- समाधान: लेखकों ने केवल कच्चे स्कैन (raw scan) को नहीं लिया। उन्होंने टेक्स्ट को पुनर्गठित करने, टूटे हुए शब्दों को ठीक करने और वाक्यों को व्यवस्थित करने के लिए एक "सफाई दल" (एक पाइपलाइन स्क्रिप्ट) बनाया। यह एक क्षतिग्रस्त पेंटिंग को विश्लेषण करने से पहले बहाल करने जैसा है।
2. "गोल्ड स्टैंडर्ड" (संदर्भ सेट)
कंप्यूटर को सिखाने के लिए, आपको सही उत्तरों वाली एक पाठ्यपुस्तक की आवश्यकता होती है। लेखकों ने 1,697 वाक्यों का एक "जमा हुआ" (frozen) सेट बनाया जिसे व्याकरण संरचना दिखाने के लिए सावधानीपूर्वक एनोटेट (लेबल) किया गया था।
- उपमा: कल्पना करें कि एक शिक्षक टेस्ट ग्रेड कर रहा है। उन्होंने एक "उत्तर कुंजी" (reference set) बनाई जो एक तिजोरी में बंद है। बाद में कोई भी इसे बदल नहीं सकता। यह सुनिश्चित करता है कि जब वे विभिन्न कंप्यूटर मॉडल का परीक्षण करते हैं, तो उन सभी को बिल्कुल एक ही मानक के विरुद्ध ग्रेड किया जा रहा है।
- ट्विस्ट: उन्होंने उत्तर लिखने के लिए AI (लार्ज लैंग्वेज मॉडल्स) का उपयोग किया, लेकिन उन्होंने उन AI उत्तरों को एक सख्त "गुणवत्ता नियंत्रण" मशीन के माध्यम से गुजारा ताकि यह सुनिश्चित हो सके कि वे नियमों का पालन करते हैं। यदि AI आलसी हुआ या उसने गलती की, तो सिस्टम ने उसे पकड़ लिया।
3. दौड़ (मॉडल्स का परीक्षण)
लेखकों ने यह देखने के लिए कई अलग-अलग "प्रतियोगियों" को लाइन में खड़ा किया कि कौन इन पेचीदा वाक्यों को (व्याकरण के अनुसार) सबसे अच्छी तरह समझ (parse) सकता है:
- ऑफ-द-शेल्फ रनर्स: ये पूर्व-निर्मित उपकरण हैं जो आधुनिक ग्रीक या प्राचीन ग्रीक के लिए डिज़ाइन किए गए हैं।
- परिणाम: वे संघर्ष करते रहे। आधुनिक ग्रीक वाला टूल एक ऐसे पर्यटक की तरह था जो किसी विदेशी बोली में कानूनी अनुबंध पढ़ने की कोशिश कर रहा हो; वह जटिल व्याकरण का केवल 42% ही सही समझ पाया। प्राचीन ग्रीक वाला टूल और भी खराब प्रदर्शन कर गया क्योंकि ये दस्तावेज़ वास्तव में प्राचीन नहीं हैं; वे पुराने ढंग के अंदाज़ वाले आधुनिक दस्तावेज़ हैं।
- कस्टम रनर्स: लेखकों ने अपने स्वयं के मॉडल को उनके द्वारा बनाए गए "उत्तर कुंजी" का उपयोग करके शुरू से प्रशिक्षित किया।
- फीचर-बेस्ड मॉडल (Feature-Based Model): यह एक जासूस की तरह है जो विशिष्ट सुरागों (शब्द पैटर्न, विशिष्ट प्रकार के शब्द) की तलाश करता है। यह किसी शब्द के प्रकार (जैसे "संज्ञा" या "क्रिया") को पहचानने में आश्चर्यजनक रूप से अच्छा था।
- ट्रांसफॉर्मर मॉडल (XLM-R): यह एक भारी-भरकम AI मॉडल है जो संदर्भ को समझने के लिए पूरे वाक्य को एक साथ पढ़ता है। यही विजेता था। इसने अन्य सभी की तुलना में बेहतर समझा कि शब्द एक-दूसरे से कैसे जुड़े हुए हैं।
4. परिणाम
कस्टम XLM-R मॉडल ने न केवल जीत हासिल की; बल्कि इसने मौजूदा प्री-मेड टूल को काफी बड़े अंतर से पीछे छोड़ दिया (स्कोर में लगभग 10 प्रतिशत अंक का सुधार किया)।
- मुख्य निष्कर्ष: आप इस विशिष्ट कार्य के लिए अलमारी से उठाया गया कोई भी सामान्य टूल नहीं ले सकते। आपको एक ऐसा मॉडल चाहिए जिसे विशेष रूप से इस "बोली" (आधिकारिक भाषा) पर प्रशिक्षित किया गया हो। हालांकि, "जासूस" (फीचर-बेस्ड) मॉडल अभी भी बहुत प्रतिस्पर्धी था, जो यह साबित करता है कि फैंसी AI के युग में भी सरल, स्पष्ट नियम मायने रखते हैं।
5. वास्तविक योगदान: "ओपन सोर्स"
इस शोध पत्र का सबसे महत्वपूर्ण हिस्सा इसका स्कोर नहीं है; यह इसकी पारदर्शिता है।
- उपमा: आमतौर पर, एक वैज्ञानिक कह सकता है, "मैंने एक रोबोट बनाया है जो दौड़ जीतता है, और यह रहा ट्रॉफी।" लेकिन वे ब्लूप्रिंट छिपा सकते हैं।
- यह शोध पत्र: लेखकों ने कहा, "यहाँ ट्रॉफी है, लेकिन यहाँ वे ब्लूप्रिंट, वे उपकरण जिनका हमने उपयोग किया, विफलताओं पर उनके बिखरे हुए नोट्स, सटीक कोड और लॉक की गई उत्तर कुंजी भी है।"
- उन्होंने सब कुछ एक ओपन-सोर्स प्रोजेक्ट के रूप में जारी किया जिसे kathnlp कहा जाता है। इसका मतलब है कि कोई भी इसे डाउनलोड कर सकता है, समान परीक्षण चला सकता है और देख सकता है कि उन्हें परिणाम कैसे मिले। उन्होंने इसे शुरू से फिर से बनाने के तरीके पर एक मार्गदर्शिका भी शामिल की है।
सारांश
लेखकों ने एक कठिन, अस्त-व्यस्त, ऐतिहासिक भाषाई समस्या (1970 के दशक के ग्रीक संसदीय पाठ) को लिया, उसे साफ किया, एक सख्त "उत्तर कुंजी" बनाई, और एक कस्टम AI अनुवादक बनाया जो मौजूदा उपकरणों की तुलना में बहुत बेहतर काम करता है। सबसे महत्वपूर्ण बात यह है कि उन्होंने रेसिपी, सामग्री और खाना पकाने के निर्देश जनता को सौंप दिए ताकि कोई भी वही भोजन बना सके और स्वाद की पुष्टि कर सके।
उन्होंने क्या नहीं किया:
- उन्होंने यह दावा नहीं किया कि यह सभी ऐतिहासिक पाठ समस्याओं को हल करता है।
- उन्होंने इसे चिकित्सा या कानूनी सलाह (पाठ ऐतिहासिक रिकॉर्ड है, वर्तमान कानून नहीं) पर लागू नहीं किया।
- उन्होंने यह नहीं कहा कि यह अंतिम, पूर्ण समाधान है; वे स्वीकार करते हैं कि डेटासेट छोटा है और भविष्य में अधिक मानवीय समीक्षा की आवश्यकता है।
यह शोध पत्र इस बात का ब्लूप्रिंट है कि कैसे एक "पढ़ने में कठिन" ऐतिहासिक संग्रह को कंप्यूटर के लिए उपयोगी उपकरण में बदला जाए, और वह भी पूरी तरह से ईमानदार प्रक्रिया के साथ।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।