Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin
यह शोध पत्र ओल्ड फ्रेंच और लैटिन पांडुलिपियों के पुरालेखीय रूप से सटीक और सामान्यीकृत डिजिटल संस्करणों के बीच के अंतर को पाटने के लिए प्री-एडिटोरियल नॉर्मलाइजेशन (PEN) के कार्य को प्रस्तुत करता है, जो एक नया डेटासेट और एक ByT5-आधारित मॉडल पेश करता है जो कच्चे ऑटोमैटिक टेक्स्ट रिकग्निशन आउटपुट को उपयोगी, सामान्यीकृत टेक्स्ट में बदलने में अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक टाइम मशीन है जो एक मध्यकालीन पांडुलिपि (जैसे 800 साल पुरानी किताब) के हस्तलिखित पन्ने की फोटो ले सकती है और उसे डिजिटल टेक्स्ट में बदल सकती है। यह ऑटोमैटिक टेक्स्ट रिकग्निशन (ATR) करता है। यह अद्भुत है, लेकिन यह एक बहुत ही शाब्दिक, थोड़े भ्रमित रोबोट सहायक की तरह है।
यहाँ समस्या यह है: रोबोट सहायक पन्ने को बिल्कुल वैसा ही देखता है जैसा वह लिखा गया है।
- वह एक टेढ़े-मेढ़े "m" को देखता है और "m" लिख देता है।
- वह "और" (and) के अर्थ वाला एक छोटा सा निशान देखता है और "and" लिखता है (या कभी-कभी सिर्फ एक अजीब सा प्रतीक)।
- वह एक शब्द को देखता है जो लाइन ब्रेक के कारण बीच से कटा हुआ है और उसे बीच में हाइफ़न के साथ लिख देता है।
- वह एक फैंसी "u" को देखता है जो "v" जैसा दिखता है और "v" लिख देता है क्योंकि स्याही वैसी ही दिख रही है, भले ही वह वास्तव में "u" होना चाहिए था।
यदि आप इस कच्चे टेक्स्ट का आधुनिक कंप्यूटर टूल्स (जैसे स्पेल-चेकर, ट्रांसलेटर या सर्च इंजन) के साथ उपयोग करने का प्रयास करते हैं, तो वे भ्रमित हो जाते हैं और क्रैश हो जाते हैं। वे साफ, आधुनिक अंग्रेजी या फ्रेंच की अपेक्षा करते हैं।
दूसरी ओर, यदि आप किसी विद्वान (scholar) से इसे एक साथ ठीक करने के लिए कहते हैं, तो वे "ओवर-करेक्शन" कर सकते हैं। वे किसी शब्द को केवल इसलिए बदल सकते हैं क्योंकि उन्हें लगता है कि इसे इस तरह से लिखा जाना चाहिए, जिससे अनजाने में ऐसे शब्द बन जाते हैं जो वास्तव में वहां कभी थे ही नहीं (hallucinations/भ्रम), या वे उन ऐतिहासिक बारीकियों को मिटा सकते हैं जो वास्तव में महत्वपूर्ण हैं।
समाधान: "प्री-एडिटोरियल नॉर्मलाइजेशन" (PEN) सैंडविच
इस शोध पत्र के लेखक एक नए मध्यवर्ती चरण का प्रस्ताव देते हैं जिसे प्री-एडिटोरियल नॉर्मलाइजेशन (PEN) कहा जाता है। इसे एक विशेष "अनुवादक" या "सफाई दल" के रूप में सोचें जो कच्चे रोबोट स्कैन और अंतिम पॉलिश की गई किताब के बीच बैठता है।
यह प्रक्रिया कैसे काम करती है, इसके लिए एक रेस्तरां उपमा (Analogy) का उपयोग करते हैं:
कच्ची सामग्री (ग्रेफेमिक ATR):
कल्पना कीजिए कि रोबोट स्कैनर एक शेफ है जिसने काउंटर पर कच्ची, बिना छिलके वाली, मिट्टी लगी हुई सब्जियां ढेर कर दी हैं। कुछ पूरी हैं, कुछ अजीब तरह से कटी हुई हैं, और कुछ पर गंदगी (पहचान की त्रुटियां) है। यह "ग्रेफेमिक" आउटपुट है। यह छवि के प्रति सटीक है, लेकिन यह खाने के लिए तैयार नहीं है।पुराना तरीका (एक "ऑल-इन-वन" शेफ):
पहले, विद्वान एक ही शेफ को खाना धोने, छीलने, काटने, पकाने और सजाने के लिए नियुक्त करने की कोशिश करते थे। समस्या यह थी कि यह शेफ अक्सर थक जाता था, सब्जी के बारे में गलत अनुमान लगा लेता था, और कभी-कभी वे सामग्रियां भी जोड़ देता था जो मूल रेसिपी में नहीं थीं (hallucinations)।नया तरीका (द PEN सैंडविच):
लेखक एक नया चरण पेश करते हैं: द प्रेप स्टेशन (तैयारी का स्थान)।
- चरण 1: रोबोट स्कैनर कच्ची सब्जियां (पांडुलिपि का टेक्स्ट) डालता है।
- चरण 2 (द PEN मॉडल): एक विशेष AI (जो लाखों उदाहरणों पर प्रशिक्षित है) आता है। यह अभी भोजन पकाने की कोशिश नहीं करता है। यह केवल तैयारी का काम करता है:
- यह मिट्टी को साफ करता है (रोबोट की पढ़ने की त्रुटियों को ठीक करता है)।
- यह छिलकों को उतारता है (संक्षेप/abbreviations को विस्तार देता है जैसे "q̃" को "qui" में बदलना)।
- यह मिली-जुली ढेरों को अलग करता है (स्पेसिंग को ठीक करता है)।
- यह आकृतियों को मानकीकृत करता है (जहाँ "u" एक व्यंजन के रूप में "v" जैसा दिखता है, वहाँ उसे "v" में बदलता है, लेकिन शब्दों की मूल स्पेलिंग को बनाए रखता है जैसे कि "philosophia" अगर वह वैसे ही लिखा गया था)।
- चरण 3: अब, टेक्स्ट साफ और सामान्यीकृत (normalized) है। यह अंतिम "प्लेटिंग" (संपादन) या आधुनिक कंप्यूटरों द्वारा विश्लेषण के लिए तैयार है।
यह एक बड़ी बात क्यों है?
लेखकों ने एक विशाल प्रशिक्षण डेटासेट (कच्चे रोबोट टेक्स्ट और साफ मानव टेक्स्ट के 4.6 मिलियन जोड़ों का एक पुस्तकालय) बनाया है ताकि उनके AI को यह तैयारी का काम सिखाया जा सके।
- परिणाम: उनका AI मॉडल एक मास्टर प्रेप शेफ की तरह है। इसने टेक्स्ट को 93% सटीकता के साथ साफ किया (केवल 6.7% त्रुटियां), जो पिछले प्रयासों की तुलना में बहुत बेहतर है।
- लाभ: क्योंकि यह AI "सफाई" को "खाना पकाने" से अलग करता है, हम अब कंप्यूटर विश्लेषण पर अधिक भरोसा कर सकते हैं। यदि बाद में कंप्यूटर कोई गलती करता है, तो हमें पता होगा कि यह रेसिपी (विश्लेषण) के कारण है, न कि इसलिए कि सामग्रियां गंदी थीं।
पेच (द "ओवर-करेक्शन" जोखिम)
शोध पत्र यह भी चेतावनी देता है कि इस नए शेफ का भी एक पूर्वाग्रह (bias) है।
- लैटिन के लिए: शेफ हर चीज़ को "क्लासिकल लैटिन" (प्राचीन रोम का भव्य, आदर्श संस्करण) जैसा बनाने की कोशिश करता है, जिससे कभी-कभी वह अद्वितीय, अस्त-व्यस्त मध्यकालीन स्पेलिंग मिट जाती है जिसे इतिहासकार वास्तव में अध्ययन करना चाहते हैं।
- ओल्ड फ्रेंच के लिए: शेफ किसी शब्द को लिखने के सबसे सामान्य तरीके को चुनता है, जिससे दुर्लभ, स्थानीय बोलियाँ अनदेखी रह जाती हैं।
मुख्य निष्कर्ष
यह शोध पत्र ऐतिहासिक ग्रंथों के लिए एक स्मार्ट, मिडिल-लेयर फिल्टर बनाने के बारे में है। एक पुराने पांडुलिपि को सीधे एक आधुनिक पुस्तक में बदलने के बजाय, वे इसे चरणों में तोड़ते हैं। पहले वे एक विशेष AI का उपयोग करके मिट्टी वाले टेक्स्ट को "साफ, मानकीकृत टेक्स्ट" में बदलते हैं। यह संभव बनाता है कि कंप्यूटर बिना मिट्टी में फंसे मध्यकालीन इतिहास को पढ़, खोज और विश्लेषण कर सकें, जबकि ऐतिहासिक रूप से सटीक रहने के लिए पर्याप्त मूल स्वाद भी बनाए रखें।
यह एक धुंधली खिड़की के माध्यम से हाथ से लिखे नोट को पढ़ने की कोशिश करने और फिर स्पष्ट रूप से शब्दों को देखने के लिए कांच को साफ करने के बीच का अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।