TRIDIS: A Comprehensive Medieval and Early Modern Corpus for Handwritten Text Recognition and Named Entity Recognition
यह शोध पत्र TRIDIS प्रस्तुत करता है, जो मध्यकालीन और प्रारंभिक आधुनिक हस्तलिखित दस्तावेजों का एक खुला, सामंजस्यपूर्ण संग्रह है जिसे हस्तलिखित पाठ पहचान (Handwritten Text Recognition) और नामित इकाई पहचान (Named Entity Recognition) को समर्थन देने के लिए डिज़ाइन किया गया है, साथ ही यह विरासत-दस्तावेज़ बेंचमार्किंग में पारंपरिक यादृच्छिक विभाजनों (random splits) की सीमाओं को संबोधित करने के लिए एक अभिनव आउटलायर-आधारित मूल्यांकन रणनीति का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास मध्य युग और पुनर्जागरण काल के हजारों हस्तलिखित पत्रों, कानूनी अनुबंधों और शाही आदेशों से भरी एक विशाल, धूल भरी लाइब्रेरी है। ये दस्तावेज़ अलग-अलग भाषाओं (जैसे लैटिन, फ्रेंच और जर्मन) में हैं, अलग-अलग लेखकों की अलग-अलग लिखावट शैलियों में लिखे गए हैं, और कुछ तो दागदार या फटे हुए भी हैं।
TRIDIS इन दस्तावेजों का एक नया, सुपर-ऑर्गनाइज्ड डिजिटल संग्रह है। इसे एक "यूनिवर्सल ट्रांसलेटर के ट्रेनिंग जिम" के रूप में समझें। इसका लक्ष्य कंप्यूटर को पुराने, बिखरे हुए हस्तलिखित नोट्स को सटीक रूप से पढ़ना सिखाना है।
यहाँ इस पेपर का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "बहुत आसान" टेस्ट
लंबे समय से, शोधकर्ता जो कंप्यूटर को पुरानी लिखावट पढ़ने के लिए प्रशिक्षित करने की कोशिश कर रहे थे, उन्हें एक समस्या का सामना करना पड़ रहा था। वे कंप्यूटर को कई दस्तावेजों पर प्रशिक्षित करते थे और फिर उनमें से कुछ को यादृच्छिक (random) रूप से चुनकर उनका परीक्षण करते थे।
उपमा: कल्पना कीजिए कि एक छात्र गणित के टेस्ट के लिए पढ़ाई कर रहा है। वह चैप्टर 1 के आसान सवालों पर अभ्यास करता है। जब शिक्षक चैप्टर 1 से ही रैंडम सवाल चुनता है, तो छात्र को 'A' ग्रेड मिलता है। लेकिन असल जिंदगी में, टेस्ट में चैप्टर 5 का कोई कठिन सवाल हो सकता है जो उसके अभ्यास से बिल्कुल अलग दिखता हो। रैंडम टेस्ट ने सुरक्षा का एक झूठा अहसास दिया।
पुराने पांडुलिपियों की दुनिया में, इसका मतलब है कि कंप्यूटर वास्तव में जितने स्मार्ट हैं उससे कहीं अधिक स्मार्ट दिखते हैं क्योंकि वे केवल उन विशिष्ट लिखावट शैलियों को याद कर रहे होते हैं जिन्हें उन्होंने प्रशिक्षण के दौरान देखा था, न कि यह सीख रहे होते हैं कि किसी भी शैली को कैसे संभालना है।
2. समाधान: "आउटलियर" चुनौती
लेखक, सर्जियो टॉरेस एगुलर ने इसे ठीक करने के लिए TRIDIS बनाया। लेकिन असली नवाचार केवल दस्तावेजों का संग्रह नहीं है; बल्कि यह है कि वे कंप्यूटरों का परीक्षण कैसे करते हैं।
रैंडम तरीके से टेस्ट प्रश्न चुनने के बजाय, वे "आउटलियर-बेस्ड स्प्लिटिंग" (Outlier-Based Splitting) नामक रणनीति का उपयोग करते हैं।
उपमा: कल्पना कीजिए कि आप एक कुत्ते को 'फेच' (चीज लाना) सिखा रहे हैं।
- रैंडम टेस्ट: आप पिछवाड़े में एक गेंद फेंकते हैं। कुत्ता उसे पकड़ लेता है।
- आउटलियर टेस्ट: आप एक फ्रिसबी, एक छड़ी, एक चूँ-चूँ करने वाला खिलौना और एक कीचड़ भरा पत्थर फेंकते हैं। आप उन्हें बारिश में, अंधेरे में और एक अजीब कोण से भी फेंकते हैं।
"आउटलियर" रणनीति सभी हस्तलिखित लाइनों को देखती है और उनमें से सबसे अजीब, क्षतिग्रस्त या असामान्य लाइनों को ढूंढती है। इनमें ये शामिल हो सकते हैं:
- बहुत अजीब लिखावट शैलियाँ।
- ऐसे शब्द जो मुश्किल से दिखाई दे रहे हों (फीकी पड़ चुकी स्याही)।
- बहुत लंबी लाइनें या जिनका लेआउट अजीब हो।
- बहुत दुर्लभ नाम या शब्द।
इन "अजीब" लाइनों को टेस्ट सेट (Test Set) के रूप में अलग रख दिया जाता है। कंप्यूटर को "सामान्य" चीजों पर प्रशिक्षित किया जाता है, लेकिन उसे केवल "अजीब" चीजों को संभालने के आधार पर ग्रेड दिया जाता है। यह इस बात का बहुत ईमानदार स्कोर देता है कि कंप्यूटर वास्तव में कितना स्मार्ट है।
3. बॉक्स के अंदर क्या है? (द कॉर्पस)
TRIDIS एक विशाल टूलबॉक्स है जिसमें विभिन्न ऐतिहासिक संग्रहों के लगभग 2,00,000 टेक्स्ट लाइनें हैं।
- टाइम ट्रैवल: यह 1100 के दशक से लेकर 1700 के दशक तक के दस्तावेजों को कवर करता है।
- भाषाएँ: इसमें लैटिन, ओल्ड फ्रेंच, मिडिल हाई जर्मन और स्पेनिश शामिल हैं।
- शैलियाँ: इसमें अलग-अलग प्रकार की लिखावट है, साफ, ब्लॉक वाले अक्षरों से लेकर बिखरी हुई, बहती हुई कर्सिव लिखावट तक।
- सफाई: टेक्स्ट को मानव संपादकों द्वारा "साफ" किया गया है। उन्होंने संक्षिप्ताक्षरों का विस्तार किया (जैसे "dms" को "dominus" में बदलना) और विराम चिह्नों को ठीक किया ताकि कंप्यूटर अर्थ को बेहतर ढंग से समझ सकें।
4. परिणाम: "अच्छा" और "महान" के बीच का अंतर
लेखक ने दो लोकप्रिय कंप्यूटर मॉडल (TrOCR और MiniCPM) का इस नई पद्धति का उपयोग करके परीक्षण किया।
- रैंडम टेस्ट: रैंडम लाइनों पर परीक्षण करने पर, कंप्यूटरों ने काफी अच्छा प्रदर्शन किया (लगभग 9% त्रुटि दर)। यह उस छात्र की तरह है जिसे आसान चैप्टर 1 के टेस्ट पर 'A' मिलता है।
- आउटलियर टेस्ट: जब "अजीब" लाइनों पर परीक्षण किया गया, तो त्रुटि दर काफी बढ़ गई (12-13% तक)।
निष्कर्ष: यह अंतर साबित करता है कि वर्तमान कंप्यूटर उतने मजबूत नहीं हैं जितना हम सोचते थे। जब वे ऐतिहासिक दस्तावेजों की बिखरी हुई और अप्रत्याशित वास्तविकता का सामना करते हैं, तो वे संघर्ष करते हैं। इस "आउटलियर" टेस्ट का उपयोग करके, शोधकर्ता अब यह देख सकते हैं कि कंप्यूटर वास्तव में कहाँ विफल हो रहे हैं और उन्हें आगे क्या सीखने की आवश्यकता है।
सारांश
TRIDIS पुराने हस्तलिखित दस्तावेजों का एक विशाल, खुला पुस्तकालय है जिसे कंप्यूटर को इतिहास पढ़ने में मदद करने के लिए डिज़ाइन किया गया है। इसकी सबसे महत्वपूर्ण विशेषता एक नया परीक्षण तरीका है: कंप्यूटर को एक आसान, रैंडम क्विज़ देने के बजाय, यह उन्हें सबसे कठिन, सबसे असामान्य उदाहरणों के सामने डाल देता है। यह सुनिश्चित करता है कि जब हम कहते हैं कि एक कंप्यूटर पुरानी पांडुलिपियों को पढ़ सकता है, तो वह वास्तव में इतिहास की वास्तविक, बिखरी हुई दुनिया को संभाल सकता है, न कि केवल आदर्श उदाहरणों को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।