BullingerDB: A Dataset for Handwritten Text Recognition and Writer Retrieval
यह शोध पत्र बुलिंगरडीबी (BullingerDB) को प्रस्तुत करता है, जो हेनरिक बुलिंगर के पत्राचार के लगभग 21,000 ऐतिहासिक पृष्ठों का एक विशाल बहुभाषी डेटासेट है, और हस्तलिखित पाठ पहचान (handwritten text recognition) तथा समय-जागरूक लेखक पुनर्प्राप्ति (time-aware writer retrieval) के लिए इसकी उपयोगिता का मूल्यांकन करता है, जो मॉडल के प्रदर्शन और दीर्घकालिक शैलीगत विविधताओं से उत्पन्न चुनौतियों, दोनों को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, धूल भरी लाइब्रेरी की कल्पना करें जिसमें 1500 के दशक के 20,000 से अधिक हस्तलिखित पत्र रखे हैं। ये केवल साधारण पत्र नहीं हैं; ये स्विट्जरलैंड के एक प्रसिद्ध धार्मिक नेता, हेनरिक बुलिंगर (Heinrich Bullinger) और उनके साथ पत्राचार करने वाले सैकड़ों लोगों के पत्र हैं।
इस शोध पत्र के लेखक, "BullingerDB", ने इस ऐतिहासिक खजाने को कंप्यूटरों के लिए एक विशाल प्रशिक्षण जिम (training gym) में बदल दिया है। उनका लक्ष्य मशीनों को दो विशिष्ट कौशल सिखाना था: इन बिखरे हुए पुराने पत्रों को पढ़ना और यह पता लगाना कि उन्हें किसने लिखा है, भले ही लेखक की शैली समय के साथ बदल गई हो।
यहाँ उन्होंने जो किया उसका विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. डेटासेट: एक "समय की यात्रा करने वाला" फोटो एल्बम
BullingerDB को हस्तलेखन के एक विशाल, व्यवस्थित फोटो एल्बम के रूप में समझें।
- मात्रा: इसमें 796 अलग-अलग लोगों के लगभग 5,0{0,000} पंक्तियों का टेक्स्ट है।
- विविधता: लेखकों ने विभिन्न भाषाओं का उपयोग किया (मुख्य रूप से लैटिन और प्रारंभिक जर्मन) और वे वाक्य के बीच में ही भाषा बदल देते थे, जैसे कोई अंग्रेजी और स्पेनिश मिश्रित करके टेक्स्ट मैसेज कर रहा हो।
- चुनौती: हस्तलेखन बहुत ही अनिश्चित है। कुछ लोग सफाई से लिखते थे, तो कुछ बहुत ही खराब। कुछ पत्र तब लिखे गए थे जब वे युवा थे, और कुछ तब जब वे वृद्ध हो गए थे। यह किसी मित्र की लिखावट को पहचानने जैसा है जो उसने 10 साल की उम्र में लिखा हो बनाम वह जो उसने 60 साल की उम्र में लिखा हो।
2. पहला कार्य: कंप्यूटर को पढ़ना सिखाना (HTR)
पहला काम यह था कि कंप्यूटर इन पत्रों को पढ़ सके और उन्हें सही ढंग से टाइप कर सके। यह एक बहुत तेज़, लेकिन थके हुए टाइपिस्ट को हाथ से लिखे नोट्स के ढेर को ट्रांसक्राइब करने के लिए काम पर रखने जैसा है।
- समस्या: नोट्स पुराने हैं, स्याही फीकी पड़ गई है, और शब्द ऐसी भाषाओं में हैं जो सदियों से बदल चुकी हैं।
- समाधान: उन्होंने चार अलग-अलग "AI छात्रों" (कंप्यूटर मॉडल) का परीक्षण किया यह देखने के लिए कि कौन सबसे अच्छा पढ़ सकता है।
- परिणाम: सबसे अच्छा छात्र, एक मॉडल जिसे TrOCR कहा जाता है, लगभग 9% त्रुटियों के साथ टेक्स्ट को पढ़ने में सफल रहा।
- पेंच (Catch): कंप्यूटर को बहुत छोटी लाइनों के टेक्स्ट (जैसे पत्र के पीछे लिखे पते) के साथ सबसे अधिक संघर्ष करना पड़ा क्योंकि उसके पास यह अनुमान लगाने के लिए पर्याप्त संदर्भ (context) नहीं था कि शब्द क्या थे। यह एक अक्षर से शब्द का अनुमान लगाने जैसा है; पूरे वाक्य से अनुमान लगाने की तुलना में यह बहुत कठिन है।
3. दूसरा कार्य: लेखक को खोजना (Writer Retrieval)
दूसरा काम यह था कि लेखन के एक पृष्ठ को देखा जाए और पूछा जाए, "इसे किसने लिखा है?" कंप्यूटर को 796 लेखकों के पुस्तकालय में से खोजना था और सही व्यक्ति को चुनना था।
- ट्विस्ट: लेखकों ने एक विशेष नियम जोड़ा। चूंकि वे जानते थे कि प्रत्येक पत्र कब लिखा गया था, इसलिए वे चाहते थे कि कंप्यूटर न केवल सही व्यक्ति को खोजे, बल्कि सही व्यक्ति को सही समय पर भी खोजे।
- उपमा: कल्पना कीजिए कि आप अपने मित्र की फोटो ढूंढ रहे हैं। यदि आप कंप्यूटर से "जॉन" को खोजने के लिए कहते हैं, तो उसे वयस्क फोटो की तलाश में जॉन की बचपन की फोटो नहीं दिखानी चाहिए। इसे यह समझने की आवश्यकता है कि जॉन का चेहरा (या हस्तलेखन) उम्र के साथ बदलता है।
- नया मीट्रिक: इसे मापने के लिए, उन्होंने temporal nDCG नामक एक नया स्कोर बनाया। इसे "टाइम-ट्रैवल स्कोर" के रूप में सोचें। यह कंप्यूटर को तब पुरस्कृत करता है जब वह सही लेखक को पाता है और यदि उसके द्वारा सुझाए गए अन्य लेखक भी उसी समय अवधि के होते हैं।
- परिणाम: कंप्यूटर वास्तव में सही व्यक्ति को खोजने में काफी अच्छा था (औसतन लगभग 78% सटीकता)। हालांकि, यह रैंकिंग करने में पूरी तरह से सटीक नहीं था। क्योंकि दशकों में लोगों का हस्तलेखन बहुत अधिक बदल जाता है, इसलिए कंप्यूटर कभी-कभी भ्रमित हो जाता था कि वह लेखक के किस संस्करण को देख रहा है।
4. यह क्यों महत्वपूर्ण है
इस शोध पत्र से पहले, शोधकर्ताओं के पास ऐसा कोई बड़ा "जिम" नहीं था जहाँ वे समय के साथ बदलने वाले ऐतिहासिक हस्तलेखन पर कंप्यूटरों को प्रशिक्षित कर सकें।
- अंतराल (Gap): पिछले डेटासेट बहुत छोटे थे या उनमें इस बारे में पर्याप्त जानकारी नहीं थी कि किसने कब लिखा।
- योगदान: BullingerDB अब अपने प्रकार का सबसे बड़ा सार्वजनिक डेटासेट है। यह शोधकर्ताओं को यह परीक्षण करने की अनुमति देता है कि क्या उनका AI इतिहास की जटिल वास्तविकता को संभाल सकता है, जहाँ लोग भाषा बदलते हैं, उम्र के साथ अपनी लेखन शैली बदलते हैं, और विभिन्न लिपियों में लिखते हैं।
सारांश
संक्षेप में, लेखकों ने कंप्यूटर को पुराना हस्तलेखन पढ़ने और लेखकों की पहचान करने के लिए सिखाने हेतु 16वीं शताब्दी के पत्रों का एक विशाल, टाइम-स्टैम्प वाला पुस्तकालय बनाया। उन्होंने पाया कि जबकि कंप्यूटर टेक्स्ट पढ़ने में काफी कुशल हो रहे हैं, फिर भी उन्हें तब कठिनाई होती है जब किसी लेखक की शैली कई वर्षों में विकसित होती है। उन्होंने एक नया तरीका भी पेश किया जिससे कंप्यूटर को ग्रेड किया जा सके, जो केवल नामों को नहीं, बल्कि दस्तावेजों की समयरेखा को समझने के लिए उन्हें पुरस्कृत करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।