Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts
यह शोधपत्र एक एनसेंबल विधि प्रस्तावित करता है जो प्रारंभिक आधुनिक जापानी ग्रंथों में OCR त्रुटियों का प्रभावी ढंग से पता लगाने और उन्हें सुधारने के लिए एक Bi-GRU मॉडल, एक डिक्शनरी और BERT को संयोजित करती है, जिससे 74.9% का F-मेजर प्राप्त होता है जो बेसलाइन दृष्टिकोणों से बेहतर है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लिखित शब्द एक नाजुक चीज़ है। कागज़ पीला पड़ जाता है, स्याही फीकी पड़ जाती है, और इतिहास के भौतिक पन्ने धीरे-धीरे नष्ट होने लगते हैं। इन अभिलेखों को संरक्षित करने के लिए, पुस्तकालयों और अभिलेखागारों ने दशकों तक किताबों को स्कैन करने और उनके पृष्ठों की छवियों को डिजिटल टेक्स्ट में बदलने में समय बिताया है जिसे कंप्यूटर पढ़ और खोज सकें। यह प्रक्रिया, जिसे ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) कहा जाता है, आधुनिक पुस्तकों के लिए बहुत अच्छी तरह से काम करती है जहाँ फोंट एकसमान होते हैं और कागज़ साफ होता है। हालाँकि, कार्य तब बहुत कठिन हो जाता है जब स्रोत सामग्री उस समय की हो जब मानकीकरण मौजूद नहीं था, जैसे कि 19वीं सदी के अंत और 20वीं सदी की शुरुआत के बीच प्रकाशित जापानी पुस्तकें। इन ग्रंथों में टाइपफेस की एक अराजक विविधता, घिसी हुई छपाई, और ऐसे पात्र (characters) होते हैं जो एक-दूसरे के आश्चर्यजनक रूप से समान दिखते हैं। जब एक कंप्यूटर उन्हें पढ़ने की कोशिश करता है, तो वह अक्सर एक पात्र को दूसरे के रूप में समझ लेता है, जिससे एक ऐसा डिजिटल टेक्स्ट बनता है जो पहली नज़र में सही दिखता है लेकिन सूक्ष्म, मौन त्रुटियों से भरा होता है जो सामग्री को गंभीर शोध के लिए अनुपयोगी बना देते हैं।
नारा, क्योटो और शिगा के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इन विशिष्ट गलतियों को ठीक करने का एक नया तरीका विकसित किया है। उन्होंने एक प्रणाली बनाई जो इन क्षतिग्रस्त डिजिटल ग्रंथों के लिए एक दो-चरणीय संपादक की तरह कार्य करती है। सबसे पहले, सिस्टम टेक्स्ट को स्कैन करता है ताकि यह पता लगाया जा सके कि त्रुटियाँ कहाँ छिपी हैं। केवल एक विधि पर निर्भर रहने के बजाय, उन्होंने दो अलग-अलग दृष्टिकोणों को जोड़ा: एक जो यह जाँचता है कि क्या कोई शब्द ज्ञात सूची में मौजूद है, और दूसरा जो वाक्य के प्रवाह और संदर्भ को समझने के लिए प्रशिक्षित एक कंप्यूटर मॉडल का उपयोग करता है। इन दोनों विधियों को एक साथ काम करने से, सिस्टम उन त्रुटियों को पकड़ सकता है जिन्हें एक विधि मिस कर सकती है और उन गलत अलार्मों को अनदेखा कर सकता है जो दूसरी विधि द्वारा उत्पन्न किए जा सकते हैं। एक बार त्रुटि मिल जाने के बाद, सिस्टम सही पात्र का सुझाव देता है जिसे बदला जाना चाहिए, इसके लिए आसपास के टेक्स्ट के आधार पर सबसे संभावित शब्द का अनुमान लगाने के लिए एक शक्तिशाली भाषा मॉडल का उपयोग करता है। उनके प्रयोगों ने दिखाया कि यह संयुक्त दृष्टिकोण पिछले तरीकों की तुलना में त्रुटियों को अधिक सटीकता से पाता है और उनमें से एक महत्वपूर्ण हिस्से को सफलतापूर्वक सुधारता है, जिससे प्रारंभिक आधुनिक जापान का डिजिटाइज़ किया गया इतिहास विद्वानों और जनता के लिए बहुत अधिक विश्वसनीय हो जाता है।
इन पुरानी किताबों को पढ़ने की चुनौती केवल कागज की उम्र के बारे में नहीं है, बल्कि छपाई की प्रकृति के बारे में है। आज की किताबों के विपरीत, जो सुसंगत फोंट का उपयोग करती हैं, मेइजी से लेकर शुरुआती शोवा युग तक के प्रकाशनों में टाइपफेस की एक विस्तृत विविधता थी जो प्रकाशक से प्रकाशक तक और यहाँ तक कि साल-दर-साल बदलती रहती थी। उस समय की छपाई प्रक्रिया के परिणामस्वरूप अक्सर धुंधले या असमान पात्र बनते थे। जब आधुनिक ऑप्टिकल कैरेक्टर रिकग्निशन सॉफ्टवेयर, जो साफ और मानक टेक्स्ट पर प्रशिक्षित होता है, इन पृष्ठों को पढ़ने की कोशिश करता है, तो वह अक्सर समान दिखने वाले पात्रों के बीच भ्रमित हो जाता है। उदाहरण के लिए, एक पात्र जिसमें एक अतिरिक्त मामूली स्ट्रोक हो, उसे पूरी तरह से अलग शब्द के रूप में पढ़ा जा सकता है। हालांकि इन पुराने फोंट को संभालने के लिए विशेष सॉफ्टवेयर बनाया गया है, फिर भी यह लगभग तीन प्रतिशत पात्रों पर गलतियाँ करता है। एक लंबे वाक्य में, इसका अर्थ है कि लगभग आधे वाक्यों में कम से कम एक त्रुटि होती है, जो कि बहुत अधिक है ताकि कंप्यूटर इसे खोज सके या एक शोधकर्ता बिना सत्यापन के इस पर भरोसा कर सके।
इसे हल करने के लिए, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो दो अलग चरणों में काम करती है: पहचान (detection) और सुधार (correction)। पहला चरण सबसे महत्वपूर्ण है, क्योंकि सिस्टम को यह पहचानना होगा कि कौन से पात्र गलत हैं बिना सही पात्रों को त्रुटि के रूप में चिह्नित किए। टीम ने महसूस किया कि इन गलतियों को खोजने के लिए केवल एक उपकरण का उपयोग करना पर्याप्त नहीं था। एक सरल डिक्शनरी चेक, जो यह देखता है कि क्या कोई शब्द ज्ञात शब्दों की सूची में है, निरर्थक शब्दों को पकड़ने में बहुत अच्छा है लेकिन जब यह किसी दुर्लभ या अज्ञात शब्द का सामना करता है जो वास्तव में सही है, तो अक्सर विफल हो जाता है। दूसरी ओर, एक कंप्यूटर मॉडल जो वाक्य के संदर्भ से सीखता है, शब्दों के आपस में मेल खाने के तरीके को समझने में बहुत अच्छा है, लेकिन यह कभी-कभी दुर्लभ नामों या विशिष्ट शब्दों के कारण भ्रमित हो सकता है जिन्हें उसने अक्सर नहीं देखा है।
शोधकर्ताओं ने इन दोनों शक्तियों को एक एकल एन्सेम्बल पद्धति में मिलाने का निर्णय लिया। उन्होंने डिक्शनरी-आधारित चेकर और संदर्भ-जागरूक कंप्यूटर मॉडल से आउटपुट लिया और उन्हें एक साथ काम करने के लिए बनाया। यदि डिक्शनरी कहती है कि एक शब्द गायब है, तो सिस्टम जाँचता है कि क्या संदर्भ मॉडल भी इसे गलत मानता है। यदि दोनों सहमत हैं, तो सिस्टम इसे एक त्रुटि के रूप में चिह्नित करता है। यदि केवल एक ही इसे गलत मानता है, तो सिस्टम मान लेता है कि यह एक दुर्लभ लेकिन सही शब्द हो सकता है और इसे छोड़ देता है। इस रणनीति ने उन मामलों की संख्या को काफी कम कर दिया जहाँ सिस्टम ने एक सही शब्द को गलती के रूप में गलत तरीके से आरोपित किया था। अपने परीक्षण में, इस संयुक्त दृष्टिकोण ने लगभग 75 प्रतिशत बार त्रुटियों की सही पहचान की और साथ ही गलत अलार्म की संख्या को बहुत कम रखा जो अकेले किसी भी विधि द्वारा प्राप्त किया जा सकता था।
एक बार जब सिस्टम ने त्रुटियों को सटीक रूप से पहचान लिया, तो वह दूसरे चरण की ओर बढ़ता है: उन्हें ठीक करना। शोधकर्ताओं ने संदिग्ध गलत पात्र को एक खाली स्थान, या एक "मास्क" से बदल दिया, और एक परिष्कृत भाषा मॉडल से पूछा कि मूल पात्र क्या होना चाहिए था। इसी युग के विशाल टेक्स्ट पर प्रशिक्षित यह मॉडल, खाली स्थान से पहले और बाद के शब्दों को देखता है ताकि सबसे संभावित उम्मीदवार का अनुमान लगाया जा सके। यह सुनिश्चित करने के लिए कि अनुमान एक अच्छा फिट है, सिस्टम ने यह भी जाँच की कि नया पात्र पुराने, गलत पात्र के कितने समान दिखता है, क्योंकि OCR त्रुटियाँ आमतौर पर उन पात्रों के बीच होती है जो एक-दूसरे के समान दिखते हैं। सिस्टम ने फिर अपने शीर्ष अनुमानों को रैंक किया और सबसे अच्छे का चयन किया।
इस नई पद्धति के परिणाम उत्साहजनक थे। जब शोधकर्ताओं ने हजारों वाक्यों पर अपने सिस्टम का परीक्षण किया, तो उन्होंने पाया कि इसने सफलतापूर्वक पहचाने गए त्रुटियों में से लगभग 65 प्रतिशत को सुधारा। यह अकेले संदर्भ मॉडल का उपयोग करने की तुलना में एक उल्लेखनीय सुधार था, जिसने लगभग 58 प्रतिशत त्रुटियों को सुधारा। सिस्टम विशेष रूप से प्रभावी था जब इसने बिना किसी भ्रम के त्रुटि के सटीक स्थान को पा लिया था; उन मामलों में, सुधार सफलता दर 90 प्रतिशत से ऊपर पहुँच गई। हालाँकि, शोधकर्ताओं ने एक समझौता (trade-off) भी नोट किया। गलत अलार्म से बचने के लिए बहुत सावधान रहकर, सिस्टम कभी-कभी कुछ त्रुटियों को पूरी तरह से छोड़ देता है, जिसका अर्थ है कि इसने टेक्स्ट में हर एक गलती को नहीं पकड़ा। उन्होंने पाया कि सिस्टम सबसे अधिक बहुत दुर्लभ शब्दों या उचित नामों के साथ संघर्ष करता है जो प्रशिक्षण डेटा में सामान्य नहीं थे, क्योंकि न तो डिक्शनरी और न ही संदर्भ मॉडल के पास उनके बारे में निश्चित होने के लिए पर्याप्त जानकारी थी।
इन सीमाओं के बावजूद, यह अध्ययन प्रदर्शित करता है कि विभिन्न प्रकार के चेक को मिलाना ऐतिहासिक ग्रंथों को साफ करने का एक शक्तिशाली तरीका है। शोधकर्ताओं ने दिखाया कि डिक्शनरी और एक संदर्भ-जागरूक मॉडल को एक-दूसरे की जांच करने देकर, वे इतिहासकारों और पुस्तकालयाध्यक्षों के लिए एक अधिक विश्वसनीय उपकरण बना सकते हैं। यह कार्य इस समस्या को पूरी तरह से हल करने का दावा नहीं करता है कि पुरानी जापानी किताबों को कैसे पढ़ा जाए, लेकिन यह इन ग्रंथों के डिजिटल संस्करणों को उपयोगी बनाने के लिए एक महत्वपूर्ण कदम प्रदान करता है। जैसे-जैसे अधिक पुस्तकें डिजिटाइज़ की जा रही हैं, इस तरह की विधियाँ यह सुनिश्चित करने के लिए आवश्यक होंगी कि डिजिटल संग्रह मूल का एक वफादार प्रतिबिंब हो, जो भविष्य की पीढ़ियों के लिए अतीत की वास्तविक आवाज़ को संरक्षित करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।