A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents
यह शोध पत्र वर्तमान OCR मूल्यांकन विधियों की आधुनिक, पश्चिमी डेटासेट पर उनकी अत्यधिक निर्भरता की आलोचना करता है, यह तर्क देते हुए कि यह पूर्वाग्रह ऐतिहासिक और हाशिए के दस्तावेज़ों—विशेष रूप से अश्वेत समाचार पत्रों—को संरचनात्मक रूप से अदृश्य बना देता है और उनकी अनूठी टिपोग्राफिक और भौतिक चुनौतियों को पकड़ने में विफल होकर प्रतिनिधित्व संबंधी हानि का कारण बनता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास प्राचीन, नाजुक समाचार पत्रों का एक पुस्तकालय है जो एक ऐसी भाषा में लिखे गए हैं जो हर कुछ दशकों में थोड़ी बदल जाती है। अब, कल्पना कीजिए कि आपने दुनिया को दिखाने के लिए उन्हें ज़ोर से पढ़ने और टाइप करने के लिए एक सुपर-स्मार्ट रोबोट को काम पर रखा है।
यह शोध पत्र इस बारे में है कि हम उस रोबोट का परीक्षण कैसे करते हैं, और क्यों हमारे वर्तमान परीक्षण एक बहुत ही विशिष्ट, खतरनाक समस्या को पकड़ने में विफल हो रहे हैं: रोबोट आधुनिक, साफ दस्तावेजों को पढ़ने में बहुत अच्छा है, लेकिन यह ऐतिहासिक अश्वेत (Black) समाचार पत्रों को पूरी तरह से गलत समझ लेता है और अक्सर उनके अर्थ को नष्ट कर देता है।
सरल उपमाओं का उपयोग करके इस शोध पत्र का विवरण यहाँ दिया गया है:
1. "परफेक्ट स्कोर" का जाल
अभी, जब हम इन पढ़ने वाले रोबोटों (जिन्हें OCR सिस्टम कहा जाता है) का परीक्षण करते हैं, तो हम उन्हें एक गणित का टेस्ट देते हैं। टेस्ट पूछता है: "क्या आपने हर एक अक्षर को सही ढंग से टाइप किया?"
यदि रोबोट "The cat sat" के बजाय "The cat sat" टाइप करता है, तो उसे उच्च स्कोर मिलता है। लेकिन कल्पना कीजिए कि समाचार पत्र तीन कॉलमों में अगल-बगल लिखा गया था, जैसे कि एक पहेली हो। यदि रोबोट पहले कॉलम को पढ़ता है, फिर तीसरे पर कूद जाता है, फिर दूसरे पर, तो वह अभी भी हर अक्षर को सही ढंग से टाइप कर सकता है। हालाँकि, कहानी अब समझ में नहीं आती।
उपमा: यह एक ऐसे छात्र की तरह है जिसने रेसिपी को पूरी तरह से याद कर लिया है लेकिन सामग्री को गलत क्रम में परोस देता है। वे "flour," "eggs," और "sugar" शब्दों की वर्तनी के लिए "A" ग्रेड प्राप्त करते हैं, लेकिन वे आपको कच्चे आटे का कटोरा परोसते हैं क्योंकि वे रेसिपी की संरचना को नहीं समझ पाए।
2. "ट्रेनिंग डाइट" की समस्या
शोध पत्र का तर्क है कि इन रोबots को एक बहुत ही विशिष्ट आहार पर प्रशिक्षित किया जाता है। उन्होंने लाखों आधुनिक व्यावसायिक फॉर्म, वैज्ञानिक पेपर और साफ डिजिटल PDF खाए हैं। उन्हें कभी भी 19वीं सदी के अश्वेत समाचार पत्रों की प्लेट नहीं दी गई है।
उपमा: कल्पना कीजिए कि आपने केवल एक कुत्ते को टेनिस बॉल लाने के लिए सिखाया है। फिर, आप उसे एक भारी, कीचड़ भरा जूता फेंकते हैं और उसे लाने के लिए कहते हैं। कुत्ता "मूर्ख" नहीं है; उसे बस यह पता नहीं है कि जूता क्या है क्योंकि वह उसके प्रशिक्षण का हिस्सा नहीं था। जब कुत्ता जूते को लाने की कोशिश करता है, तो वह या तो उसे चबा सकता है या गिरा सकता है। इसी तरह, ये AI मॉडल समाचार पत्रों से टेक्स्ट को "लाने" की कोशिश करते हैं, लेकिन क्योंकि उन्होंने पहले कभी इस "जूते" को नहीं देखा है, वे भ्रमित हो जाते हैं (चीजें बना लेते हैं) या लेआउट को बिगाड़ देते हैं।
3. मशीन में "भूत" (The Ghost in the Machine)
जब ये रोबोट पुराने अश्वेत समाचार पत्रों को पढ़ने की कोशिश करते हैं, तो उन्हें अनूठी चुनौतियों का सामना करना पड़ता है:
- कागज सड़ रहा है: स्याही फीकी पड़ गई है, कागज पर दाग हैं, और स्कैन धुंधले हैं (जैसे गंदी खिड़की से देखना)।
- फॉन्ट्स अजीब हैं: वे पुराने जमाने के, फैंसी अक्षरों (Gothic या Blackletter) का उपयोग करते हैं जो आधुनिक AI के लिए एलियन प्रतीकों की तरह दिखते हैं।
- लेआउट जटिल है: टेक्स्ट 7 कॉलमों में भरा हुआ है, जिसमें विज्ञापन और सुर्खियां इधर-उधर बुनी हुई हैं।
परिणाम: रोबोट केवल एक टाइपो (वर्तनी की गलती) नहीं करता है। वह अक्सर इतिहास को मिटा देता है।
- वह एक कविता और एक समाचार रिपोर्ट को एक विशाल, भ्रमित करने वाले पैराग्राफ के रूप में पढ़ सकता है।
- वह ऐसे शब्द "बना" (hallucinate) सकता है जो उस कालखंड के अनुकूल लग सकते हैं लेकिन वास्तव में फर्जी होते हैं।
- वह लेआउट के राजनीतिक संदेश को पूरी तरह से अनदेखा कर सकता है क्योंकि वह टेक्स्ट को एक सीधी रेखा में फिट करने की कोशिश कर रहा होता है।
4. "अदृश्यता"
शोध पत्र का सबसे महत्वपूर्ण बिंदु यह है कि यह केवल एक तकनीकी गड़बड़ी नहीं है; यह अदृश्यता का एक रूप है।
क्योंकि वर्तमान परीक्षण केवल इस बात की परवाह करते हैं कि "क्या आपने 'freedom' शब्द को सही ढंग से लिखा?", सिस्टम को ग्रीन लाइट मिल जाती है। इसे "स्टेट-ऑफ-द-आर्ट" घोषित कर दिया जाता है। लेकिन वास्तव में, इसने दस्तावेज़ की आत्मा को पकड़ने में विफल रहा है।
उपमा: कल्पना कीजिए कि एक संग्रहालय क्यूरेटर को एक पेंटिंग को बहाल करने के लिए नियुक्त किया गया है। उनका परीक्षण इस बात पर किया जाता है कि वे पेंट के रंगों को कितनी अच्छी तरह मिलाते हैं। वे लाल और नीले रंग को मिलाने का बेहतरीन काम करते हैं। लेकिन इस प्रक्रिया में, वे कलाकार के हस्ताक्षर और पृष्ठभूमि के दृश्यों के ऊपर पेंट कर देते हैं क्योंकि उन्होंने नहीं सोचा कि वे हिस्से महत्वपूर्ण हैं। पेंटिंग रंगीन दिखती है, लेकिन कहानी गायब हो जाती है।
5. यह क्यों मायने रखता है
लेखकों का कहना है कि हमें खेल के नियम बदलने की जरूरत है। हम केवल यह नहीं पूछ सकते, "क्या टेक्स्ट सटीक है?" हमें पूछना होगा:
- "क्या आपने कॉलमों को सही क्रम में रखा?"
- "क्या आपने उस तरीके का सम्मान किया जिस तरह से संपादक ने राजनीतिक प्रभाव डालने के लिए स्थान का उपयोग किया था?"
- "क्या आपने इतिहास को संरक्षित किया, या आपने इसे इतना 'साफ' कर दिया कि यह एक आधुनिक ब्लॉग पोस्ट जैसा दिखने लगा?"
निष्कर्ष:
इतिहास को वास्तव में समझने के लिए, विशेष रूप से अश्वेत प्रेस जैसे हाशिए पर रहने वाले समुदायों के इतिहास को समझने के लिए, हम उन उपकरणों का उपयोग नहीं कर सकते जो आधुनिक, कॉर्पोरेट दस्तावेजों के लिए बने हैं। हमें रोबोट को सही "भोजन" (ऐतिहासिक डेटा) खिलाने और उन्हें एक नया "टेस्ट" देने की आवश्यकता है जो वर्तनी के साथ-साथ संरचना और संस्कृति को भी महत्व दे। यदि हम ऐसा नहीं करते हैं, तो हम अपने इतिहास को एक विकृत, अपठनीय मलबे में बदलने का जोखिम उठाते हैं, भले ही रोबोट को लगे कि उसने एक बेहतरीन काम किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।