Which papyrus HTR is good enough? Character-error-rate tolerance of four papyrological tasks on Greek texts
यह अध्ययन ग्रीक ग्रंथों पर चार पप्पिरोलॉजिकल (papyrological) कार्यों के लिए विशिष्ट कैरेक्टर एरर रेट थ्रेशोल्ड स्थापित करता है, जो यह प्रदर्शित करता है कि जबकि सटीकता की आवश्यकताएं कार्य के अनुसार भिन्न होती हैं (3% से 20% तक), शोर वाले डेटा (noisy data) पर मॉडलों को पुन: प्रशिक्षित करना प्रदर्शन में गिरावट को काफी हद तक कम करता है और अपूर्ण HTR प्रणालियों को व्यावहारिक रूप से उपयोगी बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
प्राचीन भूमध्यसागरीय दुनिया ने अपने पीछे पपीरस के टुकड़ों का एक विशाल, मौन पुस्तकालय छोड़ दिया है, जो संग्रहालयों और संग्रहों में दस लाख से अधिक टुकड़ों में बिखरे हुए हैं। इनमें से अधिकांश अवशेष कभी पढ़े ही नहीं गए हैं। वे एक प्रवाहमयी, वक्राकार हस्तलिपि में लिखे गए हैं जिनमें शब्दों के बीच कोई स्थान (स्पेस) नहीं है, और अक्सर समय के कारण क्षतिग्रस्त हो चुके हैं, और उनमें ऐसे संक्षिप्त रूप (एब्रिविएशन) भरे हुए हैं जिन्हें केवल एक प्रशिक्षित विशेषज्ञ ही समझ सकता है। एक सदी से भी अधिक समय से, विद्वान इन दस्तावेजों को हाथ से सावधानीपूर्वक ट्रांसक्राइब करते आए हैं, एक ऐसी प्रक्रिया जिसमें एक एकल पाठ के लिए कई दिन या सप्ताह लग सकते हैं। चूंकि बहुत कुछ अनपढ़ा रह गया है, इसलिए इन ऐतिहासिक अभिलेखों का अधिकांश हिस्सा आधुनिक डिजिटल उपकरणों के लिए अदृश्य है। एक शोधकर्ता किसी विशिष्ट नाम या वाक्यांश को खोजने के लिए डेटाबेस में खोज नहीं कर सकता ताकि एक नया दस्तावेज़ मिल सके, क्योंकि वह पाठ अभी तक मशीन-पठनीय रूप में मौजूद नहीं है।
इसे बदलने के लिए, शोधकर्ताओं ने 'हैंडरिटन टेक्स्ट रिकग्निशन' नामक तकनीक की ओर रुख किया है, जो कृत्रिम बुद्धिमत्ता (AI) का एक रूप है जो प्राचीन लेखन की एक छवि को देख सकता है और उसे डिजिटल अक्षरों में परिवर्तित कर सकता है। हालांकि, ये प्रणालियाँ पूर्ण नहीं हैं। वे गलतियाँ करती हैं, यहाँ एक अक्षर को गलत पढ़ लेती हैं तो कहीं एक शब्द छोड़ देती हैं। वर्षों से, क्षेत्र का ध्यान इन प्रणालियों को अधिक सटीक बनाने पर रहा है, और इस बात की रिपोर्ट करने पर कि वे कितनी बार सही या गलत पढ़ते हैं। लेकिन एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया था: एक प्रणाली वास्तव में उपयोगी होने के लिए कितनी सटीक होनी चाहिए? एक विद्वान को यह जानने के लिए पूर्ण प्रतिलेखन (ट्रांसक्रिप्शन) की आवश्यकता नहीं हो सकती कि कोई दस्तावेज़ कानूनी अनुबंध है या कविता का अंश, लेकिन उसे यह निर्धारित करने के लिए कि इसे ठीक कब लिखा गया था, लगभग पूर्ण सटीकता की आवश्यकता हो सकती है। इस उत्तर के बिना, यह जानना असंभव है कि क्या वर्तमान तकनीक पपीरी के अनपढ़े बहुमत को अनलॉक करने में मदद करने के लिए तैयार है।
शोधकर्ताओं की एक टीम इस उत्तर को खोजने के लिए चार विशिष्ट कार्यों पर त्रुटियों के विभिन्न स्तरों के प्रभाव का परीक्षण करके आगे बढ़ी, जो पपिरोलॉजिस्ट (पपीरी विशेषज्ञ) प्रतिदिन करते हैं। वे एक पूर्ण मशीन के आने की प्रतीक्षा नहीं कर रहे थे; इसके बजाय, उन्होंने पहले से संपादित हजारों ग्रंथों का उपयोग किया और जानबूझकर त्रुटियाँ डालीं ताकि एक दोषपूर्ण मशीन द्वारा उत्पन्न होने वाली त्रुटियों का अनुकरण किया जा सके। उन्होंने इन अपूर्ण संस्करणों को उन कंप्यूटर मॉडलों के माध्यम से चलाया जो दस्तावेज़ के प्रकार की पहचान करने, उसकी आयु का अनुमान लगाने, आधिकारिक रिकॉर्ड और साहित्यिक कार्यों के बीच अंतर करने और विशिष्ट शब्दों को खोजने के लिए डिज़ाइन किए गए थे। त्रुटियों की संख्या को शून्य से लेकर आधे पाठ के गलत होने तक व्यवस्थित रूप से बढ़ाकर, उन्होंने मापा कि प्रत्येक कार्य कब विफल होना शुरू हुआ।
परिणामों से पता चला कि त्रुटियों के लिए सहनशीलता पूरी तरह से इस बात पर निर्भर करती है कि विद्वान क्या करने की कोशिश कर रहा है। कुछ कार्य आश्चर्यजनक रूप रूप से सुदृढ़ हैं। उदाहरण के लिए, एक नौकरशाही दस्तावेज़ और साहित्य के टुकड़े के बीच अंतर करना कंप्यूटर के लिए आसान है, भले ही पाठ काफी अस्त-व्यस्त क्यों न हो। मॉडल अभी भी उच्च सटीकता के साथ शैली (जॉनर) की पहचान कर सकते थे, भले ही पाठ में बीस प्रतिशत त्रुटियाँ हों। ऐसा इसलिए है क्योंकि कानूनी दस्तावेजों की समग्र शैली और शब्दावली कविता से इतनी अलग होती है कि कंप्यूटर शोर (नॉइज़) के बावजूद पैटर्न को पहचान सकता है। इसी तरह, लंबे वाक्यांशों या विशिष्ट सूत्रों को खोजना भी महत्वपूर्ण क्षति के साथ विश्वसनीय रहता है, बशर्ते खोज शब्द पर्याप्त लंबे हों।
हालाँकि, अन्य कार्य बहुत नाजुक हैं। किसी दस्तावेज़ की सटीक तिथि निर्धारित करना त्रुटियों के प्रति सबसे संवेदनशील साबित हुआ। मॉडल केवल तभी अपनी सटीकता बनाए रख सके जब त्रुटि दर को बहुत कम, लगभग तीन प्रतिशत तक रखा गया हो। जैसे ही गलतियाँ इस छोटे से स्तर से ऊपर गईं, पाठ के शतक या यहाँ तक कि दशक को सटीक रूप से पहचानने की क्षमता ढह गई। यह सुझाव देता है कि डेटिंग (तिथि निर्धारण) के लिए, प्रतिलेखन की गुणवत्ता सर्वोपरि है, और वर्तमान प्रणालियों को इस विशिष्ट कार्य के साथ भरोसेमंद होने से पहले काफी सुधार की आवश्यकता हो सकती है। दस्तावेज़ के विशिष्ट उप-प्रकार की पहचान करना, जैसे कि रसीद और याचिका के बीच अंतर करना, भी उच्च मानक की मांग करता था, जहाँ त्रुटियाँ पाँच प्रतिशत तक पहुँचने पर प्रदर्शन उल्लेखनीय रूप से गिर गया।
इस अध्ययन में एक महत्वपूर्ण खोज यह थी कि मॉडल को प्रशिक्षित करने का तरीका सब कुछ बदल देता है। जब शोधकर्ताओं ने अपने कंप्यूटरों को स्वच्छ, पूर्ण पाठ पर प्रशिक्षित किया और फिर उन्हें अस्त-व्यस्त, त्रुटिपूर्ण पाठ पर परखा, तो त्रुटियाँ बढ़ने के साथ प्रदर्शन तेजी से गिर गया। हालाँकि, जब उन्होंने मॉडलों को उस पाठ का उपयोग करके पुन: प्रशिक्षित किया जिसमें पहले से ही उसी प्रकार की गलतियाँ थीं जिनकी वे अपेक्षा कर रहे थे, तो प्रणालियाँ बहुत अधिक लचीली हो गईं। प्रदर्शन में होने वाली भारी गिरावट, जो आमतौर पर पंद्रह प्रतिशत से अधिक त्रुटियों के होने पर आती है, काफी हद तक गायब हो गई। दूसरे शब्दों में, एक कंप्यूटर जिसने अस्त-व्यस्त पाठ पढ़ना सीख लिया है, वह उस कंप्यूटर की तुलना में बहुत बेहतर तरीके से अस्त-व्यस्त पाठ पढ़ सकता है जिसने केवल पूर्ण उदाहरण देखे हैं। इसका अर्थ है कि आज उपलब्ध अपूर्ण तकनीक के साथ भी, विद्वान इन उपकरणों का प्रभावी ढंग से उपयोग कर सकते हैं यदि वे उन्हें वास्तविक, शोर वाले डेटा पर प्रशिक्षित करते हैं, न कि एक दोषरहित मशीन की प्रतीक्षा करते हैं।
अध्ययन ने यह भी रेखांकित किया कि खंड (फ्रैगमेंट) का आकार मायने रखता है। एक कंप्यूटर अक्सर एक लंबे दस्तावेज़ के प्रकार का सही अनुमान लगा सकता है भले ही उसमें कई त्रुटियाँ हों, क्योंकि उसके पास बड़े चित्र को देखने के लिए पर्याप्त संदर्भ होता है। लेकिन बहुत छोटे खंडों के लिए, कुछ गलतियाँ भी विश्लेषण को बिगाड़ सकती हैं। इसके अलावा, शोधकर्ताओं ने पाया कि पाठ की एक पूरी पंक्ति को खो देना व्यक्तिगत अक्षरों को गलत पढ़ने की तुलना में कम हानिकारक है। पाठ का एक हिस्सा खो जाना एक ज्ञात अंतराल है, जबकि गलत अक्षरों की एक श्रृंखला कंप्यूटर को ऐसे पैटर्न देखने के लिए धोखा दे सकती है जो अस्तित्व में ही नहीं हैं।
अंततः, यह शोध डिजिटल पपिरोलॉजी के भविष्य के लिए स्पष्ट लक्ष्य प्रदान करता है। यह दिखाता है कि हमें अनपढ़े पपीरी को अनलॉक करने के लिए एक पूर्ण प्रतिलेखन प्रणाली की आवश्यकता नहीं है। कई कार्यों के लिए, जैसे कि दस्तावेजों को प्रकार के आधार पर छाँटना या व्यापक विषयों को खोजना, वर्तमान तकनीक पहले से ही "पर्याप्त अच्छी" है, विशेष रूप से यदि उपकरण अपरिहार्य त्रुटियों को संभालने के लिए प्रशिक्षित हैं। डेटिंग जैसे अधिक नाजुक कार्यों के लिए, मानक ऊँचा है, और तकनीक को सुधार की आवश्यकता है। आगे का रास्ता पूर्णता की प्रतीक्षा करना नहीं है, बल्कि ऐसे सिस्टम बनाना है जो प्राचीन, क्षतिग्रस्त लेखन की अपूर्ण वास्तविकता के साथ काम करने के लिए पर्याप्त सुदृढ़ हों। यह समझकर कि एक कार्य त्रुटियों के प्रति कितना सहनशील है, विद्वान अब दुनिया के अनपढ़े संग्रहों पर इन उपकरणों को लागू कर सकते हैं, जिससे अदृश्य अवशेषों को खोज योग्य इतिहास में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।