Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline
यह शोध पत्र एक डिफॉर्मेबल डिटेक्शन ट्रांसफॉर्मर (DETR) पर आधारित एक स्केलेबल, एंड-टू-एंड क्यूनीफॉर्म (cuneiform) OCR पाइपलाइन प्रस्तुत करता है जो अब तक के सबसे बड़े एनोटेटेड साइन डेटासेट का लाभ उठाता है, जिससे महत्वपूर्ण मीट्रिक सुधार प्राप्त हुए हैं और 87,688 इलेक्ट्रॉनिक बेबीलोनियन लाइब्रेरी खंडों में लगभग 2.9 मिलियन संकेतों का सफलतापूर्वक पता लगाया गया है ताकि प्राचीन टैबलेट्स के बड़े पैमाने पर स्वचालित विश्लेषण को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक विशाल पुस्तकालय की जहाँ किताबें कागज की नहीं, बल्कि गीली मिट्टी की बनी हैं जिसे 3,000 साल पहले पकाकर सख्त किया गया था। ये कीलाक्षर (cuneiform) पट्टिकाएं (tablets) हैं, जो दुनिया की सबसे पुरानी ज्ञात लेखन प्रणालियों में से एक हैं। इनमें मेसोपोटामिया का इतिहास, कानून और कहानियाँ दर्ज हैं।
समस्या क्या है? यहाँ लगभग पाँच लाख ऐसी पट्टिकाएं हैं, लेकिन उनमें से अधिकांश टूटी हुई, दरार वाली या मिट्टी से ढकी हुई हैं। केवल कुछ ही विशेषज्ञ विद्वान (जिन्हें असीरियोलॉजिस्ट कहा जाता है) इन्हें पढ़ सकते हैं, और उनके पास हर एक को पढ़ने के लिए पर्याप्त समय नहीं है। यह एक क्षतिग्रस्त विश्वकोश के लाखों पन्नों को एक आवर्धक लेंस (magnifying glass) से एक-एक अक्षर करके पढ़ने की कोशिश करने जैसा है।
यह शोध पत्र इन पट्टिकाओं को पढ़ने में विद्वानों की मदद करने के लिए एक रोबोटिक सहायक बनाने के बारे में है। उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है:
1. "शिक्षक" और "छात्र"
कंप्यूटर को इन प्राचीन प्रतीकों को पढ़ना सिखाने के लिए, आपको उदाहरणों की एक विशाल पाठ्यपुस्तक की आवश्यकता होती है।
- डेटासेट (The Dataset): शोधकर्ताओं ने कीलाक्षर छवियों का अब तक का सबसे बड़ा "लेबल वाला" संग्रह एकत्र किया। कल्पना कीजिए कि आपने 1,931 मिट्टी की पट्टिकाओं की तस्वीरें लीं और मैन्युअल रूप से प्रत्येक प्रतीक के चारों ओर एक बॉक्स बनाया, कंप्यूटर को यह बताते हुए, "यह बॉक्स 'राजा' के प्रतीक को दर्शाता है, और यह 'जौ' को।" उन्होंने इस डेटासेट को लगभग 52,000 संकेतों से बढ़ाकर 124,500 संकेत कर दिया।
- मॉडल (The Model - छात्र): उन्होंने DETR (Deformable Detection Transformer) नामक एक स्मार्ट AI का उपयोग किया। इसे एक बहुत ही तेज़ आँखों वाले छात्र के रूप में समझें जो एक फोटो देखता है और हर प्रतीक को खोजने और उसका नाम देने की कोशिश करता है। उन्होंने इस छात्र को दो अलग-अलग "शब्दकोशों" पर प्रशिक्षित किया: एक जिसमें 173 प्रकार के संकेत थे (बहुत विस्तृत) और दूसरा जिसमें 106 प्रकार के संकेत थे (सरलीकृत)।
2. तीन-चरणीय सफाई प्रक्रिया
रोबोट के पढ़ने से पहले, तस्वीरों को साफ करने की आवश्यकता होती है, क्योंकि प्राचीन पट्टिकाएं अस्त-व्यस्त होती हैं। शोधकर्ताओं ने एक तीन-चरणीय पाइपलाइन बनाई:
- चरण 1: "टैबलेट कटर" (Side Extraction):
कभी-कभी, एक एकल फोटो में पाँच अलग-अलग टूटी हुई पट्टिकाओं के टुकड़ों वाली एक पूरी ट्रे दिखाई देती है। AI को यह जानने की आवश्यकता है कि एक टैबलेट कहाँ समाप्त होता है और दूसरा कहाँ शुरू होता है। शोधकर्ताओं ने एक टूल बनाया जो स्वचालित रूप से फोटो को काट देता है, जिससे एक बार में केवल एक ही टैबलेट की सतह निकल आती है, ठीक वैसे ही जैसे एक शेफ पिज्जा को व्यक्तिगत स्लाइस में काटता है ताकि रोबोट एक समय में एक टुकड़े पर ध्यान केंद्रित कर सके। - चरण 2: "लाइन ऑर्गनाइज़र" (Line Grouping):
एक बार जब रोबोट प्रतीकों को पहचान लेता है, तो वे केवल बिंदुओं का एक बिखरा हुआ बादल होते हैं। रोबोट को यह जानने की आवश्यकता है कि कौन से बिंदु पाठ की एक ही पंक्ति के हैं। शोधकर्ताओं ने क्लस्टरिंग विधि (DBSCAN) का उपयोग किया जो एक चुंबक की तरह कार्य करती है। यह उन प्रतीकों को खींचती है जो ऊर्ध्वाधर (vertically) रूप से पास होते हैं और उन्हें एक पंक्ति में लाती है, जिससे पंक्तियों के बीच के अव्यवस्थित अंतराल को अनदेखा किया जा सके। यह प्रतीकों के अराजक बादल को पाठ की व्यवस्थित पंक्तियों में बदल देता है। - चरण 3: "स्पेलचेकर" (N-gram Matching):
हमें कैसे पता चलेगा कि रोबोट सही है? उन्होंने रोबोट के आउटपुट की तुलना डेटाबेस में मौजूद ज्ञात पाठ (transliterations) से की। उन्होंने केवल यह नहीं जांचा कि क्या रोबोट ने पूरा शब्द सही पाया, बल्कि यह भी जांचा कि क्या रोबोट ने प्रतीकों के क्रम को सही पहचाना (जैसे यह जांचना कि क्या "बिल्ली बैठी" "कुत्ता बैठा" के बजाय "बिल्ली बैठी" से मेल खाता है)।
3. परिणाम: एक बड़ी छलांग
रोबोट आश्चर्यजनक रूप से अच्छा काम कर रहा था।
- सटीकता (Accuracy): पिछले सर्वोत्तम तरीके की तुलना में, इस नई प्रणाली ने सटीकता में 28% से 37% का सुधार किया। यह एक बड़ी छलांग है, जैसे 60% अंक प्राप्त करने वाले छात्र से 90% प्राप्त करने वाले छात्र तक पहुँचना।
- पैमाना (Scale): उन्होंने इस प्रणाली को इलेक्ट्रॉनिक बेबीलोनियन लाइब्रेरी की 87,668 पट्टिका खंडों पर चलाया।
- आउटपुट (Output): रोबोट ने सफलतापूर्वक लगभग 2.9 मिलियन व्यक्तिगत संकेतों को खोजा और लेबल किया।
4. सीमाएँ (जहाँ रोबोट अभी भी संघर्ष करता है)
यह शोध पत्र ईमानदारी से बताता है कि रोबोट अभी भी कहाँ पूर्ण नहीं है:
- टूटी हुई पट्टिकाएं: यदि कोई पट्टिका चकनाचूर हो गई है या मिट्टी का क्षरण हो गया है, तो प्रतीक अजीब दिखते हैं। रोबोट कभी-कभी आत्मविश्वास के साथ अनुमान लगाता है लेकिन गलत हो जाता है, या वह क्षति से भ्रमित हो जाता है।
- अर्थ के लिए "मस्तिष्क" का अभाव: रोबोट एक दृश्य जासूस है, भाषाविद् नहीं। वह आकृतियों को देखता है और उन्हें पंक्तियों में समूहित करता है, लेकिन वह व्याकरण या कहानी को नहीं समझता। वह नहीं जानता कि "राजा" आमतौर पर "बेबीलोन का" से पहले आता है। वह केवल आकृतियों को देखता है।
- भीड़भाड़ वाला पाठ: हजारों छोटे, घने प्रतीकों वाली बहुत बड़ी पट्टिकाओं पर, रोबोट कभी-कभी संकेतों को मिस कर देता है या पंक्तियों को आपस में मिला देता है।
निष्कर्ष
इस शोध पत्र ने केवल एक बेहतर कैमरा नहीं बनाया; इसने प्राचीन इतिहास को पढ़ने के लिए एक स्केलेबल फैक्ट्री बनाई है। एक विशाल नए डेटासेट के साथ एक स्मार्ट "कट-एंड-सॉर्ट" पाइपलाइन को जोड़कर, उन्होंने एक ऐसा उपकरण बनाया है जो मानव द्वारा एक पट्टिका पढ़ने में लगने वाले समय में हजारों पट्टिकाओं को प्रोसेस कर सकता है। हालांकि इसे कठिन हिस्सों की दोबारा जांच के लिए मानव विशेषज्ञों की आवश्यकता होती है, लेकिन इसने अंततः उन "पाँच लाख" अपठित पट्टिकाओं को पढ़ने की नींव रख दी है जो सदियों से संग्रहालयों में रखी हुई हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।