2D Rotary Position Embedding for Scene Text Recognition with Transformers
यह शोध पत्र \method{} को प्रस्तुत करता है, जो सीन टेक्स्ट रिकग्निशन (Scene Text Recognition) के लिए 2D रोटरी पोजीशन एम्बेडिंग का एक पैरामीटर-मुक्त अनुकूलन है, जो टेक्स्ट के आस्पेक्ट रेश्यो (aspect ratios) से मेल खाने के लिए आयामों को अनिसोट्रोपिकली (anisotropically) आवंटित करके और रोटरी कपलिंग को एनकोडर-डिकोडर क्रॉस-अटेंशन तक विस्तारित करके मौजूदा विधियों की सीमाओं को संबोधित करता है, जिससे घुमावदार, घूमे हुए और परिप्रेक्ष्य-विकृत (perspective-distorted) टेक्स्ट लेआउट पर सटीकता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दृष्टि की हलचल भरी दुनिया में, मशीनें लगातार हमारे आसपास की दुनिया को पढ़ना सीख रही हैं। राजमार्ग पर लाइसेंस प्लेटों को स्कैन करने से लेकर किसी विदेशी शहर में सड़क के संकेतों का अनुवाद करने तक, प्राकृतिक परिवेश में टेक्स्ट को पहचानने की क्षमता आधुनिक तकनीक का एक आधार स्तंभ है। वर्षों से, कंप्यूटर इस कार्य में संघर्ष करते रहे हैं जब टेक्स्ट पूरी तरह से सीधा या एक साफ सफेद पन्ने पर छपा हुआ नहीं होता। वास्तविक दुनिया के शब्द अक्सर कैमरे के कोण के कारण मुड़े हुए, झुके हुए या खिंचे हुए होते हैं, जो एक दृश्य पहेली पैदा करते हैं जिसे मानक पढ़ने वाले एल्गोरिदम हल करने में कठिनाई पाते हैं। कंप्यूटर को अक्षरों के क्रम को समझने में मदद करने के लिए, शोधकर्ताओं ने लंबे समय से 'पोजीशनल टैग्स' (स्थानिक टैग) की एक प्रणाली पर भरोसा किया है। इन टैग्स को एक सरल पता प्रणाली की तरह समझें जो कंप्यूटर को बताती है कि एक रेखा में पहला, दूसरा और तीसरा अक्षर कौन सा है। हालांकि यह सीधी, क्षैतिज (horizontal) टेक्स्ट के लिए अच्छी तरह काम करता है, लेकिन जब टेक्स्ट मुड़ता या घूमता है, तो यह विफल हो जाता है, क्योंकि कंप्यूटर दो-आयामी स्थान में अक्षरों के बीच के संबंध को खो देता है।
एक शोधकर्ता ने अब कंप्यूटर को यह स्थानिक जागरूकता देने का एक नया तरीका विकसित किया है, जो विशेष रूप से वास्तविक दुनिया में पाए जाने वाले अव्यवस्थित, अनियमित टेक्स्ट के लिए डिज़ाइन किया गया है। उन्होंने '2D रोटरी पोजीशन एम्बेडिंग' (2D Rotary Position Embedding) नामक एक विधि बनाई, जो पुराने एक-आयामी पता सिस्टम को एक गतिशील समझ से बदल देती है। केवल एक एकल रेखा के साथ कदम गिनने के बजाय, यह नया दृष्टिकोण कंप्यूटर को अक्षरों के बीच की ऊर्ध्वाधर (vertical) और क्षैतिज (horizontal) दूरी के आधार पर टेक्स्ट की समझ को घुमाने (rotate करने) की अनुमति देता है। इसका अर्थ यह है कि मशीन यह पहचान सकती है कि एक अक्षर दूसरे के "बगल में" है, भले ही वह शब्द एक घेरे में लिखा गया हो या किसी तीव्र कोण से देखा जा रहा हो। उन्होंने इस प्रणाली का परीक्षण छवियों के छह अलग-अलग मानक सेटों पर किया, जिसमें घुमावदार संकेतों से लेकर परिप्रेक्ष्य-विकृत (perspective-distorted) बिलबोर्ड तक सब कुछ शामिल था। उनके परिणामों ने दिखाया कि यह नई विधि पिछले तकनीकों से काफी बेहतर प्रदर्शन करती है, विशेष रूप से अनियमित टेक्स्ट के मामले में। सुधार सबसे चुनौतीपूर्ण छवियों पर सबसे नाटकीय था, जहाँ नए सिस्टम ने उन शब्दों को सही ढंग से पहचाना जिन्हें पुराने मॉडल गलत पढ़ देते थे, और यह सब कंप्यूटर के मस्तिष्क में किसी भी अतिरिक्त जटिलता या मेमोरी लागत को जोड़े बिना किया गया।
इस प्रगति का मूल आधार यह है कि कंप्यूटर छवि को कैसे संसाधित (process) करता है। पारंपरिक तरीके अक्सर एक छवि को डेटा की एक लंबी रेखा में समतल कर देते हैं, यह नजरअंदाज करते हुए कि टेक्स्ट एक सपाट सतह पर ऊंचाई और चौड़ाई के साथ मौजूद होता है। जब टेक्स्ट मुड़ा हुआ या तिरछा होता है, तो यह समतलीकरण अक्षरों के बीच के संबंध को विकृत कर देता है, जिससे कंप्यूटर अपना स्थान खो देता है। हालाँकि, नया तरीका छवि को एक वास्तविक द्वि-आयामी ग्रिड के रूप में मानता है। यह छवि के प्रत्येक भाग को एक अद्वितीय स्थानिक हस्ताक्षर (spatial signature) प्रदान करता है जो अक्षरों की सापेक्ष स्थिति के आधार पर बदलता है। यदि एक अक्षर दूसरे के ऊपर और दाईं ओर है, तो सिस्टम इस विशिष्ट ज्यामितीय संबंध को समझता है, चाहे पूरा शब्द कितना भी मुड़ा हुआ क्यों न हो। यह एक महत्वपूर्ण अंतर है क्योंकि यह कंप्यूटर को पढ़ने के प्राकृतिक प्रवाह का अनुसरण करने की अनुमति देता है, भले ही वह प्रवाह एक सीधी क्षैतिज रेखा न हो।
शोधकर्ता ने अपने नए सिस्टम की तुलना सीधे पुराने मॉडलों से समान प्रशिक्षण डेटा और हार्डवेयर का उपयोग करके करके इस दृष्टिकोण की शक्ति का प्रदर्शन किया। एक उल्लेखनीय उदाहरण में, पुराने तरीके का उपयोग करने वाला एक मॉडल एक घुमावदार साइन को देखा जिस पर "coffee" लिखा था और उसने इसे "come" के रूप में पढ़ा, क्योंकि वक्र (curve) ने अक्षरों को पूरी तरह से मिस कर दिया क्योंकि उसके रैखिक गणना (linear counting) ने उन्हें भटक दिया था। नया सिस्टम, 2D स्थानिक रोटेशन का उपयोग करते हुए, शब्द को सही ढंग से पढ़ सका। यह कोई अकेली घटना नहीं थी। हजारों परीक्षण छवियों में, नया सिस्टम लगातार उन समस्याओं को हल करता रहा जहाँ पुराने मॉडल विफल रहे, विशेष रूप से उन डेटासेट्स पर जो कठिन विरूपण (distortions) के लिए जाने जाते हैं। घुमावदार टेक्स्ट वाली छवियों के एक सेट पर, नए तरीके ने पिछले सर्वश्रेष्ठ मॉडल की तुलना में सटीकता में लगभग चार प्रतिशत अंकों का सुधार किया। परिप्रेक्ष्य विरूपण (perspective distortion) वाली छवियों पर, जहाँ टेक्स्ट दूर हटता हुआ प्रतीत होता है, इसने समान लाभ दिखाया।
इस खोज को जो चीज़ विशेष रूप से सुरुचिपूर्ण बनाती है, वह है इसकी सरलता। शोधकर्ता को इसे काम करने के लिए पूरी कंप्यूटर वास्तुकला को फिर से डिजाइन करने या लाखों नए पैरामीटर जोड़ने की आवश्यकता नहीं पड़ी। नया पोजीशनल सिस्टम एक 'प्लग-इन मॉड्यूल' की तरह है जिसे मौजूदा पढ़ने वाले सॉफ्टवेयर में बदला जा सकता है। इसे चलाने के लिए लगभग कोई अतिरिक्त मेमोरी नहीं चाहिए, यह टेक्स्ट के आकार को समायोजित करने के लिए सिस्टम की सेटिंग्स में केवल दो छोटे नंबर जोड़ता है। यह दक्षता बताती है कि अनियमित टेक्स्ट को पढ़ने में बाधा कंप्यूटिंग शक्ति की कमी नहीं थी, बल्कि इस बात में दोष था कि कंप्यूटर को स्थान (space) को कैसे समझाया गया था। ज्यामिति की इस विशिष्ट गलतफहमी को ठीक करके, शोधकर्ता ने प्रदर्शन में एक महत्वपूर्ण उछाल हासिल किया।
अध्ययन में यह देखने के लिए कि सिस्टम कैसे काम करता है, दृश्य उपकरणों (visual tools) का उपयोग करके एक विस्तृत विवरण भी शामिल किया गया कि कंप्यूटर टेक्स्ट पढ़ते समय कहाँ "देख" रहा था। इन विज़ुअलाइज़ेशन ने दिखाया कि नए तरीके ने कंप्यूटर को अक्षरों के स्ट्रोक पर मजबूती से ध्यान केंद्रित करने की अनुमति दी, भले ही वे मुड़े हुए या तिरछे हों। इसके विपरीत, पुराने मॉडल पृष्ठभूमि से विचलित हो जाते थे या ज्यामिति बदलने पर अक्षर के क्रम को ट्रैक करना खो देते थे। शोधकर्ता ने पाया कि सिस्टम तब सबसे प्रभावी था जब इसने अपनी प्रोसेसिंग पावर का अधिक हिस्सा टेक्स्ट के ऊर्ध्वाधर आयाम (vertical dimension) को आवंटित किया, जो इस तथ्य को दर्शाता है कि टेक्स्ट की लाइनें आमतौर पर ऊँचाई की तुलना में अधिक चौड़ी होती हैं। शब्दों के प्राकृतिक आकार के साथ मेल खाने वाला यह छोटा सा समायोजन, इसकी सफलता का एक प्रमुख कारक साबित हुआ।
हालाँकि यह नया तरीका एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, शोधकर्ता स्वीकार करते हैं कि यह हर संभावित आकार के लिए पूर्ण समाधान नहीं है। सिस्टम को क्षैतिज और ऊर्ध्वाधर संबंधों को संभालने के लिए डिज़ाइन किया गया है, लेकिन यह अभी भी अत्यधिक तिरछे (diagonal) या जटिल, गैर-रेखीय पैटर्न में व्यवस्थित टेक्स्ट के साथ संघर्ष कर सकता है। वे सुझाव देते हैं कि भविष्य के कार्य इस विचार को और अधिक विविध कोणों को संभालने और संभावित रूप से वीडियो पर लागू करने के लिए विस्तारित कर सकते हैं, जहाँ टेक्स्ट तीन-आयामी स्थान में घूमता है। हालाँकि, फिलहाल, निष्कर्ष उन मशीनों के लिए एक स्पष्ट और व्यावहारिक सुधार प्रदान करते हैं जिन्हें दुनिया को वैसा ही पढ़ने की आवश्यकता है जैसा वह वास्तव में दिखाई देती है, न कि एक सरलीकृत, सीधी रेखा के रूप में। कंप्यूटर को टेक्स्ट की वास्तविक ज्यामिति का सम्मान करना सिखाकर, यह शोध हमें एक ऐसे भविष्य के करीब लाता है जहाँ डिजिटल सिस्टम किसी भी साइन, किसी भी लेबल और किसी भी नोट को पढ़ सकेंगे, चाहे वह कैसे भी लिखा गया हो या कहीं भी पाया गया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।