Layout-Aware Curriculum Learning for Lightweight Document OCR

डिजिटल युग में, सूचनाओं के विशाल पुस्तकालय कागजी दस्तावेजों की छवियों के रूप में मौजूद हैं: स्कैन किए गए अनुबंध, हस्तलिखित नोट्स, सघन शैक्षणिक शोध पत्र और जटिल वित्तीय रिपोर्ट। इस जानकारी को कंप्यूटर के लिए उपयोगी बनाने के लिए, हमें इन चित्रों को ऐसे टेक्स्ट में अनुवादित करना होगा जिसे मशीनें पढ़ और समझ सकें। इस प्रक्रिया को ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) कहा जाता है। दशकों तक, इसे करने का मानक तरीका कार्य को कई छोटे, अलग-अलग चरणों में विभाजित करना था। पहले, एक कंप्यूटर ढूंढता था कि पृष्ठ पर टेक्स्ट कहाँ है। फिर, वह तालिकाओं या सूत्रों की पहचान करता था। अंत में, वह शब्दों को पढ़ता था। हालांकि यह विधि काम करती थी, लेकिन यह नाजुक थी; पहले चरण में हुई एक गलती बाकी सब कुछ खराब कर देती थी, और इतने सारे अलग-अलग प्रोग्राम चलाने के लिए भारी कंप्यूटिंग शक्ति की आवश्यकता होती थी। हाल ही में, बड़े विजन-लैंग्वेज मॉडल्स का उपयोग करके एक नया दृष्टिकोण उभरा है। ये शक्तिशाली प्रणालियाँ हैं जो एक चित्र को देख सकती हैं और एक साथ उसका विवरण लिख सकती हैं, जिससे अलग-अलग चरणों को छोड़ने में मदद मिलती है। हालाँकि, ये मॉडल अक्सर विशाल होते हैं, जिन्हें चलाने के लिए बड़े डेटा केंद्रों की आवश्यकता होती है, और वे अभी भी जटिल दस्तावेजों की अव्यवस्थित वास्तविकता के साथ संघर्ष करते हैं।

दाकिंग ऑयलफील्ड कंपनी के एक्सप्लोरेशन एंड डेवलपमेंट रिसर्च इंस्टीट्यूट के शोधकर्ताओं ने सिखाने का एक नया तरीका विकसित किया है जो खेल बदल देता है। उन्होंने एक सरल प्रश्न पूछा: क्या एक बहुत छोटा, हल्का मॉडल एक विशाल मॉडल की तरह दस्तावेज पढ़ सकता है यदि उसे सही क्रम में सिखाया जाए? उनका उत्तर है हाँ। उन्होंने एक प्रशिक्षण पद्धति बनाई जो एक सावधान शिक्षक की तरह कार्य करती है, जो सबसे आसान पृष्ठों से शुरू होती है और धीरे-धीरे कठिन पृष्ठों को पेश करती है। उन्होंने सीखने की प्रक्रिया में एक विशिष्ट नियम भी जोड़ा जो कंप्यूटर को इस बात पर ध्यान देने के लिए मजबूर करता है कि चीजें पृष्ठ पर वास्तव में कहाँ स्थित हैं, न कि केवल यह कि शब्द क्या कहते हैं। परिणाम एक छोटा मॉडल है, जिसमें केवल 256 मिलियन पैरामीटर हैं, जो हजारों गुना बड़े मॉडलों के समान प्रदर्शन करता है।

उनकी खोज का मूल आधार यह है कि उन्होंने अपने प्रशिक्षण डेटा को कैसे व्यवस्थित किया। कल्पना कीजिए कि एक छात्र पढ़ना सीख रहा है। यदि आप उसे एक सरल वाक्य देते हैं, फिर एक पैराग्राफ, फिर एक चार्ट और एक गणितीय समस्या वाला पृष्ठ देते हैं जिसमें सब कुछ मिश्रित है, तो वह तब तेजी से सीखता है जब आप सबसे कठिन पृष्ठ उसके सामने पहले रख देते। शोधकर्ताओं ने इस तर्क को कंप्यूटर पर लागू किया। उन्होंने हजारों दस्तावेज़ छवियों का विश्लेषण किया और प्रत्येक को पृष्ठ के भीड़भाड़ वाले होने, टेक्स्ट के जटिल होने और उसमें कितनी तालिकाएँ या सूत्र होने के आधार पर एक कठिनाई स्कोर दिया। फिर उन्होंने इन दस्तावेजों को सरल से जटिल के क्रम में व्यवस्थित किया। कंप्यूटर को सभी पृष्ठ एक साथ दिखाने के बजाय, उन्होंने उसे पहले आसान पृष्ठ दिए। एक बार जब मॉडल ने सरल पृष्ठों में महारत हासिल कर ली, तो उन्होंने थोड़े कठिन पृष्ठ जोड़े, और कठिनाई को लगातार बढ़ाते रहे। 'करिकुलम लर्निंग' के रूप में जानी जाने वाली इस चरण-दर-चरण पद्धति ने छोटे मॉडल को उन जटिल दस्तावेजों का सामना करने से पहले एक मजबूत नींव बनाने की अनुमति दी जो आमतौर पर मशीनों को भ्रमित कर देते हैं।

इसे और भी प्रभावी बनाने के लिए, शोधकर्ताओं ने यह भी बदला कि मॉडल को गलतियाँ करने पर कैसे सुधारा जाता था। मानक प्रशिक्षण विधियाँ लगभग पूरी तरह से इस बात पर ध्यान केंद्रित करती हैं कि कंप्यूटर द्वारा लिखे गए शब्द दस्तावेज़ के शब्दों से मेल खाते हैं या नहीं। वे अक्सर इस बात को अनदेखा कर देते हैं कि कंप्यूटर ने उन शब्दों के स्थान की सही पहचान की या नहीं। एक वास्तविक दस्तावेज़ में, यह जानना कि एक तालिका ऊपर दाएं कोने में है, यह जानने जितना ही महत्वपूर्ण है कि उसके अंदर क्या है। टीम ने एक नया नियम पेश किया जो मॉडल को दंडित करता था यदि उसने टेक्स्ट, फॉर्मूला या टेबल के लिए गलत स्थान का अनुमान लगाया। इसने मॉडल को पृष्ठ के भौतिक लेआउट को सीखने के लिए मजबूर किया, जिससे शब्द उनके सही स्थानों पर टिक गए। इस स्थानिक जागरूकता (spatial awareness) ने मॉडल को दस्तावेज़ की संरचना समझने में मदद की, जिसने बदले में उसे टेक्स्ट पढ़ने में बेहतर बनाया।

इस दृष्टिकोण के परिणाम आश्चर्यजनक थे। शोधकर्ताओं ने अपने नए मॉडल का परीक्षण किया, जिसे उन्होंने LACL-OCR नाम दिया, जिसमें पाठ्यपुस्तकों से लेकर हस्तलिखित नोट्स तक विविध दस्तावेज़ छवियां शामिल थीं। केवल 256 मिलियन पैरामीटर के साथ, मॉडल ने 85.18 का स्कोर प्राप्त किया। इसे समझने के लिए, यह छोटा मॉडल बहुत बड़े विशेष मॉडल्स को भी पीछे छोड़ देता है, जिनमें से एक में तीन बिलियन और दूसरे में सात बिलियन पैरामीटर थे। इसने एक सामान्य उद्देश्य वाले आर्टिफिशियल इंटेलिजेंस मॉडल के प्रदर्शन के बहुत करीब पहुँच लिया, जिसमें एक ट्रिलियन पैरामीटर हैं, जो हजारों गुना बड़ा है। छोटा मॉडल केवल बड़े मॉडलों के बराबर ही नहीं पहुँचा, बल्कि उसने तालिकाओं और गणितीय सूत्रों को पहचानने जैसे विशिष्ट कार्यों में उन्हें पछाड़ दिया। अध्ययन यह सुझाव देता है कि एक मॉडल को कैसे प्रशिक्षित किया जाता है, यह उतना ही महत्वपूर्ण है जितना कि वह कितना बड़ा है। मॉडल को तार्किक क्रम में सिखाकर और यह सुनिश्चित करके कि वह पृष्ठ के लेआउट को समझता है, एक हल्का सिस्टम उन परिणामों को प्राप्त कर सकता है जिनके लिए पहले विशाल कंप्यूटिंग संसाधनों की आवश्यकता मानी जाती थी।

यह कार्य इस विचार को चुनौती देता है कि आर्टिफिशियल इंटेलिजेंस में बड़ा होना हमेशा बेहतर होता है। शोधकर्ताओं ने पाया कि छोटे मॉडलों के पिछले संघर्ष उनके आकार की कमी के कारण नहीं, बल्कि एक स्मार्ट प्रशिक्षण रणनीति की कमी के कारण थे। एक कठिनाई-क्रमित शिक्षण पथ और स्थानिक लेआउट पर ध्यान केंद्रित करके, उन्होंने एक संक्षिप्त मॉडल की पूर्ण क्षमता को अनलॉक किया। इसका अर्थ यह है कि भविष्य में, शक्तिशाली दस्तावेज़ पढ़ने वाले उपकरण महंगे, ऊर्जा-खपत करने वाले सर्वरों के बजाय मानक कंप्यूटरों या यहाँ तक कि मोबाइल उपकरणों पर भी चल सकते हैं। निष्कर्ष बताते हैं कि सही शिक्षण पद्धति के साथ, छोटे मॉडल दुनिया के जटिल और अव्यवस्थित दस्तावेजों को उनके विशाल समकक्षों की तरह ही संभाल सकते हैं।