Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
यह शोध पत्र "एनरिच्ड टेक्स्ट" (Enriched Text) को प्रस्तुत करता है, जो एक अनुकूलन योग्य, ओपन-सोर्स बहुभाषी पाइपलाइन है जो 983,004-खंडों वाले 'इंस्टीट्यूशनल बुक्स: हार्वर्ड लाइब्रेरी' संग्रह के लिए मेटाडेटा को सुरक्षित रखती है और आक्रामक वैश्विक प्रीप्रोसेसिंग लागू करने के बजाय भाषा पहचान, डीडुप्लिकेशन क्लस्टर और गुणवत्ता स्कोर के साथ OCR टेक्स्ट को एनोटेट करके उपयोगकर्ता-नियंत्रित फ़िल्टरिंग को सक्षम बनाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी लाइब्रेरी की कल्पना करें जिसमें सदियों के मानवीय विचारों को समेटे हुए, सैकड़ों अलग-अलग भाषाओं में लगभग दस लाख पुस्तकें मौजूद हैं। दशकों से, इन ग्रंथों को मशीनों द्वारा स्कैन किया गया है, जिससे भौतिक पृष्ठों को डिजिटल टेक्स्ट में बदल दिया गया है। लेकिन यह डिजिटल टेक्स्ट अक्सर अव्यवस्थित होता है। इसमें स्कैनिंग प्रक्रिया का शोर (noise) शामिल होता है: हर पृष्ठ के नीचे दोहराए गए पृष्ठ संख्या, शीर्ष पर चलने वाले हेडर, और अंत में टूटते हुए शब्द। इस टेक्स्ट से सीखने की कोशिश करने वाले कंप्यूटर के लिए, ऐसा शोर एक बड़ी बाधा है। डेटा को साफ करने के तरीके अक्सर जानकारी के बड़े हिस्से को हटा देते हैं, जैसे कि सारा टेक्स्ट जो अंग्रेजी में नहीं है उसे हटा देना या किसी भी पैराग्राफ को हटा देना जो दूसरे के समान दिखता हो। हालांकि इससे डेटा स्वच्छ बनता है, लेकिन यह उस समृद्ध, बहुभाषी इतिहास और संरचनात्मक संदर्भ को छीन लेता है जो एक पुस्तक को एक पुस्तक बनाता है।
हार्वर्ड लॉ स्कूल के शोधकर्ताओं की एक टीम ने एक अलग दृष्टिकोण अपनाया है। वे बिखरे हुए हिस्सों को हटाने के बजाय, उन्होंने एक ऐसी प्रणाली बनाई है जो उन्हें सावधानीपूर्वक व्यवस्थित करती है। वे इसके परिणाम को "एनरिच्ड टेक्स्ट" (Enriched Text) कहते हैं। शब्दों के एक एकल, सरल प्रवाह के बजाय, उनका पाइपलाइन मूल टेक्स्ट को बरकरार रखता है लेकिन उसमें डिजिटल एनोटेशन (annotations) की एक परत जोड़ देता है। इसे हर पैराग्राफ पर अदृश्य लेबल लगाने के रूप में समझें, जो कंप्यूटर को ठीक से बताता है कि वह पैराग्राफ क्या है, वह किस भाषा में है, और क्या वह किसी और चीज़ की प्रतिलिपि है। यह किसी भी व्यक्ति को यह निर्णय लेने की अनुमति देता है कि उन्हें क्या रखना है और क्या अनदेखा करना है, बजाय इसके कि ये निर्णय उनके लिए एक कठोर फिल्टर द्वारा लिए जाएं।
यह परियोजना हार्वर्ड लाइब्रेरी के 983,004 खंडों के एक विशाल संग्रह से शुरू हुई, जिसे मूल रूप से गूगल के साथ साझेदारी के माध्यम से डिजिटल किया गया था। इस संग्रह में लगभग 242 बिलियन यूनिट टेक्स्ट है, जिन्हें 'टोकेन्स' (tokens) कहा जाता है, जो लगभग 250 विभिन्न भाषाओं को कवर करते हैं। शोधकर्ता इस संग्रह को आधुनिक आर्टिफिशियल इंटेलिजेंस के लिए उपयोगी बनाना चाहते थे, बिना स्रोत सामग्री की अखंडता को खोए। उन्हें एक तनाव का सामना करना पड़ा: डेटा तैयार करने के मानक कंप्यूटर विज्ञान अभ्यास अक्सर गैर-अंग्रेजी टेक्स्ट को आक्रामक रूप से फ़िल्टर कर देते हैं और स्थान बचाने के लिए किसी भी चीज़ को हटा देते हैं जो कॉपी जैसा दिखता है। हालांकि, एक ऐतिहासिक लाइब्रेरी के लिए, गैर-अंग्रेजी टेक्स्ट को हटाना आधे संग्रह को खोने के समान होगा, और डुप्लिकेट को हटाना लंबी पुस्तकों की निरंतरता को तोड़ना होगा।
इसे हल करने के लिए, टीम ने एक प्रोसेसिंग पाइपलाइन बनाई जो एक सूक्ष्म पुस्तकालयाध्यक्ष (librarian) की तरह कार्य करती है। सबसे पहले, उन्होंने स्कैनिंग प्रक्रिया से होने वाली सामान्य त्रुटियों को ठीक करके टेक्स्ट को साफ किया। उन्होंने पृष्ठों के ऊपर और नीचे दिखने वाले पृष्ठ नंबरों और हेडर को हटाया, जो अक्सर वाक्यों के बीच में मिल जाते हैं। उन्होंने हाइफ़न के साथ विभाजित शब्दों को ठीक किया, उन्हें सही ढंग से फिर से जोड़ा। उन्होंने "एंड मैटर" (end matter)—जैसे कि पुस्तक के शुरुआती और अंतिम भाग जैसे कि विषय सूची, अनुक्रमणिका और संदर्भ ग्रंथ—को मुख्य कहानी या बीच के तर्क से अलग किया। महत्वपूर्ण बात यह है कि उन्होंने इन खंडों को हटाया नहीं। इसके बजाय, उन्होंने उन्हें लेबल किया ताकि उपयोगकर्ता केवल मुख्य पाठ पढ़ सके या अनुक्रमणिका का अलग से अध्ययन कर सके।
सिस्टम ने पुस्तकों को छोटे, सार्थक टुकड़ों में विभाजित किया। इसने व्यक्तिगत वाक्यों की पहचान की और उन्हें विषय के आधार पर पैराग्राफों में समूहित किया, न कि केवल इस आधार पर कि पृष्ठ कहाँ बदला गया। यह महत्वपूर्ण है क्योंकि एक एकल पृष्ठ में दो अलग-अलग विषय हो सकते हैं, या एक एकल विषय कई पृष्ठों तक फैल सकता है। विचारों के प्रवाह को समझने के लिए टेक्स्ट को उनके विषय के अनुसार समूहित करके, शोधकर्ताओं ने इसे कंप्यूटरों के लिए आसान बना दिया। उन्होंने उन पैराग्राफों की भी पहचान की जो कई पुस्तकों में दिखाई देते हैं। इन डुप्लिकेट्स को हटाने के बजाय, उन्होंने उन्हें चिह्नित किया। पैराग्राफ के एक संस्करण को "प्रतिनिधि" (representative) प्रति के रूप में हाइलाइट किया गया है, जबकि अन्य को डुप्लिकेट के रूप में टैग किया गया है। यह इस इतिहास को संरक्षित करता है कि कैसे विचारों का विभिन्न पुस्तकों और भाषाओं में पुन: उपयोग और साझा किया गया।
सबसे परिष्कृत चरणों में से एक टेक्स्ट की गुणवत्ता को मापना था। शोधकर्ताओं ने एक छोटे कंप्यूटर मॉडल का उपयोग किया जो प्रत्येक पैराग्राफ को पढ़ा और उसे भाषा की पूर्वानुमान क्षमता और प्रवाह के आधार पर एक स्कोर दिया। यह स्कोर, जिसे "बिट्स-पर-बाइट" (bits-per-byte) कहा जाता है, यह पहचानने में मदद करता है कि कौन से पैराग्राफ उच्च-गुणवत्ता वाले गद्य होने की संभावना रखते हैं बनाम वे जो खराब स्कैन के कारण केवल गड़बड़ शोर (garbled noise) हैं, जैसे कि एक तालिका जिसे एक एकल ब्लॉक के रूप में पढ़ा गया हो। यह उपयोगकर्ताओं को महंगी गणना स्वयं किए बिना खराब गुणवत्ता वाले टेक्स्ट को फ़िल्टर करने की अनुमति देता है।
अंतिम परिणाम 217 बिलियन टोकन्स वाला एक डेटासेट है, जो 1.3 बिलियन से अधिक एनोटेटेड पैराग्राफों में व्यवस्थित है। शोधकर्ताओं ने पाया कि इस दृष्टिकोण ने सामग्री की जटिलता को सुरक्षित रखते हुए टेक्स्ट को सफलतापूर्वक साफ किया। उदाहरण के लिए, उन्होंने पाया कि जबकि अंग्रेजी टेक्स्ट संग्रह का सबसे बड़ा हिस्सा था, सिस्टम ने सही ढंग से पहचाना कि कई गैर-अंग्रेजी पुस्तकों में महत्वपूर्ण मात्रा में लैटिन या ग्रीक शामिल थी, जिसका उपयोग अक्सर उद्धरणों या विद्वानों के संदर्भों के लिए किया जाता है। उन्होंने यह भी पाया कि समय के साथ आधुनिक कंप्यूटरों के लिए टेक्स्ट अधिक अनुमानित होता गया, क्योंकि 19वीं और 20वीं शताब्दी की पुस्तकें 17वीं शताब्दी की पुस्तकों की तुलना में आज की भाषा की तरह अधिक सुनाई देती हैं।
टीम ने पूरी पाइपलाइन को ओपन-सोर्स सॉफ्टवेयर के रूप में जारी किया है, जिसका अर्थ है कि कोई भी इसका उपयोग अपने स्वयं के पुस्तक संग्रहों को प्रोसेस करने के लिए कर सकता है। उन्होंने उपयोगकर्ताओं को डेटा को पार्स (parse) करने में मदद करने के लिए एक छोटा टूल भी प्रदान किया, जिससे उपयोगकर्ता यदि चाहें तो एनोटेशन को हटाकर शब्दों की एक सरल सूची प्राप्त कर सकते हैं, या यदि वे पुस्तकों की संरचना का अध्ययन करना चाहते हैं तो एनोटेशन को रख सकते हैं। हटाने के बजाय एनोटेट करने का विकल्प चुनकर, शोधकर्ताओं ने एक ऐसा संसाधन बनाया है जो मशीनों के लिए स्वच्छ और मानव अध्ययन के लिए समृद्ध दोनों है। उन्होंने दिखाया है कि डेटा प्रोसेसिंग का भविष्य बिखरे हुए हिस्सों को फेंक देने में नहीं, बल्कि उन्हें व्यवस्थित करने में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।