Institutional Books - Visual Elements: An open-source pipeline for extracting, classifying, deduplicating, and captioning visual elements from digital book collections

पुस्तकालय मानव इतिहास के विशाल भंडार हैं, लेकिन दशकों से, उनकी पुस्तकों के डिजिटल संस्करण केवल आधी कहानी ही बता पाए हैं। जब संस्थान पुराने खंडों को खोजने योग्य बनाने के लिए उन्हें स्कैन करते हैं, तो वे पारंपरिक रूप से पाठ (text) पर ध्यान केंद्रित करते हैं, शब्दों को पढ़ने और उन्हें डेटा में बदलने के लिए सॉफ़्टवेयर का उपयोग करते हैं। यह प्रक्रिया, जिसे ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) कहा जाता है, एक बड़ी सफलता रही है, जिसने शोधकर्ताओं को सेकंडों में लाखों पृष्ठों को खोजने की अनुमति दी है। हालाँकि, उन पुस्तकों के भीतर मौजूद चित्र—चित्रण, फोटोग्राफ, नक्काशी और सजावटी बॉर्डर—मशीनों के लिए काफी हद तक अदृश्य रहे हैं। ये दृश्य तत्व संदर्भ और सूक्ष्मता की एक अनूठी परत रखते हैं जिसे केवल पाठ नहीं पकड़ सकता, फिर भी वे अध्ययन के लिए कठिन रहे हैं क्योंकि वे उस तरह से संरचित नहीं थे जिसे कंप्यूटर आसानी से समझ सके। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस सिस्टम दुनिया को "देखने" और व्याख्या करने में अधिक सक्षम हो रहे हैं, एक महत्वपूर्ण अंतर उभर कर आया है: ये सिस्टम मुख्य रूप से इंटरनेट से प्राप्त आधुनिक छवियों पर प्रशिक्षित हैं और अक्सर ऐतिहासिक दृश्य संस्कृति को समझने में संघर्ष करते हैं। इस अंतर को पाटने के लिए, शोधकर्ताओं को ऐतिहासिक छवियों के एक विशाल, विविध संग्रह की आवश्यकता है जो व्यवस्थित हो और मशीनों के सीखने के लिए तैयार हो।

हार्वर्ड यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने लगभग दस लाख डिजिटाइज्ड पुस्तकों के भीतर दृश्य तत्वों को खोजने, वर्गीकृत करने और वर्णन करने के लिए डिज़ाइन की गई एक नई, ओपन-सोर्स प्रणाली बनाकर इस चुनौती का समाधान किया है। उनका कार्य, जो एक तकनीकी रिपोर्ट में विस्तृत है, एक ऐसी पाइपलाइन बनाता है जो एक अत्यधिक कुशल लाइब्रेरियन की तरह कार्य करती है जो एक पुस्तक को स्कैन कर सकती है, हर चित्र को पहचान सकती है, यह पता लगा सकती है कि वह क्या है, और बिना किसी मानवीय हस्तक्षेप के उसके लिए एक संक्षिप्त विवरण लिख सकती है। इसका परिणाम 983,004 खंडों से निकाले गए 22 मिलियन से अधिक दृश्य तत्वों वाला एक डेटासेट है। इस संग्रह में वैज्ञानिक आरेख और संगीत स्कोर से लेकर पोर्ट्रेट और सजावटी कला तक सब कुछ शामिल है, जिसमें प्रत्येक को उसके प्रकार के बारे में जानकारी और, कई मामलों में, एक कंप्यूटर-जनित कैप्शन के साथ टैग किया गया है। इस डेटा को उपलब्ध कराकर, टीम को उम्मीद है कि वे आर्टिफिशियल इंटेलिजेंस मॉडल को ऐतिहासिक सामग्री को बेहतर ढंग से समझने में मदद करेंगे, जिससे एक ऐसा चक्र बनेगा जहाँ बेहतर उपकरण अधिक डेटा की ओर ले जाएंगे, जो बदले में हमारे साझा अतीत की खोज के लिए और भी बेहतर उपकरण बनाएंगे।

प्रक्रिया सबसे बुनियादी कार्य के साथ शुरू होती है: चित्रों को खोजना। शोधकर्ताओं ने एक ऐसी प्रणाली विकसित की जो पुस्तकों के डिजिटल पृष्ठों को स्कैन करके किसी भी ऐसे क्षेत्र का पता लगाती है जिसमें एक छवि मौजूद है। चूंकि संग्रह इतना विशाल है, जिसमें करोड़ों पृष्ठ शामिल हैं, इसलिए प्रणाली को अविश्वसनीय रूप से कुशल होना पड़ा। उन्होंने एक विशेष कंप्यूटर मॉडल को दृश्य तत्वों को पहचानने के लिए प्रशिक्षित किया, जिसमें उन्हें चित्रों वाले और बिना चित्रों वाले पृष्ठों के हजारों उदाहरण दिखाए गए। इस मॉडल ने पाठ को अनदेखा करना और दृश्य भागों पर ध्यान केंद्रित करना सीखा, और प्रत्येक चित्रण, फोटो या आरेख को खोजने के बाद उसके चारों ओर एक बॉक्स बनाया। अंतिम रन में, सिस्टम ने पूरे संग्रह को प्रोसेस किया और 28 मिलियन से अधिक संभावित छवियों की पहचान की। उच्च गुणवत्ता सुनिश्चित करने के लिए, शोधकर्ताओं ने गलत अलार्म, जैसे कि धब्बे या स्कैनिंग त्रुटियों को हटाने के लिए सख्त फिल्टर लागू किए, जिससे 22.6 मिलियन विशिष्ट दृश्य तत्वों का अंतिम सेट प्राप्त हुआ।

एक बार चित्र मिल जाने के बाद, अगला कदम यह समझना था कि वे क्या थे। सिस्टम ने 22.6 मिलियन छवियों को पांच मुख्य श्रेणियों में विभाजित किया: सामान्य चित्रण और फोटोग्राफ, संगीत नोटेशन (musical notation), बुकप्लेट्स जैसे सजावटी तत्व, चार्ट और ग्राफ, और स्कैनिंग आर्टिफैक्ट्स जैसे कि गलती से आए उंगलियों के निशान या पेपर क्लिप। शोधकर्ताओं ने एक अन्य मॉडल को इन अंतरों को समझने के लिए प्रशिक्षित किया, उसे यह सिखाया कि संगीत स्कोर और पाठ के पृष्ठ के बीच, या एक सजावटी बॉर्डर और एक वैज्ञानिक आरेख के बीच अंतर कैसे किया जाए। सिस्टम अत्यधिक सटीक साबित हुआ, जिसने अधिकांश छवियों को सही ढंग से पहचाना। उदाहरण के लिए, यह लगभग पूर्ण विश्वास के साथ संगीत नोटेशन को अलग कर सका, हालांकि इसे सजावटी बॉर्डर जैसी श्रेणियों को अन्य प्रकार के चित्रणों से अलग करने में थोड़ा कठिन लगा। यह वर्गीकरण प्रक्रिया महत्वपूर्ण है क्योंकि यह शोधकर्ताओं को विशिष्ट प्रश्न पूछने की अनुमति देती है, जैसे कि "मुझे 18वीं शताब्दी के सभी चार्ट दिखाएं" या "एक विशिष्ट बुकप्लेट के प्रत्येक उदाहरण को खोजें।"

वर्गीकरण के बाद, टीम ने डुप्लिकेट की समस्या से निपटा। बड़े डिजिटलीकरण प्रोजेक्ट्स में, एक ही छवि अक्सर कई बार दिखाई देती है, या तो इसलिए कि उसका उपयोग पुस्तक के कई संस्करणों में किया गया था या इसलिए कि स्कैनिंग प्रक्रिया ने गलती से एक ही पृष्ठ को दो बार कैप्चर कर लिया। इसे साफ करने के लिए, शोधकर्ताओं ने मिलान करने वाली छवियों को खोजने के लिए दो अलग-अलग तरीकों का उपयोग किया। पहले तरीके ने छवियों के पिक्सेल पैटर्न की तुलना करके सटीक प्रतियों को पाया, जबकि दूसरे तरीके ने छवियों के गहरे अर्थ को देखा ताकि उन निकट-डुप्लिकेट्स को पाया जा सके जो स्कैनिंग विविधताओं के कारण थोड़े अलग दिख सकते हैं। इन दृष्टिकोणों को जोड़कर, उन्होंने लाखों दोहराई गई छवियों की पहचान की और उन्हें एक साथ समूहित किया, यह सुनिश्चित करते हुए कि अंतिम डेटासेट केवल प्रत्येक बार दिखाई देने वाली छवि की सूची के बजाय अद्वितीय दृश्य सामग्री का प्रतिनिधित्व करे। इस चरण ने कुल वस्तुओं को लगभग 20 प्रतिशत कम कर दिया, जिससे एक स्वच्छ, अधिक मूल्यवान संग्रह मिला।

परियोजना का अंतिम और सबसे प्रयोगात्मक हिस्सा सिस्टम को छवियों के लिए विवरण लिखना सिखाना था। एक लार्ज लैंग्वेज मॉडल का उपयोग करते हुए, शोधकर्ताओं ने कंप्यूटर को प्रत्येक छवि के लिए एक संक्षिप्त कैप्शन उत्पन्न करने के लिए कहा, जो यह समझा सके कि वह क्या दिखा रहा है। कंप्यूटर को संदर्भ समझाने में मदद करने के लिए, उन्होंने इसे छवि के साथ-साथ आसपास के पृष्ठ का पाठ भी दिया। सिस्टम को सटीक होने और अनुमान लगाने से बचने के निर्देश दिए गए थे, केवल वही वर्णित करने के लिए जो स्पष्ट रूप से दिखाई दे रहा था। हालांकि शोधकर्ताओं ने उल्लेख किया कि ये कैप्शन प्रयोगात्मक हैं और इनका उपयोग सावधानी से किया जाना चाहिए, फिर भी वे सफलतापूर्वक लगभग 18 मिलियन विवरण उत्पन्न करने में सफल रहे। ये कैप्शन, जो जहाँ भी संभव हो मूल भाषा में लिखे गए हैं, दृश्य सामग्री के लिए खोजने का एक नया तरीका प्रदान करते हैं, जिससे उपयोगकर्ता केवल उनके फ़ाइल नामों या श्रेणियों के बजाय उनकी सामग्री के आधार पर छवियों को खोज सकते हैं।

शोधकर्ताओं ने इस विशाल कार्य के व्यावहारिक पक्ष पर भी पूरा ध्यान दिया, यह सुनिश्चित करते हुए कि प्रक्रिया कुशल हो और अन्य संस्थानों द्वारा दोहराई जा सके। उन्होंने पाया कि सबसे बड़ी बाधा कंप्यूटर की सोचने की क्षमता नहीं थी, बल्कि छवियों को प्रोसेस करने के लिए लोड करने और तैयार करने में लगने वाला समय था। अपने वर्कफ़्लो को अनुकूलित करके, वे मानक कंप्यूटिंग संसाधनों का उपयोग करके कुछ ही हफ्तों में पूरे संग्रह को प्रोसेस करने में सफल रहे। टीम ने पूरी पाइपलाइन, प्रशिक्षित मॉडल और परिणामी डेटासेट को ओपन-सोर्स टूल के रूप में जारी किया, जिससे अन्य पुस्तकालयों और शोधकर्ताओं को अपने काम का उपयोग करने और उसमें सुधार करने के लिए आमंत्रित किया गया। उन्होंने अपने डेटा की सीमाओं के बारे में स्पष्ट चेतावनियाँ भी शामिल कीं, यह नोट करते हुए कि कुछ छवियों में ऐतिहासिक पूर्वाग्रह या हानिकारक भाषा शामिल है जो उस समय को दर्शाती है जिसमें वे बनाई गई थीं, और कंप्यूटर-जनित कैप्शन पूर्ण नहीं हैं।

यह परियोजना मानव संस्कृति के दृश्य इतिहास को मनुष्यों और मशीनों दोनों के लिए सुलभ बनाने की दिशा में एक महत्वपूर्ण कदम है। लाखों पुरानी पुस्तकों के विशाल, असंरचित संग्रह को एक खोजने योग्य, वर्गीकृत और वर्णित डेटासेट में बदलकर, शोधकर्ताओं ने अतीत के अध्ययन के लिए एक नया आधार प्रदान किया है। इस डेटासेट में 22 मिलियन से अधिक दृश्य तत्व शामिल हैं, जो ऐतिहासिक संदर्भों को समझने के लिए आर्टिफिशियल इंटेलिजेंस को प्रशिक्षित करने और डिजिटल मानविकी अनुसंधान के नए रूपों को सक्षम करने के लिए एक समृद्ध संसाधन प्रदान करते हैं। यह कार्य प्रदर्शित करता है कि सावधानीपूर्वक योजना और सही उपकरणों के साथ, लाखों पुरानी पुस्तकों के भीतर छिपे दृश्य खजानों को प्रकाश में लाया जा सकता है, जो उन कहानियों के बारे में नई अंतर्दृष्टि प्रदान करते हैं जिन्हें वे सुनाते हैं।