CitationGuard: A Multi-Evidence Framework for Bibliographic Metadata Integrity Assessment in Digital Libraries

डिजिटल लाइब्रेरी के विशाल, शांत अभिलेखागारों में, हर पुस्तक, लेख और शोध पत्र को खोजने के लिए डिजिटल टैग के एक सेट पर निर्भर रहना पड़ता है। ये टैग, जिन्हें बिब्लियोग्राफिक मेटाडेटा (bibliographic metadata) कहा जाता है, वे आवश्यक निर्देशांक (coordinates) हैं जो कंप्यूटर को बताते हैं कि कोई कार्य ज्ञान की दुनिया में कहाँ फिट बैठता है। इनमें लेखक का नाम, शीर्षक, वह जर्नल जिसमें यह प्रकाशित हुआ, प्रकाशन का वर्ष और पृष्ठ संख्या शामिल हैं। यदि ये विवरण सटीक और पूर्ण नहीं हैं, तो विद्वत्तापूर्ण खोज (scholarly discovery) की पूरी प्रणाली डगमगाने लगती है। यदि एक टैग गायब है या गलत है, तो एक शोधकर्ता एक महत्वपूर्ण अध्ययन को कभी नहीं खोज पाएगा, या इससे भी बुरा यह कि एक कंप्यूटर एक वास्तविक पेपर को एक फर्जी पेपर से जोड़ सकता है। यह केवल सुविधा का मामला नहीं है; यह विश्वास का मामला है। जब विज्ञान का आधार बनने वाला डेटा त्रुटिपूर्ण होता है, तो उससे निकाले गए निष्कर्ष विकृत हो सकते हैं, और संपूर्ण शैक्षणिक रिकॉर्ड की अखंडता खतरे में पड़ जाती है।

वर्षों से, विशेषज्ञों ने ऐसे सिस्टम बनाने की कोशिश की है जो इन त्रुटियों को स्वचालित रूप से पहचान सकें। कुछ विधियाँ देखती हैं कि पेपर एक-दूसरे को कैसे उद्धृत (cite) करते हैं, और संदर्भों के जाल को एक मानचित्र की तरह उपयोग करती हैं ताकि अजीब कनेक्शनों को खोजा जा सके। अन्य विधियाँ स्वयं टेक्स्ट पर ध्यान केंद्रित करती हैं ताकि यह देखा जा सके कि क्या कोई साइटेशन (citation) तर्कसंगत है। हालाँकि, ये दृष्टिकोण अक्सर समस्या की एक महत्वपूर्ण परत को छोड़ देते हैं: स्वयं मेटाडेटा। एक साइटेशन टेक्स्ट में बिल्कुल सामान्य लग सकता है, लेकिन उसके विवरण रखने वाला डिजिटल रिकॉर्ड विसंगतियों, छूटे हुए क्षेत्रों या यहाँ तक कि हेरफेर के संकेतों से भरा हो सकता है। चुनौती एक ऐसा उपकरण बनाने की थी जो एक एकल रिकॉर्ड को देख सके, उसके आंतरिक तर्क की जांच कर सके, और बिना किसी पूर्व-मौजूद ज्ञात त्रुटियों की सूची से सीखे, उसे मानवीय समीक्षा के लिए चिह्नित कर सके।

इसे संबोधित करने के लिए, शोधकर्ताओं ने 'साइटेशनगार्ड' (CitationGuard) नामक एक नया ढांचा विकसित किया है। इसे लाइब्रेरी के डिजिटल शेल्फ के लिए एक गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) के रूप में समझें। प्रत्येक प्रविष्टि को पढ़ने के लिए मानव के इंतजार करने के बजाय, यह सिस्टम विद्वत्तापूर्ण रिकॉर्ड के डिजिटल टैग को स्कैन करता है ताकि संदिग्ध दिखने वाले रिकॉर्ड को खोजा जा सके। यह यह मान नहीं लेता कि प्रत्येक रिकॉर्ड या तो पूरी तरह से अच्छा है या पूरी तरह से बुरा। इसके बजाय, यह डेटा को सुरागों के एक संग्रह के रूप में देखता है। सिस्टम प्रत्येक रिकॉर्ड के लिए आठ विशिष्ट सूचनाओं को देखता है: लेखक, शीर्षक, प्रकाशन का नाम, वॉल्यूम, इश्यू नंबर, पेज रेंज, वर्ष और प्रकाशक। फिर यह इन विवरणों के बारे में सरल प्रश्न पूछता है। क्या लेखक का नाम गायब है? क्या शीर्षक असामान्य रूप से छोटा है या इसमें अजीब पात्र (characters) भरे हुए हैं? क्या पृष्ठ संख्याएं समझ में आती हैं, या क्या अंतिम पृष्ठ शुरुआती पृष्ठ से पहले आता है? क्या प्रकाशन वर्ष भविष्य का है?

शोधकर्ताओं ने इस प्रणाली का परीक्षण 121 बिब्लियोग्राफिक रिकॉर्ड के एक वास्तविक-दुनिया के संग्रह पर किया। उनके पास तुलना करने के लिए "दोषी" या "निर्दोष" रिकॉर्ड की कोई सूची नहीं थी; इसके बजाय, उन्होंने सिस्टम को डेटा के भीतर ही पैटर्न का विश्लेषण करने दिया। ढांचे ने पहले प्रत्येक रिकॉर्ड का एक विस्तृत प्रोफाइल बनाया, जिससे कच्चा टेक्स्ट और नंबर 29 विभिन्न संकेतकों (indicators) के एक सेट में बदल गए। ये संकेतक इस बात को मापते थे कि कितनी जानकारी गायब है या एक विशिष्ट प्रकाशक सूची में कितनी बार दिखाई देता है। सिस्टम ने आउटलेर्स (outliers) को खोजने के लिए दो अलग-अलग कम्प्यूटेशनल विधियों का उपयोग किया। एक विधि, जिसे 'आइसोलेशन फॉरेस्ट' (isolation forest) कहा जाता है, अन्य रिकॉर्ड्स से प्रत्येक रिकॉर्ड को अलग करने का प्रयास करके काम करती है। यदि कोई रिकॉर्ड इसलिए आसानी से अलग हो जाता है क्योंकि उसकी विशेषताओं का संयोजन बहुत ही असामान्य है, तो उसे चिह्नित कर दिया जाता है। दूसरी विधि, एक 'सपोर्ट वेक्टर मशीन' (support vector machine), इन निष्कर्षों की पुष्टि करने के लिए एक माध्यमिक जांच प्रदान करती है।

परिणामों ने दिखाया कि सिस्टम प्रभावी रूप से रिकॉर्ड को चिंता के तीन स्तरों में वर्गीकृत कर सकता है। अधिकांश रिकॉर्ड, 121 में से 80, को कम जोखिम (low risk) की श्रेणी में वर्गीकृत किया गया। ये वे प्रविष्टियाँ थीं जो सुसंगत और पूर्ण दिखीं, जिनमें कोई स्पष्ट रेड फ्लैग नहीं था। 32 रिकॉर्ड मध्यम जोखिम (moderate risk) की श्रेणी में आए। इन प्रविष्टियों में कुछ मामूली समस्याएं थीं, जैसे कि वॉल्यूम नंबर का गायब होना या थोड़ा असामान्य शीर्षक, लेकिन वे आवश्यक रूप से गलत नहीं थे। उन्हें बस एक करीबी नज़र की आवश्यकता थी। अंतिम समूह में नौ रिकॉर्ड थे, यानी कुल का लगभग 7.4 प्रतिशत, जिन्हें उच्च जोखिम (high risk) के रूप में चिह्नित किया गया। इन रिकॉर्ड्स में समस्याओं का एक मजबूत संयोजन था, जैसे कि प्रकाशन वर्ष का गायब होना, डुप्लिकेट प्रविष्टियाँ, या प्रकाशक और जर्नल के नाम के बीच विसंगतियां।

अध्ययन का सबसे महत्वपूर्ण निष्कर्ष यह नहीं है कि सिस्टम ने धोखाधड़ी पकड़ी, बल्कि यह है कि इसने सफलतापूर्वक पहचान लिया कि किन रिकॉर्ड्स को सबसे अधिक ध्यान देने की आवश्यकता है। शोधकर्ता इस बात पर जोर देने में सावधानी बरतते हैं कि एक उच्च स्कोर यह साबित नहीं करता कि कोई रिकॉर्ड फर्जी है या किसी ने जानबूझकर झूठ बोला है। इसका केवल यह अर्थ है कि रिकॉर्ड में इतनी अनियमितताएं हैं कि मूल स्रोत के विरुद्ध मानवीय विशेषज्ञ द्वारा इसकी जांच की जानी चाहिए। एक ऐसी दुनिया में जहाँ डिजिटल लाइब्रेरी में लाखों प्रविष्टियाँ हैं, मनुष्यों के लिए प्रत्येक एक की जांच करना असंभव है। साइटेशनगार्ड उस कार्य को प्राथमिकता देने का एक तरीका प्रदान करता है, जो मानवीय प्रयास को उन रिकॉर्ड्स के छोटे अंश की ओर निर्देशित करता है जिनके समस्याग्रस्त होने की सबसे अधिक संभावना है।

अध्ययन ने इसके वर्तमान दृष्टिकोण की सीमाओं को भी रेखांकित किया। यह सिस्टम पूरी तरह से डिजिटल रिकॉर्ड में दिए गए मेटाडेटा पर निर्भर करता है। यह इंटरनेट पर जाकर यह सत्यापित नहीं करता है कि कोई जर्नल वास्तव में मौजूद है या कोई विशिष्ट लेख वास्तव में प्रकाशित हुआ था या नहीं। यह पेपर के पूर्ण टेक्स्ट को पढ़ नहीं सकता है कि क्या इसके अंदर के साइटेशन बाहर के टैग से मेल खाते हैं। चूंकि परीक्षण डेटा एक ही स्रोत से आया था और इसमें सत्यापित 'ग्राउंड ट्रुथ' शामिल नहीं था, इसलिए वास्तविक शैक्षणिक कदाचार का पता लगाने की सिस्टम की क्षमता अभी भी अपुष्ट है। शोधकर्ता सुझाव देते हैं कि भविष्य के संस्करणों में इस टूल का परीक्षण बहुत बड़े डेटासेट पर किया जाना चाहिए और वास्तविक त्रुटियों या कुछ अधिक गंभीर होने की पुष्टि करने के लिए बाहरी सत्यापन चरणों के साथ जोड़ा जाना चाहिए।

अंततः, यह कार्य डिजिटल लाइब्रेरी के स्वास्थ्य को बनाए रखने के लिए एक व्यावहारिक कदम पेश करता है। मेटाडेटा अखंडता को एक बहु-स्तरीय समस्या के रूप में मानकर, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो शोर के बीच से निकलकर उन संकेतों को उजागर कर सकता है जो वास्तव में महत्वपूर्ण हैं। यह मानवीय निर्णय की आवश्यकता को प्रतिस्थापित नहीं करता है, बल्कि यह उस निर्णय को अधिक कुशल बनाता है। अंत में, लक्ष्य अपराधियों को पकड़ना नहीं है, बल्कि यह सुनिश्चित करना है कि विद्वत्तापूर्ण संचार की नींव ठोस, सटीक और विश्वसनीय बनी रहे, जो उन सभी के लिए है जो इस पर निर्भर हैं।