💬 NLP

CheckIfExist: Detecting Citation Hallucinations in the Era of AI-Generated Content

यह शोध पत्र "CheckIfExist" प्रस्तुत करता है, जो एक ओपन-सोर्स वेब टूल है जो प्रमुख विद्वत डेटाबेस (scholarly databases) में प्रमाणिकता को सत्यापित करने वाले एक कैस्केडिंग आर्किटेक्चर के माध्यम से ग्रंथ सूची संदर्भों (bibliographic references) का वास्तविक समय में, बहु-स्रोत सत्यापन प्रदान करके एआई-जनित साइटेशन मतिभ्रम (citation hallucinations) की बढ़ती समस्या का समाधान करता है।

मूल लेखक: Diletta Abbonato

प्रकाशित 2026-02-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Diletta Abbonato

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी लिख रहे हैं, और आप प्रसिद्ध विशेषज्ञों को उद्धृत करके अपने बिंदुओं को सिद्ध करना चाहते हैं। आप एक सुपर-स्मार्ट, तेज़ बोलने वाले रोबोट (एक AI) से मदद मांगते हैं ताकि वह आपको उन उद्धरणों को खोजने में मदद कर सके। रोबोट तेज़ी से आपको स्रोतों की एक सूची थमा देता है। वे एकदम सही लगते हैं: नाम वास्तविक लगते हैं, किताबों के शीर्षक आकर्षक हैं, और तारीखें भी तर्कसंगत हैं।

लेकिन यहाँ एक पेंच है: रोबोट झूठ बोल रहा है।

उसने ये किताबें और लेखक शून्य से पैदा किए हैं। विज्ञान की दुनिया में, इसे "साइटेशन हलुसिनेशन" (citation hallucination) कहा जाता है। यह एक नकली गवाह को अदालत के मामले में पेश करने जैसा है। यदि आप जाँच नहीं करते हैं, तो आप अनजाने में एक नकली गवाह को खड़ा कर सकते हैं, और आपका पूरा तर्क ढह सकता है।

यह शोध पत्र CheckIfExist नामक एक नए टूल का परिचय देता है जो इस समस्या को हल करता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: विज्ञान का "फेक न्यूज़"

अतीत में, यदि किसी शोधकर्ता ने साइटेशन में गलती की थी, तो वह आमतौर पर केवल एक टाइपो (जैसे "1995" के बजाय "1996" लिखना) होता था। लेकिन अब, AI मॉडल पूरी तरह से फर्जी संदर्भ बना सकते हैं जो 100% वास्तविक दिखते हैं।

खतरा: ये फर्जी संदर्भ शीर्ष-स्तरीय वैज्ञानिक सम्मेलनों में घुसपैठ कर रहे हैं। समीक्षक इतने व्यस्त हैं कि वे इन्हें देख नहीं पाते।
परिणाम: यदि कोई वैज्ञानिक अपने शोध को एक फर्जी पेपर पर आधारित करता है, तो यह रेत की नींव पर घर बनाने जैसा है। पूरी संरचना अस्थिर हो जाती है।

समाधान: "फैक्ट-चेकर" ऐप

CheckIfExist को एक सुपर-पावर्ड फैक्ट-चेकर या आपके बिब्लियोग्राफी (संदर्भ सूची) के लिए एक डिजिटल बाउंसर के रूप में समझें।

यह एक वेब टूल है: आपको कुछ भी इंस्टॉल करने की आवश्यकता नहीं है। आप बस एक वेबसाइट पर जाते हैं।
"थ्री-हेडेड मॉन्स्टर" रणनीति:
अधिकांश उपकरण केवल एक डेटाबेस की जाँच करते हैं (जैसे किसी लाइब्रेरी कैटलॉग की जाँच करना)। लेकिन क्या होगा यदि वह किताब उस विशिष्ट लाइब्रेरी में नहीं है?
- CheckIfExist अधिक स्मार्ट है। यह आपके संदर्भ को एक साथ तीन अलग-अलग विशाल पुस्तकालयों के पास भेजता है:
  - CrossRef: प्रकाशित शोध पत्रों का आधिकारिक रजिस्ट्री।
  - Semantic Scholar: अकादमिक शोध पत्रों का एक विशाल AI-संचालित डेटाबेस।
  - OpenAlex: एक मुक्त, ओपन डेटाबेस जो हर जगह से जानकारी एकत्र करता है।
- उपमा: कल्पना कीजिए कि आप सत्यापित करने की कोशिश कर रहे हैं कि क्या कोई व्यक्ति वास्तव में अस्तित्व में है। आप केवल एक पड़ोसी से नहीं पूछते; आप फोन बुक, मतदाता रजिस्ट्री और स्थानीय स्कूल रिकॉर्ड की जाँच करते हैं। यदि तीनों कहते हैं "हाँ, वे मौजूद हैं," तो आप सुनिश्चित हैं। यदि तीनों कहते "नहीं," या यदि नाम मेल नहीं खाते, तो आप जानते हैं कि कुछ गड़बड़ है।
यह फर्जीवाड़े को कैसे पकड़ता है:
- "अनकैनी वैली" टेस्ट: यह टूल विवरणों को देखता है। क्या लेखक का नाम जर्नल से मेल खाता है? क्या वर्ष सही है?
- "काइमेरा" डिटेक्टर: कभी-कभी AI एक फर्जी बनाने के लिए दो वास्तविक शोध पत्रों को मिला देता है (जैसे पेपर A का शीर्षक और पेपर B के लेखक लेना)। यह टूल इन विसंगतियों को तुरंत पकड़ लेता है।
- "LaTeX" क्लीनर: वैज्ञानिक अक्सर अपने कोड फाइलों से टेक्स्ट कॉपी-पेस्ट करते हैं, जो बहुत सारे मैसी फॉर्मेटिंग प्रतीकों (जैसे \textit या \vspace) से भरा होता है। यह टूल वास्तविक शब्दों को पढ़ने के लिए इस "डिजिटल धूल" को स्वचालित रूप से साफ कर देता है।

जब आप इसका उपयोग करते हैं तो क्या होता है?

तत्काल फीडबैक: आप संदर्भों की एक सूची (भले ही वह कितनी भी अव्यवस्थित क्यों न हो) पेस्ट करते हैं, और कुछ ही सेकंड में यह आपको बताता है: "यह असली है," "यह फर्जी है," या "यह संदिग्ध है।"
"डू-ओवर" बटन: यदि कोई संदर्भ फर्जी है या उसमें कोई टाइपो है, तो टूल केवल "नहीं" नहीं कहता। यह उस पेपर का वास्तविक संस्करण खोजता है और आपको एक साफ, सटीक साइटेशन देता है जिसे आप अपने काम में वापस कॉपी और पेस्ट कर सकें।
मुफ्त और खुला: कुछ महंगी सेवाओं के विपरीत जो केवल कुछ पेपरों को जाँचने के लिए शुल्क लेती हैं, यह टूल मुफ्त है और सभी के लिए खुला है। यह एक निजी क्लब बनाम सार्वजनिक पुस्तकालय की तरह है।

यह क्यों मायने रखता है?

विज्ञान विश्वास पर निर्भर करता है। यदि हम उन स्रोतों पर भरोसा नहीं कर सकते जिन्हें वैज्ञानिक उद्धृत करते हैं, तो हम स्वयं विज्ञान पर भरोसा नहीं कर सकते।

लेखकों के लिए: यह आपको शर्मिंदगी से बचाता है और सुनिश्चित करता है कि आपका काम ठोस है।
समीक्षकों के लिए: यह उन्हें किसी पेपर के प्रकाशित होने से पहले झूठ बोलने वालों (या भ्रमित AI) को पकड़ने में मदद करता है।
दुनिया के लिए: यह "मानव ज्ञान के पुस्तकालय" को फर्जी किताबों से भरने से रोकता है।

संक्षेप में: CheckIfExist एक मुफ्त, तेज़ और स्मार्ट टूल है जो वैज्ञानिक सत्य के रक्षक के रूप में कार्य करता है, यह सुनिश्चित करता है कि आपके पेपर में प्रत्येक साइटेशन एक वास्तविक, मौजूदा तथ्य है, न कि किसी रोबोट का सपना।

यहाँ शोध पत्र "CheckIfExist: एआई-जनित सामग्री के युग में साइटेशन हेलोसिनेशन (Citation Hallucinations) का पता लगाना" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

अकादमिक कार्यप्रवाह (workflows) में लार्ज लैंग्वेज मॉडल्स (LLMs) के तेजी से बढ़ते एकीकरण ने ग्रंथ सूची की अखंडता (bibliographic integrity) के लिए एक गंभीर खतरा पैदा कर दिया है: साइटेशन हेलोसिनेशन (citation hallucination)। पारंपरिक मानवीय लिपिकीय त्रुटियों (transcription mistakes) के विपरीत, LLM हेलोसिनेशन व्यवस्थित रूप से किए गए निर्माण हैं जो विश्वसनीय लगने वाले लेकिन गैर-मौजूद संदर्भ उत्पन्न करते हैं (जैसे कि फर्जी लेखक, जर्नल या DOI)।

गंभीरता: शीर्ष स्तरीय एआई सम्मेलनों (NeurIPS 2025, ICLR) के हालिया विश्लेषणों से पता चला है कि हेलोसिनेटेड साइटेशन्स पहले ही पीयर रिव्यू (peer review) को पार कर चुके हैं, जिसमें 53 NeurIPS पेपर्स में 100 से अधिक फर्जी साइटेशन्स पाए गए।
वर्तमान उपकरणों की सीमाएँ: मौजूदा संदर्भ प्रबंधक (Zotero, Mendeley, EndNote) संगठन और फॉर्मेटिंग में उत्कृष्ट हैं लेकिन उनमें रियल-टाइम वैलिडेशन (वास्तविक समय सत्यापन) क्षमताओं का अभाव है। वे मेटाडेटा को बिना उसकी प्रमाणिकता की जाँच किए संग्रहीत करते हैं। वाणिज्यिक हेलोसिनेशन डिटेक्टर अक्सर प्रतिबंधात्मक उपयोग सीमाओं या उच्च लागत को लागू करते हैं, जो संसाधन-सीमित वातावरण में शोधकर्ताओं के लिए एक बाधा उत्पन्न करते हैं।
परिणाम: असत्यापित साइटेशन्स का प्रसार बिब्लियोमेट्रिक संकेतकों (bibliometric indicators) को विकृत करता है, अनुसंधान को गलत दिशा में मोड़ता है, और विज्ञान की स्व-सुधारात्मक प्रकृति को कमजोर करता है।

2. कार्यप्रणाली: सिस्टम आर्किटेक्चर (Methodology: System Architecture)

यह शोध पत्र CheckIfExist का प्रस्ताव करता है, जो एक ओपन-सोर्स, वेब-आधारित टूल है जिसे ग्रंथ संबंधी संदर्भों के रियल-टाइम, मल्टी-सोर्स वैलिडेशन के लिए डिज़ाइन किया गया है।

A. मुख्य आर्किटेक्चर (Core Architecture)

यह सिस्टम React के साथ TypeScript का उपयोग करके बनाया गया है और तीन पूरक विद्वानों के डेटाबेस (scholarly databases) को क्वेरी करने के लिए एक कैस्केडिंग वैलिडेशन आर्किटेक्चर (cascading validation architecture) का उपयोग करता है:

CrossRef: DOI-पंजीकृत कार्यों के लिए प्राथमिक स्रोत (140M+ रिकॉर्ड)।
Semantic Scholar: बेहतर लेखक विसंगति निवारण (author disambiguation) के साथ फॉलबैक स्रोत (200M+ रिकॉर्ड)।
OpenAlex: यह व्यापक कवरेज सुनिश्चित करने के लिए कई रिपॉजिटरी (CrossRef, PubMed, ORCID, arXiv) से डेटा एकत्रित करता है, विशेष रूप से ओपन-एक्सेस और गैर-अंग्रेजी प्रकाशनों के लिए।

B. प्रीप्रोसेसिंग और इनपुट हैंडलिंग (Preprocessing & Input Handling)

LaTeX क्लीनिंग: एक प्रीप्रोसेसिंग मॉड्यूल उपयोगकर्ता के इनपुट से स्वचालित रूप से LaTeX फॉर्मेटिंग कमांड (जैसे \vspace, \textit) को हटा देता है, जिससे शोधकर्ता मैन्युअल सफाई के बिना सीधे पांडुलिपि सोर्स फाइलों से कच्चा टेक्स्ट पेस्ट कर सकते हैं।
इनपुट मोड: यह क्विक चेक (APA/MLA/Chicago में मुक्त रूप वाला टेक्स्ट) और बैच चेक (संरचित BibTeX या न्यूलाइन-पृथक सूचियाँ) दोनों का समर्थन करता है।

C. सत्यापन एल्गोरिदम (Verification Algorithm)

मुख्य तर्क एक मल्टी-स्टेज मैचिंग एल्गोरिदम का उपयोग करता है जिसमें कैस्केडिंग फॉलबैक शामिल हैं:

प्रारंभिक क्वेरी: सिस्टम पहले CrossRef को क्वेरी करता है। यदि कोई मिलान नहीं मिलता है, तो यह Semantic Scholar और OpenAlex पर फॉलबैक करता है।
स्ट्रिंग समानता (String Similarity): इनपुट क्वेरी और डेटाबेस उम्मीदवारों के बीच सामान्यीकृत समानता स्कोर की गणना करने के लिए लेवेनश्टीन डिस्टेंस (Levenshtein distance) मीट्रिक का उपयोग करता है।
- फॉर्मूला: $similarity(a, b) = 1 - \frac{lev(a, b)}{\max(|a|, |b|)}$
लेखक सत्यापन: पारिवारिक नामों (family names) को निकालता है और उनके समावेश की जाँच करता है। यह "संदिग्ध लेखकों" (क्वेरी में कैपिटलाइज्ड टोकन जो डेटाबेस में किसी वास्तविक लेखक से मेल नहीं खाते) की पहचान करता है।
क्रॉस-वैलिडेशन: यदि प्रारंभिक स्कोर कम है, तो सिस्टम तीनों स्रोतों में लेखक सूचियों का क्रॉस-वैलिडेशन करता है। जो लेखक कई डेटाबेस में दिखाई देते हैं उन्हें कॉन्फिडेंस बोनस मिलता है; जो केवल एक या किसी में भी नहीं दिखते, उन्हें फ्लैग किया जाता है।
कॉन्फिडेंस स्कोरिंग:
- एक कंपोजिट स्कोर शीर्षक, लेखक, जर्नल और वर्ष की समानता के आधार पर गणना किया जाता है।
- पेनल्टी (दंड): शीर्षक बेमेल (-20), लेखक बेमेल (-20), और पता लगाए गए फर्जी लेखकों (-10 से -20) के लिए लागू की जाती है।
- बोनस: मल्टी-सोर्स पुष्टि से स्कोर में +10 तक की वृद्धि होती है।
- थ्रेशोल्ड (सीमा): स्कोर >50 अस्तित्व को दर्शाता है; >70-80 उच्च विश्वास को दर्शाता है।

3. प्रमुख योगदान (Key Contributions)

विशेषीकृत वैलिडेशन टूल: यह संदर्भ प्रबंधन (संगठन) और सत्यापन (प्रामाणिकता) के बीच के अंतर को भरता है। यह कई आधिकारिक डेटाबेस के विरुद्ध असीमित, मुफ्त, रियल-टाइम वैलिडेशन प्रदान करने वाला पहला टूल है।
कैस्केडिंग मल्टी-सोर्स लॉजिक: CrossRef, Semantic Scholar और OpenAlex को जोड़कर, सिस्टम सिंगल-डेटाबेस दृष्टिकोण की तुलना में उच्च रिकॉल प्राप्त करता है और क्रॉस-सोर्स लेखक पुष्टि के माध्यम से प्रिसिजन (precision) बनाए रखता है।
स्वचालित सुधार और निर्यात: उन उपकरणों के विपरीत जो केवल त्रुटियों को चिह्नित करते हैं, CheckIfExist सुधारित मेटाडेटा उत्पन्न करता है। यह निम्नलिखित आउटपुट देता है:
- वैध APA 7th edition साइटेशन्स।
- स्वच्छ BibTeX रिकॉर्ड्स जिनमें ऑटो-जेनरेटेड कीज़ (keys) हैं, जो LaTeX प्रोजेक्ट्स में तुरंत पुनः आयात के लिए तैयार हैं।
ओपन सोर्स और सुलभता: इसे MIT लाइसेंस के तहत जारी किया गया है, जो संस्थागत फंडिंग की परवाह किए बिना सभी शोधकर्ताओं के लिए सुलभता सुनिश्चित करता है।

4. परिणाम और मूल्यांकन (Results and Evaluation)

प्रदर्शन: सिस्टम सेकंडों के भीतर वैलिडेशन परिणाम लौटाता है, जो API नीतियों का पालन करने के लिए रेट लिमिटिंग (800ms अंतराल) के साथ प्रविष्टियों को क्रमिक रूप से प्रोसेस करता है।
सटीकता: मल्टी-सोर्स क्रॉस-वैलिडेशन तंत्र "काइमेरिक" (chimeric) हेलोसिनेशन (वास्तविक और फर्जी डेटा का मिश्रण) और पूरी तरह से निर्मित प्रविष्टियों का प्रभावी ढंग से पता लगाता है।
तुलनात्मक लाभ: जैसा कि पेपर के तुलनात्मक टेबल (Table 1) में दिखाया गया है, CheckIfExist तत्काल वैलिडेशन, हेलोसिनेशन डिटेक्शन, फर्जी लेखक डिटेक्शन, और बैच वेरिफिकेशन को एक साथ प्रदान करने में अद्वितीय है, जो प्रमुख वाणिज्यिक संदर्भ प्रबंधकों में अनुपस्थित विशेषताएं हैं।

5. महत्व और प्रभाव (Significance and Impact)

शैक्षणिक अखंडता की बहाली: यह उस "मार्केट फेलियर" के विरुद्ध एक आवश्यक रक्षा तंत्र प्रदान करता है जहाँ फर्जी साइटेशन्स उत्पन्न करने की कम लागत (AI के माध्यम से) मैन्युअल सत्यापन की उच्च लागत से अधिक हो जाती है।
वर्कफ़्लो एकीकरण: इसे मौजूदा अनुसंधान पाइपलाइनों में सहजता से फिट होने के लिए डिज़ाइन किया गया है। शोधकर्ता सबमिशन से पहले ग्रंथियों का ऑडिट कर सकते हैं, समीक्षक पांडुलिपियों की कुशलता से जाँच कर सकते हैं, और प्रकाशक सबमिशन पाइपलाइनों में वैलिडेशन को एकीकृत कर सकते हैं।
साइंटोमेट्रिक विश्वसनीयता: स्प्यूरियस (spurious) संदर्भों को डेटासेट से फ़िल्टर करके, यह टूल बड़े पैमाने पर बिब्लियोमेट्रिक विश्लेषण और साइटेशन नेटवर्क अध्ययनों की सटीकता सुनिश्चित करने में मदद करता है।
भविष्य के लिए तैयारी: जैसे-जैसे एआई राइटिंग असिस्टेंट सर्वव्यापी होते जा रहे हैं, CheckIfExist एक महत्वपूर्ण "ह्यूमन-इन-द-लूप" सपोर्ट टूल के रूप में कार्य करता है, यह सुनिश्चित करता है कि वैज्ञानिक रिकॉर्ड सत्यापन योग्य और विश्वसनीय बना रहे।

उपलब्धता: टूल https://zabbonat.github.io/References-Validation/ पर सार्वजनिक रूप से उपलब्ध है।