← नवीनतम पेपर
🤖 AI

CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text

यह शोध पत्र CiteCheck को प्रस्तुत करता है, जो एक हाइब्रिड फ्रेमवर्क है जो वैज्ञानिक ग्रंथों में साइटेशन हेलोसिनेशन (citation hallucinations) का सटीक रूप से पता लगाने के लिए विद्वत्तापूर्ण पुनर्प्राप्ति (scholarly retrieval) को संरचित LLM सत्यापन के साथ जोड़ता है, और मौजूदा बेसलाइनों की तुलना में एक नए निर्मित भौतिकी बेंचमार्क पर बेहतर प्रदर्शन प्राप्त करता है।

मूल लेखक: Khashayar Khajavi, Shaghayegh Sadeghi, Rise Adhikari, Alexander Tessier

प्रकाशित 2026-05-28
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Khashayar Khajavi, Shaghayegh Sadeghi, Rise Adhikari, Alexander Tessier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही आत्मविश्वासी, बहुत तेज़ रोबोट द्वारा लिखी गई एक वैज्ञानिक रिपोर्ट पढ़ रहे हैं। वह रोबोट खूबसूरती से लिखता है, लेकिन जब वह उन किताबों और शोध पत्रों की सूची बनाता है जिनका उसने उपयोग किया है, तो वह कभी-कभी मनगढ़ंत चीजें बना देता है। वह एक किताब का शीर्षक आविष्कार कर सकता है, लेखक का नाम बदल सकता है, या एक पूरा पेपर बना सकता है जो कभी अस्तित्व में ही नहीं था। इसे "साइटेशन हैलुसिनेशन" (citation hallucination) कहा जाता है।

आपके द्वारा प्रदान किया गया पेपर एक नए टूल CITECHECK को पेश करता है ताकि इन गलतियों को पकड़ा जा सके। CITECHECK को एक अनुमान लगाने वाले रोबोट के रूप में नहीं, बल्कि एक सुपर-डिटेक्टिव लाइब्रेरियन के रूप में समझें जिसका एक विशिष्ट काम है: यह सत्यापित करना कि संदर्भ (reference) वास्तविक है या नहीं और क्या विवरण सही हैं।

यहाँ बताया गया है कि CITECHECK कैसे काम करता है, जिसे सरल चरणों में विभाजित किया गया है:

1. "लाइब्रेरी सर्च" (रिट्रीवल - Retrieval)

जब CITECHECK एक साइटेशन देखता है (जैसे "Smith, 2023, The Physics of Stars"), तो वह केवल रोबोट की याददाश्त पर भरोसा नहीं करता है। इसके बजाय, यह एक लाइब्रेरियन की तरह व्यवहार करता है जो तुरंत असली किताब खोजने के लिए अलमारियों (या इंटरनेट) की ओर दौड़ पड़ता है।

  • यह वास्तविक पेपर को खोजने के लिए कई डेटाबेस (जैसे CrossRef, Semantic Scholar, और arXiv) की जाँच करता है।
  • यदि इसे कोई मेल नहीं मिलता, तो यह तुरंत जान जाता है कि साइटेशन संभवतः फर्जी है।

2. "अंतर पहचानो" खेल (वेरिफिकेशन - Verification)

एक बार जब लाइब्रेरियन को असली किताब मिल जाती है, तो CITECHECK रोबोट के साइटेशन को असली किताब के कवर और विवरणों के साथ अगल-बगल रखकर देखता है।

  • यह तुलना करने के लिए एक स्मार्ट AI "जज" का उपयोग करता है।
  • स्कोर: जज साइटेशन को 0 से 10 तक का स्कोर देता है।
    • 10 (सटीक मिलान): रोबोट ने सब कुछ सही किया।
    • 6 या 7 (मामूली हैलुसिनेशन): किताब मौजूद है, लेकिन रोबोट ने वर्ष गलत कर दिया, लेखक का नाम गलत लिख दिया, या URL में थोड़ा बदलाव कर दिया। यह वैसा ही है जैसे आपने पिज्जा ऑर्डर किया और आपको सही टॉपिंग तो मिली लेकिन गलत क्रस्ट (crust) मिला।
    • 0 या 1 (बड़ा हैलुसिनेशन): किताब अस्तित्व में ही नहीं है, या रोबotong पूरी तरह से अलग किताब का वर्णन कर रहा है। यह वैसा ही है जैसे आपने पिज्जा ऑर्डर किया और आपको एक ऐसा सैंडविच मिल गया जो अस्तित्व में ही नहीं है।

3. "दूसरी राय" (रिव्यूअर पास - Reviewer Pass)

कभी-कभी, रोबोट चालाकी कर सकता है। वह आपको एक वास्तविक URL (जैसे किसी वास्तविक पेपर का लिंक) दे सकता है, लेकिन उसे एक फर्जी शीर्षक या लेखक के साथ जोड़ सकता है। यह आपको एक वास्तविक पता देने जैसा है, लेकिन गलत व्यक्ति के बारे में बताने जैसा कि वहाँ रहता है।

  • इन संदिग्ध मामलों के लिए CITECHECK के पास एक "रिव्यूअर" चरण होता है। एक दूसरा AI बारीकी से देखता है कि शीर्षक और लेखक वास्तव में उस लिंक से मेल खाते हैं या नहीं, न कि केवल लिंक के माध्यम से।

"ट्रेनिंग ग्राउंड" (द बेंचमार्क - The Benchmark)

अपने टूल को सिद्ध करने के लिए, लेखकों ने सिस्टम के लिए एक "ट्रेनिंग जिम" बनाया। उन्होंने 982 वास्तविक भौतिकी (physics) साइटेशन्स लिए और उनके दो प्रकार के नकली संस्करण बनाए:

  1. मामूली नकली (Minor Fakes): वास्तविक पेपर जिनमें छोटी, चालाकी भरी त्रुटियां थीं (जैसे "2023" को "2024" में बदलना)।
  2. बड़े नकली (Major Fakes): पूरी तरह से मनगढ़ंत पेपर जो विश्वसनीय लगते हैं लेकिन अस्तित्व में नहीं हैं।

परिणाम: डिटेक्टिव की जीत

जब उन्होंने अन्य बड़े AI मॉडल्स (जैसे GPT, Claude, और Gemini) के विरुद्ध CITECHECK का परीक्षण किया, तो परिणाम स्पष्ट थे:

  • CITECHECK सबसे अच्छा था। इसने वास्तविक बनाम नकली साइटेशन्स को लगभग 89% बार सही ढंग से पहचाना।
  • यह क्यों जीता: अन्य AI मॉडल अपनी याददाश्त से अनुमान लगाने या केवल टेक्स्ट को पढ़ने की कोशिश करते थे। CITECHECK इसलिए जीता क्योंकि इसने वास्तव में निर्णय लेने से पहले वास्तविक डेटाबेस के विरुद्ध तथ्यों की जाँच की।
  • यहाँ तक कि जब अन्य AI को "चीट शीट्स" (देखने के लिए उदाहरण) दी गईं या उन्हें इंटरनेट का उपयोग करने की अनुमति दी गई, तब भी वे CITECHECK की "पहले खोजें, फिर तुलना करें" वाली पद्धति को नहीं हरा सके।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि AI को उसके स्रोतों के बारे में झूठ बोलने से रोकने के लिए, आप केवल AI को "ईमानदार रहने" के लिए नहीं कह सकते। आपको एक ऐसे सिस्टम की आवश्यकता है जो पहले वास्तविक साक्ष्य प्राप्त करे और फिर झूठ पकड़ने के लिए एक संरचित तुलना का उपयोग करे। CITECHECK बिल्कुल यही करता है, जो वैज्ञानिक लेखन के लिए एक विश्वसनीय तथ्य-जांचकर्ता (fact-checker) के रूप में कार्य करता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →