Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection
यह शोध पत्र CiteTracer को प्रस्तुत करता है, जो एक मल्टी-एजेंट फ्रेमवर्क है जो वैज्ञानिक संदर्भों के उच्च-सटीक सत्यापन को प्राप्त करने के लिए संरचित निष्कर्षण (structured extraction), बहु-स्रोत साक्ष्य पुनर्प्राप्ति (multi-source evidence retrieval) और विशिष्ट एजेंट तर्क (specialized agent reasoning) के माध्यम से साइटेशन मतिभ्रम (citation hallucination) का पता लगाने को एक वर्गीकरण-संरेखित क्षेत्र-स्तरीय अधिनिर्णय कार्य (taxonomy-aligned field-level adjudication task) के रूप में पुनर्गठित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरी लाइब्रेरी में घूम रहे हैं जहाँ हर किताब एक वैज्ञानिक शोध पत्र (scientific paper) है। इस लाइब्रेरी में सबसे महत्वपूर्ण चीज़ केवल किताब के अंदर की कहानी नहीं है, बल्कि उसके द्वारा छोड़े गए "ब्रेडक्रम्ब्स" (breadcrumbs) यानी सुराग हैं—उद्धरण (citations)। ये वे छोटी टिप्पणियाँ हैं जो कहती हैं, "मुझे यह विचार उस किताब से मिला है।" ये एक मानचित्र की तरह हैं जो अन्य खोजकर्ताओं को मूल खजाने तक पहुँचने में मदद करते हैं। लेकिन हाल ही में, एक नए प्रकार का लाइब्रेरियन आया है: एक सुपर-स्मार्ट रोबोट जो किसी भी अन्य व्यक्ति की तुलना में तेज़ी से कहानियाँ लिख सकता है। समस्या यह है कि यह रोबट कभी-कभी एक अच्छी कहानी सुनाने के उत्साह में अपने खुद के ब्रेडक्रम्ब्स बना लेता है। यह एक ऐसा पुस्तक शीर्षक लिख सकता है जो वास्तविक लगता हो, एक ऐसा लेखक जो प्रसिद्ध लगे, या एक ऐसा वर्ष जो तर्कसंगत लगे, लेकिन यदि आप उस शेल्फ की ओर जाने की कोशिश करेंगे, तो वह किताब वहाँ नहीं मिलेगी। यह एक "हलुसिनेशन" (hallucination) है—एक ऐसा सम्मोहक झूठ जो तब तक असली दिखता है जब तक आप तथ्यों की जाँच नहीं कर लेते।
यह एक बड़ी बात है क्योंकि विज्ञान भरोसे पर चलता है। यदि एक शोधकर्ता उस स्रोत को नहीं ढूँढ पाता जिसका दावा एक पेपर करता है, तो साक्ष्य की पूरी श्रृंखला टूट जाती है। अब तक, इन नकली ब्रेडक्रम्ब्स को पकड़ने के लिए बनाए गए उपकरण एक क्लब के बाउंसरों की तरह थे जिनका नियम सरल था: "आप अंदर हैं, या आप बाहर हैं।" वे जाँचते थे कि क्या कोई किताब मौजूद है, लेकिन यदि किताब थोड़े अलग नाम से मौजूद होती, या लेखक का नाम थोड़ा अजीब तरीके से लिखा होता, तो बाउंसर भ्रमित हो जाता और या तो एक असली को अंदर आने देता या एक नकली को बाहर निकाल देता। वे टाइपो (लिखने की गलती), उपनाम और पूरी तरह से मनगढ़ंत रचना के बीच अंतर नहीं कर पाते थे।
यहाँ आता है CITETRACER, डिजिटल जासूसों की एक नई टीम जिसे शोधकर्ता मिंगज़े ली, झीकियांग लिन और शिकिंग मा ने बनाया है। केवल यह पूछने के बजाय कि "क्या यह नकली है?", उन्होंने एक बहुत अधिक स्मार्ट सिस्टम बनाया है जो पूछता है, "ठीक में क्या गलत है?" उन्होंने महसूस किया कि उद्धरणों के अलग-अलग हिस्से होते हैं—जैसे शीर्षक, लेखक, वर्ष और प्रकाशक—और एक हिस्से में गलती का मतलब हमेशा यह नहीं होता कि पूरी चीज़ झूठ है।
इसे हल करने के लिए, टीम ने एक 12-कोड नियम पुस्तिका बनाई। इसे एक ट्रैफिक पुलिसकर्मी की तरह समझें जो केवल "रुको" या "चलो" नहीं कहता, बल्कि आपको एक विशिष्ट टिकट भी दे सकता है: "आप तेज़ गाड़ी चला रहे थे," "आपने रेड लाइट तोड़ी," या "आप अपना लाइसेंस भूल गए।" उनका सिस्टम उद्धरणों को तीन मुख्य श्रेणियों में बाँटता है: असली (REAL) (पूर्ण या थोड़ा अस्त-व्यस्त), संभावित (POTENTIAL) (ठीक लग रहा है लेकिन दोबारा देखने की ज़रूरत है, जैसे कोई उपनाम या गैर-अकादमिक स्रोत), और मनगढ़ंत (HALLUCINATED) (पूरी तरह से बनावटी)।
जासूस एक चार-चरणीय रिले रेस की तरह काम करते हैं। पहले, एक रेफरेंस एक्सट्रैक्टर (Reference Extractor) एक हाई-टेक स्कैनर की तरह कार्य करता है जो PDF से बिखरे हुए टेक्स्ट को पढ़ता है और उसे तथ्यों की एक साफ, व्यवस्थित सूची में बदल देता है। इसके बाद, एक कैस्केडिंग एविडेंस कलेक्टर (Cascading Evidence Collector) एक खोज अभियान पर निकलता है। यह एक त्वरित मेमोरी कैश की जाँच से शुरू होता है, फिर सीधे लिंक (जैसे DOI) का पीछा करता है, फिर विशेष अकादमिक डेटाबेस से पूछता है, और अंत में, यदि आवश्यक हो, तो एक व्यापक वेब सर्च करता है। यह अपने स्वयं के नोट्स की जाँच करने, फिर लेखक को कॉल करने, फिर लाइब्रेरी कैटलॉग की जाँच करने और अंत में पूरे शहर से पूछने जैसा है।
एक बार जब उनके पास साक्ष्य आ जाते हैं, तो एक फील्ड मैचर (Field Matcher) रोबोट के दावे की वास्तविक तथ्यों के साथ, टुकड़ों में, तुलना करता है। यदि शीर्षक मेल खाता है लेकिन वर्ष गलत है, तो वह केवल वर्ष को चिह्नित करता है। अंत में, यदि मामला जटिल है, तो क्लास-स्पेशलिस्ट जजर्स (Class-Specialist Judgers) का एक पैनल हस्तक्षेप करता है। ये विशेषज्ञ न्यायाधीशों की तरह हैं जो विभिन्न प्रकार की त्रुटियों में विशेषज्ञ हैं। एक न्यायाधीश "असली लेकिन अस्त-व्यस्त" मामलों को संभालता है, दूसरा "शायद यह असली है" वाले मामलों को, और तीसरा "पूरी तरह से नकली" वाले मामलों को संभालता है।
टीम ने अपने स्वयं के बनाए गए 2,450 नकली और असली उद्धरणों के एक विशाल खेल के मैदान के साथ-साथ 957 वास्तविक-दुनिया के उदाहरणों पर परीक्षण किया, जिन्हें पहले ही कॉन्फ्रेंस आयोजकों द्वारा पकड़ा जा चुका था। परिणाम प्रभावशाली थे: टेस्ट सेट पर CITETRACER ने 97.1% बार सही पहचान की। यह विशेष रूप से ट्रिकी "नकली" (98.5% सटीकता) और "शायद" (95.8% सटीकता) वाले मामलों को पकड़ने में उत्कृष्ट था, जिसने उन उपकरणों को पीछे छोड़ दिया जो केवल "हाँ" या "नहीं" का अनुमान लगाते थे। जब उन्होंने वास्तविक कॉन्फ्रेंस पेपर्स के वास्तविक दुनिया के बिखराव पर परीक्षण किया, तो इसने बिना हार माने 97.1% मनगढ़ंत संदर्भों को पकड़ लिया।
संक्षेप में, यह शोध पत्र दिखाता है कि समस्या को छोटे, विशिष्ट हिस्सों में तोड़कर और एक सामान्य विशेषज्ञ के बजाय विशेषज्ञों की एक टीम का उपयोग करके, हम बहुत अधिक सटीकता के साथ रोबोट के झूठ को पकड़ सकते हैं। यह एक धुंधले "शायद नकली" को एक स्पष्ट "यहाँ ठीक क्या गलत है" में बदल देता है, जिससे विज्ञान की लाइब्रेरी को ईमानदार बनाए रखने में मदद मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।