DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation
DeepSciVerify एक दो-चरणीय, LLM-संचालित पाइपलाइन है जो अमूर्त-स्तर के तर्क (abstract-level reasoning) को पूर्ण-पाठ साक्ष्य (full-text evidence) के चयनात्मक एस्केलेशन के साथ जोड़कर वैज्ञानिक दावे-उद्धरण सत्यापन की सटीकता और दक्षता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइब्रेरियन हैं जो एक नई किताब में किए गए एक साहसिक दावे की पुष्टि करने की कोशिश कर रहे हैं। लेखक कहता है, "यह अध्ययन सिद्ध करता है कि कॉफी सिरदर्द को ठीक करती है," और प्रमाण के रूप में एक विशिष्ट शोध पत्र की ओर इशारा करता है।
आपका काम यह जांचना है कि क्या वह शोध पत्र वास्तव में इस दावे का समर्थन करता है। यही वह मुख्य समस्या है जिसे शोध पत्र DEEPSCIVERIFY हल करने की कोशिश करता है।
समस्या: "धुंधली फोटो" का जाल
आमतौर पर, जब हम किसी उद्धरण (citation) की जांच करते हैं, तो हम केवल सार (abstract - शोध पत्र की शुरुआत में दिया गया संक्षिप्त सारांश) को देखते हैं। सार को एक पेंटिंग के धुंधले थंबनेल फोटो की तरह समझें। यह सामान्य विचार तो देता है, लेकिन इसमें अक्सर उन बारीक विवरणों, विशिष्ट संख्याओं या सीमाओं की कमी होती है जो यह जानने के लिए महत्वपूर्ण हैं कि क्या दावा वास्तव में सच है।
यदि आप केवल थंबनेल को देखते हैं, तो आप अनुमान लगा सकते हैं कि पेंटिंग सूर्यास्त की है, लेकिन जब आप अंततः पूरी तस्वीर देखते हैं, तो आपको एहसास होता है कि यह वास्तव में एक तूफान है। वैज्ञानिक लेखन में, इससे "भ्रम" (hallucinations) पैदा होते हैं जहाँ AI या लेखक एक ऐसे शोध पत्र का हवाला देते हैं जो प्रासंगिक तो लगता है लेकिन वास्तव में उनके बिंदु को सिद्ध नहीं करता है।
समाधान: एक दो-चरणीय जासूसी प्रणाली
लेखकों ने एक प्रणाली बनाई है जिसे DEEPSCIVERIFY कहा जाता है, जो एक स्मार्ट, दो-चरणीय जासूस की तरह कार्य करती है। पूरे 50 पन्नों के शोध पत्र को तुरंत पढ़ने (जो धीमा और महंगा है) के बजाय, यह एक "आलसी लेकिन स्मार्ट" दृष्टिकोण अपनाता है:
चरण 1: एक त्वरित नज़र (सार स्तर पर)
सबसे पहले, सिस्टम "धुंधले थंबनेल" (सार) को देखता है।
- जासूस: यह एक विशिष्ट AI मॉडल का उपयोग करता है (मान लीजिए कि इसे "सावधान वाला" कहा जाता है) जो यह कहने में बहुत कुशल है कि, "मुझे अभी यकीन नहीं है।"
- निर्णय:
- यदि सार स्पष्ट रूप से दावे को सिद्ध करता है, तो जासूस कहता है, "हाँ, यह सच है!" और रुक जाता है।
- यदि सार स्पष्ट रूप से इसे गलत साबित करता है, तो वह कहता है, "नहीं, यह गलत है!" और रुक जाता है।
- जादू: यदि सार बहुत अस्पष्ट या भ्रमित करने वाला है, तो वह कहता, "मैं इस तस्वीर से नहीं बता सकता," और मामले को आगे बढ़ा देता (escalate)। वह अनुमान नहीं लगाता; वह अधिक साक्ष्य मांगता है।
चरण 2: गहन जांच (अनुच्छेद स्तर पर)
केवल तभी जब पहला जासूस अनिश्चित होता है, सिस्टम दूसरे दल को सक्रिय करता है।
- जासूस: यह पूरे शोध पत्र (उच्च-रिज़ॉल्यूशन वाली पेंटिंग) को निकालता है।
- खोज: हर एक शब्द को पढ़ने के बजाय, यह एक स्मार्ट सर्च टूल (एक हाई-टेक हाइलाइटर की तरह) का उपयोग करता है ताकि उन विशिष्ट अनुच्छेदों को खोजा जा सके जो दावे के बारे में बात करते हैं।
- फैसला: दूसरा AI मॉडल (मान लीजिए कि इसे "संतुलित वाला" कहा जाता है) केवल उन विशिष्ट अनुच्छेदों को पढ़ता है और अंतिम निर्णय लेता है: सत्य, असत्य, या "अभी भी पर्याप्त जानकारी नहीं है।"
यह क्यों काम करता है: AI का "व्यक्तित्व"
शोध पत्र ने पाया कि अनिश्चित होने पर विभिन्न AI मॉडल के अलग-अलग "व्यक्तित्व" होते हैं:
- सावधान AI (GPT-5.4): यह मॉडल एक घबराए हुए लाइब्रेरियन की तरह है। यदि इसे साक्ष्य में एक छोटा सा भी अंतर दिखता है, तो यह तुरंत कहता है, "मुझे नहीं पता!" यह कष्टप्रद हो सकता है यदि आप केवल एक त्वरित उत्तर चाहते हैं, लेकिन चरण 1 के लिए यह परफेक्ट है। आप चाहते हैं कि यह "मुझे नहीं पता" कहे ताकि आप बिना किसी आवश्यकता के पूरी किताब पढ़ने में समय बर्बाद न करें।
- निर्णायक AI (Claude Sonnet): यह एक आत्मविश्वासी जासूस की तरह है जो निर्णय लेना पसंद करता है। यह अंतिम फैसला सुनाने के लिए बेहतरीन है जब उसके पास सभी तथ्य हों, लेकिन यदि इसके पास केवल धुंधला थंबनेल है, तो यह बहुत जल्दी अनुमान लगा सकता है।
DEEPSCIVERIFY त्वरित जांच के लिए सावधान AI का उपयोग करता है और गहन जांच के लिए निर्णायक AI का उपयोग करता है। वे एक आदर्श टीम की तरह मिलकर काम करते हैं।
परिणाम
इस प्रणाली का परीक्षण SCITANCE नामक एक डेटासेट (वैज्ञानिक दावों और उनके उद्धरणों का एक संग्रह) पर किया गया।
- दक्षता: इसने केवल सारांशों को देखकर 67% मामलों को हल किया। इसे शेष 33% के लिए "गहन जांच" करनी पड़ी। इससे बहुत समय और कंप्यूटिंग शक्ति की बचत होती है।
- सटीकता: इस दो-चरणीय पद्धति का उपयोग करके, यह केवल सारांशों को देखने वाले सिस्टम की तुलना में 4.5 अंक अधिक सटीक था। इसने महत्वपूर्ण अंतर के साथ पिछले रिकॉर्ड धारकों को भी पीछे छोड़ दिया।
मुख्य निष्कर्ष
शोध पत्र का तर्क है कि वैज्ञानिक दावों को विश्वसनीय रूप से सत्यापित करने के लिए, हमें केवल एक AI के सामने पूरी किताब फेंककर उम्मीद नहीं करनी चाहिए कि सब ठीक हो जाएगा। इसके बजाय, हमें एक चरणबद्ध दृष्टिकोण अपनाना चाहिए:
- पहले सारांश की जांच करें।
- यदि सारांश स्पष्ट है, तो वहीं रुक जाएं।
- यदि सारांश धुंधला है, तब पूर्ण पाठ में उन विशिष्ट पृष्ठों को खोजें जो मायने रखते हैं।
यह विधि वैज्ञानिक सत्यापन को तेज़, सस्ता और बहुत अधिक विश्वसनीय बनाती है, यह सुनिश्चित करती है कि जब कोई दावा किया जाता है, तो उसके पीछे का साक्ष्य वास्तव में वहां मौजूद है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।