Detecting Reference Errors in Scientific Literature with Large Language Models
यह अध्ययन प्रदर्शित करता है कि OpenAI के GPT परिवार के लार्ज लैंग्वेज मॉडल्स, बिना फाइन-ट्यूनिंग की आवश्यकता के, विशेषज्ञ-एनोटेटेड डेटासेट और रिट्रीवल ऑग्मेंटेशन का उपयोग करके वैज्ञानिक साहित्य में त्रुटिपूर्ण उद्धरणों का प्रभावी ढंग से पता लगा सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रसिद्ध चॉकलेट केक की रेसिपी लिख रहे हैं। आप दावा करते हैं, "यह रेसिपी विश्व प्रसिद्ध 'ग्रैंडमाज़ सीक्रेट' कुकबुक पर आधारित है।" लेकिन जब कोई उस कुकबुक की जाँच करता है, तो उन्हें उसमें चॉकलेट केक का कोई नामो-निशान नहीं मिलता—वहाँ केवल लेमन पाई (नींबू का पाई) की रेसिपी मिलती है। आपने एक रेफरेंस एरर (संदर्भ त्रुटि) कर दी है।
विज्ञान की दुनिया में, ऐसा अक्सर होता है। शोधकर्ता पेपर लिखते हैं और कहते हैं, "जैसा कि डॉ. स्मिथ ने 2010 में सिद्ध किया था..." लेकिन यदि आप डॉ. स्मिथ के पेपर को देखें, तो हो सकता है कि वह उस विषय के बारे में कुछ पूरी तरह से अलग कहता हो, या उसके बारे में कुछ भी न कहता हो। ये गलतियाँ गलत सूचना फैला सकती हैं, जैसे तथ्यों के साथ खेला जाने वाला "टेलीफोन" का खेल, जो कभी-कभी वास्तविक दुनिया की आपदाओं (जैसे कि ओपिओइड संकट, जो एक गलत व्याख्या किए गए पत्र के कारण हुआ था) का कारण बनती हैं।
इन संदर्भों की मैन्युअल रूप से जाँच करना एक घास के ढेर में सुई खोजने जैसा है, लेकिन वह घास का ढेर लाखों किताबों से बना है, और आपको यह सुनिश्चित करने के लिए कि सुई वास्तव में वहाँ है या नहीं, हर किताब का हर पन्ना पढ़ना होगा। इसमें बहुत समय लगता है, और इंसान थक जाते हैं।
नया समाधान: "सुपर-रीडर" AI
यह पेपर एक सरल प्रश्न पूछता है: क्या एक लार्ज लैंग्वेज मॉडल (LLM)—एक सुपर-स्मार्ट AI जो इंसान की तरह पढ़ और लिख सकता है—इन साइटेशन्स (उद्धरणों) के लिए एक फैक्ट-चेकर के रूप में कार्य कर सकता है?
शोधकर्ताओं ने AI के साथ एक पब्लिशिंग हाउस में नए इंटर्न की तरह व्यवहार किया। उन्होंने AI को एक "स्टेटमेंट" (पेपर में किया गया दावा) और एक "रेफरेंस" (वह स्रोत जिसे उसे प्रमाणित करना है) दिया। फिर, उन्होंने AI को इसे एक ग्रेड देने के लिए कहा:
- पूरी तरह से पुष्ट (Fully Substantiated): स्रोत दावे का पूरी तरह से समर्थन करता है। (रेसिपी में वास्तव में चॉकलेट केक है)।
- आंशिक रूप से पुष्ट (Partially Substantiated): स्रोत ज्यादातर इसका समर्थन करता है, लेकिन इसमें एक छोटी सी गलती या विवरण गायब है। (रेसिपी में केक तो है, लेकिन वह फ्रॉस्टिंग का उल्लेख करना भूल गई है)।
- अपुष्ट (Unsubstantiated): स्रोत का दावे से कोई लेना-देना नहीं है। (रेसिपी वास्तव में लेमन पाई की है)।
प्रयोग: AI को कितनी जानकारी चाहिए?
शोधकर्ताओं ने AI का तीन अलग-अलग परिदृश्यों में परीक्षण किया, जैसे किसी जासूस को अलग-अलग मात्रा में सुराग देना:
- परिदृश्य A (केवल शीर्षक): AI केवल संदर्भ लेख का शीर्षक देखता है। यह केवल शीर्षक "द फास्ट कार" पढ़कर किसी फिल्म की कहानी का अनुमान लगाने की कोशिश करने जैसा है।
- परिदृश्य B (शीर्षक + एब्स्ट्रैक्ट/सारांश): AI को शीर्षक और एक संक्षिप्त सारांश मिलता है। यह एक डीवीडी केस के पीछे लिखे विवरण को पढ़ने जैसा है।
- परिदृश्य C (पूरी कहानी): AI को शीर्षक, सारांश और वास्तविक टेक्स्ट के अंश मिलते हैं। यह किताब के पहले कुछ अध्यायों को पढ़ने जैसा है।
उन्होंने एक विशेष "असिस्टेंट" मोड का भी परीक्षण किया जहाँ AI पूरी PDF फ़ाइल देख सकता है, जैसे कि पूरी किताब मेज पर रखी हो।
उन्हें क्या मिला?
- AI झूठ पकड़ने में आश्चर्यजनक रूप से अच्छा है: केवल शीर्षक (परिदृश्य A) के साथ भी, नए, स्मार्ट AI मॉडल (GPT-4) यह पहचानने में उत्कृष्ट थे कि कब कोई संदर्भ पूरी तरह से असंबंधित ("अपुष्ट") था। वे बता सकते थे कि "लेमन पाई" को "चॉकलेट केक" के रूप में कब पेश किया जा रहा था, सिर्फ शीर्षक देखकर।
- अधिक जानकारी हमेशा बेहतर नहीं होती: आश्चर्यजनक रूप से, AI को अधिक टेक्स्ट देने से हमेशा मदद नहीं मिली। कभी-कभी, अतिरिक्त विवरणों ने AI को भ्रमित कर दिया जो प्रासंगिक नहीं थे, ठीक वैसे ही जैसे एक छात्र जो पूरी पाठ्यपुस्तक पढ़ लेता है लेकिन अध्याय 5 में एक शानदार तस्वीर से विचलित होने के कारण विशिष्ट उत्तर को मिस कर देता है।
- "इंसान बनाम रोबोट" का अंतर: AI कभी-कभी बहुत अधिक सख्त होता है। इंसान अक्सर सारांशित या सामान्यीकरण करते हैं। यदि कोई पेपर कहता है "कॉपर (तांबा) एक बेहतरीन उत्प्रेरक है," और स्रोत उल्लेख करता है कि "पैलेडियम एक बेहतरीन उत्प्रेरक है" लेकिन स्पष्ट रूप से "कॉपर" का उल्लेख नहीं करता है, तो एक इंसान कह सकता है, "लगभग सही है, वे दोनों धातुएँ हैं।" हालाँकि, AI कह सकता है, "नहीं, इसने कॉपर नहीं कहा," और इसे एक त्रुटि के रूप में चिह्नित कर सकता है। इसमें "लाइनों के बीच पढ़ने" की मानवीय क्षमता की कमी है।
- कोई मतिभ्रम (Hallucinations) नहीं: शोधकर्ताओं को डर था कि AI स्मार्ट दिखने के लिए चीजें बना (hallucinate) सकता है। उन्होंने AI के स्पष्टीकरणों की जाँच की और पाया कि वह वास्तव में ईमानदार और तार्किक था, न कि तथ्य बना रहा था।
यह क्यों मायने रखता है?
सोचिए कि वैज्ञानिक साहित्य एक विशाल पुस्तकालय है। यदि किताबों में गलत संदर्भ हैं, तो पूरा पुस्तकालय अविश्वसनीय हो जाता है।
- संपादकों के लिए: यह AI तथ्यों के लिए एक "स्पेल-चेकर" हो सकता है। एक मानव संपादक द्वारा एक साइटेशन की जाँच करने में 20 मिनट खर्च करने के बजाय, AI इसे सेकंडों में कर सकता है, संदिग्ध साइटेशन्स को मानव समीक्षा के लिए फ्लैग (चिह्नित) कर सकता है।
- विज्ञान के लिए: यह फर्जी विज्ञान और "पेपर मिल्स" (ऐसी फैक्ट्रियां जो फर्जी शोध बनाती हैं) के प्रसार को रोकने में मदद करता है।
- भविष्य के लिए: हालांकि AI अभी भी पूरी तरह से परफेक्ट नहीं है (इसे थोड़ा लचीला होने की आवश्यकता है जैसे कि एक इंसान होता है), यह एक शक्तिशाली उपकरण है। यह दिखाता है कि हम एक ऐसे भविष्य की ओर बढ़ रहे हैं जहाँ AI हमें विज्ञान लिखने, समीक्षा करने और सत्यापित करने में मदद करेगा, जिससे पूरी प्रक्रिया तेज़ और अधिक विश्वसनीय हो जाएगी।
संक्षेप में: यह पेपर सिद्ध करता है कि AI एक बहुत ही प्रभावी "रेफरेंस पुलिस" हो सकता है, जो उन गलतियों को पकड़ सकता है जिन्हें इंसान मिस कर सकते हैं या जिनकी जाँच करना उन्हें बहुत उबाऊ लग सकता है, बशर्ते हम इसे मानवीय सामान्य ज्ञान के साथ सटीक सटीकता को संतुलित करना सिखाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।