Attribution in Scientific Literature: New Benchmark and Methods
यह शोध पत्र REASONS को प्रस्तुत करता है, जो एक बड़े पैमाने का बेंचमार्क और दोहरा-मानक ढांचा है जिसे विभिन्न साक्ष्य स्थितियों के तहत भ्रम (hallucination) की दर और उचित संयम (abstention) के बीच संतुलन बनाकर बड़े भाषा मॉडलों में वैज्ञानिक उद्धरण एट्रिब्यूशन (citation attribution) की विश्वसनीयता का मूल्यांकन करने और सुधारने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक खोज के आधुनिक परिदृश्य में, शोधकर्ता जटिल निष्कर्षों का सारांश निकालने और साहित्य के विशाल पुस्तकालयों में विचारों को जोड़ने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (AI) की ओर मुड़ रहे हैं। ये बुद्धिमान प्रणालियाँ, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) के रूप में जाना जाता है, टेक्स्ट की विशाल मात्रा पर प्रशिक्षित होती हैं और सुसंगत, मानव-समान प्रतिक्रियाएँ उत्पन्न कर सकती हैं। विज्ञान में उनकी उपयोगिता की एक महत्वपूर्ण विशेषता अपने दावों के साथ उद्धरण (citations) संलग्न करने की क्षमता है, जो पाठकों को उन मूल शोध पत्रों की ओर निर्देशित करती है जो किसी कथन का समर्थन करते हैं। हालाँकि, एक निरंतर समस्या इस विश्वास को कम करती है: ये मॉडल कभी-कभी ऐसे संदर्भ गढ़ देते हैं जो अस्तित्व में ही नहीं होते या वास्तविक शोध पत्रों को गलत दावों के साथ जोड़ देते हैं। यह घटना, जिसे अक्सर 'हैलुसिनेशन' (hallucination) कहा जाता है, अधिकार का एक खतरनाक भ्रम पैदा करती है। वैज्ञानिकों और डेवलपर्स के लिए मुख्य चुनौती केवल यह नहीं है कि इन प्रणालियों को तब अधिक सटीक कैसे बनाया जाए जब वे आश्वस्त हों, बल्कि यह समझना है कि उन्हें कब यह कहना चाहिए कि वे नहीं जानते। यदि कोई मॉडल इस बात में अंतर नहीं कर पाता है कि उसके पास उत्तर देने के लिए पर्याप्त साक्ष्य हैं या नहीं, तो वह जोखिम उठाता है कि वह एक शोधकर्ता को गढ़ तथ्यों के रास्ते पर आत्मविश्वास के साथ ले जाए।
एक शोधकर्ता टीम ने इस अनिश्चितता को संबोधित करने के लिए REASONS नामक एक नया परीक्षण क्षेत्र बनाया है, जो एक बेंचमार्क है जिसे विशेष रूप से यह मापने के लिए डिज़ाइन किया गया है कि ये मॉडल वैज्ञानिक उद्धरणों को कितनी अच्छी तरह संभालते हैं। टीम ने कंप्यूटर विज़न से लेकर क्वांटम कंप्यूटिंग तक, बारह विभिन्न क्षेत्रों के अकादमिक शोध पत्रों से बारह हजार से अधिक विशिष्ट वाक्य एकत्र किए। संग्रह का प्रत्येक वाक्य एक वास्तविक, सत्यापित उद्धरण से जुड़ा है, जो मॉडलों का परीक्षण करने के लिए एक स्पष्ट "ग्राउंड ट्रुथ" (ground truth) प्रदान करता है। शोधकर्ताओं ने मॉडलों से केवल सही पेपर खोजने के लिए नहीं कहा; उन्होंने प्रयोगों की एक श्रृंखला आयोजित की ताकि यह देखा जा सके कि उपलब्ध जानकारी की मात्रा बदलने पर मॉडल कैसे व्यवहार करते हैं। उन्होंने मॉडलों का तीन अलग-अलग परिदृश्यों में परीक्षण किया: पहला, बिना किसी बाहरी जानकारी के, जो मॉडलों को केवल अपनी याददाश्त पर निर्भर रहने के लिए मजबूर करता है; दूसरा, पेपर के शीर्षक और सार (abstract) जैसे सत्यापित मेटाडेटा को सीधे मॉडल को प्रदान करके; और तीसरा, उन्नत खोज उपकरणों का उपयोग करके जो प्रश्न का उत्तर देने में मदद करने के लिए एक डेटाबेस से प्रासंगिक दस्तावेज़ प्राप्त करते हैं।
परिणामों ने मददगार होने और ईमानदार होने के बीच एक चौंकाने वाले और सुसंगत समझौते (trade-off) को प्रकट किया। जब मॉडलों को कोई अतिरिक्त जानकारी नहीं दी गई थी, तो उनमें से कई ने उत्तर देने से इनकार कर दिया, जिसे शोधकर्ता "एब्स्टेंशन" (abstention) कहते हैं। जबकि इस इनकार का अर्थ था कि उन्होंने गलतियाँ नहीं कीं, लेकिन इसका मतलब यह भी था कि उन्होंने उपयोगकर्ता को कोई मूल्य प्रदान नहीं किया। हालाँकि, जैसे ही शोधकर्ताओं ने संदर्भ जोड़ा—या तो मॉडलों को पेपर का विवरण देकर या उन्हें डेटाबेस खोजने की अनुमति देकर—मॉडल बोलने के लिए बहुत अधिक इच्छुक हो गए। दुर्भाग्य से, इस बढ़ती प्रतिक्रियाशीलता के साथ एक भारी कीमत जुड़ी हुई थी। मॉडलों ने "मुझे नहीं पता" कहना बंद कर दिया और उच्च आत्मविश्वास के साथ उत्तर देना शुरू कर दिया, भले ही वे उत्तर गलत थे। एक विशिष्ट परीक्षण में, उन्नत खोज उपकरणों का उपयोग करते हुए, गलत उद्धरणों की दर बढ़कर लगभग अठासी प्रतिशत हो गई, जबकि उत्तर देने से मना करने वाले मॉडलों की दर शून्य हो गई। मॉडल अब सतर्क नहीं थे; वे आत्मविश्वास के साथ गलत थे।
यह व्यवहार सभी प्रकार के विज्ञानों में एक समान नहीं था। अध्ययन में पाया गया कि मॉडल कंप्यूटर विज़न जैसे अच्छी तरह से कवर किए गए क्षेत्रों की तुलना में क्वांटम कंप्यूटिंग और बायोमोलेक्यूल्स जैसे विशिष्ट क्षेत्रों में काफी खराब प्रदर्शन करते हैं। इन विशिष्ट डोमेन में, मॉडल गलत अनुमान लगाने की अधिक संभावना रखते थे, भले ही उन्हें अतिरिक्त जानकारी प्रदान की गई हो। शोधकर्ताओं ने एक पद्धति का भी परीक्षण किया जहाँ उन्होंने मॉडल को चरणों में जानकारी प्रकट की, इस उम्मीद में कि अधिक साक्ष्य देखने से मॉडल अपना रास्ता सुधार सकेगा। हालांकि इससे कुछ त्रुटियों को कम करने में मदद मिली, लेकिन इसने मौलिक समस्या को ठीक नहीं किया: जो मॉडल अति-आत्मविश्वास के प्रति प्रवृत्त थे, वे केवल जल्दी ही रुकना बंद कर देते थे और गलत जानकारी प्रस्तुत करना जारी रखते थे। अध्ययन में एक हजार मॉडल आउटपुट की सावधानीपूर्वक मानव समीक्षा भी शामिल थी ताकि यह सुनिश्चित किया जा सके कि स्वचालित माप सटीक हैं। विशेषज्ञों ने पुष्टि की कि मॉडल वास्तव में तथ्यात्मक त्रुटियाँ कर रहे थे, जैसे कि गलत लेखकों या गलत शोध पत्रों का हवाला देना, न कि केवल एक ही बात को अलग शब्दों में कहना।
निष्कर्ष बताते हैं कि इन प्रणालियों को बनाने का वर्तमान दृष्टिकोण पहेली के एक महत्वपूर्ण हिस्से को मिस कर रहा है। केवल अधिक डेटा या बेहतर खोज उपकरण जोड़ना इन मॉडलों को अधिक विश्वसनीय नहीं बनाता है; वास्तव में, यह अक्सर उन्हें अधिक खतरनाक बना देता है क्योंकि यह उनकी स्वाभाविक हिचकिचाहट को दबा देता है। शोधकर्ताओं का तर्क है कि एक वास्तव में विश्वसनीय प्रणाली का मूल्यांकन केवल इस आधार पर नहीं किया जाना चाहिए कि वह उत्तर कितनी बार सही देती है, बल्कि इस आधार पर भी किया जाना चाहिए कि उसे कब चुप रहना चाहिए। अध्ययन का निष्कर्ष है कि आर्टिफिशियल इंटेलिजेंस को वैज्ञानिक खोज में एक सुरक्षित साथी बनने के लिए, हमें ऐसी प्रणालियाँ डिज़ाइन करनी चाहिए जो 'एपिस्टेमिक सेफ्टी' (epistemic safety)—अनिश्चितता को स्वीकार करने की इच्छा—को उतना ही महत्व दें जितना कि हम उनके उत्तर उत्पन्न करने की क्षमता को देते हैं। इस संतुलन के बिना, आत्मविश्वासपूर्ण गढ़ने (fabrication) का जोखिम उच्च-स्तरीय वैज्ञानिक कार्यों में इन शक्तिशाली उपकरणों का उपयोग करने में एक महत्वपूर्ण बाधा बना रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।