ResearchQA: Benchmarking Citation-Grounded Question-Answering on Scientific Papers
यह शोधपत्र ResearchQA का परिचय देता है, जो 6,211 प्रश्न-उत्तर युग्मों का एक नया बेंचमार्क है जिसे वैज्ञानिक शोध पत्रों के लिए उद्धरण-आधारित (citation-grounded) उत्तर प्रदान करने की बड़े भाषा मॉडलों (LLMs) की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि उद्धरण-आधारित मेट्रिक्स, LLM-आधारित मूल्यांकनकर्ताओं की तुलना में मॉडल प्रदर्शन के बीच बेहतर अंतर स्पष्ट करते हैं और साथ ही यह भी दिखाते हैं कि ओपन-वेट मॉडल काफी कम विलंबता (latency) के साथ तुलनीय सटीकता प्राप्त कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी सुपर-स्मार्ट रोबोटों की एक टीम को 494 वैज्ञानिक शोध पत्रों (scientific papers) का एक ढेर थमाया है और उनसे "पेपर के साथ चैट करने" को कहा है। आप चाहते हैं कि वे आपके सवालों के जवाब दें जैसे, "सैंपल साइज क्या था?" या "लेखकों ने अपने ही परिणामों पर संदेह क्यों किया?" लेकिन यहाँ एक पेंच है: आप केवल यह नहीं चाहते कि वे बुद्धिमान लगें; आप चाहते हैं कि वे साबित करें कि उन्होंने वास्तव में किताब पढ़ी है। यदि वे कोई तथ्य मनगढ़ंत बनाते हैं या दावा करते हैं कि कोई पेज मौजूद है जो वास्तव में नहीं है, तो वे तुरंत फेल हो जाने चाहिए।
यही ResearchQA है। यह एक विशाल, कठिन परीक्षा है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या ये AI रोबोट बिना कुछ मनगढ़ंत बनाए (hallucinating) वैज्ञानिक शोध पत्रों को पढ़ सकते हैं और सबसे महत्वपूर्ण बात यह कि क्या वे उस सटीक स्थान की ओर इशारा कर सकते हैं जहाँ उन्हें उत्तर मिला।
बड़ी समस्या: "आत्मविश्वासी झूठे" का जाल
लंबे समय से, हम AI का परीक्षण इस सवाल से करते रहे हैं कि, "क्या यह उत्तर अच्छा लग रहा है?" यदि रोबोट एक सहज, आत्मविश्वासी पैराग्राफ लिखता है, तो हम उसे उच्च स्कोर देते हैं। लेकिन इस पेपर के लेखक कहते हैं कि विज्ञान का परीक्षण करने का यह एक बहुत ही बुरा तरीका है। यह एक छात्र को गणित सीखने के बजाय उसकी लिखावट (handwriting) के आधार पर ग्रेड देने जैसा है।
यह पेपर स्पष्ट रूप से "एम्बेडिंग सिमिलरिटी" (एक फैंसी तरीका यह कहने का कि "क्या यह वाक्य पेपर का हिस्सा लगता है?") पर भरोसा करने के खिलाफ तर्क देता है। उन्होंने पाया कि यह तरीका रोबोट्स को तब भी पास होने देता है जब वे ऐसे फर्जी तथ्यों को उद्धृत (quote) करते हैं जो सुनने में तो सही लगते हैं। वे "LLM इवैल्यूएटर्स" (अन्य AI जो उत्तरों को ग्रेड देते हैं) का उपयोग केवल निर्णायक के रूप में करने के भी खिलाफ तर्क देते हैं, क्योंकि वे ग्रेडर अक्सर बहुत उदार हो जाते हैं और सभी को परफेक्ट स्कोर दे देते हैं, जिससे यह तथ्य छिप जाता है कि कुछ रोबोट्स केवल अनुमान लगा रहे हैं।
नया खेल: "साइटेशन डिटेक्टिव" (Citation Detective)
केवल यह पूछने के बजाय कि "क्या उत्तर सही है?", ResearchQA पूछता है, "क्या आप अपना काम दिखा सकते हैं?"
शोधकर्ताओं ने 6,211 प्रश्नों का एक डेटासेट बनाया है जो मशीन लर्निंग से लेकर इतिहास तक आठ अलग-अलग क्षेत्रों के 494 ओपन-एक्सेस पेपर्स से लिए गए हैं। उन्होंने चार प्रकार की चुनौतियाँ बनाई हैं:
- लुकअप (Lookup): "सैंपल साइज खोजें।" (आसान, बस संख्या ढूँढें)।
- कॉम्प्रिहेन्शन (Comprehension): "लेखक की मुख्य आलोचना क्या है?" (कठिन, सारांश निकालने की आवश्यकता है)।
- मल्टी-हॉप (Multi-hop): "सेक्शन 3 के परिणाम की तुलना सेक्शन 1 के बेसलाइन से करें।" (बहुत कठिन, पूरे पेपर में बिंदुओं को जोड़ने की आवश्यकता है)।
- एडवर्सरियल (Adversarial): "प्लेसबो ग्रुप (placebo group) ने कैसे प्रतिक्रिया दी?" (ट्रिक सवाल! पेपर कहता है कि वहां कोई प्लेसबो ग्रुप नहीं था। रोबोट को कहना चाहिए, "मैं इसका उत्तर नहीं दे सकता क्योंकि पेपर में इसकी जानकारी नहीं है," बजाय इसके कि वह एक फर्जी परिणाम बना ले)।
परिणाम: कौन पास हुआ?
शोधकर्ताओं ने इस टेस्ट में 8 अलग-अलग AI मॉडल्स को चलाया। यहाँ उनके निष्कर्ष दिए गए हैं:
- "अच्छा लगना" स्कोर बनाम "काम दिखाना" स्कोर: जब उन्होंने एक मानक AI ग्रेडर का उपयोग करके 1 से 5 के पैमाने पर उत्तरों को रेट किया, तो लगभग सभी को 4.9 या 5.0 मिला! यह एक टाई था! सभी रोबोट्स बेहतरीन लग रहे थे। लेकिन जब उन्होंने "साइटेशन डिटेक्टिव" मेट्रिक्स (यह जाँचने के लिए कि क्या उद्धरण वास्तव में टेक्स्ट में मौजूद है) का उपयोग किया, तो स्कोर बहुत अलग-अलग निकले। कुछ मॉडल सही पेज खोजने में बेहतरीन थे, जबकि अन्य बहुत खराब थे।
- "इनकार" (Refusal) टेस्ट: यह सबसे बड़ा अंतर पैदा करने वाला कारक था। एक ट्रिक सवाल (जैसे प्लेसबो वाला सवाल) पूछे जाने पर, सबसे अच्छे मॉडल (gemini-3.1-pro-preview) ने 87% बार झूठ बोलने से इनकार कर दिया। सबसे खराब मॉडल (gpt-oss-120b) केवल 47.8% बार इनकार कर सका, जिसका अर्थ है कि उसने उत्तर देने की कोशिश में लगभग आधे समय सबूत मनगढ़ंत बनाए।
- गति बनाम गुणवत्ता: पेपर में एक ट्रेड-ऑफ (समझौता) मिला। सबसे स्मार्ट मॉडल (gemini-3.1-pro-preview) को प्रति प्रश्न 18.3 सेकंड लगे। एक तेज़, ओपन-सोर्स मॉडल (gpt-oss-120b) 6 गुना तेज़ था (केवल 2.9 सेकंड लेता है) लेकिन साइटेशन के मामले में बहुत अधिक गलतियाँ करता था और झूठ बोलने से कम इनकार करता था।
"मल्टी-हॉप" मॉन्स्टर
पेपर सुझाव देता है कि सभी रोबोट्स के लिए सबसे कठिन हिस्सा मल्टी-हॉप रीजनिंग है। जब किसी प्रश्न के लिए एक पेपर के दो अलग-अलग हिस्सों की जानकारी को जोड़ने की आवश्यकता होती है, तो स्कोर काफी गिर जाता है। उदाहरण के लिए, मल्टी-हॉप प्रश्नों के लिए सेक्शन कवरेज पर, सबसे अच्छे और सबसे खराब मॉडल्स के बीच का अंतर 42 अंक का था (जो 0.542 से 0.958 के बीच था)। यह सुझाव देता है कि जबकि रोबोट एकल तथ्यों को खोजने में अच्छे हो रहे हैं, वे अभी भी पूरे दस्तावेज़ से एक कहानी बुनने में संघर्ष कर रहे हैं।
वह जो पेपर को अभी तक नहीं पता है
लेखक अपने स्वयं के प्रयोग की सीमाओं के बारे में ईमानदार हैं। वे स्वीकार करते हैं कि:
- उनके पास हर एक उत्तर की जाँच करने के लिए मानव विशेषज्ञ नहीं थे। इसके बजाय, उन्होंने प्रश्नों को उत्पन्न करने और उत्तरों की जाँच करने के लिए एक अन्य AI (Gemini 3.1 Pro) का उपयोग किया। वे सुझाव देते हैं कि यह अच्छी तरह काम करता है, लेकिन उन्होंने अभी तक मानव समीक्षकों के साथ इसे सिद्ध नहीं किया है।
- यह टेस्ट केवल अंग्रेजी में था। हमें नहीं पता कि क्या ये रोबोट स्पेनिश या मंदारिन में पेपर्स के साथ भी ऐसा ही काम करेंगे।
- उपयोग किए गए पेपर्स सभी ओपन-एक्सेस थे। उन्होंने पेवॉल (paywalled) वाले पेपर्स या जटिल चार्ट्स पर परीक्षण नहीं किया जो पढ़ने में कठिन होते हैं।
- चूंकि डेटासेट सार्वजनिक है, इसलिए भविष्य के रोबोट्स ने अपने प्रशिक्षण के दौरान उत्तरों को याद करके "चीटिंग" भी की हो सकती है।
निचोड़ (The Bottom Line)
ResearchQA सुझाव देता है कि यदि आप चाहते हैं कि कोई AI विज्ञान पढ़ने में आपकी मदद करे, तो आप केवल इसे "सहायक होने" के लिए नहीं कह सकते। आपको इसे अपने स्रोतों का हवाला देने के लिए मजबूर करना होगा और कुछ भी मनगढ़ंत बनाने पर इसे दंडित करना होगा। पेपर दिखाता है कि हालांकि आज के रोबोट इस मामले में बेहतर हो रहे हैं, लेकिन वे सच बोलने की अपनी क्षमता में बहुत भिन्न होते हैं, खासकर जब सवाल ट्रिकी हो या कई बिंदुओं को जोड़ने की आवश्यकता हो। सबसे अच्छे रोबोट सटीक लेकिन धीमे हैं; सबसे तेज़ रोबोट फुर्तीले हैं लेकिन सबूत मनगढ़ंत बनाने के प्रति प्रवृत्त हैं। यह एक याद दिलाता है कि AI की दुनिया में, आत्मविश्वास से बोलना यह सुनिश्चित नहीं करता कि आप सही हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।