What Citations Get Wrong: A Full-Corpus Audit of Reference Existence and Claim Support in a Major NLP Conference
यह शोध पत्र ACL 2026 की कार्यवाहियों (proceedings) का ऑडिट करता है और यह पाता है कि जहाँ लगभग सभी उद्धृत संदर्भ मौजूद हैं, वहीं दावे के समर्थन के एकल-रन स्वचालित ऑडिट को एक अनलॉग किए गए मॉडल कॉन्फ़िगरेशन के कारण पुनरुत्पादित करने में विफलता मिली, जो यह दर्शाता है कि कठोर उद्धरण सत्यापन के लिए पुनरुत्पादकता सुनिश्चित करने हेतु सख्त परिचालन लॉगिंग की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक विज्ञान के विशाल पुस्तकालय में, एक उद्धरण (citation) केवल एक सूची में नाम मात्र नहीं है; यह एक वादा है। जब एक लेखक एक वाक्य लिखता है और किसी अन्य शोध पत्र की ओर संकेत करता है, तो वे दो अलग-अलग प्रतिबद्धताएं निभा रहे होते हैं। पहला, वे वादा करते हैं कि जिस शोध पत्र की ओर वे संकेत कर रहे हैं वह वास्तव में अस्तित्व में है और उसे पाया जा सकता है। दूसरा, जो कहीं अधिक कठिन है, वे वादा करते हैं कि जिस शोध पत्र की ओर वे संकेत कर रहे हैं, वह वास्तव में वही कहता है जो लेखक दावा कर रहा है। दशकों से, वैज्ञानिक समुदाय मुख्य रूप से पहले वादे को लेकर चिंतित रहा है, विशेष रूप से आर्टिफिशियल इंटेलिजेंस के उदय के साथ। यह एक बढ़ता हुआ डर है कि कंप्यूटर प्रोग्राम नकली शोध पत्र बना रहे हैं, संदर्भ सूचियों को ऐसे शीर्षकों और लेखकों से भर रहे हैं जिनका कभी अस्तित्व ही नहीं था, जिससे विद्वत्तापूर्ण रिकॉर्ड को प्रभावी रूप रूप से कल्पनाओं से प्रदूषित किया जा रहा है। यह चिंता मुखर रही है, लेकिन इसे समर्थन देने वाले साक्ष्य बहुत कम रहे हैं। इस बीच, दूसरा वादा—दावे की सटीकता—ने बहुत कम ध्यान आकर्षित किया है, भले ही यह इस बात का अधिक मौलिक परीक्षण है कि क्या एक वैज्ञानिक अपने स्रोतों के बारे में सच बोल रहा है।
ताओ एन नामक एक शोधकर्ता ने दोनों वादों का एक साथ परीक्षण करने का निर्णय लिया, न कि एक छोटे नमूने पर, बल्कि कंप्यूटर विज्ञान के एक प्रमुख सम्मेलन के पूरे एक वर्ष के शोध पत्रों पर। टीम ने 'एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स' की 2026 की कार्यवाही (proceedings) के प्रत्येक संदर्भ का ऑडिट किया, जो लगभग 4,500 शोध पत्रों और 2,00,000 से अधिक संदर्भों का संग्रह है, ताकि यह जांचा जा सके कि क्या वे वास्तविक दस्तावेजों की ओर संकेत करते हैं। इन उद्धरणों के एक छोटे, नमूना आधारित उपसमूह के लिए, उन्होंने यह भी जांचा कि क्या दस्तावेज़ वास्तव में उस वाक्य का समर्थन करता है जिसने उसे उद्धृत किया है। लक्ष्य यह देखना था कि क्या एआई-जनित नकली संदर्भों का डर वास्तविकता पर आधारित है, और यह मापना कि लेखक कितनी बार अपने स्रोतों का गलत चित्रण करते हैं।
जांच पहले वादे के साथ शुरू हुई: अस्तित्व। शोधकर्ताओं ने एक प्रणाली बनाई जिससे यह जांचा जा सके कि क्या प्रत्येक संदर्भ एक वास्तविक, प्राप्त करने योग्य कार्य की ओर संकेत करता है। उन्होंने पाया कि अधिकांश संदर्भ, लगभग 91 प्रतिशत, सफलतापूर्वक वास्तविक साहित्य से जुड़ गए। जो संदर्भ मेल नहीं खा रहे थे, वे ज्यादातर नकली पेपर नहीं थे; वे ब्लॉग पोस्ट, सॉफ्टवेयर दस्तावेज़, या ऐसी त्रुटियां थीं जहाँ कंप्यूटर ने पाठ को गलत पढ़ लिया था। जब टीम ने संदिग्ध दिखने वाले बहुत कम अंशों की मैन्युअल समीक्षा की, तो उन्हें लगभग 2,10,000 में से केवल दो ऐसे मामले मिले जहां पुष्टि हुई कि एक शोध पत्र पूरी तरह से अस्तित्वहीन था। यह परिणाम बताता है कि इस प्रमुख मंच पर, एआई द्वारा साहित्य को मनगढ़ंत कागजों से भरने का डर काफी हद तक निराधार है। संदर्भ लगभग हमेशा वास्तविक होते हैं।
हालाँकि, कहानी पूरी तरह से बदल गई जब शोधकर्ताओं ने दूसरे वादे की ओर रुख किया: क्या उद्धृत शोध पत्र वास्तव में दावे का समर्थन करता है। यह एक बहुत कठिन कार्य है, जिसके लिए सिस्टम को उद्धृत शोध पत्र को पढ़ना होगा और उसकी तुलना उस वाक्य से करनी होगी जिसने उसे उद्धृत किया है। टीम ने उन उद्धरणों को चिह्नित करने के लिए कंप्यूटर मॉडलों का उपयोग करते हुए एक दो-चरणीय प्रक्रिया का उपयोग किया जो अपने स्रोतों का गलत प्रतिनिधित्व करते प्रतीत होते थे। अपने पहले प्रयास में, सिस्टम ने त्रुटियों की एक बहुत कम संख्या को चिह्नित किया, जिससे पता चला कि लेखक काफी हद तक सटीक थे। लेकिन जब शोधकर्ताओं ने उसी कंप्यूटर कोड और उन्हीं शोध पत्रों का उपयोग करके, बिल्कुल उसी प्रक्रिया को दोबारा चलाया, तो परिणाम पूरी तरह से अलग थे। दूसरे और तीसरे रन में त्रुटियों की संख्या पहले रन की तुलना में लगभग छह गुना अधिक पाई गई।
यह विसंगति अध्ययन का सबसे महत्वपूर्ण निष्कर्ष बन गई। शोधकर्ताओं ने इसका कारण एक छिपे हुए चर (variable) में खोजा: प्रारंभिक निर्णय लेने के लिए उपयोग किया गया विशिष्ट कंप्यूटर मॉडल दर्ज नहीं किया गया था। पहले रन में, सिस्टम ने चुपचाप एक कमजोर मॉडल का उपयोग किया जिसने कई त्रुटियों को छोड़ दिया। बाद के रन में, एक अलग, अधिक शक्तिशाली मॉडल का उपयोग किया गया, जिसने अधिक समस्याओं को पकड़ा। क्योंकि पहले रन में एक ऐसा मॉडल उपयोग किया गया था जिसे कभी लॉग नहीं किया गया था, इसलिए शोधकर्ता निश्चित रूप से यह नहीं कह सकते थे कि उस पहले परिणाम ने वास्तव में क्या मापा था। सबक स्पष्ट था: एक स्वचालित ऑडिट, चाहे उसकी कितनी भी सावधानीपूर्वक मैन्युअल जांच क्यों न की जाए, उस पर भरोसा नहीं किया जा सकता यदि प्रक्रिया को ठीक उन्हीं उपकरणों के साथ दोहराया नहीं जा सकता। माप स्वयं अस्थिर था।
जब शोधकर्ताओं ने उस डेटा को देखा जो पुनरावृत्ति (replicate) कर सका, तो उन्होंने पाया कि त्रुटियां वास्तविक थीं, लेकिन वे उस प्रकार की मशीन-जनित निरर्थकता नहीं थीं जैसा कि लोग डर रहे थे। पुष्ट की गई गलतियाँ सूक्ष्म मानवीय त्रुटियां थीं। एक लेखक ने एक वास्तविक शोध पत्र लिया और दावा किया कि वह इसके विपरीत तर्क देता है, या उन्होंने एक व्यापक निष्कर्ष का हवाला दिया जबकि शोध पत्र केवल एक संकीर्ण निष्कर्ष का समर्थन करता था। ये आर्टिफिशियल इंटेलिजेंस द्वारा बनाई गई कल्पनाएं नहीं थीं; ये वे गलतियां थीं जो एक थका हुआ शोधकर्ता पांडुलिपि पूरी करने की जल्दबाजी में कर सकता है। ये त्रुटियां किसी भी ऐसे उपकरण के लिए अदृश्य थीं जो केवल यह जांचता है कि संदर्भ मौजूद है या नहीं, क्योंकि शोध पत्र वास्तविक थे, लेकिन दावे और स्रोत के बीच का संबंध टूटा हुआ था।
अध्ययन ने यह भी खुलासा किया कि सहकर्मी समीक्षा (peer review) की प्रक्रिया, जहाँ अन्य वैज्ञानिक प्रकाशन से पहले शोध पत्रों की जांच करते हैं, इन समर्थन त्रुटियों को पकड़ने में सफल नहीं रही। जब टीम ने प्रकाशित सम्मेलन पत्रों की तुलना अन-रिव्यू किए गए ड्राफ्ट के एक सेट से की, तो उद्धरण त्रुटियों की दर सांख्यिकीय रूप से समान थी। यह सुझाव देता है कि वर्तमान सहकर्मी समीक्षा प्रणाली प्रत्येक उद्धरण की उसके स्रोत के विरुद्ध जांच करने के लिए डिज़ाइन नहीं की गई है, जो स्वयंसेवकों के लिए बहुत अधिक समय लेने वाला कार्य होगा। इसके बजाय, यह सुनिश्चित करने की जिम्मेदारी कि एक उद्धरण वास्तव में दावे का समर्थन करता है, संभवतः लेखक की स्वयं की होती है, इससे पहले कि वे अपना कार्य प्रस्तुत करें।
अंततः, ऑडिट ने एक स्पष्ट तस्वीर प्रदान की कि समस्याएँ कहाँ हैं। यह डर कि वैज्ञानिक रिकॉर्ड को नकली, गैर-अस्तित्वपूर्ण शोध पत्रों से भर दिया जा रहा है, डेटा द्वारा समर्थित नहीं है; संदर्भ लगभग हमेशा वास्तविक होते हैं। वास्तविक समस्या उन संदर्भों से जुड़े दावों की सटीकता है। ये त्रुटियां सूक्ष्म, मानवीय और स्वचालित रूप से पता लगाने में कठिन हैं क्योंकि उन्हें खोजने के लिए उपयोग किए जाने वाले उपकरण अभी तक इतने स्थिर नहीं हैं कि एक एकल, विश्वसनीय संख्या दे सकें। अध्ययन निष्कर्ष निकालता है कि इससे पहले कि हम मशीनों पर विज्ञान की अखंडता की निगरानी करने के लिए भरोसा कर सकें, हमें पहले यह सुनिश्चित करना होगा कि मशीनें स्वयं सुसंगत हैं और उनकी अपनी त्रुटियों को पूरी तरह से समझा गया है। शेष दोष इस बात का संकेत नहीं हैं कि आर्टिफिशियल इंटेलिजेंस के भार तले एक प्रणाली ढह रही है, बल्कि वे मानव विद्वत्ता की स्थायी जटिलता की याद दिलाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।