The 17% Gap: Quantifying Epistemic Decay in AI-Assisted Survey Papers
यह अध्ययन प्रकट करता है कि एआई-सहायता प्राप्त सर्वेक्षण पत्रों में अनसुलझे "फैंटम" (छद्म) उद्धरणों की 17% की निरंतर दर देखी गई है, जो यह संकेत देती है कि लार्ज लैंग्वेज मॉडल्स अक्सर सही शीर्षकों को प्राप्त करने के बावजूद मेटाडेटा को भ्रमित (hallucinate) करके वैज्ञानिक उद्धरण श्रृंखलाओं की अखंडता को व्यवस्थित रूप से खराब करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक अनुसंधान की दुनिया की कल्पना एक विशाल, परस्पर जुड़े हुए पुस्तकालय के रूप में करें। सदियों से, यदि किसी विद्वान को कोई बात सिद्ध करनी होती थी, तो उन्हें अलमारियों तक जाना पड़ता था, सटीक पुस्तक ढूंढनी पड़ती थी और उस विशिष्ट पृष्ठ की ओर इशारा करना पड़ता था। इस "कस्टडी की श्रृंखला" (chain of custody) ने यह सुनिश्चित किया कि कोई भी अन्य व्यक्ति उसी पुस्तक को खोज सके और सत्य का सत्यापन कर सके।
अब, अविश्वसनीय रूप से तेज़, सुपर-स्मार्ट रोबोटों (AI) के एक बेड़े की कल्पना करें जिन्हें ये शोध पत्र लिखने के लिए काम पर रखा गया है। वे विचारों को सारांशित करने और प्रसिद्ध पुस्तकों के नाम खोजने में अद्भुत हैं। लेकिन, यह पता चला है कि वे उन पुस्तकों के सटीक स्थान को खोजने में बहुत खराब हैं।
यह शोध पत्र, जिसका शीर्षक "द 17% गैप" (The 17% Gap) है, इस बात का फोरेंसिक ऑडिट है कि क्या होता है जब ये रोबोट आर्टिफिशियल इंटेलिजेंस में सर्वे पेपर लिखते हैं। यहाँ सरल शब्दों में इसका विवरण दिया गया है:
समस्या: "आलसी अनुसंधान सहायक"
लेखकों का तर्क है कि AI उपकरण आलसी अनुसंधान सहायकों की तरह कार्य करते हैं।
- वे क्या सही करते हैं: वे एक प्रसिद्ध शोध पत्र का शीर्षक जानते हैं। वे लेखक का नाम जानते हैं। वे अनुसंधान की कहानी को सुसंगत बनाए रखते हैं।
- वे क्या गलत करते हैं: जब उनसे विशिष्ट "पता" (जैसे कि DOI नंबर, वॉल्यूम या पेज संख्या) मांगा जाता है ताकि उस पेपर को ढूंढा जा सके, तो वे अनुमान लगाने लगते हैं। वे ऐसे नंबर बना देते हैं जो वास्तविक दिखते हैं लेकिन कहीं नहीं ले जाते।
यह एक ऐसे टूर गाइड की तरह है जो एक प्रसिद्ध संग्रहालय का नाम तो पूरी तरह जानता है, लेकिन आपको गलत सड़क का पता दे देता है। आप वहां पहुँचते तो हैं, लेकिन अंत में खुद को एक खाली मैदान में पाते हैं।
जांच: एक डिजिटल जासूसी कहानी
शोधकर्ताओं ने 50 हालिया AI सर्वे पेपर (जो 2024 के अंत और 2026 की शुरुआत के बीच प्रकाशित हुए थे) को चुना और उनके भीतर के प्रत्येक साइटेशन (citation) की जांच की। उन्होंने कुल 5,514 संदर्भों की जांच की।
उन्होंने एक "हाइब्रिड वेरिफिकेशन पाइपलाइन" का उपयोग किया, जो केवल एक जटिल तरीका है यह कहने का कि उन्होंने एक बहु-चरणीय चेकलिस्ट का उपयोग किया:
- प्रत्यक्ष जांच (Direct Check): क्या लिंक तुरंत काम कर रहा था?
- रिकवरी प्रयास (Recovery Attempt): यदि लिंक टूटा हुआ था, तो क्या वे टाइपो (typo) को ठीक करके असली पेपर को ढूंढ सकते थे?
- "फैंटम" जांच (The "Phantom" Check): यदि वे टेक्स्ट को ठीक करने के बाद भी पेपर को बिल्कुल नहीं ढूंढ पाए, तो उन्होंने इसे "फैंटम" (Phantom) के रूप में लेबल किया।
परिणाम: 17% का अंतर
ऑडिट ने एक चौंकाने वाली संख्या का खुलासा किया: सभी साइटेशन में से 17% "फैंटम" थे।
इसका अर्थ है कि इन शोध पत्रों में, लगभग 6 में से 1 संदर्भ एक बंद रास्ते (dead end) की ओर ले जाता है। आप स्रोत सामग्री को नहीं ढूंढ सकते।
शोधकर्ताओं ने इन "फैंटम्स" को तीन प्रकार की विफलताओं में विभाजित किया:
- "घोस्ट" (The "Ghost") (5.1%): शुद्ध मतिभ्रम (hallucinations)। AI ने एक ऐसा पेपर बना दिया जो अस्तित्व में ही नहीं है। यह पूरी तरह से एक झूठ है।
- "टूटा हुआ लिंक" (The "Broken Link") (16.4%): पेपर मौजूद है, लेकिन AI ने पता गलत कर दिया (जैसे कि एक फर्जी DOI नंबर)। यह सही बुक टाइटल होने लेकिन गलत ISBN होने जैसा है।
- "सिंटैक्स एरर" (The "Syntax Error") (78.5%): यह सबसे बड़ा समूह है। पेपर वास्तविक है, और AI शीर्षक जानता था, लेकिन कॉपी करने की प्रक्रिया के दौरान टेक्स्ट गड़बड़ हो गया (जैसे कि PDF का अक्षरों के उलझे हुए ढेर में बदल जाना)। AI पता सही ढंग से पढ़ नहीं सका, इसलिए वह पेपर खोजने में विफल रहा।
महत्वपूर्ण रूप से, अध्ययन ने पाया कि अधिकांश "फैंटम्स" इसलिए नहीं हैं क्योंकि AI झूठ बोल रहा है; बल्कि इसलिए हैं क्योंकि AI लापरवाह है या टेक्स्ट एक्सट्रैक्शन (text extraction) अव्यवस्थित है।
रुझान: एक स्थिर सड़न
शोधकर्ताओं ने यह जांचा कि क्या यह समस्या समय के साथ बेहतर हो रही है या बदतर। उन्होंने पाया कि यह नहीं बदल रहा था। त्रुटि दर इस 17% स्तर पर स्थिर हो गई है।
वे इसे "एपिस्टेमिक डिके" (Epistemic Decay) कहते हैं। यह बड़े पैमाने पर "लिंक रॉट" (link rot) की तरह है। वैज्ञानिक ग्राफ बाहर से मजबूत दिखता है, लेकिन उसके नीचे, कनेक्शन टूट रहे हैं।
चेतावनी: मुलर का रैचेट (Muller's Ratchet)
यह शोध पत्र एक जैविक अवधारणा, "मुलर के रैचेट" का उपयोग यह समझाने के लिए करता है कि यह क्यों खतरनाक है।
- उपमा: एक रैचेट रिंच (wrench) की कल्पना करें जो केवल एक दिशा में घूमता है। एक बार गलती हो जाने के बाद, इसे सुधारा नहीं जा सकता।
- विज्ञान में: यदि एक AI एक फर्जी साइटेशन वाला पेपर लिखता है, और एक मानव उस पेपर को पढ़ता है और अपने नए पेपर में उस फर्जी साइटेशन को उद्धृत (cite) करता है, तो वह त्रुटि फैल जाती है। यह "आधिकारिक" रिकॉर्ड का हिस्सा बन जाती है।
- गणित: यदि 17% साइटेशन टूटे हुए हैं, तो साहित्य की "अखंडता" (integrity) केवल 3.7 पीढ़ियों के भीतर आधी रह जाती है। बिना इसे ठीक करने के तरीके के, ज्ञान का पुस्तकालय धीरे-धीरे बंद रास्तों का संग्रह बनता जाएगा।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हमारे पास एक संरचनात्मक समस्या है। हमने विज्ञान का लेखन तो स्वचालित कर दिया है, लेकिन उसके सत्यापन को स्वचालित नहीं किया है।
शोधकर्ता तीन समाधान सुझाते हैं:
- स्कैनर्स को ठीक करें: उन उपकरणों में सुधार करें जो PDF को पढ़ते हैं ताकि वे टेक्स्ट को गड़बड़ न करें (78.5% "सिंटैक्स एरर" को ठीक करने के लिए)।
- पतों की जांच करें: यह अनिवार्य बनाएं कि जर्नल में प्रकाशित होने से पहले हर लिंक की स्वचालित रूप से जांच की जाए।
- AI को प्रशिक्षित करें: AI मॉडल को केवल सत्यापित डेटाबेस से ही साइटेशन लेने के लिए प्रशिक्षित करें, अनुमान लगाने के लिए नहीं।
संक्षेप में: AI विज्ञान की कहानी को सारांशित करने में बहुत अच्छा है, लेकिन वर्तमान में यह फुटनोट (footnotes) प्रदान करने में बहुत खराब है। यदि हम इसे ठीक नहीं करते हैं, तो हम टूटे हुए लिंक्स की नींव पर विज्ञान का भविष्य बनाने का जोखिम उठाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।