LLM hallucinations in the wild: Large-scale evidence from non-existent citations
यह अध्ययन बड़े पैमाने पर प्रमाण प्रदान करता है कि लार्ज लैंग्वेज मॉडल्स के व्यापक उपयोग से लाखों वैज्ञानिक शोध पत्रों में अस्तित्वहीन संदर्भों (non-existent citations) में भारी वृद्धि हुई है, जो वर्तमान संपादकीय सुरक्षा उपायों की तुलना में अधिक तीव्र है और ज्ञान उत्पादन की विश्वसनीयता एवं समानता के लिए खतरा पैदा कर रही है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "नकली किताब" की समस्या
कल्पना कीजिए कि आप एक स्कूल का निबंध लिख रहे हैं। आपको अपनी बिब्लियोग्राफी (संदर्भ सूची) में उन किताबों की सूची देनी है जो आपने पढ़ी हैं। यदि आप एक ऐसी किताब का शीर्षक बना लेते हैं जो अस्तित्व में ही नहीं है, तो आपके शिक्षक आसानी से इसकी जाँच कर सकते हैं और कह सकते हैं, "यह किताब असली नहीं है।"
यह शोध पत्र इस बात की एक व्यापक जाँच है कि क्या होता है जब AI (लार्ज लैंग्वेज मॉडल्स) वैज्ञानिकों के लिए वे बिब्लियोग्राफी लिखने लगता है। शोधकर्ताओं ने पाया कि AI तेजी से नकली किताबों के शीर्षक (साइटेशन) गढ़ रहा है और उन्हें वास्तविक वैज्ञानिक शोध पत्रों में शामिल कर रहा है। हालाँकि वैज्ञानिक हमेशा छोटी-मोटी गलतियाँ करते रहे हैं, लेकिन यह अध्ययन दिखाता है कि AI लोकप्रिय होने के बाद, इन "नकली किताबों" की संख्या में भारी उछाल आया है।
उन्होंने AI को कैसे पकड़ा
शोधकर्ताओं ने वैज्ञानिक दुनिया को एक विशाल पुस्तकालय की तरह माना। उन्होंने चार प्रमुख डिजिटल लाइब्रेरी (arXiv, bioRxiv, SSRN, और PubMed Central) में 1.11 करोड़ संदर्भों (साइटेशन) की जाँच की।
- विधि: उन्होंने हर एक साइटेशन की जाँच करने के लिए एक डिजिटल "सर्च इंजन" बनाया। यदि सर्च इंजन उस किताब या पेपर को वास्तविक दुनिया में नहीं ढूँढ पाता था, तो उन्होंने उसे "अनमैच्ड" (unmatched) के रूप में चिह्नित किया।
- फ़िल्टर: वे जानते थे कि कुछ साइटेशन केवल खराब फॉर्मेटिंग या अस्पष्ट किताबों के कारण गलत हो सकते हैं। इसलिए, उन्होंने उन अव्यवस्थित साइटेशन को ठीक करने के लिए एक स्मार्ट AI का उपयोग किया। यदि सभी सुधारों के बाद भी कोई साइटेशन नहीं मिल पाता था, तो उन्होंने उसे एक हैलुसिनेशन (hallucination - यानी काल्पनिक या नकली संदर्भ) माना।
- बेसलाइन: उन्होंने AI के लोकप्रिय होने से पहले (2022) और उसके बाद की नकली साइटेशन की संख्या की तुलना की। उन्होंने पाया कि 2024 से इसमें एक तीव्र और डरावनी वृद्धि हुई है।
परिणाम: केवल 2025 में ही, उनका अनुमान है कि इन चार लाइब्रेरी में 1,46,932 नकली साइटेशन मौजूद हैं। और यह तो केवल हिमशैल का सिरा (tip of the iceberg) है।
यह कौन कर रहा है?
शोध पत्र में पाया गया कि "नकली किताब" की समस्या कुछ बुरे लोगों तक सीमित नहीं है; यह हर जगह फैली हुई है, लेकिन यह विशिष्ट समूहों में केंद्रित है:
- "नए खिलाड़ी" (The New Kids on the Block): वे वैज्ञानिक जिनके द्वारा नकली साइटेशन शामिल किए जाने की संभावना सबसे अधिक है, वे प्रारंभिक करियर के शोधकर्ता (छात्र और नए प्रोफेसर) हैं जिन्होंने अभी तक बहुत कम पेपर प्रकाशित किए हैं।
- उपमा: इसे एक नए ड्राइवर की तरह समझें जिसने अभी तक सड़क के नियम नहीं सीखे हैं। वे अपने काम (पेपर लिखने) में मदद के लिए AI का उपयोग कर रहे हैं, लेकिन वे अनजाने में नकली इलाकों में गाड़ी चला रहे हैं क्योंकि उन्हें गलतियों को पहचानने के लिए नक्शे की पर्याप्त जानकारी नहीं है।
- "अकेले चालक" (The Solo Drivers): अकेले लेखकों या छोटे समूहों द्वारा लिखे गए शोध पत्रों में बड़े समूहों की तुलना में नकली साइटेशन की दर बहुत अधिक है।
- उपमा: यदि आप अकेले एक कहानी लिखते हैं, तो शायद आपकी नज़र से टाइपो (लिखने की गलती) छूट जाए। यदि आप संपादकों की एक टीम के साथ लिखते हैं, तो कोई और उसे पकड़ लेगा। बड़ी टीमें एक सुरक्षा जाल (safety net) के रूप में कार्य करती हैं; छोटी टीमों के पास अक्सर यह जाल नहीं होता।
- "AI-प्रधान" क्षेत्र: वे क्षेत्र जहाँ लोग AI का सबसे अधिक उपयोग करते हैं (जैसे कंप्यूटर साइंस और सोशल साइंस), वहाँ नकली साइटेशन की दर सबसे अधिक है।
श्रेय किसे मिलता है?
यहाँ अनुचित हिस्सा है। जब AI एक नकली पेपर का आविष्कार करता है, तो वह केवल एक रैंडम नाम नहीं बनाता। यह अक्सर प्रसिद्ध, सफल और पुरुष वैज्ञानिकों द्वारा लिखे गए पेपरों का नाम गढ़ता है।
- उपमा: कल्पना कीजिए कि एक छात्र इतिहास के निबंध के लिए एक नकली उद्धरण (quote) बनाता है। एक रैंडम नाम बनाने के बजाय, वह गलती से (या अवचेतन रूप से) इतिहास के सबसे प्रसिद्ध राष्ट्रपति का नाम लेकर एक उद्धरण बना देता है।
- परिणाम: इसका मतलब है कि AI अनजाने में असमानता को बढ़ावा दे रहा है। यह पहले से ही प्रसिद्ध और पुरुष वैज्ञानिकों को अतिरिक्त "क्रेडिट" देता है, जबकि कम प्रसिद्ध या महिला विद्वानों की अनदेखी करता है। भले ही वह पेपर नकली हो, लेकिन उस प्रसिद्ध व्यक्ति का नाम "उन लोगों की सूची" में जुड़ जाता है जिन्होंने इस विषय पर लिखा है।
संपादक इसे क्यों नहीं पकड़ पाते?
आप सोच सकते हैं, "क्या जर्नल इन पेपरों की जाँच नहीं करते हैं?" अध्ययन कहता है कि नहीं, वास्तव में नहीं।
- प्रीप्रिंट की समस्या (The Preprint Problem): कई वैज्ञानिक अपना काम आधिकारिक रूप से प्रकाशित होने से पहले ही ऑनलाइन पोस्ट कर देते हैं (जैसे ब्लॉग पर एक ड्राफ्ट)। अध्ययन में पाया गया कि 78.8% नकली साइटेशन शुरुआती ऑनलाइन मॉडरेशन से बच निकलते हैं।
- पीयर रिव्यू का अंतर (The Peer Review Gap): यहाँ तक कि जब ये पेपर औपचारिक रूप से जर्नल्स में समीक्षा के लिए जाते हैं, तब भी 85% नकली साइटेशन बच निकलते हैं और प्रकाशित हो जाते हैं।
- उपमा: यह एक कॉन्सर्ट के सुरक्षा गार्ड की तरह है जो टिकटों की जाँच करता है। गार्ड उन लोगों को पकड़ लेता है जिनके पास बहुत ही स्पष्ट नकली टिकट होते हैं, लेकिन जो लोग "अच्छे दिखने वाले" नकली टिकट (जो AI बहुत प्रभावशाली बनाता है) लेकर आते हैं, वे आसानी से अंदर निकल जाते हैं।
"स्नोबॉल" प्रभाव (The Snowball Effect)
सबसे खतरनाक हिस्सा यह है कि ये नकली साइटेशन कैसे फैलते हैं।
- लाइब्रेरी दूषित हो जाती है: एक बार जब एक नकली पेपर प्रकाशित हो जाता है, तो इसे गूगल स्कॉलर और अन्य डेटाबेस में जोड़ दिया जाता है।
- चक्र (The Loop): भविष्य के शोधकर्ता (और भविष्य के AI) इन डेटाबेस को खोजेंगे, उस नकली पेपर को देखेंगे, और सोचेंगे, "ओह, यह एक वास्तविक स्रोत है!" वे फिर इसे अपने स्वयं के काम में साइट करेंगे।
- परिणाम: वह नकली पेपर "वास्तविक" बन जाता है क्योंकि हर कोई इसे वास्तविक मानता है। AI अपनी ही गलतियों से सीख रहा है, जिससे एक चक्र बन रहा है जहाँ लाइब्रेरी धीरे-धीरे और अधिक काल्पनिक कथाओं (fiction) से भरती जा रही है।
निचोड़ (The Bottom Line)
यह शोध पत्र तर्क देता है कि हम विश्वास के संकट में हैं। विज्ञान इस विचार पर निर्भर करता है कि यदि आप किसी पेपर का हवाला (cite) दे रहे हैं, तो वह पेपर वास्तव में मौजूद है और वही कहता है जो आप दावा कर रहे हैं।
अध्ययन दिखाता है कि AI इस विश्वास को तोड़ रहा है। विज्ञान में भी—जो कि तथ्यों की जाँच के लिए सबसे सख्त नियमों और सर्वोत्तम उपकरणों वाला क्षेत्र है—AI हर साल हजारों नकली संदर्भों को सफलतापूर्वक शामिल कर रहा है। यदि यह विज्ञान में हो रहा है (जहाँ इसे पकड़ना सबसे आसान है), तो यह शोध पत्र सुझाव देता है कि यह कानून, चिकित्सा और सरकारी रिपोर्टों जैसे अन्य क्षेत्रों में और भी बदतर तरीके से हो रहा होगा, जहाँ तथ्यों की जाँच करने के लिए कम उपकरण उपलब्ध हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।