How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations
यह अध्ययन 10 वाणिज्यिक LLMs के एक बड़े पैमाने के ऑडिट को प्रस्तुत करता है जो मॉडलों और डोमेन के बीच साइटेशन हेलोसिनेशन (citation hallucination) दरों में महत्वपूर्ण भिन्नता को प्रकट करता है, साथ ही यह भी प्रदर्शित करता है कि मल्टी-मॉडल कंसेंसस (multi-model consensus), विदिन-प्रॉम्प्ट रिपिटिशन (within-prompt repetition) और एक हल्के बिब्लियोग्राफिक क्लासिफायर के माध्यम से प्रॉम्प्ट-प्रेरित फैब्रिकेशन को प्रभावी ढंग से कम किया जा सकता है जो बाहरी डेटाबेस प्रश्नों के बिना फैंटम साइटेशन्स का पता लगाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान रोबोट से अपने लिए एक शोध पत्र (research paper) लिखने के लिए कहते हैं। आप उससे कहते हैं, "कृपया उन सबसे महत्वपूर्ण पुस्तकों और लेखों की सूची बनाएं जो आपकी बात को सिद्ध करते हैं।" वह रोबोट, आपकी सेवा करने के लिए उत्सुक होकर, लेखकों, शीर्षकों और वर्षों के साथ उद्धरणों (citations) की एक लंबी सूची टाइप करता है। यह एकदम सही दिखता है। यह बहुत पेशेवर लगता है।
लेकिन यहाँ एक पेंच है: उनमें से कई पुस्तकें और लेख वास्तव में अस्तित्व में ही नहीं हैं।
यह शोध पत्र ठीक इसी बात की एक व्यापक जांच है कि ऐसा कितनी बार होता है, ऐसा क्यों होता है, और हम रोबोट को झूठ बोलने से कैसे पकड़ सकते हैं इससे पहले कि वह आपका होमवर्क (या आपकी पीएचडी) बर्बाद कर दे।
यहाँ अध्ययन का विवरण दिया गया है, जिसे रोजमर्रा की भाषा में और कुछ सहायक उपमाओं (analogies) के साथ अनुवादित किया गया है।
1. महान "नकली पुस्तक" ऑडिट (The Great "Fake Book" Audit)
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने 10 अलग-अलग लोकप्रिय AI मॉडलों (जैसे ChatGPT, Claude और अन्य के पीछे के दिमाग) को एक कठिन परीक्षा से गुजारा।
- परीक्षण: उन्होंने इन एआई (AIs) को चार अलग-अलग विषयों (जैसे पुल बनाना, जलवायु परिवर्तन, चिकित्सा और कंप्यूटर विज्ञान) पर लिखने के लिए कहा और संदर्भों (references) की मांग की।
- पैमाना: उन्होंने लगभग 70,000 उद्धरण उत्पन्न किए।
- जांच: उन्होंने उन सभी उद्धरणों में से प्रत्येक को एक "सत्य डिटेक्टर" (तीन विशाल अकादमिक पेपर डेटाबेस के विरुद्ध जांचना) के माध्यम से चलाया।
परिणाम: एआई बहुत झूठ बोल रहे थे।
- कुछ मॉडल 88% बार "ईमानदार" थे।
- अन्य 50% से अधिक बार झूठ बोल रहे थे।
- बड़ी खोज: जब शोधकर्ताओं ने एआई से संदर्भ मांगे बिना प्रश्न पूछे, तो एक भी नकली उद्धरण सामने नहीं आया। यह साबित करता है कि एआई स्वाभाविक रूप से झूठ बोलने के प्रति प्रवृत्त नहीं हैं; वे केवल तभी तथ्य गढ़ना शुरू करते हैं जब आप विशेष रूप से उनसे "अपने स्रोतों का हवाला देने" के लिए कहते हैं। यह उस छात्र की तरह है जो विषय तो जानता है, लेकिन केवल तभी स्रोत बनाना शुरू कर देता है जब शिक्षक कहता है, "मुझे अपना काम दिखाओ।"
2. "टाइम ट्रैवल" का जाल (The "Time Travel" Trap)
शोधकर्ताओं ने गौर किया कि एआई कब झूठ बोलते थे।
- "पुराने क्लासिक्स" का परीक्षण: "मौलिक" (प्रसिद्ध, पुराने) शोध पत्रों के लिए पूछे जाने पर, एआई ठीक थे।
- "नई खबर" का परीक्षण: "हालिया" शोध पत्रों के लिए पूछे जाने पर, झूठ बोलने की दर आसमान छू गई।
उपमा: कल्पना कीजिए कि एक लाइब्रेरियन है जिसने 2023 तक की लाइब्रेरी की हर किताब पढ़ी है। यदि आप उससे 1990 की किसी किताब के बारे में पूछते हैं, तो वह उसे आसानी से ढूंढ लेता है। लेकिन यदि आप उससे पिछले सप्ताह प्रकाशित हुई किसी किताब के बारे में पूछते हैं, तो उसने अभी तक उसे नहीं पढ़ा है। यह बताने से बचने के लिए कि उसे नहीं पता, वह एक ऐसा शीर्षक गढ़ लेता है जो पिछले सप्ताह की एक वास्तविक किताब जैसा लगता है। एआई भी यही कर रहे हैं; वे हालिया घटनाओं के बारे में अनुमान लगा रहे हैं क्योंकि उनकी "याददाश्त" (ट्रेनिंग डेटा) पुरानी हो चुकी है।
3. "भीड़ की बुद्धिमत्ता" समाधान (The "Crowd Wisdom" Solution)
तो, हम झूठ बोलना कैसे रोकें? शोधकर्ताओं ने दो चतुर, लो-टेक तरीके खोजे जो एक "मतदान प्रणाली" की तरह काम करते हैं।
- तरीका #1: "तीन सिर वाले राक्षस" का नियम।
यदि आप तीन अलग-अलग एआई से एक ही प्रश्न पूछते हैं और वे आपको बिल्कुल वही उद्धरण देते हैं, तो वह लगभग निश्चित रूप से वास्तविक है (95% संभावना)।- क्यों? यह मुश्किल है कि तीन अलग-अलग झूठे व्यक्ति गलती से बिल्कुल एक ही नकली किताब का शीर्षक बना लें। लेकिन तीन ईमानदार लाइब्रेरियन के लिए एक ही वास्तविक किताब को ढूंढना आसान है।
- तरीका #2: "फिर से पूछें" का नियम।
यदि आप उसी एआई से एक ही प्रश्न तीन बार पूछते हैं, और वह आपको दो बार वही उद्धरण देता है, तो वह संभवतः वास्तविक है।- क्यों? नकली उद्धरण यादृच्छिक अनुमान (random guesses) होते हैं। वास्तविक उद्धरण यादें होते हैं। यदि एआई एक ही चीज़ को दो बार याद करता है, तो यह संभवतः एक वास्तविक स्मृति है।
4. "फर्जी आईडी" डिटेक्टर (The "Fake ID" Detector - The AI Classifier)
शोधकर्ताओं ने एक विशेष उपकरण भी बनाया—एक "झूठ पकड़ने वाला यंत्र" जिसे इंटरनेट चेक करने की आवश्यकता नहीं है। यह बस उद्धरण स्ट्रिंग के आकार को देखता है।
उपमा: एक फर्जी आईडी (Fake ID) के बारे में सोचें। भले ही फोटो अच्छी दिखती हो, लेकिन फॉन्ट थोड़ा गलत हो सकता है, या पता बहुत छोटा हो सकता है।
- वास्तविक उद्धरण: आमतौर पर इनमें लंबे लेखक नाम, अधिक लेखक सूचीबद्ध होते हैं, और प्रकाशन के पुराने वर्ष होते हैं।
- नकली उद्धरण: अक्सर इनमें बहुत छोटे लेखक नाम, कम लेखक और अजीब रूप से हालिया वर्ष होते हैं (क्योंकि एआई "अप-टू-डेट" दिखने की कोशिश कर रहा है)।
उन्होंने एक कंप्यूटर प्रोग्राम को प्रशिक्षित किया जो इन "संदिग्ध आकारों" को पहचान सके। यह एक पल में उद्धरणों की सूची को स्कैन कर सकता है और संभावित नकली उद्धरणों को चिह्नित कर सकता है, जिससे आपको हर एक की मैन्युअल रूप से जांच करने से बचाया जा सके।
5. बड़ा होना हमेशा बेहतर नहीं होता (Bigger Isn't Always Better)
आप सोच सकते हैं, "यदि मैं नवीनतम, सबसे महंगा एआई मॉडल उपयोग करता हूँ, तो यह कम झूठ बोलेगा।"
- वास्तविकता: जरूरी नहीं।
- एक कंपनी (OpenAI) ने एक नया मॉडल बनाया जो उसके पुराने संस्करण की तुलना में बहुत कम झूठ बोलता था।
- दूसरी कंपनी (Anthropic) ने एक नया मॉडल बनाया जो उसके पुराने संस्करण की तुलना में अधिक झूठ बोलता था।
यह स्पष्ट है कि केवल मॉडल को "स्मार्टर" या "बड़ा" बनाने से उसके संदर्भों के बारे में सच बोलने की क्षमता अपने आप ठीक नहीं होती है। यह इस पर निर्भर करता है कि कंपनी ने उसे कैसे प्रशिक्षित किया और उन्हें क्या डेटा दिया।
मुख्य निष्कर्ष (The Bottom Line)
एआई लेखन के लिए एक शक्तिशाली उपकरण है, लेकिन संदर्भ बनाने के मामले में यह एक भयानक लाइब्रेरियन है।
- इसे आँख मूंदकर भरोसा न करें: यदि कोई एआई आपको कोई उद्धरण देता है, तो मान लें कि वह नकली हो सकता है जब तक कि उसे प्रमाणित न कर दिया जाए।
- "मतदान" पद्धति का उपयोग करें: यदि कई एआई एक ही स्रोत पर सहमत होते हैं, तो वह संभवतः वास्तविक है।
- "आईडी" की जांच करें: यदि कोई उद्धरण बहुत सरल या बहुत हालिया लगता है, तो संदिग्ध रहें।
अध्ययन एक स्पष्ट संदेश के साथ समाप्त होता है: एआई आपको लिखने में मदद कर सकता है, लेकिन तथ्यों को सत्यापित करने वाला आपको ही होना चाहिए। रोबोट लेखक है; आप संपादक हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।