Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स और डीप रिसर्च एजेंट्स में साइटेशन यूआरएल (citation URLs) की वैधता का व्यवस्थित रूप से मूल्यांकन करता है, जो विभिन्न डोमेन में हैलुसिनेशन (hallucination) और काम न करने वाले लिंक्स की महत्वपूर्ण दरों को प्रकट करता है, और यह प्रदर्शित करता है कि `urlhealth` नामक एक ओपन-सोर्स टूल एजेंटिक सेल्फ-करेक्शन (agentic self-correction) के माध्यम से इन त्रुटियों को 79 गुना तक प्रभावी ढंग से कम कर सकता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (एक AI) से आपके लिए एक शोध पत्र लिखने के लिए कह रहे हैं। आप पूछते हैं, "कैंसर अनुसंधान में नवीनतम सफलताएं क्या हैं?" लाइब्रेरियन आपको एक सुंदर, विस्तृत रिपोर्ट सौंपता है। लेकिन यहाँ एक पेच है: हर पैराग्राफ के नीचे छोटे-छोटे फुटनोट्स (पादलेख) हैं जो शेल्फ पर मौजूद विशिष्ट पुस्तकों या लेखों की ओर इशारा करते हैं जो उनके दावों को सिद्ध करते हैं।
यह पेपर उन जासूसों की एक टीम की तरह है जो यह जांचने के लिए लाइब्रेरी गए कि क्या वे फुटनोट्स वास्तव में वास्तविक पुस्तकों की ओर ले जाते हैं, या लाइब्रेरियन ने उन्हें बस मनगढ़ंत बनाया है।
यहाँ उनकी जांच की कहानी है, जिसे सरल रूप में विभाजित किया गया है:
1. समस्या: "भूतिया किताबें" (Ghost Books)
शोधकर्ताओं ने पाया कि हालांकि ये AI लाइब्रेरियन लिखने में अद्भुत हैं, लेकिन कभी-कभी वे "साइटेशन हैलुसिनेशन" (citation hallucinations) का शिकार हो जाते हैं। इसका मतलब है कि वे ऐसे URL (वेब पते) बना लेते हैं जो असली दिखते हैं लेकिन कहीं नहीं पहुँचते।
- उपमा: यह उस लाइब्रेरियन की तरह है जो शेल्फ पर एक किताब की ओर इशारा करते हुए कहता है, "देखिये द हिस्ट्री ऑफ टाइम ट्रैवल का पेज 42," लेकिन जब आप उस किताब को शेल्फ से निकालने जाते हैं, तो वह वहाँ नहीं होती। वह किताब कभी अस्तित्व में ही नहीं थी।
- वास्तविकता: उन्होंने पाया कि इन AI द्वारा दिए गए लिंक में से 3% से 13% "भूत" (ghosts) हैं—वे कभी अस्तित्व में ही नहीं थे। अन्य 5% से 18% "डेड लिंक्स" (dead links) हैं—किताब पहले वहाँ थी, लेकिन किसी ने उसे शेल्फ से हटा दिया है (लिंक रॉट)।
2. संदिग्ध: "गहन शोधकर्ता" बनाम "त्वरित खोजकर्ता"
अध्ययन ने दो प्रकार के AI को देखा:
- त्वरित खोजकर्ता (Quick Searchers): ये वे AI हैं जो एक मानक गूगल सर्च करते हैं और उत्तर देते हैं।
- गहन शोधकर्ता (Deep Researchers): ये नए, फैंसी AI हैं जो बहुत अधिक समय तक "सोचते" हैं, कई पृष्ठों को पढ़ते हैं, और सैकड़ों फुटनोट्स के साथ लंबे, विस्तृत रिपोर्ट लिखते हैं।
आश्चर्य: आप सोच सकते हैं कि "गहन शोधकर्ता" अधिक सावधान होंगे क्योंकि वे अधिक मेहनत करते हैं। लेकिन अध्ययन ने इसके विपरीत पाया! क्योंकि वे इतना अधिक लिखने और इतने सारे स्रोतों को उद्धृत करने की कोशिश करते हैं, वे वास्तव में त्वरित खोजकर्ताओं की तुलना में अधिक फर्जी लिंक बनाते हैं। यह उस छात्र की तरह है जो एक रात में 50 पन्नों का निबंध लिखने की कोशिश करता है; पन्नों को भरने के लिए उनके तथ्य गढ़ने की संभावना अधिक होती है।
3. "विषय" का प्रभाव: कुछ विषय अधिक कठिन हैं
शोधकर्ताओं ने देखा कि AI कुछ विषयों के साथ अधिक संघर्ष करता है।
- उपमा: कल्पना कीजिए कि आप लाइब्रेरियन से "बिजनेस" (स्थिर, अनुमानित) बनाम "धर्मशास्त्र" (Theology) या "चिकित्सा" (Medicine) (तेजी से बदलने वाला, जटिल) के बारे में पूछ रहे हैं।
- परिणाम: AI धर्मशास्त्र या चिकित्सा के बारे में बात करते समय फर्जी लिंक बनाने की बहुत अधिक संभावना रखता था। क्यों? क्योंकि ये क्षेत्र विशिष्ट, कठिन-से-खोजने योग्य, या तेजी से बदलने वाली जानकारी से भरे हुए हैं। AI भ्रमित हो जाता है और अनुमान लगाने लगता है। इसके विपरीत, "बिजनेस" या "आर्किटेक्चर" के लिए, लिंक बहुत अधिक विश्वसनीय थे।
4. "अधिक का अर्थ बेहतर नहीं" नियम
एक मिथक था कि यदि कोई AI आपको अधिक साइटेशन देता है, तो गुणवत्ता बेहतर होनी चाहिए। अध्ययन ने इसे गलत साबित कर दिया।
- उपमा: यदि कोई शेफ आपको 100 सामग्रियों वाली एक प्लेट देता है, तो इसका मतलब यह नहीं है कि भोजन बेहतर है। इसका मतलब केवल यह है कि ढेर में एक सड़ी हुई टमाटर मिलने की संभावना अधिक है।
- परिणाम: वे AI जिन्होंने सबसे अधिक साइटेशन उत्पन्न किए, वास्तव में उनमें त्रुटि दर सबसे अधिक थी। मात्रा का अर्थ गुणवत्ता नहीं था।
5. समाधान: "URL हेल्थ चेक" टूल
शोधकर्ताओं ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने इसे ठीक करने के लिए एक टूल बनाया। उन्होंने urlhealth नामक एक ओपन-सोर्स टूल बनाया।
- यह कैसे काम करता है: एक स्पेल-चेकर की तरह जो लिंक की जाँच करता है। AI की रिपोर्ट पर भरोसा करने से पहले, यह टूल हर एक लिंक की त्वरित जाँच करता है।
- क्या लिंक जीवित है? (हरा प्रकाश - Green light)
- क्या यह भूतिया है? (लाल प्रकाश - Red light - कभी अस्तित्व में नहीं था)
- क्या यह मृत है? (पीला प्रकाश - Yellow light - पहले अस्तित्व में था, अब नहीं है)
- जादू: जब उन्होंने AI को इस टूल का उपयोग करके "स्व-सुधार" (अपने काम की जाँच करना) करने दिया, तो फर्जी लिंक की संख्या नाटकीय रूप से कम हो गई—6 से 79 गुना तक! AI एक अव्यवस्थित, अविश्वसनीय रिपोर्ट से एक साफ, भरोसेमंद रिपोर्ट में बदल गया।
मुख्य निष्कर्ष
यह पेपर हमें दो मुख्य बातें सिखाता है:
- जो आप पढ़ते हैं उस पर सब कुछ विश्वास न करें: भले ही सबसे स्मार्ट AI भी फर्जी स्रोत बना सकता है, खासकर जब वह बहुत अधिक मददगार या विस्तृत होने की कोशिश कर रहा हो।
- सत्यापन (Verification) ही कुंजी है: हमें ऐसे उपकरणों की आवश्यकता है जो किसी भी जानकारी पर भरोसा करने से पहले स्वचालित रूप से जाँच करें कि लिंक वास्तविक है या नहीं। जिस तरह आप बिना संपत्ति के दस्तावेज़ की जाँच किए घर नहीं खरीदेंगे, वैसे ही आपको AI रिपोर्ट पर उसके लिंक की जाँच किए बिना भरोसा नहीं करना चाहिए।
शोधकर्ताओं ने अपने "URL हेल्थ चेक" टूल को सभी के उपयोग के लिए उपलब्ध करा दिया है, जिससे भविष्य में फर्जी साइटेशन के प्रसार को रोकने की उम्मीद है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।