BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation
यह शोध पत्र सर्च-सक्षम (search-enabled) LLMs में साइटेशन मतिभ्रम (citation hallucinations) का मूल्यांकन करने के लिए एक व्यापक बेंचमार्क और त्रुटि वर्गीकरण (error taxonomy) प्रस्तुत करता है, जो यह प्रकट करता है कि पैरामीट्रिक मेमोरी पर निर्भरता के कारण अत्याधुनिक मॉडल भी हाल के शोध पत्रों के मामले में संघर्ष करते हैं, और यह प्रदर्शित करता है कि ओपन-सोर्स `clibib` टूल का उपयोग करने वाली एक दो-चरणीय शमन रणनीति (two-stage mitigation strategy) प्रतिगमन (regression) को कम करते हुए BibTeX सटीकता में महत्वपूर्ण सुधार करती है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शोध पत्र (research paper) लिख रहे एक छात्र हैं। आप अपनी बिब्लियोग्राफी (संदर्भ सूची) के लिए एक विशिष्ट पुस्तक खोजने के लिए एक बहुत ही बुद्धिमान, विद्वान एआई (AI) सहायक से कहते हैं और उसके सभी विवरण लिख लेते हैं: लेखक का नाम, शीर्षक, प्रकाशन का वर्ष और पृष्ठ संख्या।
आप उम्मीद करते हैं कि एआई एकदम सटीक होगा। लेकिन वास्तव में, एआई अक्सर गलतियाँ करता है। यह एक नकली पृष्ठ संख्या बना सकता है, लेखक के मध्य नाम को मिला सकता है, या इससे भी बुरा, एक पूरी तरह से अलग पुस्तक का संदर्भ दे सकता है जो सुनने में समान लगती है लेकिन वह नहीं है जिसे आपने मांगा था। इसे "साइटेशन हैलुसिनेशन" (citation hallucination) कहा जाता है।
यह शोध पत्र एक जासूसी रिपोर्ट की तरह है जो इस बात की जांच करता है कि ये बुद्धिमान एआई सहायक ये गलतियाँ क्यों करते हैं, भले ही उनके पास इंटरनेट तक पहुंच हो, और हम इसे कैसे ठीक कर सकते हैं।
समस्या: "बुद्धिमान लेकिन भुलक्कड़" लाइब्रेरियन
शोधकर्ताओं ने तीन सबसे उन्नत एआई मॉडल (सोचिए कि वे शीर्ष तीन "सुपर-लाइब्रेरियन" हैं) का परीक्षण किया। उन्होंने इन एआई को 931 विभिन्न वैज्ञानिक शोध पत्रों के लिए साइटेशन खोजने के लिए कहा।
उन्होंने तीन मुख्य समस्याएं पाईं:
- "प्रसिद्ध पुस्तक" का पूर्वाग्रह (The "Famous Book" Bias): एआई प्रसिद्ध, पुरानी या अत्यधिक उद्धृत (highly cited) शोध पत्रों के विवरण खोजने में बहुत अच्छे थे। यह ऐसा है जैसे उन्होंने ये पुस्तकें अपने दिमाग में रट ली हों। लेकिन जब उन्हें किसी बिल्कुल नए या बहुत ही कम ज्ञात (obscse) शोध पत्र के बारे में पूछा गया, तो उन्होंने अनुमान लगाना शुरू कर दिया।
- "इंटरनेट पर्याप्त नहीं है" का जाल (The "Internet isn't Enough" Trap): भले ही शोधकर्ताओं ने एआई से कहा, "इसे वेब पर जाकर खोजो," एआई फिर भी गलतियाँ करता रहा। तथ्य यह है कि केवल इसलिए कि एआई ने सही वेबपेज ढूँढ लिया, इसका मतलब यह नहीं है कि उसने विवरणों को सही ढंग से पढ़ा। यह उस छात्र की तरह है जो लाइब्रेरी में सही पाठ्यपुस्तक तो ढूँढ लेता है लेकिन फिर पढ़ते समय ध्यान भटकने के कारण गलत पृष्ठ संख्या लिख देता है।
- "सब कुछ या कुछ भी नहीं" वाली गलती (The "All-or-Nothing" Mistake): शोधकर्ताओं ने पाया कि एआई दो तरह से विफल होता है:
- "गलत पुस्तक" का बदलाव (The "Wrong Book" Swap): एआई पूरी तरह से एक अलग पुस्तक ढूंढ लेता है (उदाहरण के लिए, उसे लगता है कि आपने "हैरी पॉटर एंड द चेंबर ऑफ सीक्रेट्स" मांगा है जबकि आपने वास्तव में "हैरी पॉटर एंड द गोब्लेट ऑफ फायर" मांगा था)। इस स्थिति में, हर विवरण (लेखक, वर्ष, शीर्षक) गलत होता है क्योंकि वह गलत चीज़ के बारे में बात कर रहा है।
- "टाइपो" की गलती (The "Typo" Mistake): एआई सही पुस्तक पाता है लेकिन एक छोटा सा विवरण गलत कर देता है, जैसे पृष्ठ संख्या या वॉल्यूम नंबर।
समाधान: "फैक्ट-चेकर" टूल
चूंकि एआई अनुमान लगाने और कल्पना करने के प्रति प्रवृत्त है, इसलिए शोधकर्ताओं ने clibib नामक एक नया टूल बनाया।
clibib को एक अत्यंत सख्त फैक्ट-चेकर या एक डिजिटल नोटरी के रूप में सोचें।
- जब एआई एक साइटेशन लिखने की कोशिश करता है, तो
clibibउसे अनुमान लगाने नहीं देता। - इसके बजाय,
clibibपेपर के आईडी नंबर (जैसे DOI) को लेता है और सीधे आधिकारिक प्रकाशक के डेटाबेस में जाता है। - यह सटीक सही विवरण प्राप्त करता है और एआई को सौंप देता है, यह कहते हुए, "यहाँ सत्य है। बस इसे कॉपी करो।"
प्रयोग: एक-चरण बनाम दो-चरण (One-Step vs. Two-Step)
शोधकर्ताओं ने इस फैक्ट-चेकर का उपयोग करने के दो तरीकों का परीक्षण किया:
1. "एक-चरण" विधि (भटका हुआ छात्र):
उन्होंने एआई को निर्देश दिया: "इंटरनेट पर खोजो, पेपर ढूँढो, और फिर विवरण प्राप्त करने के लिए फैक्ट-चेकर टूल का उपयोग करो।"
- परिणाम: एआई अभी भी भ्रमित हो गया। वह खोजता, पेपर ढूँढता, लेकिन फिर फैक्ट-चेकर का ठीक से उपयोग करना भूल जाता या एक साथ बहुत सारी चीजें करने की कोशिश में विवरणों को मिला देता। सटीकता थोड़ी बढ़ी, लेकिन पर्याप्त नहीं।
2. "दो-चरण" विधि (संपादक):
उन्होंने प्रक्रिया को बदल दिया:
- चरण 1: एआई को पहले अपना सर्वश्रेष्ठ अनुमान लगाने दें (इंटरनेट का उपयोग करके)।
- चरण 2: उस अनुमान को लें और उसे अलग से फैक्ट-चेकर (
clibib) के माध्यम से चलाएं। फिर, एआई से केवल अपने अनुमान की तुलना फैक्ट-चेकर की सच्चाई से करने और गलतियों को सुधारने के लिए कहें। - परिणाम: इसने अद्भुत काम किया। "खोजने" को "सुधारने" से अलग करके, एआई भ्रमित होना बंद हो गया। सटीकता लगभग 50% (आधी साइटेशन परफेक्ट थीं) से बढ़कर लगभग 80% हो गई।
मुख्य निष्कर्ष
इस शोध पत्र का मुख्य सबक यह है कि एआई एक बेहतरीन लेखक है लेकिन एक बुरा लाइब्रेरियन है।
यदि आप एआई को शून्य से बिब्लियोग्राफी बनाने के लिए कहते हैं, तो वह संभवतः तथ्य गढ़ लेगा। भले ही आप उसे इंटरनेट तक पहुंच दें, वह विवरणों को गलत कर सकता है क्योंकि वह चीजों को सावधानी से "पढ़ने" के बजाय उन्हें "याद करने" की कोशिश कर रहा है।
समाधान: एआई पर साइटेशन जेनरेट करने के लिए भरोसा न करें। इसके बजाय, एआई को पेपर खोजने दें, लेकिन फिर एक नियत (deterministic) टूल (जैसे clibib) का उपयोग करके स्रोत से आधिकारिक डेटा निकालें, और एआई को केवल उसे फॉर्मेट करने के लिए एक कॉपी-पेस्ट एडिटर के रूप में कार्य करने दें।
संक्षेप में: यदि आप एक सटीक साइटेशन चाहते हैं, तो एआई से इसे बनाने के लिए न कहें। एआई से पेपर ढूँढने के लिए कहें, और फिर एक कंप्यूटर प्रोग्राम को आपके लिए विवरण निकालने दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।