Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents
यह शोध पत्र एक नवीन मूल्यांकन ढांचे को प्रस्तुत करता है जो लिंक वैधता, प्रासंगिकता और तथ्यात्मक सटीकता के आधार पर LLM-जनित शोध रिपोर्टों का आकलन करने के लिए एक AST पार्सर का उपयोग करता है, जो एक महत्वपूर्ण विच्छेद को प्रकट करता है जहाँ अग्रिम मॉडल (frontier models) उच्च उद्धरण सुलभता और प्रासंगिकता बनाए रखते हुए भी तथ्यात्मक निरंतरता के लिए संघर्ष करते हैं, एक ऐसी समस्या जो रिट्रीवल की गहराई बढ़ने के साथ और भी खराब हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टीम को सुपर-स्मार्ट रिसर्च असिस्टेंट (AI मॉडल) के रूप में काम पर रख रहे हैं ताकि वे एक जटिल विषय पर रिपोर्ट लिख सकें। आप उनसे कहते हैं, "इंटरनेट पर जाकर सच्चाई खोजो, एक रिपोर्ट लिखो, और यह सुनिश्चित करो कि तुमने हर एक तथ्य के लिए ठीक से स्रोत (citation) सूचीबद्ध किया है।"
आपके द्वारा साझा की गई रिपोर्ट एक क्वालिटी कंट्रोल इंस्पेक्टर की तरह है जिसने इन AI असिस्टेंट्स द्वारा जमा किए गए होमवर्क की जांच करने का फैसला किया। केवल रिपोर्ट को पढ़कर सिर हिलाने के बजाय, इंस्पेक्टर ने AI द्वारा लिखे गए हर एक फुटनोट (footnote) की जांच करने के लिए एक विशेष रोबोट बनाया।
यहाँ उन्होंने क्या पाया, जिसे सरल भाषा में समझाया गया है:
तीन-चरणीय निरीक्षण (The Three-Step Inspection)
शोधकर्ताओं ने AI के उद्धरणों (citations) की जांच करने के लिए एक सिस्टम बनाया, जो तीन विशिष्ट तरीकों से काम करता है, जैसे कि एक तीन-स्तरीय सुरक्षा जांच:
- "क्या दरवाजा खुला है?" वाली जांच (लिंक काम करता है या नहीं): क्या लिंक वास्तव में काम कर रहा है? यदि आप उस पर क्लिक करते हैं, तो क्या वह आपको किसी वेबपेज पर ले जाता है, या वह एक टूटा हुआ 404 एरर दिखाता है?
- "क्या यह उसी विषय के बारे में है?" वाली जांच (प्रासंगिक सामग्री): यदि लिंक काम करता है, तो क्या वेबपेज वास्तव में उसी विषय के बारे में बात करता है जिसका दावा AI ने किया था? (उदाहरण के लिए, AI कहता है "यह लिंक साबित करता है कि बिल्लियाँ कुत्ते हैं," लेकिन लिंक वास्तव में लासग्ना की रेसिपी है)।
- "क्या यह सच है?" वाली जांच (तथ्य की जांच): यह सबसे कठिन हिस्सा है। क्या वेबपेज में वास्तव में वे विशिष्ट तथ्य, संख्याएँ या तारीखें मौजूद हैं जिनका AI ने दावा किया था?
बड़ी हैरानी: "चमकदार आवरण" की समस्या (The "Shiny Wrapper" Problem)
सबसे चौंकाने वाली खोज यह है कि AI असिस्टेंट पहले दो चरणों में बहुत अच्छे हैं लेकिन तीसरे चरण में बहुत खराब।
- उपमा (Analogy): कल्पना कीजिए कि एक छात्र एक पेपर लिखता है और उसमें एक बिब्लियोग्राफी (संदर्भ सूची) शामिल करता है।
- 94% समय, बिब्लियोग्राफी में दी गई किताबें वास्तव में लाइब्रेरी की अलमारियों पर मौजूद होती हैं (लिंक काम करता है)।
- 80% समय, वे किताबें वास्तव में उसी विषय के बारे में होती हैं जिस पर छात्र लिख रहा है (प्रासंगिक सामग्री)।
- लेकिन, जब आप वास्तव में किताब खोलते हैं और उस विशिष्ट पृष्ठ को पढ़ते हैं जिसका छात्र ने उल्लेख किया है, तो केवल लगभग 40% से 77% समय ही वह किताब वास्तव में वही कहती है जो छात्र ने दावा किया था।
निष्कर्ष: AI एक काम करने वाले लिंक और एक प्रासंगिक वेबसाइट को खोजने में बहुत अच्छा है, लेकिन वह अक्सर इस बारे में झूठ बोलता है कि वह वेबसाइट क्या कहती है। यह एक ऐसे टूर गाइड की तरह है जो हमेशा आपको सही संग्रहालय में तो ले जाता है, लेकिन फिर अंदर की प्रदर्शनियों के बारे में गलत कहानी सुनाता है।
"अधिक मतलब कम" का विरोधाभास (The "More is Less" Paradox)
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है यदि वे AI को और गहराई से खोजने और अधिक वेबसाइटों को देखने के लिए कहते हैं। आप सोच सकते हैं, "यदि मैं AI को केवल 2 के बजाय 150 वेबसाइटों को पढ़ने के लिए कहता हूँ, तो क्या वह अधिक सटीक होगा, है ना?"
गलत।
- उपमा: कल्पना कीजिए कि आप एक पहेली (puzzle) सुलझाने की कोशिश कर रहे हैं। यदि आपके पास 2 पहेली के टुकड़े हैं, तो आप तस्वीर को आसानी से देख सकते हैं। यदि कोई आपके सामने 150 पहेली के टुकड़े डाल देता है, तो आप अभिभूत (overwhelmed) हो जाते हैं। आप तस्वीर को पूरा करने के लिए टुकड़ों को जबरदस्ती जोड़ने की कोशिश करने लगेंगे जो आपस में फिट नहीं बैठते।
- परिणाम: जैसे-जैसे AI को अधिक स्रोतों (2 से लेकर 150 तक) को देखने के लिए मजबूर किया गया, उसकी सच्चाई बताने की क्षमता वास्तव में 42% तक गिर गई। लिंक अभी भी काम कर रहे थे, और विषय भी प्रासंगिक थे, लेकिन विशिष्ट तथ्य एक गड़बड़ी बन गए। AI को "सूचना का अतिभार" (information overload) हो गया और वह विवरणों के बारे में भ्रमित (hallucinate) होने लगा।
कौन अच्छा रहा? कौन खराब रहा?
- "फ्रंटियर" मॉडल्स (बड़ी टेक कंपनियों के AI): ये मॉडल्स (जैसे OpenAI, Anthropic और Google के) ऐसे रिपोर्ट बनाने में बहुत अच्छे थे जो दिखने में एकदम सही लगती थीं। वे लगभग हमेशा काम करने वाले लिंक और प्रासंगिक विषय ढूंढ लेते थे। हालांकि, सबसे स्मार्ट मॉडल्स भी केवल 39% से 77% समय ही तथ्यों को सही बता पाते थे।
- ओपन-सोर्स मॉडल्स: इन मॉडल्स को और भी अधिक संघर्ष करना पड़ा। उनमें से कई तो उद्धरणों के साथ रिपोर्ट लिखने का कार्य भी पूरा नहीं कर सके। जब उन्होंने प्रयास किया, तो वे काम करने वाले लिंक खोजने और तथ्यों को सही बताने में बहुत खराब रहे।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र यह निष्कर्ष निकालता है कि हम केवल इसलिए AI रिसर्च पर भरोसा नहीं कर सकते क्योंकि उसके नीचे लिंक्स की एक सूची दी गई है। काम करने वाले लिंक्स की एक लंबी सूची "भरोसे का एक झूठा अहसास" पैदा करती है। सिर्फ इसलिए कि दरवाजा खुला है और कमरा सही है, इसका मतलब यह नहीं है कि कमरे के अंदर की कहानी जो AI आपको सुना रहा है, वह सच है।
शोधकर्ताओं ने इस "निरीक्षण रोबोट" को बनाने के लिए यह दिखाया है कि एक ऐसा साइटेशन जो अच्छा दिखता है और एक ऐसा साइटेशन जो वास्तव में सच्चा है, उनके बीच क्या अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।