Attribution, Citation, and Quotation: A Survey of Evidence-based Text Generation with Large Language Models
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के साथ साक्ष्य-आधारित टेक्स्ट जनरेशन के लिए एक एकीकृत वर्गीकरण स्थापित करने हेतु 134 अध्ययनों और 300 मूल्यांकन मेट्रिक्स का एक व्यापक सर्वेक्षण प्रस्तुत करता है, जो शब्दावली और बेंचमार्क में वर्तमान विखंडन को संबोधित करता है और भविष्य की अनुसंधान दिशाओं को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पुस्तकालय में हैं, और आपने एक बहुत ही बुद्धिमान, लेकिन थोड़े अति-आत्मविश्वासी लाइब्रेरियन (जिसे लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) से स्पेन के इतिहास पर एक रिपोर्ट लिखने के लिए कहा है।
लाइब्रेरियन एक सुंदर, प्रवाहपूर्ण रिपोर्ट लिखता है। लेकिन समस्या यह है: आप कैसे जानेंगे कि वह सच बोल रहा है? क्या वह स्मार्ट दिखने के लिए मनगढ़ंत बातें बना रहा है? क्या वह तथ्यों को आपस में मिला रहा है?
अतीत में, आपको उसकी बात पर भरोसा करना पड़ता था। लेकिन अब, शोधकर्ता इन लाइब्रेरियंस को एक नया नियम सिखा रहे हैं: "यदि आप कुछ कहते हैं, तो आपको उसकी रसीद दिखानी होगी।"
यह शोध पत्र एक विशाल सर्वेक्षण (पूरे क्षेत्र का मानचित्र) है कि कैसे शोधकर्ता AI को हर बात के साथ "रसीदें" (उद्धरण, एट्रिब्यूशन और कोट्स) जोड़ने के लिए सिखा रहे हैं। लेखकों ने यह समझने के लिए कि यह कैसे काम करता है, इसमें क्या खामियां हैं, और हमें आगे कहाँ जाना चाहिए, 134 अलग-अलग शोध पत्रों का अध्ययन किया।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. समस्या: "आत्मविश्वासी झूठा" (The Confident Liar)
LLMs लिखने में बहुत अच्छे हैं, लेकिन वे हैलुसिनेशन (Hallucinations) का शिकार होते हैं। यह एक ऐसे छात्र की तरह है जिसने पाठ्यपुस्तक को रट लिया है लेकिन फिर, परीक्षा के दौरान, वह ऐसे तथ्य गढ़ने लगता है जो सुनने में तो सही लगते हैं लेकिन पूरी तरह से मनगढ़ंत होते हैं।
- लक्ष्य: AI को "अपना काम दिखाना" सिखाना। यदि वह कहता है "स्पेन की जनसंख्या 17% बढ़ी," तो उसे उस सटीक पृष्ठ की ओर इशारा करना चाहिए जहाँ से वह संख्या आई है।
2. रसीद दिखाने के तीन तरीके
यह पेपर AI द्वारा अपने स्रोतों को दिखाने के तीन मुख्य तरीकों को वर्गीकृत करता है, जैसे कि एक छात्र निबंध में स्रोत का उल्लेख करने के विभिन्न तरीके हो सकते हैं:
- उद्धरण/साइटेशन (Citations - फुट नोट्स): AI एक वाक्य लिखता है और अंत में एक छोटा नंबर
[1]लगा देता है। आप पेज के नीचे देख सकते हैं कि स्रोत क्या है। यह सबसे आम तरीका है (75% शोध पत्रों में उपयोग किया गया)। - एट्रिब्यूशन (Attribution - "के अनुसार"): AI स्रोत को वाक्य में स्वाभाविक रूप से पिरो देता है। "2020 की जनगणना रिपोर्ट के अनुसार, स्पेन की जनसंख्या बढ़ी..." यह अधिक व्यापक है और विचार को स्रोत से जोड़ने पर केंद्रित है।
- कोटेशन (Quotations - कॉपी-पेस्ट): AI वास्तव में स्रोत से एक वाक्य को कॉपी करता है और उसे उद्धरण चिह्नों में रखता है। "जैसा कि रिपोर्ट में कहा गया है: 'जनसंख्या 17% बढ़ी है।'" यह सबसे सीधा लेकिन सबसे कम इस्तेमाल किया जाने वाला तरीका है।
3. दो मुख्य रणनीतियाँ: "स्मृति" बनाम "पुस्तकालय"
शोधकर्ताओं ने पाया कि AI को ये रसीदें प्राप्त करने के दो मुख्य तरीके हैं:
- "हार्ड ड्राइव" दृष्टिकोण (Parametric): AI अपने प्रशिक्षण डेटा (अपनी आंतरिक स्मृति) से तथ्यों को याद करने की कोशिश करता है।
- उदाहरण: एक छात्र की तरह जो बिना अपने नोट्स देखे अपनी याददाश्त से उत्तर देने की कोशिश कर रहा है। यह तेज़ है, लेकिन यदि वह भूल जाता है, तो वह मनगढ़ंत बातें बना सकता है। शोध पत्र में पाया गया कि यह दृष्टिकोण अभी भी बहुत अविश्वसनीय है और गंभीर तथ्य-जांच के लिए शायद ही कभी उपयोग किया जाता है।
- "लाइब्रेरी कार्ड" दृष्टिकोण (Non-Parametric): AI बाहर जाता है, एक किताब ढूंढता है (डेटा प्राप्त करता है), उसे पढ़ता है, और फिर हाथ में किताब लेकर उत्तर लिखता है।
- उदाहरण: यह RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) विधि है। AI एक ऐसे छात्र की तरह है जिसे परीक्षा के दौरान पुस्तकालय का उपयोग करने की अनुमति है। यह वर्तमान में सबसे प्रमुख विधि है क्योंकि जब आपके सामने स्रोत टेक्स्ट मौजूद हो, तो झूठ बोलना बहुत कठिन होता है।
4. अस्त-व्यस्त परिदृश्य (हमें इस पेपर की आवश्यकता क्यों है)
इस सर्वेक्षण से पहले, यह क्षेत्र एक "वाइल्ड वेस्ट" (अराजक स्थिति) की तरह था। हर कोई एक ही चीज़ के लिए अलग-अलग नामों का उपयोग कर रहा था।
- एक शोधकर्ता इसे "साइटेशन जनरेशन" कहता था, दूसरे इसे "ग्राउंडेड टेक्स्ट" कहता था, और तीसरे इसे "एट्रिब्यूटेड आउटपुट" कहता था।
- वे सफलता को भी बिल्कुल अलग-अलग तरीकों से माप रहे थे। एक टीम ने स्केल (रूलर) का उपयोग किया, दूसरी ने वजन करने वाली मशीन का, और तीसरी ने बस अपने दोस्तों से पूछा कि क्या यह अच्छा लग रहा है।
इस पेपर का योगदान:
लेखकों ने एक यूनिफाइड टैक्सोनॉमी (Unified Taxonomy) (एक मास्टर मैप) बनाया। उन्होंने सभी 134 शोध पत्रों को एक स्पष्ट संरचना में व्यवस्थित किया, यह परिभाषित करते हुए कि "साइटेशन," "एट्रिब्यूशन," और "कोटेशन" का वास्तव में क्या अर्थ है ताकि सभी एक ही भाषा बोल सकें। उन्होंने यह मापने के 300 अलग-अलग तरीकों को भी सूचीबद्ध किया कि क्या AI अच्छा काम कर रहा है।
5. क्या काम कर रहा है और क्या टूटा हुआ है
- अच्छा क्या है: "लाइब्रेरी कार्ड" दृष्टिकोण (Non-Parametric) जीत रहा है। अधिकांश AI सिस्टम अब उत्तर देने से पहले वास्तविक दस्तावेज़ खोजते हैं और उन्हें प्राप्त करते हैं।
- बुरा क्या है:
- टेक्स्ट ही राजा है: 96% सिस्टम केवल टेक्स्ट स्रोतों का उपयोग करते हैं। यदि आप AI से किसी चार्ट या ग्राफ का विश्लेषण करने के लिए कहते हैं, तो वह अक्सर अनभिज्ञ रहता है। हमें ऐसे AI की आवश्यकता है जो इमेज और टेबल्स को भी पढ़ सके।
- "रसीद" अक्सर फर्जी होती है: भले ही AI साइटेशन प्रदान करता है, लेकिन कभी-कभी यह गलत पेज या फर्जी लिंक की ओर इशारा करता है। यह एक ऐसे छात्र की तरह है जो एक ऐसा फुटनोट लिखता है जिसका अस्तित्व ही नहीं है।
- कोई मानक परीक्षण नहीं: कोई एक एकल "फाइनल एग्जाम" नहीं है जो सभी AI सिस्टम देते हैं। हमें उन्हें ग्रेड करने के लिए एक मानकीकृत तरीके की आवश्यकता है।
6. भविष्य: आगे क्या है?
लेखक भविष्य के लिए चार मुख्य दिशाएं सुझाते हैं:
- हाइब्रिड ब्रेन्स (Hybrid Brains): सर्वोत्तम परिणाम के लिए AI की आंतरिक स्मृति और बाहरी पुस्तकालय दोनों को मिलाएं।
- बेहतर ग्रेडिंग: मानक परीक्षण बनाएं ताकि हम वास्तव में विभिन्न AI सिस्टमों की निष्पक्ष तुलना कर सकें।
- व्याख्यात्मक रसीदें (Explainable Receipts): केवल लिंक न दिखाएं; यह भी समझाएं कि AI ने उस विशिष्ट स्रोत को क्यों चुना।
- मल्टीमॉडल रसीदें (Multimodal Receipts): AI को केवल टेक्स्ट ही नहीं, बल्कि इमेज, वीडियो और ग्राफ को भी साइट (उद्धृत) करना सिखाएं।
निष्कर्ष (The Bottom Line)
यह पेपर तेजी से बढ़ते क्षेत्र के लिए एक निर्देश पुस्तिका (Instruction Manual) है। यह हमें बताता है कि हालांकि AI अपना काम दिखाने में बेहतर हो रहा है, लेकिन पूरी तरह से इस पर भरोसा करने के लिए हमें अभी भी एक लंबा रास्ता तय करना है। हमें रसीदों की जांच करने के लिए बेहतर टूल, AI को टेस्ट करने के बेहतर तरीके और एक ऐसी प्रणाली की आवश्यकता है जो टेक्स्ट से परे भी काम कर सके।
इस सर्वेक्षण को एक ऐसे भविष्य की नींव के रूप में देखें जहाँ AI केवल एक रचनात्मक लेखक नहीं, बल्कि एक विश्वसनीय शोधकर्ता बन सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।