Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models
यह शोध पत्र CitePretrain को प्रस्तुत करता है, जो एक रिट्रीवल-फ्री (retrieval-free) ढांचा है जो "एक्टिव इंडेक्सिंग" (Active Indexing) वाले दो-चरणीय प्रक्रिया के माध्यम से लार्ज लैंग्वेज मॉडल्स की अपने प्रीट्रेनिंग स्रोतों को सत्यापन योग्य रूप से उत्तरों का श्रेय देने की क्षमता को बढ़ाता है, जो पैसिव बेसलाइन्स की तुलना में साइटेशन की सटीकता और मजबूती में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा अविश्वसनीय छात्र है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। इस छात्र ने लाखों किताबें, लेख और वेबसाइटें पढ़ी हैं। वे अविश्वसनीय रूप से बुद्धिमान हैं और आपके द्वारा पूछे गए लगभग किसी भी प्रश्न का उत्तर दे सकते हैं।
हालाँकि, एक समस्या है: LLM मनगढ़ंत बातें बनाना पसंद करता है।
यदि आप पूछते हैं, "प्राइड एंड प्रेजुडिस किसने लिखा था?" तो वे कह सकते हैं, "द डेली स्टार के अनुसार जेन ऑस्टेन ने," भले ही उन्होंने अखबार का नाम खुद ही बनाया हो। इसे हैलुसिनेशन (hallucination) कहा जाता है।
वर्तमान में, इसे ठीक करने के लिए, हम आमतौर पर छात्र से एक सर्च इंजन जोड़ देते हैं। जब वे उत्तर देते हैं, तो सर्च इंजन बाहर जाता है, असली किताब ढूंढता है, और कहता है, "यहाँ प्रमाण है!" लेकिन यह धीमा है, महंगा है, और कभी-कभी सर्च इंजन गलत किताब ले आता है या भ्रमित हो जाता है।
यह शोध पत्र उन्हें प्रशिक्षित करने का एक नया तरीका पेश करता है ताकि वे बिना सर्च इंजन की आवश्यकता के अपनी स्मृति का हवाला (cite) दे सकें। वे इसे CitePretrain कहते हैं।
यहाँ इसका सरल विवरण दिया गया है कि यह कैसे काम करता है, कुछ मजेदार उपमाओं का उपयोग करते हुए:
1. समस्या: "निष्क्रिय" (Passive) छात्र
कल्पना कीजिए कि आप छात्र को 10,000 किताबों का ढेर देते हैं। आप उनसे कहते हैं, "इन्हें पढ़ लो।"
- पुराना तरीका (पैसिव इंडेक्सिंग): आप बस किताब के पिछले कवर पर एक स्टिकी नोट चिपका देते हैं जिसमें किताब का शीर्षक होता है। आप उम्मीद करते हैं कि छात्र याद रखेगा कि "किताब A" "पेज 100" पर है।
- परिणाम: छात्र सटीक उद्धरणों को याद रखने में ठीक है। लेकिन यदि आप पूछते हैं, "किताब A का मुख्य विचार क्या था?" तो वे विचार तो सही बता सकते हैं लेकिन यह भूल सकते हैं कि वह किस किताब से आया था, या वे इसे किताब B के साथ मिला सकते हैं। वे बहुत निष्क्रिय हैं; वे केवल शीर्षक की नकल करते हैं बिना उस संबंध को वास्तव में समझे।
2. समाधान: "सक्रिय" (Active) छात्र (एक्टिव इंडेक्सिंग)
लेखक एक नई प्रशिक्षण पद्धति प्रस्तावित करते हैं जिसे एक्टिव इंडेक्सिंग कहा जाता है। उन्हें केवल किताबें देने के बजाय, वे पुस्तकालय को एक विशाल, इंटरैक्टिव खोज अभियान (scavenger hunt) में बदल देते हैं।
वे छात्र को प्रशिक्षित करने के लिए दो मुख्य तरकीबों का उपयोग करते हैं:
तरकीब A: "स्रोत-से-तथ्य" अभ्यास (फॉरवर्ड/आगे की ओर)
एक खेल की कल्पना करें जहाँ शिक्षक एक विशिष्ट पुस्तक (जैसे, द हिस्ट्री ऑफ स्पेस) की ओर इशारा करता है और कहता है, "मुझे इस विशिष्ट पुस्तक से रॉकेटों के बारे में सब कुछ बताओ।"
- यह क्यों काम करता है: छात्र यह सीखता है कि उस विशिष्ट मानसिक "फ़ाइल" को कैसे खोलना है और केवल उसी स्रोत से तथ्यों को बाहर निकालना है। वे सीखते हैं कहना, "द हिस्ट्री ऑफ स्पेस के अनुसार, रॉकेट तरल ईंधन का उपयोग करते हैं।"
तरकीब B: "तथ्य-से-स्रोत" अभ्यास (बैकवर्ड/पीछे की ओर)
अब, शिक्षक एक प्रश्न पूछता है: "रॉकेट कैसे काम करते हैं?"
छात्र उत्तर देता है, "वे तरल ईंधन का उपयोग करते हैं।"
फिर शिक्षक पूछता है, "आपने अभी यह कहाँ पढ़ा था?"
- यह क्यों काम करता है: यह छात्र को पीछे की ओर काम करने के लिए मजबूर करता है। वे केवल अनुमान नहीं लगा सकते; उन्हें अपनी विचार प्रक्रिया को विशिष्ट दस्तावेज़ तक वापस ट्रैक करना होगा। यह एक जासूस की तरह है जो मामला सुलझा रहा है: "मैं उत्तर जानता हूँ, तो मुझे किस फ़ाइल कैबिनेट से इसे निकालना चाहिए था?"
3. "सिंथेटिक" पुस्तकालय
इस प्रशिक्षण को अत्यंत प्रभावी बनाने के लिए, लेखकों ने केवल मूल पुस्तकों का उपयोग नहीं किया। उन्होंने उन पुस्तकों के आधार पर AI का उपयोग करके लाखों नए अभ्यास प्रश्न बनाए।
- उन्होंने एक तथ्य लिया और उसे 50 अलग-अलग तरीकों से पूछा (जैसे, "व्हाइट हाउस किसने बनाया?" बनाम "व्हाइट हाउस का निर्माण कब हुआ?")।
- उन्होंने जटिल प्रश्न बनाने के लिए विभिन्न पुस्तकों के तथ्यों को मिला दिया।
- उपमा: यह एक व्यक्तिगत ट्रेनर की तरह है जो आपसे केवल एक बार वजन उठाने के लिए नहीं कहता। वे आपसे अलग-अलग पकड़, अलग-अलग गति और अलग-अलग वजन के साथ वजन उठाने के लिए कहते हैं, ताकि आपकी मांसपेशियां (मॉडल की स्मृति) किसी भी स्थिति को संभालने के लिए मजबूत हो सकें।
4. परिणाम: एक सुपर-विश्वसनीय छात्र
जब उन्होंने इस नए "सक्रिय छात्र" (Qwen जैसे मॉडलों का उपयोग करके) का परीक्षण किया:
- सटीकता: उन्होंने तथ्यों को सही पाया।
- उद्धरण (Citations): उन्होंने हर तथ्य के लिए बिल्कुल सही पुस्तक शीर्षक की ओर इशारा किया।
- सुधार: वे पुराने "निष्क्रिय" छात्रों की तुलना में सही ढंग से उद्धृत करने में 30% तक बेहतर थे।
- बोनस: यहाँ तक कि जब सर्च इंजन (बाहरी रिट्रीवल) विफल हो गया या गलत जानकारी दी, तब भी यह छात्र सही उत्तर और उद्धरण के साथ दे सका क्योंकि उनकी आंतरिक स्मृति बहुत अच्छी तरह से व्यवस्थित थी।
बड़ा निष्कर्ष (The Big Picture Takeaway)
पुरानी पद्धति को एक ऐसे लाइब्रेरियन के रूप में सोचें जिसे आपके हर प्रश्न के लिए शेल्फ तक दौड़ना पड़ता है। यह धीमा है और वे गलत किताब उठा सकते हैं।
यह नया तरीका लाइब्रेरियन को एक चलते-फिरते विश्वकोश (Walking Encyclopedia) में बदल देता है। उन्होंने न केवल किताबों की सामग्री को याद किया है, बल्कि यह भी कि हर तथ्य किस किताब से आया है। वे बिना शेल्फ तक दौड़े तुरंत उत्तर दे सकते हैं, और वे यह साबित करने के लिए कि वे मनगढ़ंत बातें नहीं कर रहे हैं, सटीक शेल्फ स्थान (उद्धरण) की ओर इशारा कर सकते हैं।
यह क्यों मायने रखता है?
- गति: सर्च इंजन के इंतजार की कोई आवश्यकता नहीं।
- विश्वास: आप उनके उत्तरों को तुरंत सत्यापित कर सकते हैं।
- सुरक्षा: यदि इंटरनेट बंद हो जाता है या सर्च इंजन खराब हो जाता है, तो भी यह मॉडल काम करता रहेगा और आपको बताएगा कि उसकी जानकारी कहाँ से आई।
संक्षेप में, यह शोध पत्र AI मॉडलों को ईमानदार विद्वान बनने की शिक्षा देता है जो जानते हैं कि उनका ज्ञान कहाँ से आया है, बजाय उन आत्मविश्वासी झूठों के जो केवल अनुमान लगाते हैं और उम्मीद करते हैं कि वे सही होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।