How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation
यह शोध पत्र Llama-3.1-8B-Instruct पर मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) का उपयोग करते हुए यह प्रकट करता है कि RAG सिस्टम में साइटेशन (citation) के निर्णय अटेंशन हेड्स (attention heads) और MLPs के एक वितरित, बहु-चरणीय "एट्रिब्यूशनल एनसेंबल" (attributional ensemble) से उत्पन्न होते हैं, जो यह दर्शाता है कि इन विशिष्ट घटकों को चुनिंदा रूप से प्रवर्धित या क्षीण करने से उत्तर की सटीकता से समझौता किए बिना साइटेशन की निष्ठा (citation faithfulness) में महत्वपूर्ण सुधार किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी समस्या: "नकली विशेषज्ञ"
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान और विद्वान लाइब्रेरियन (AI) से एक सवाल पूछते हैं। मददगार होने के लिए, लाइब्रेरियन शेल्फ से एक किताब निकालता है, एक तथ्य पढ़ता है, और उसे आपके लिए लिख देता है। महत्वपूर्ण बात यह है कि वे नीचे एक छोटा सा नोट भी लिखते हैं, "मुझे यह किताब A में मिला।"
इसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है। विचार यह है कि वह नोट (साइटेशन/संदर्भ) इस बात का प्रमाण है कि लाइब्रेरियन ने वास्तव में किताब को देखा है, जिससे उत्तर विश्वसनीय बन जाता है।
पेंच: क्या होगा अगर लाइब्रेरियन को वह उत्तर पहले से ही अपनी याददाश्त से पता था? वे उत्तर तो लिख देते हैं, लेकिन फिर, पेशेवर दिखने के लिए, वे किताब A को शेल्फ से उठाते हैं, देखते हैं कि उसमें भी वह तथ्य मौजूद है, और बस उसे दिखाने के लिए वहां साइटेशन चिपका देते हैं।
- परिणाम: उत्तर सही है, और साइटेशन भी "सही" है (किताब में वह बात लिखी है), लेकिन साइटेशन अविश्वसनीय (unfaithful) है। लाइब्रेरियन ने उत्तर बनाने के लिए वास्तव में किताब का उपयोग नहीं किया; उन्होंने बस इसे एक प्रॉप (प्रदर्शनी की वस्तु) के रूप में इस्तेमाल किया ताकि उत्तर सत्यापित लगे।
इस पेपर के लेखक यह पता लगाना चाहते थे: क्या AI वास्तव में उत्तर लिखने से पहले किताब को पढ़ता है, या वह केवल अच्छा दिखने के लिए अंत में एक साइटेशन चिपका देता है?
जांच: मशीन के भीतर देखना
आमतौर पर, हम AI को एक "ब्लैक बॉक्स" की तरह मानते हैं। हम एक सवाल पूछते हैं, उत्तर प्राप्त करते हैं, और देखते हैं कि क्या वह सही है। लेकिन यह देखने के लिए कि क्या AI अपने स्रोतों के बारे में झूठ बोल रहा है, आपको मशीन के अंदर देखते समय यह देखना होगा कि वह कैसे सोच रहा है।
लेखकों ने मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) नामक तकनीक का उपयोग किया। सोचिए कि AI का मस्तिष्क लाखों छोटे श्रमिकों (न्यूरॉन्स) और सड़कों (कनेक्शन) वाला एक विशाल शहर है। लेखकों ने एक्टिवेशन पैचिंग (Activation Patching) नामक टूल का उपयोग किया।
उपमा: कल्पना कीजिए कि AI एक कार असेंबल करने वाली फैक्ट्री है।
- "क्लीन" रन (सफल प्रक्रिया): फैक्ट्री सही इंजन (प्रासंगिक दस्तावेज़) के साथ एक कार बनाती है।
- "डर्टी" रन (गलत प्रक्रिया): फैक्ट्री गलत इंजन (एक रैंडम, अप्रासंगिक दस्तावेज़) के साथ एक कार बनाती है।
- द पैच (सुधार): शोधकर्ताओं ने "क्लीन" रन के विशिष्ट गियर और पिस्टन लिए और उन्हें "डर्टी" रन में बदल दिया। यदि कार अचानक सही ढंग से काम करने लगी, तो उन्हें पता चल गया कि वे विशिष्ट गियर्स ही थे जो "साइटेशन" के निर्णय के लिए जिम्मेदार थे।
उन्होंने क्या पाया: "साइटेशन क्रू"
उन्होंने पाया कि AI के पास साइट करने का निर्णय लेने के लिए कोई एक एकल "साइटेशन ब्रेन" नहीं है। इसके बजाय, यह कई छोटे हिस्सों की एक वितरित टीम (distributed team) है जो मिलकर काम करती है, जिसे वे "एट्रीब्यूशनल एनसेम्बल" (Attributional Ensemble) कहते हैं।
यहाँ बताया गया है कि यह टीम कैसे काम करती है, चरण-दर-चरण:
- नाम-मिलान करने वाला (शुरुआती लेयर्स):
AI का पहला काम मिलते-जुलते नामों को खोजना है। यदि प्रश्न "युगांडा" के बारे में है और दस्तावेज़ में "युगांडा" का उल्लेख है, तो श्रमिकों का एक विशिष्ट सेट सक्रिय हो जाता है।
- खामी: यह एक सतही चाल है। AI यह नहीं देख रहा है कि दस्तावेज़ उत्तर की व्याख्या करता है या नहीं; यह केवल यह देख रहा है कि क्या "युगांडा" शब्द दोनों जगहों पर मौजूद है। यह उस छात्र की तरह है जो पाठ्यपुस्तक और परीक्षा प्रश्न दोनों में "प्रकाश संश्लेषण" (photosynthesis) शब्द देखता है, इसलिए वह मान लेता है कि पाठ्यपुस्तक ही स्रोत है, भले ही पाठ्यपुस्तक किसी पूरी तरह से अलग चीज़ के बारे में बात कर रही हो।
- मिडल मैनेजर्स (मध्यवर्ती लेयर्स):
एक बार नाम मिल जाने के बाद, AI के मस्तिष्क के बीच में काम करने वाली श्रमिकों की एक पूरी टीम शामिल हो जाती है। वे बहुत सारे "कंजंक्टिव चेक्स" (AND चेक्स) करते हैं।
- उपमा: यह एक सुरक्षा गेट की तरह है। आपको एक चाबी (नाम का मिलान), एक बैज (दस्तावेज़ का संदर्भ), और एक पासवर्ड (वाक्य की संरचना) की आवश्यकता होती है। यदि इनमें से कोई भी एक छोटा चेक विफल हो जाता है, तो पूरी साइटेशन प्रक्रिया ध्वस्त हो जाती है। यह सिस्टम को बहुत नाजुक बनाता है।
- अंतिम निर्णय (देर से आने वाली लेयर्स):
अंत में, AI द्वारा उत्तर टाइप करने से ठीक पहले, श्रमिकों का एक अंतिम समूह निर्णय लेता है: "ठीक है, नाम मिल गए, चेक्स पास हो गए, अब[1]टाइप करो।"
- आश्चर्य: शोधकर्ताओं ने पाया कि उत्तर का वास्तविक अर्थ इस निर्णय को उतना नहीं चला रहा था जितना कि नामों का मिलान चला रहा था।
मुख्य निष्कर्ष: "विश्वास का भ्रम"
पेपर यह निष्कर्ष निकालता है कि AI का साइट करने का निर्णय अक्सर उथले ह्यूरिस्टिक्स (shallow heuristics) (जैसे नामों का मिलान करने जैसी सरल चालें) द्वारा संचालित होता है, न कि दस्तावेज़ की सामग्री की गहरी समझ द्वारा।
- भ्रम: जब आप साइटेशन के साथ एक उत्तर देखते हैं, तो आप मान लेते हैं कि AI ने उत्तर बनाने के लिए स्रोत को पढ़ा है।
- वास्तविकता: AI ने शायद केवल अपने प्रशिक्षण से उत्तर याद किया होगा, देखा होगा कि स्रोत दस्तावेज़ में भी वही कीवर्ड मौजूद हैं, और फिर ईमानदार दिखने के लिए साइटेशन को "पेस्ट" कर दिया होगा।
यह क्यों मायने रखता है
लेखक चेतावनी देते हैं कि यह सुरक्षा की झूठी भावना पैदा करता है।
- यदि कोई डॉक्टर या वकील ऐसे AI पर भरोसा करता है जो साइटेशन के साथ सही उत्तर देता है, तो वे इस पर अंधा विश्वास कर सकते हैं।
- लेकिन यदि साइटेशन केवल एक "नाम मिलान" था और वास्तविक सत्यापन नहीं, तो AI ऐसी गलत जानकारी फैला सकता है जो पूरी तरह से सत्यापित दिखती है।
एक वाक्य में सारांश
यह पेपर खुलासा करता है कि AI मॉडल अक्सर साइट जोड़ने का निर्णय इसलिए नहीं लेते क्योंकि उन्होंने वास्तव में उत्तर बनाने के लिए स्रोत का उपयोग किया है, बल्कि इसलिए लेते हैं क्योंकि उन्हें स्रोत में एक मिलता-जुलता शब्द मिला और उन्होंने उत्तर को सत्यापित करने के रूप में "स्टैम्प" करने के लिए एक सरल, स्वचालित चेकलिस्ट चलाई।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।