Probing for Knowledge Attribution in Large Language Models
यह शोध पत्र AttriWiki प्रस्तुत करता है, जो लेबल किए गए डेटा को उत्पन्न करने के लिए एक स्व-पर्यवेक्षित (self-supervised) पाइपलाइन है जो सरल लीनियर प्रोब्स (linear probes) को सटीक रूप से यह पहचानने में सक्षम बनाता है कि क्या किसी LLM का आउटपुट प्रॉम्प्ट संदर्भ या आंतरिक ज्ञान पर निर्भर करता है, जिससे एट्रिब्यूशन त्रुटियों और मतिभ्रम (hallucinations) के बीच एक मजबूत संबंध प्रकट होता है और उच्च क्रॉस-डोमेन हस्तांतरणीयता (cross-domain transferability) का प्रदर्शन होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सुशिक्षित रोबोट मित्र से बात कर रहे हैं। आप उससे एक सवाल पूछते हैं और वह आत्मविश्वास के साथ जवाब देता है। लेकिन यहाँ एक पेचीदा बात है: आप यह कैसे जानेंगे कि उसका उत्तर उस किताब से आया है जो आपने अभी उसे थमाई है, या उसने उत्तर अपनी याददाश्त से निकाला है?
कभी-कभी, रोबोट आपके द्वारा दी गई किताब को अनदेखा कर सकता है और अपनी याददाश्त के आधार पर उत्तर दे सकता है (जो गलत या पुराना हो सकता है)। अन्य मामलों में, वह अपनी याददाश्त को अनदेखा कर सकता है और किताब के आधार पर उत्तर दे सकता है (भले ही किताब में कोई टाइपिंग की गलती हो)।
यह शोध पत्र इन रोबोटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) के लिए एक "सत्य डिटेक्टर" (Truth Detector) बनाने के बारे में है जो हमें ठीक-ठीक बता सके कि उत्तर कहाँ से आया।
यहाँ इस शोध पत्र का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. समस्या: "आत्मविश्वास से भरी गलत" रोबोटिक बुद्धि
लेखक एक डरावनी वास्तविक जीवन की कहानी से शुरुआत करते हैं। एक व्यक्ति ने एयरलाइन चैटबॉट से 'बेरेवमेंट डिस्काउंट' (शोक संबंधी छूट) के बारे में पूछा। चैटबॉट ने आत्मविश्वास से कहा, "हाँ, आपके पास 90 दिन हैं!" व्यक्ति ने यात्रा की, लेकिन बाद में एयरलाइन ने रिफंड देने से मना कर दिया क्योंकि वह नियम कभी अस्तित्व में ही नहीं था। चैटबॉट ने इसे मनगढ़ंत बना लिया था (एक "हैलुसिनेशन")।
समस्या केवल यह नहीं थी कि रोबोट गलत था; बल्कि यह थी कि हमें यह नहीं पता था कि वह क्यों गलत था।
- क्या उसने उस आधिकारिक नीति को अनदेखा कर दिया जो आपने चैट में पेस्ट की थी?
- क्या वह अपनी आंतरिक याददाश्त पर निर्भर था, जो संयोगवश गलत थी?
वर्तमान उपकरण आपको यह तो बता सकते हैं कि उत्तर गलत है, लेकिन वे यह नहीं बता सकते कि रोबंतु को वह विचार कहाँ से मिला।
2. समाधान: "एट्रिब्यूशन प्रोब" (Attribution Probe)
शोधकर्ताओं ने एक विशेष उपकरण बनाया जिसे प्रोब (Probe) कहा जाता है। इस प्रोब को रोबोट के मस्तिष्क के लिए झूठ पकड़ने वाले टेस्ट (lie detector test) की तरह समझें।
जब एक रोबोट सोचता है, तो वह जानकारी को "न्यूरॉन्स" (हिडन स्टेट्स) की परतों के माध्यम से प्रोसेस करता है। शोधकर्ताओं ने पाया कि रोबोट का मस्तिष्क वास्तव में अलग तरह से "चमकता" है, चाहे वह:
- प्रॉम्प्ट को पढ़ रहा हो (कॉन्टेक्स्टुअल नॉलेज/संदर्भ ज्ञान): जैसे किसी नक्शे को देखना।
- अपनी याददाश्त से याद कर रहा हो (पैरामेट्रिक नॉलेज/स्मृति ज्ञान): जैसे स्कूल से सीखा हुआ कोई तथ्य याद करना।
उन्होंने एक सरल, हल्का क्लासिफायर (प्रोब) प्रशिक्षित किया जो इन "मस्तिष्क की रोशनी" को देख सके और कह सके: "आह, यह उत्तर नक्शे (context) से आ रहा है," या "आह, यह उत्तर स्मृति (memory) से आ रहा है।"
3. उन्होंने प्रोब को कैसे प्रशिक्षित किया: "एट्रिविकी" (AttriWiki) गेम
प्रोब को सिखाने के लिए, उन्हें एक विशाल डेटासेट की आवश्यकता थी जहाँ उन्हें उत्तर के बारे में पक्का पता हो। उन्होंने "AttriWiki" नामक कुछ बनाया।
इसे "तथ्यों के साथ लुका-छिपी का खेल" मानिए:
- उन्होंने विकिपीडिया लेखों (संदर्भ/Context) को लिया।
- उन्होंने एक विशिष्ट तथ्य (जैसे किसी व्यक्ति का नाम) चुना।
- चरण A (मेमोरी टेस्ट): उन्होंने टेक्स्ट से नाम हटा दिया और रोबोट से खाली स्थान भरने को कहा। यदि रोबोट ने इसे सही भरा, तो इसका मतलब था कि रोबोट ने इसे अपनी ट्रेनिंग से याद किया था।
- चरण B (रीडिंग टेस्ट): उन्होंने नाम को टेक्स्ट में रखा लेकिन एक अलग तथ्य को हटा दिया, जिससे रोबोट को उत्तर देने के लिए टेक्स्ट को पढ़ने के लिए मजबूर होना पड़ा।
ऐसा लाखों बार करने के बाद, उन्होंने एक ऐसा डेटासेट बनाया जहाँ हर एक उत्तर के साथ एक सत्यापित "स्रोत टैग" (स्मृति बनाम पढ़ना) था। फिर उन्होंने इस डेटा का उपयोग अपने प्रोब को प्रशिक्षित करने के लिए किया।
4. परिणाम: प्रोब एक "सुपर-रीडर" है
परिणाम आश्चर्यजनक रूप से अच्छे थे:
- उच्च सटीकता: प्रोब कई प्रमुख AI मॉडल्स पर 96% सटीकता के साथ बता सका कि उत्तर कहाँ से आया।
- "मिडल लेयर" का रहस्य: उन्होंने पाया कि रोबोट का मस्तिष्क यह रहस्य मुख्य रूप से उसके प्रोसेसिंग के मध्यवर्ती स्तरों (middle layers) में प्रकट करता है, न कि बिल्कुल शुरुआत में या बिल्कुल अंत में। यह ऐसा है जैसे रोबोट अपने विचार की प्रक्रिया के बीच में खुद से सच फुसफुसाता है।
- सामान्यीकरण (Generalization): यहाँ तक कि जब उन्होंने प्रोब का परीक्षण पूरी तरह से अलग प्रकार के प्रश्नों (जैसे ट्रिविया या रीडिंग कॉम्प्रिहेन्शन टेस्ट जो उसने पहले कभी नहीं देखे थे) पर किया, तब भी यह पूरी तरह से काम करता रहा।
5. यह क्यों महत्वपूर्ण है: "मिसमैच" (Mismatch) का खतरा
सबसे महत्वपूर्ण खोज यह है कि जब रोबोट भ्रमित हो जाता है तो क्या होता है।
- यदि रोबोट को एक दस्तावेज़ पढ़ना चाहिए लेकिन वह अपनी स्मृति पर निर्भर हो जाता है, तो त्रुटि दर (error rate) 70% बढ़ जाती है।
- यदि रोबोट को अपनी स्मृति का उपयोग करना चाहिए लेकिन वह एक भ्रामक दस्तावेज़ से विचलित हो जाता है, तो त्रुटियाँ 30% बढ़ जाती हैं।
उपमा: कल्पना कीजिए कि एक शेफ (रोबोट) है जिसे आपके द्वारा दी गई रेसिपी (संदर्भ) के अनुसार खाना बनाना है। यदि वह आपकी रेसिपी को अनदेखा करता है और अपनी पुरानी, खराब याददाश्त के आधार पर खाना बनाता है, तो भोजन बहुत खराब होगा। प्रोब एक किचन इंस्पेक्टर की तरह है जो खाना परोसे जाने से पहले चिल्ला सकता है, "रुको! तुम रेसिपी को अनदेखा कर रहे हो!"
6. कमी (The Catch)
पेपर यह स्वीकार करता है कि यह जानना कि उत्तर कहाँ से आया, यह गारंटी नहीं देता कि उत्तर सत्य है।
- यदि रोबोट एक दस्तावेज़ पढ़ता है जिसमें लिखा है "आसमान हरा है," तो प्रोब सही ढंग से कहेगा, "यह दस्तावेज़ से आया है।"
- लेकिन उत्तर फिर भी गलत है।
इसलिए, प्रोब "सत्य डिटेक्टर" (Truth Detector) के रूप में काम नहीं करता है जो तथ्यों की जाँच करता है; यह एक "स्रोत डिटेक्टर" (Source Detector) है। यह आपको बताता है कि क्या रोबोट आपके द्वारा दिए गए स्रोत के प्रति वफादार है या वह अपनी कल्पना में भटक रहा है।
सारांश
यह शोध पत्र हमें AI के "ब्लैक बॉक्स" के अंदर झाँकने का एक तरीका देता है। केवल यह पूछने के बजाय कि, "क्या यह उत्तर सही है?", अब हम पूछ सकते हैं, "क्या AI ने वास्तव में वह पढ़ा जो मैंने उसे दिया, या उसने केवल वही बनाया जो वह सोचता है कि वह जानता है?"
यह AI को सुरक्षित बनाने की दिशा में एक बड़ा कदम है, विशेष रूप से कानूनी सलाह, चिकित्सा जानकारी, या उड़ान बुक करने जैसी महत्वपूर्ण स्थितियों में, जहाँ जानकारी के स्रोत को जानना उतना ही महत्वपूर्ण है जितना कि स्वयं जानकारी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।