Where Knowledge Collides: A Mechanistic Study of Intra-Memory Knowledge Conflict in Language Models
यह शोध पत्र भाषा मॉडलों में इंट्रा-मेमोरी ज्ञान संघर्षों (intra-memory knowledge conflicts) का एक यांत्रिक अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि ऐसे संघर्षों को आमतौर पर एक सार्वभौमिक तंत्र के बजाय विशिष्ट सर्किटों के माध्यम से अंतिम परतों में हल किया जाता है, विशेषीकृत अटेंशन हेड वितरणों में अंतर के कारण वास्तविक दुनिया के संघर्षों पर हस्तक्षेप सिंथेटिक संघर्षों की तुलना में काफी कम प्रभावी होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, डिजिटल मस्तिष्क की कल्पना करें जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। यह मस्तिष्क, जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, एक सुपर-स्मार्ट लाइब्रेरियन की तरह है जो सवालों के जवाब दे सकता है, कहानियाँ लिख सकता है और समस्याओं को हल कर सकता है। लेकिन यहाँ एक पेंच है: कभी-कभी, यह लाइब्रेरियन भ्रमित हो जाता है। यदि आप उससे पूछें, "नील्स कहाँ पढ़ने गया था?" तो शायद लाइब्रेरियन एक ही समय में दो अलग-अलग उत्तर याद रखे। शायद इसके मेमोरी का एक हिस्सा कहता है "यूनिवर्सिटी ऑफ ए," जबकि दूसरा हिस्सा ज़ोर देकर कहता है "यूनिवर्सिटी ऑफ बी।" ऐसा इसलिए नहीं है कि लाइब्रेरियन कोई नई किताब (बाहरी जानकारी) देख रहा है; बल्कि इसलिए है क्योंकि लाइब्रेरियन के अपने आंतरिक नोट्स अस्त-व्यस्त हैं। वैज्ञानिक इसे "इंट्रा-मेमोरी नॉलेज कॉन्फ्लिक्ट" (आंतरिक स्मृति ज्ञान संघर्ष) कहते हैं। यह कुछ ऐसा है जैसे एक ही नोटबुक में एक ही कहानी के दो अलग-अलग संस्करण लिखे हों, और लाइब्रेरियन को नहीं पता कि उसे कौन सा पढ़कर सुनाना चाहिए। यह एक बड़ी बात है क्योंकि यदि इन AI सिस्टमों को वास्तविक दुनिया के कार्यों के लिए भरोसेमंद बनाया जाना है, तो उन्हें भ्रमित होने या विरोधाभासी उत्तर देने से बचना होगा। शोधकर्ता जानना चाहते हैं: डिजिटल मस्तिष्क में ठीक कहाँ यह भ्रम होता है, और क्या हम उस विशिष्ट हिस्से को ठीक कर सकते हैं जो इस गड़बड़ी का कारण बन रहा है?
"वेयर नॉलेज कोलाइड्स" (जहाँ ज्ञान टकराता है) शीर्षक वाला यह शोध पत्र इन AI मस्तिष्कों की आंतरिक कार्यप्रणाली की गहराई में उतरता है ताकि भ्रम के स्रोत का पता लगाया जा सके। लेखकों ने चार अलग-अलग AI मॉडलों का उपयोग करके एक विशेष परीक्षण स्थल बनाया। उन्होंने नकली जीवनियों (fake biographies) का एक डेटासेट तैयार किया—सोचिए कि ये उन लोगों के लिए बनाई गई काल्पनिक विकिपीडिया पेज हैं जिनका अस्तित्व ही नहीं है—जहाँ उन्होंने जानबूझकर विरोधाभासी तथ्य डाले। उदाहरण के लिए, उन्होंने AI को बताया कि "नील्स कैवाली" नामक एक काल्पनिक व्यक्ति "यूनिवर्सिटी ऑफ उकोपनम" से स्नातक हुआ था, लेकिन फिर उन्होंने AI को यह भी बताया कि उसी नील्स ने "यूनिवर्सिटी ऑफ ओहफग्रगर" से स्नातक किया था। इन मिले-जुले किस्सों पर AI को प्रशिक्षित करके, उन्होंने एक नियंत्रित वातावरण बनाया जहाँ मॉडल को एक साथ दो विरोधी तथ्यों को अपने दिमाग में रखना ही पड़ा।
यह समझने के लिए कि क्या हो रहा था, शोधकर्ताओं ने "मैकेनिस्टिक इंटरप्रिटेबिलिटी" (यांत्रिक व्याख्यात्मकता) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि AI एक बहु-मंजिला फैक्ट्री है जहाँ सूचना नीचे के तल से ऊपर की ओर बहती है। प्रत्येक मंजिल पर कर्मचारी (जिन्हें "लेयर्स" कहा जाता है) और उन मंजिलों के भीतर विशिष्ट टीमें (जिन्हें "अटेंशन हेड्स" कहा जाता है) होती हैं जो काम के विभिन्न हिस्सों को संभालती हैं। शोधकर्ताओं ने "लॉगिट लेंस" नामक उपकरण का उपयोग करके हर मंजिल पर फैक्ट्री के अंदर झाँकने के लिए, यह देखने के लिए कि प्रश्न को प्रोसेस करते समय AI का आत्मविश्वास कैसे बदलता है। उन्होंने पाया कि यह बहुत सुसंगत था: भ्रम फैक्ट्री की शुरुआत या मध्य में नहीं हुआ। इसके बजाय, संघर्ष हमेशा अंतिम कुछ लेयर्स में उत्पन्न हुआ। यह ऐसा है जैसे AI अपना अधिकांश समय तथ्य जुटाने में बिताता है, लेकिन बिल्कुल अंत में, बोलने से ठीक पहले, दो परस्पर विरोधी यादें आपस में टकरा जाती हैं, जिससे मॉडल डगमगा जाता है और अनिश्चित हो जाता है।
टीम ने AI को "पैच" करने की कोशिश करके समस्या को ठीक करने का प्रयास किया। यह फैक्ट्री के अंदर पहुँचकर एक विशिष्ट टीम के काम को एक ऐसी टीम के काम से बदलने जैसा है जो सही उत्तर जानती है। उन्होंने दो मुख्य दृष्टिकोणों को आजमाया: एक पूरी मंजिल को ठीक करना (लेयर-वाइज इंटरवेंशन) या केवल एक विशिष्ट टीम को ठीक करना (हेड-लेवल इंटरवेंशन)। परिणाम स्पष्ट थे: पूरे फ्लोर को ठीक करना ठीक था, लेकिन विशिष्ट टीम को ठीक करना बहुत, बहुत बेहतर था। वास्तव में, उन विशिष्ट "अटेंशन हेड्स" को लक्षित करना जो गलत तथ्य के लिए जिम्मेदार थे, ने उन्हें उच्च सफलता के साथ AI को सही उत्तर की ओर मोड़ने की अनुमति दी। उन्होंने यह भी खोजा कि उनके इस काल्पनिक, नियंत्रित संसार में, अक्सर "स्पेशलिस्ट" हेड्स होते थे जो केवल एक विशिष्ट तथ्य की परवाह करते थे। हालाँकि, जब उन्होंने वास्तविक दुनिया के डेटा (DynamicQA नामक डेटासेट का उपयोग करके, जिसमें वास्तविक, उलझी हुई मानवीय जानकारी थी) पर इसे आज़माया, तो सुधार कम प्रभावी थे। यह सुझाव देता है कि वास्तविक दुनिया के संघर्ष लैब में बनाए गए साफ-सुथरे कृत्रिम संघर्षों की तुलना में अधिक उलझे हुए और सुलझाने में कठिन हैं।
इस शोध पत्र की सबसे दिलचस्प बातों में से एक वह है जो एक "यूनिवर्सल सर्किट" (सार्व通用 सर्किट) के विचार के खिलाफ तर्क देती है। आप सोच सकते हैं कि सभी AI मॉडलों में एक विशिष्ट, समर्पित स्विच या मार्ग होता है जो सभी ज्ञान संघर्षों को संभालता है, जैसे कि एक "कॉन्फ्लिक्ट रेजोल्यूशन बटन"। लेखक सुझाव देते हैं कि यह संभवतः सच नहीं है। इसके बजाय, उनके निष्कर्ष इस विचार की ओर इशारा करते हैं कि ज्ञान के विभिन्न टुकड़े अलग-अलग, अलग-अलग सर्किट में संग्रहीत होते हैं। AI द्वारा दिया गया अंतिम उत्तर इस बात पर निर्भर करता है कि आपके प्रश्न से कौन सा प्रतिस्पर्धी सर्किट सबसे मजबूत सिग्नल प्राप्त करता है। वहाँ कोई एक एकल "कॉन्फ्लिक्ट मैनेजर" नहीं है; यह अलग-अलग समूहों के बीच रस्साकशी की तरह है, और जो सबसे ज़ोर से खींचता है, वही जीतता है।
शोधकर्ताओं ने यह भी देखा कि उनमें से एक मॉडल, GPT-2 XL, अन्य की तुलना में ठीक करने में अधिक कठिन था। उन्होंने निष्कर्ष निकाला कि ऐसा इसलिए नहीं था कि वह टूटा हुआ था, बल्कि इसलिए क्योंकि वह बस बड़ा था। इसमें बहुत अधिक "कर्मचारी" (अटेंशन हेड्स) थे, इसलिए उन्हें छोटे मॉडलों के समान परिणाम देखने के लिए अधिक संख्या में उन्हें ठीक करने की आवश्यकता थी। यह एक छोटे गाँव में ट्रैफिक जाम को ठीक करने बनाम एक विशाल शहर में ट्रैफिक जाम को ठीक करने जैसा है; आपको शहर में प्रवाह को समान बनाने के लिए अधिक कारों को हटाना होगा।
अंत में, यह अध्ययन हमें पहला वास्तविक मानचित्र देता है कि ये आंतरिक संघर्ष कहाँ होते हैं। यह हमें बताता है कि विरोधाभासी तथ्यों के बीच का युद्ध AI की सोचने की प्रक्रिया के बिल्कुल अंतिम पड़ाव पर होता है। हालांकि हम अभी तक वास्तविक दुनिया के उलझे हुए मामलों को पूरी तरह से ठीक नहीं कर सकते, लेकिन यह शोध पत्र सुझाव देता है कि गलत तथ्यों के लिए जिम्मेदार विशिष्ट, सूक्ष्म टीमों को लक्षित करके, हम इन AI सिस्टमों को अधिक विश्वसनीय बना सकते हैं। यह एक ऐसा AI बनाने की दिशा में एक महत्वपूर्ण कदम है जो न केवल स्मार्ट सुनाई दे, बल्कि वास्तव में जानता भी हो कि वह क्या कह रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।