LMs as Task-Specific Knowledge Bases: An Interpretability Analysis
यह शोध पत्र व्यवहारिक और यांत्रिक विश्लेषणों के माध्यम से इस दृष्टिकोण को चुनौती देता है कि भाषा मॉडल एकीकृत ज्ञान आधार हैं, जो यह प्रदर्शित करता है कि तथ्यात्मक ज्ञान एक कार्य-विशिष्ट तरीके से एनकोडेड होता है, जहाँ क्वेरी संदर्भ के आधार पर विशिष्ट पैरामीटर उपसमुच्चय सक्रिय होते हैं, जिससे तथ्यात्मक पुनर्प्राप्ति की निरंतरता और विश्वसनीयता बाधित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान विश्वकोश (encyclopedia) है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। आप इस विश्वकोश को एक पूर्ण पुस्तकालय के रूप में देख सकते हैं जहाँ हर तथ्य एक विशिष्ट स्थान पर संग्रहीत है। यदि आप पूछते हैं, "फ्रांस की राजधानी क्या है?" या "क्या पेरिस फ्रांस की राजधानी है?", तो आप उम्मीद करते हैं कि पुस्तकालय हर बार एक ही शेल्फ से वही सटीक फ़ाइल निकालेगा और आपको वही उत्तर देगा। पारंपरिक डेटाबेस इसी तरह काम करते हैं: एक सत्य, एक स्रोत।
यह शोध पत्र जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स जैसे टूल्स के पीछे के AI मस्तिष्क हैं—उस पूर्ण पुस्तकालय की तरह काम करते हैं। शोधकर्ताओं, अमित एहेलो, अमीर ग्लोबर्सन और मोर गेवा ने पाया कि वे नहीं करते हैं।
एक एकल, एकीकृत पुस्तकालय के बजाय, AI का "ज्ञान" विशेषज्ञ, कार्य-विशिष्ट टूलकिट (specialized, task-specific toolkits) के संग्रह जैसा है। यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "अलग-अलग टूलकिट" की उपमा
कल्पना कीजिए कि आपके पास एक स्विस आर्मी नाइफ (Swiss Army knife) है। इसमें एक स्क्रूड्राइवर, एक ब्लेड और एक कॉर्कस्क्रू है।
- पारंपरिक दृष्टिकोण: आप सोच सकते हैं कि बोतल खोलने का "ज्ञान" चाकू के एक केंद्रीय भाग में संग्रहीत है।
- शोध का निष्कर्ष: AI वास्तव में एक टूलबॉक्स की तरह है जहाँ बोतल खोलने का "ज्ञान" केवल तभी कॉर्कस्क्रू में संग्रहीत होता है जब आपसे बोतल खोलने के लिए कहा जाता है। लेकिन यदि आप पूछते हैं, "क्या यह एक कॉर्कस्क्रू है?" (एक अलग प्रकार का प्रश्न), तो AI उसी वस्तु के बारे में उत्तर देने के लिए पूरी तरह से अलग सेट के उपकरणों का उपयोग करता है, भले ही उत्तर उसी वस्तु के बारे में हो।
शोधकर्ताओं ने इसे AI से एक ही तथ्य (जैसे, "पेरिस फ्रांस की राजधानी है") को अलग-अलग तरीकों से पूछकर परखा:
- जेनरेशन (Generation): "फ्रांस की राजधानी क्या है?" (AI को उत्तर लिखना पड़ता है)।
- डिस्क्रिमिनेशन (Discrimination): "क्या पेरिस फ्रांस की राजधानी है? हाँ या नहीं।" (AI को एक विकल्प चुनना होता है)।
उन्होंने पाया कि AI अक्सर "लिखने" वाले कार्य के लिए तथ्य सीख लेता है लेकिन "चुनने" वाले कार्य के लिए उसे "जानने" में विफल रहता है, और इसके विपरीत भी। ऐसा है जैसे AI के पास एक "लिखने वाला मस्तिष्क" और एक "चुनने वाला मस्तिष्क" है जो हमेशा एक-दूसरे से बात नहीं करते।
2. "ट्रेनिंग कैंप" का अवलोकन
शोधकर्ताओं ने AI को समय के साथ सीखते हुए देखा, जैसे एक कोच एक छात्र को विभिन्न परीक्षाओं के लिए पढ़ते हुए देखता है।
- अपेक्षा: यदि छात्र एक लेखन परीक्षा के लिए सीखता है कि "पेरिस राजधानी है", तो उसे बहुविकल्पीय परीक्षा के लिए भी तुरंत पता होना चाहिए, क्योंकि यह वही तथ्य है।
- वास्तविकता: छात्र अक्सर लेखन परीक्षा में पास हो जाता था लेकिन कुछ दिनों बाद अभी भी बहुविकल्पीय परीक्षा में विफल रहता था। ज्ञान अलग-अलग प्रारूपों में "सह-उद्भव" (co-emerge) नहीं हुआ (यानी एक ही समय में प्रकट नहीं हुआ)। यह सुझाव देता है कि AI उस तथ्य को एक केंद्रीय स्थान पर संग्रहीत नहीं कर रहा है; बल्कि वह उस विशिष्ट प्रकार के प्रश्न के लिए उस तथ्य को संभालने का एक विशिष्ट तरीका सीख रहा है।
3. "सर्जरी" का प्रयोग (मैकेनिस्टिक विश्लेषण)
इसे सिद्ध करने के लिए, शोधकर्ताओं ने AI के मस्तिष्क (इसके आंतरिक मापदंडों/parameters) पर "सर्जरी" की। उन्होंने उस सूक्ष्म, विशिष्ट न्यूरॉन्स के समूह को खोजने की कोशिश की जो एक विशिष्ट तरीके से पूछे जाने पर "पेरिस राजधानी है" को जानने के लिए जिम्मेदार हैं।
- परिणाम: उन्होंने प्रत्येक कार्य के लिए अलग-अलग, विशिष्ट न्यूरॉन समूहों को पाया।
- यदि उन्होंने "लिखने" वाले कार्य के लिए उपयोग किए जाने वाले न्यूरॉन्स को "बंद" कर दिया, तो AI लिखने वाले प्रश्न का उत्तर भूल गया लेकिन वह "हाँ/नहीं" वाले प्रश्न का उत्तर पूरी तरह से दे सका।
- यदि उन्होंने "हाँ/नहीं" वाले न्यूरॉन्स को "बंद" कर दिया, तो AI उस परीक्षण में विफल रहा लेकिन वह उत्तर लिख सकता था।
- रूपक (Metaphor): यह एक ही दरवाजे के लिए दो अलग-अलग चाबियों के होने जैसा है। एक चाबी दरवाजा खोलती है जब आप इसे बाईं ओर से धकेलते हैं; दूसरी चाबी तब खोलती है जब आप इसे दाईं ओर से खींचते हैं। यदि आप "धकेलने" वाली चाबी खो देते हैं, तो उस क्रिया के लिए दरवाजा बंद रहता है, भले ही "खींचने" वाली चाबी अभी भी काम करती हो।
4. "चेन ऑफ थॉट" का आश्चर्य
शोध पत्र ने "चेन ऑफ थॉट" (CoT) रीजनिंग को भी देखा, जहाँ AI को सीधे उत्तर देने से पहले "चरण-दर-चरण सोचने" के लिए कहा जाता है।
- निष्कर्ष: जब AI को ज़ोर से सोचने के लिए कहा जाता है, तो ऐसा लगता है कि वह इन विभिन्न टूलकिट्स के मिश्रण का उपयोग करता है। यदि आप अंतिम उत्तर के लिए विशिष्ट न्यूरॉन्स को हटा देते हैं, तो AI अक्सर समस्या को "सोचकर" सही उत्तर प्राप्त करने में सक्षम होता है, क्योंकि वह उन अन्य कार्य-विशिष्ट टूलकिट्स से ज्ञान उधार ले रहा होता है जिनका उपयोग वह सामान्यतः सीधे उत्तर के लिए नहीं करता।
- उपमा: यह एक जासूस की तरह है जो आमतौर पर एक एकल सुराग (प्रत्यक्ष उत्तर) देखकर मामला सुलझाता है। लेकिन यदि आप उसे एक पूरी रिपोर्ट लिखने के लिए मजबूर करते हैं (चेन ऑफ थॉट), तो वह अन्य फाइलों की जाँच करना और विभिन्न टूलकिट्स को क्रॉस-रेफरेंस करना शुरू कर देता है, जिससे मुख्य सुराग गायब होने पर भी उसे मामला सुलझाने में मदद मिलती है।
मुख्य निष्कर्ष
पत्र यह निष्कर्ष निकालता है कि AI को "ज्ञान आधार" (एक एकल सत्य का स्रोत) मानने का विचार एक मिथक है। इसके बजाय, AI जो जानता है और आप उसे कैसे पूछते हैं, वे आपस में उलझे हुए हैं।
- विश्वसनीयता जोखिम (Reliability Risk): यदि आप AI को एक प्रकार के प्रश्न (जैसे, बहुविकल्पीय क्विज़) के लिए किसी तथ्य को "भूलने" के लिए संपादित करते हैं, तो वह लेखन प्रॉम्प्ट के लिए उस तथ्य को याद रख सकता है।
- मूल्यांकन जोखिम (Evaluation Risk): यदि आप केवल एक प्रकार के प्रश्न पर AI का परीक्षण करते हैं, तो आपको लग सकता है कि वह एक तथ्य जानता है, लेकिन अलग प्रारूप में पूछे जाने पर वह पूरी तरह से अनभिज्ञ हो सकता है।
संक्षेप में, AI के पास एक एकल, एकीकृत स्मृति नहीं है। इसके पास विशेषज्ञता वाले खंडित (patchwork) स्मृतियों का एक समूह है, जो प्रश्नों के पूछने के विशिष्ट तरीके के लिए ट्यून किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।