When Is a Steerable Concept Representation Real? Measurement Confounds in a Cross-Family Audit of Neuroscience Parallels in LLMs
यह शोध पत्र 17 मॉडलों और पांच परिवारों में बड़े भाषा मॉडलों (LLMs) में तंत्रिका विज्ञान-प्रेरित दावों का ऑडिट करता है, जो यह प्रकट करता है कि रिपोर्ट किए गए समानांतर जैसे कि अवधारणात्मक स्टीयरेबिलिटी (concept steerability) और मानसिक मानचित्र (mental maps), अक्सर मजबूत, पैमाना-निर्भर उभरती क्षमताओं के बजाय अनकैलिब्रेटेड मापन विकल्पों के कृत्रिम परिणाम (artifacts) होते हैं, जिससे एआई न्यूरोसाइंस में मानकीकृत प्रोटोकॉल और पर्याप्त नियंत्रणों की महत्वपूर्ण आवश्यकता पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक विशाल, अदृश्य मस्तिष्क कैसे काम करता है। वर्षों से, वैज्ञानिक वास्तविक मानव मस्तिष्क का अध्ययन कर रहे हैं, यह खोजते हुए कि विशिष्ट कोशिकाएं विशिष्ट चीजों के लिए चमकती हैं—जैसे कि एक "जेनिफर एनिस्टन न्यूरॉन" जो केवल उसका चेहरा देखने पर सक्रिय होता है, या आपके सिर में एक "मानसिक मानचित्र" जो आपको शहर में नेविगेट करने में मदद करता है। हाल ही में, "AI न्यूरोसाइंस" नामक एक नए क्षेत्र ने लार्ज लैंग्वेज मॉडल्स (LLMs)—उन सुपर-स्मार्ट कंप्यूटर प्रोग्रामों की ओर रुख किया है जो कहानियाँ लिखते हैं और सवालों के जवाब देते हैं—और पूछा है: "क्या इन कंप्यूटरों में भी उसी तरह की मस्तिष्क कोशिकाएं और मानचित्र होते हैं?"
इस उत्तर को खोजने के लिए, शोधकर्ता दो मुख्य उपकरणों का उपयोग करते हैं। पहला, वे एक "डिकोडर" (जिसे लीनियर प्रोबिंग कहा जाता है) का उपयोग करते हैं ताकि यह देख सकें कि क्या वे कंप्यूटर के आंतरिक विद्युत संकेतों को देखकर किसी विशिष्ट विचार, जैसे कि एक संख्या या स्थान, को पढ़ सकते हैं। दूसरा, वे एक "रिमोट कंट्रोल" (जिसे एक्टिवेशन स्टीयरिंग कहा जाता है) का उपयोग करते हैं ताकि कंप्यूटर को एक विशिष्ट संकेत के साथ छेड़छाड़ करके यह देख सकें कि क्या वे इसके व्यवहार को बदलने के लिए मजबूर कर सकते हैं, जैसे कि इसे एक समुद्री डाकू की तरह बात करने के लिए प्रेरित करना या एक रोबोट की तरह कम बोलना। बड़ा सवाल यह है कि जैसे-जैसे ये कंप्यूटर मस्तिष्क बड़े और अधिक स्मार्ट होते जाते हैं, क्या वे एक अनुमानित, जादुई तरीके से मानव जैसी विशेषताओं को विकसित करना शुरू कर देते हैं?
यह शोध पत्र उस रोमांचक विचार के लिए एक बड़ी वास्तविकता की जांच (reality check) है। लेखकों की टीम, जो फुदान यूनिवर्सिटी से है, ने इन दावों का ऑडिट करने के लिए 17 अलग-अलग कंप्यूटर मॉडलों का परीक्षण किया, जो पांच अलग-अलग परिवारों से आते हैं, जिनमें 0.6 बिलियन से लेकर 72 बिलियन तक के छोटे और विशाल मॉडल शामिल हैं। उन्होंने मॉडलों के साथ एक लैब प्रयोग की तरह व्यवहार किया, सख्त नियमों के साथ एक ही परीक्षण को बार-बार चलाया ताकि यह देखा जा सके कि परिणाम वास्तविक हैं या केवल एक माप संबंधी त्रुटि (measurement artifact)।
यहाँ मोड़ आता है: यह शोध पत्र पाता है कि AI मस्तिष्क के बारे में कई "शानदार खोजें" वास्तव में माप संबंधी समस्याओं के कारण पैदा हुए भ्रम हैं।
वह "जादू" जो जादू नहीं था
एक लोकप्रिय विचार यह था कि जैसे-जैसे AI मॉडल बड़े होते हैं, उनकी "स्टीयरिंग" (एक रिमोट सिग्नल के साथ नियंत्रित होने) की क्षमता जादुई रूप से प्रकट होती है और मजबूत होती जाती है, जैसे कि कोई सुपरपावर जो कहीं से भी अचानक उभर आती है। यह पेपर दिखाता है कि यह एक झूठ है। वास्तव में, जिन शोधकर्ताओं ने यह खोजा था, वे एक "रॉ" (raw) माप का उपयोग कर रहे थे जिसने इस तथ्य को ध्यान में नहीं रखा कि बड़े मॉडलों के आंतरिक विद्युत संकेत बहुत अधिक शक्तिशाली होते हैं। यह एक खिलौना कार और एक असली ट्रक दोनों को धकेलने की ताकत को मापने जैसा है, लेकिन दोनों के लिए समान बल का उपयोग करना। खिलौना कार कमरे के पार उड़ जाती है, जबकि ट्रक मुश्किल से हिलता है। यदि आप वाहन के आकार के अनुसार समायोजन नहीं करते हैं, तो आप सोच सकते हैं कि खिलौना कार अधिक शक्तिशाली है!
जब लेखकों ने "सेब से सेब" की तुलना करने के लिए अपने मापने वाले फीते को ठीक किया (मॉडल के आकार के सापेक्ष बल को सामान्यीकृत करके) और यादृच्छिक सेटिंग्स चुनना बंद कर दिया, तो वह "जादुजी उद्भव" (magic emergence) गायब हो गया। स्टीयरिंग क्षमता पहले से ही मौजूद थी, यहाँ तक कि छोटे मॉडलों में भी, लेकिन जैसे-जैसे मॉडल बढ़े, यह महत्वपूर्ण रूप से मजबूत नहीं हुई। वह "सुपरपावर" केवल एक माप त्रुटि थी।
आकार बदलने वाले नंबर न्यूरॉन्स
एक अन्य दावा यह था कि AI मॉडलों में "नंबर न्यूरॉन्स" होते हैं जो मानव मस्तिष्क की तरह बेल कर्व (एक विशिष्ट आकार जो बीच में चरम पर होता है) की तरह दिखते हैं। पेपर ने पाया कि यह आकार पूरी तरह से इस बात पर निर्भर करता है कि आप किन न्यूरॉन्स को देखने के लिए चुनते हैं। यदि आप एक सरल नियम के आधार पर न्यूरॉन्स चुनते हैं, तो आप केवल "मोनोटोनिक" न्यूरॉन्स (जो केवल ऊपर या नीचे जाते हैं) देखते हैं। लेकिन यदि आप एक स्मार्ट, आकार-निरपेक्ष (shape-agnostic) नियम का उपयोग करते हैं, तो आप लगभग हर मॉडल में बेल-आकार के न्यूरॉन्स पाते हैं। इसलिए, न्यूरॉन्स वहाँ हैं, लेकिन उन्हें खोजने का "नियम" पिछले अध्ययनों में पक्षपाती था, जिसने सच्चाई को छिपा दिया।
वह मानचित्र जो वास्तव में काम करता है
सब कुछ धोखा नहीं था। पेपर ने पाया कि एक चीज़ पूरी तरह से ठोस है: एक "लीनियर वर्ल्ड मैप"। ठीक वैसे ही जैसे मनुष्यों के पास भूगोल का एक मानसिक मानचित्र होता है, ये AI मॉडल लगातार शहरों के अक्षांश (latitude) और देशांतर (longitude) को एक सीधी, पठनीय रेखा में एनकोड करते हैं। यह परीक्षण किए गए प्रत्येक मॉडल के लिए सत्य था, सबसे छोटे 0.6B से लेकर विशाल 72B तक। क्योंकि इस परीक्षण में मॉडल को छेड़ना या विशिष्ट न्यूरॉन्स चुनना शामिल नहीं था, इसलिए यह माप के धोखों से प्रभावित नहीं हुआ। यह एक वास्तविक विशेषता है जो सभी नियंत्रणों के बीच जीवित रहती है।
भाषा का रहस्य
अंत में, टीम ने यह देखा कि क्या मॉडलों में चीनी भाषा को अंग्रेजी से अलग तरीके से संभालने के लिए विशिष्ट "भाषा कोशिकाएं" हैं। परिणाम काफी उलझे हुए थे। हालांकि वे यह पा सकते थे कि मॉडल भाषा के प्रति संवेदनशील हैं, लेकिन प्रभाव की दिशा (कौन सी भाषा अधिक प्रभावी है) इस बात पर बदल जाती थी कि वे न्यूरॉन्स को खोजने के लिए किस गणितीय पद्धति का उपयोग करते हैं। यह सुझाव देता है कि जबकि मॉडलों में भाषा-विशिष्ट भाग होते हैं, हम अभी तक इस पर सहमत नहीं हो सकते हैं कि वे वास्तव में कैसे व्यवस्थित हैं या वे कितने मजबूत हैं।
बड़ी सीख
पेपर निष्कर्ष निकालता है कि AI न्यूरोसाइंस के साथ समस्या यह नहीं है कि हम कंप्यूटर और मस्तिष्क के बीच शानदार समानताएं नहीं खोज रहे हैं; बल्कि यह है कि हम पर्याप्त रूप से कठोर (rigorous) नहीं रहे हैं। लेखक तर्क देते हैं कि सख्त नियंत्रणों के बिना—जैसे कि सभी मॉडलों के लिए समान माप इकाइयों का उपयोग करना और उस डेटा पर परीक्षण करना जिसे मॉडल ने पहले नहीं देखा है—हम आसानी से ऐसी "स्केलिंग लॉज़" या "उभरती क्षमताओं" का आविष्कार कर सकते हैं जो वास्तविक नहीं हैं।
संक्षेप में: दुनिया का मानचित्र वास्तविक है, नंबर न्यूरॉन्स मौजूद हैं लेकिन वे हमारी सोच से अलग दिखते हैं, और "स्टीयरिंग सुपरपावर" केवल एक माप संबंधी गड़बड़ी है। लेखकों ने अपना सख्त परीक्षण प्रोटोकॉल, उपकरण और कोड जारी कर दिया है ताकि भविष्य के वैज्ञानिक अनुमान लगाना बंद कर सकें और वास्तविक न्यूरोसाइंस की तरह सटीकता के साथ मापन शुरू कर सकें। क्षेत्र टूटा नहीं है; इसे बस बेहतर पैमाने (rulers) की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।