Causal Structure is Inducible but Functionally Decoupled: The Routing/Readout Boundary of a Typed Mechanism Library

AI का छिपा हुआ स्विचबोर्ड

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, अति-बुद्धिमान रोबोट कैसे सोचता है। लंबे समय से, वैज्ञानिक एक सरल विचार के तहत काम कर रहे हैं जिसे "सर्किट-बोर्ड अंतर्ज्ञान" (circuit-board intuition) कहा जाता है। एक रोबोट के मस्तिष्क को एक विशाल, जटिल सर्किट बोर्ड की तरह समझें। यदि आप उस बोर्ड पर एक विशिष्ट तार या एक छोटा सा स्विच ढूंढ लेते हैं, तो तर्क यह कहता है कि यदि आप उस स्विच को घुमाते हैं, तो रोबोट का व्यवहार तुरंत बदल जाना चाहिए। यदि स्विच "सच बोलने" के लिए है, तो उसे घुमाने से रोबोट झूठ बोलना चाहिए। यह विचार इस शोध की नींव है कि AI कैसे काम करता है और हम इसकी यादों को कैसे ठीक या संपादित (edit) कर सकते हैं।

लेकिन क्या होगा यदि रोबोट का मस्तिष्क सर्किट बोर्ड है ही नहीं? क्या होगा यदि यह एक व्यस्त पुस्तकालय (library) की तरह है? इस पुस्तकालय में, हजारों किताबें (AI का ज्ञान) हैं और एक बहुत ही व्यवस्थित फाइलिंग सिस्टम (AI की आंतरिक संरचना) है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या फाइलिंग सिस्टम वास्तव में उन उत्तरों को संचालित करता है जो रोबोट देता है, या यह केवल एक शानदार इंडेक्स है जो रोबोट को सही किताब खोजने में मदद करता है बिना किताब की सामग्री को वास्तव में लिखे? यदि फाइलिंग सिस्टम केवल एक इंडेक्स है, तो इंडेक्स कार्ड को बदलकर रोबोट को "संपादित" करने की कोशिश करने से रोबोट के वास्तविक उत्तर में बदलाव नहीं आ सकता है। यह शोध पत्र उस प्रश्न की गहराई में जाता है, यह परीक्षण करता है कि क्या हम वास्तव में इसकी आंतरिक संरचना में बदलाव करके AI को नियंत्रित कर सकते हैं, या क्या वह संरचना केवल एक मूक दर्शक है।

वह पुस्तकालय जो व्यवस्थित करता है लेकिन बोलता नहीं है

शोधकर्ताओं ने इस परीक्षण के लिए एक विशेष प्रकार का AI मॉडल बनाया। उन्होंने मॉडल को एक "टाइप्ड मैकेनिज्म लाइब्रेरी" दी, जो 600 विशिष्ट, लेबल वाले दराजों (या स्लॉट्स) के एक सेट की तरह है जहाँ AI विशिष्ट प्रकार के तथ्यों को संग्रहीत कर सकता है, जैसे कि "कौन किससे संबंधित है" या "चिन्हों का क्या अर्थ है।" उन्होंने AI को एक "गेटिंग हेड" (gating head) का उपयोग करने के लिए प्रशिक्षित किया, जो एक लाइब्रेरियन की तरह कार्य करता है। जब AI को कोई प्रश्न मिलता है, तो लाइब्रेरियन आवश्यक साक्ष्य के प्रकार की जाँच करता है और प्रश्न को सही दराज तक भेज देता है।

टीम दो चीजें देखना चाहती थी: पहला, क्या AI वास्तव में इन दराजों को जानकारी के प्रकार के आधार पर व्यवस्थित करना सीखता है, या यह संयोग से हो जाता है? दूसरा, एक बार जब AI ने इन द berhasil दराजों को व्यवस्थित कर लिया, तो क्या दराज की सामग्री को बदलने से वास्तव में AI द्वारा दिए गए उत्तर में बदलाव आता है?

संगठन वास्तविक है, लेकिन यह बॉस नहीं है
अध्ययन में पाया गया कि यदि AI को सिखाया जाए, तो वह अपने दराजों को पूरी तरह से व्यवस्थित करना सीख जाता है। यदि आप AI को कहते हैं, "सभी 'संबंध' वाले तथ्यों को दराज A में रखें," तो वह बिल्कुल वैसा ही करता है। यह संगठन संयोग से नहीं हुआ था; इसे विशिष्ट प्रशिक्षण संकेतों द्वारा प्रेरित किया गया था। हालाँकि, यहाँ एक आश्चर्यजनक मोड़ है: भले ही AI के पास यह पूर्ण, व्यवस्थित पुस्तकालय है, पुस्तकालय को बदलने से उत्तर नहीं बदलता है।

शोधकर्ताओं ने लाइब्रेरी के 150 अलग-अलग संपादन किए। उन्होंने संकेतों को पलटा, किनारों (edges) को जोड़ा और दराजों में जानकारी को बदला। परिणाम? AI का अंतिम उत्तर लगभग कुछ भी नहीं बदला—विशेष रूप से, 0.00000034 (या 3.4 × 10⁻⁶) से भी कम। इसे समझने के लिए, यदि उत्तर 1 से 10 के पैमाने पर एक संख्या होती, तो परिवर्तन इतना छोटा था कि वह व्यावहारिक रूप से अदृश्य था। "लाइब्रेरियन" (रूटिंग सिस्टम) अपना काम पूरी तरह से कर रहा था, लेकिन "लेखक" (वह हिस्सा जो उत्तर उत्पन्न करता है) लाइब्रेरी के परिवर्तनों को अनदेखा कर रहा था। लाइब्रेरी एक रूटिंग इंडेक्स के रूप में कार्य करती है, जो AI को बताती है कि कहाँ देखना है, लेकिन यह उत्तर को पढ़ने से कार्यात्मक रूप से अलग (functionally decoupled) है।

"मूविंग नल" (Moving Null) और स्केल की समस्या
इस शोध पत्र ने AI के परीक्षण करने के तरीके में एक पेचीदा समस्या भी उजागर की। शोधकर्ताओं ने पाया कि AI खुद को कैसे व्यवस्थित करता है, उसका "बेसलाइन" या "शून्य बिंदु" AI के बड़े होने के साथ बदल जाता है। उन्होंने दो आकारों में AI का परीक्षण किया: एक छोटा संस्करण जिसमें 22.6 मिलियन पैरामीटर थे और एक बड़ा संस्करण जिसमें 125 मिलियन पैरामीटर थे।

छोटे आकार में, वह AI जिसे अपने दराजों को व्यवस्थित करने के लिए नहीं सिखाया गया था (अनसुपरवाइज्ड कंट्रोल), उसमें कोई संगठन नहीं था। लेकिन बड़े आकार में, उसी अनप्रशिक्षित AI ने अपने आप में थोड़ा संगठन दिखाना शुरू कर दिया। इसका मतलब है कि "खाली" बेसलाइन हर आकार के AI के लिए समान नहीं है। यदि आप एक छोटे AI की तुलना एक बड़े AI से पुराने नियमों का उपयोग करके करते हैं, तो आप भ्रमित हो सकते हैं क्योंकि नियम स्वयं बदल गए हैं। लेखक इसे "मूविंग नल" (moving null) कहते हैं। इसे ठीक करने के लिए, उन्होंने एक नया, अधिक सख्त परीक्षण तरीका बनाया जो प्रशिक्षित AI की सीधे उसी आकार के एक नए, अनप्रशिक्षित AI के साथ तुलना करता है, जिससे यह सुनिश्चित होता है कि तुलना निष्पक्ष है।

शून्य लागत और पूर्ण प्रतिवर्तीता (Perfect Reversibility)
इस अजीब अलगाव के बावजूद, यह प्रणाली अविश्वसनीय रूप से अच्छी तरह से काम करती है। इस लाइब्रेरी को जोड़ने से AI की सामान्य बुद्धिमत्ता के संदर्भ में कुछ भी खर्च नहीं हुआ; प्रदर्शन में अंतर 0.0082 नैट्स (nats) (सूचना की एक छोटी इकाई) से भी कम था, जो प्रभावी रूप से शून्य है। इसके अलावा, लाइब्रेरी को संपादित करना पूरी तरह से सुरक्षित है। शोधकर्ता बदलाव कर सकते थे और फिर उन्हें वापस पूर्ववत (undo) कर सकते थे, जिसका अर्थ है बिट-एक्सैक्ट रिवर्सिबिलिटी (bit-exact reversibility), यानी AI अपनी सटीक मूल स्थिति में वापस आ गया, न कि केवल एक "लगभग वैसी ही" स्थिति में। उन्होंने इसे 250 एकल संपादन और तीन अलग-अलग प्रशिक्षण रन में 1,000 स्टैक्ड रिवर्ट्स के साथ परीक्षण किया, और यह हर बार बिना किसी विफलता के पूरी तरह से काम कर गया।

भविष्य के लिए इसका क्या अर्थ है

मुख्य निष्कर्ष उन लोगों के लिए एक विनम्र सबक है जो केवल इसके आंतरिक भागों को संपादित करके AI को "ठीक" करने की आशा कर रहे हैं। शोध पत्र सुझाव देता है कि इस प्रकार की स्पष्ट संरचना के लिए "सर्किट-बोर्ड अंतर्ज्ञान" गलत है। केवल इसलिए कि आप एक स्विच देख सकते हैं और उसे घुमा सकते हैं, इसका मतलब यह नहीं है कि मशीन प्रतिक्रिया देगी। इस विशिष्ट सेटअप में, AI की आंतरिक संरचना एक टाइप्ड रूटिंग इंडेक्स है जो मॉडल को जानकारी खोजने में मदद करती है, लेकिन यह वह इंजन नहीं है जो अंतिम आउटपुट को संचालित करता है।

लेखक इस बात का दावा करने में बहुत सावधान हैं कि उन्होंने AI के व्यवहार को संपादित करने की समस्या को हल कर लिया है। वास्तव में, उनके परिणाम दिखाते हैं कि इस विशिष्ट आर्किटेक्चर के लिए, संरचनात्मक संपादन व्यवहारिक परिवर्तनों की ओर नहीं ले जाते हैं। "लाइब्रेरी" एक अवस्था (state) के रूप में परिवर्तनीय है (आप दराज में कार्ड बदल सकते हैं), लेकिन यह व्यवहारिक रूप से परिवर्तनीय (behaviorally editable) नहीं है (कार्ड बदलने से वह कहानी नहीं बदलती जो रोबोट सुनाता है)। यह माप, पुनरुत्पादन और विभिन्न पैमानों पर स्थिर है, जो इन प्रणालियों में हम क्या नियंत्रित कर सकते हैं और क्या नहीं, उसके लिए एक सटीक सीमा प्रदान करता है। यह एक अनुस्मारक है कि AI की जटिल दुनिया में, संरचना को देखना उसके परिणाम को नियंत्रित करने के समान नहीं है।