Architecture, Not Scale: Circuit Localization in Large Language Models
यह शोध पत्र इस धारणा को चुनौती देता है कि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) स्वाभाविक रूप से मॉडल के पैमाने के साथ खराब होती है, बल्कि यह प्रदर्शित करता है कि ग्रुपेड क्वेरी अटेंशन (grouped query attention) जैसे आर्किटेक्चरल विकल्प और विशिष्ट स्केलिंग थ्रेशोल्ड (scaling thresholds), बड़े भाषा मॉडलों में अधिक केंद्रित और स्थिर सर्किट लोकलाइजेशन (circuit localization) की ओर ले जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, जटिल मशीन कैसे काम करती है। लंबे समय तक, शोधकर्ताओं का मानना था कि जैसे-जैसे ये मशीनें (लार्ज लैंग्वेज मॉडल्स) बड़ी और अधिक शक्तिशाली होती जाएंगी, उन्हें अलग करना और समझना असंभव हो जाएगा। सोच यह थी: "मशीन जितनी बड़ी होगी, उसकी वायरिंग उतनी ही उलझी हुई और अस्त-व्यस्त होती जाएगी।"
यह पेपर इस विचार को चुनौती देता है। यह सुझाव देता है कि मशीन कितनी बड़ी है, उससे कहीं अधिक महत्वपूर्ण यह है कि उसे बनाया कैसे गया है।
यहाँ शोधकर्ताओं ने जो पाया है उसका एक सरल विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. मशीनों के दो प्रकार
शोधकर्ताओं ने दो अलग-अलग प्रकार के AI मॉडल्स की तुलना की:
- "स्टैंडर्ड" टीम (Pythia): ये मॉडल्स मल्टी-हेड अटेंशन (MHA) नामक एक डिज़ाइन का उपयोग करते हैं। कल्पना कीजिए कि यह एक बड़ा कार्यालय है जहाँ प्रत्येक कर्मचारी (हेड) के पास अपना स्वतंत्र फोन लाइन और अपनी विशिष्ट फाइल कैबिनेट है। वे सब मिलकर काम करते हैं, लेकिन वे वास्तव में संसाधन साझा नहीं करते हैं।
- "ग्रुपेड" टीम (Qwen2.5): ये मॉडल्स ग्रुपेड क्वेरी अटेंशन (GQA) नामक एक डिज़ाइन का उपयोग करते हैं। कल्पना कीजिए कि यह एक आधुनिक कार्यालय है जहाँ कर्मचारियों को छोटी टीमों में व्यवस्थित किया गया है। कई कर्मचारी एक ही फोन लाइन और एक ही फाइल कैबिनेट साझा करते हैं। उन्हें बारीकी से सहयोग करने के लिए मजबूर किया जाता है क्योंकि वे वास्तव में एक ही उपकरणों को साझा करते हैं।
2. प्रयोग: "सीक्रेट स्विच" खोजना
शोधकर्ता यह देखना चाहते थे कि क्या वे इन मॉडल्स के भीतर उन विशिष्ट "स्विचों" (सर्किट्स) को ढूंढ सकते हैं जो उन्हें विशिष्ट कार्य करने में सक्षम बनाते हैं, जैसे कि:
- इनडायरेक्ट ऑब्जेक्ट आइडेंटिफिकेशन (Indirect Object Identification): यह पता लगाना कि वाक्य में किसे कोई वस्तु प्राप्त हुई (जैसे, "जॉन ने मैरी को एक आम दिया")।
- इंडक्शन (Induction): पैटर्न पहचानना (जैसे, यदि आप "A, B, A" देखते हैं, तो अगले अक्षर की भविष्यवाणी "B" करना)।
- फैक्टुअल रिकॉल (Factual Recall): तथ्यों को याद रखना (जैसे, "फ्रांस की राजधानी... है")।
उन्होंने छोटे से लेकर बहुत बड़े आकार के विभिन्न मॉडल्स का परीक्षण किया।
3. बड़ी खोज: आकार मायने नहीं रखता, डिज़ाइन मायने रखता है
सामान्य धारणा यह थी कि बड़े मॉडल्स में उनके "स्विच" सैकड़ों कर्मचारियों में फैले होंगे, जिससे उन्हें अलग करना असंभव हो जाएगा।
उन्होंने वास्तव में क्या पाया:
- "स्टैंडर्ड" टीम (MHA): मॉडल चाहे कितना भी बड़ा क्यों न हो जाए, उसके "स्कीच" (स्विच) अस्त-व्यस्त और फैले हुए थे। किसी कार्य को रोकने के लिए, आपको अक्सर दर्जनों या सैकड़ों जगहों पर तार काटने पड़ते थे। यह एक बड़े स्टेडियम में संगीत को रोकने के लिए रैंडम स्पीकर को अनप्लग करने जैसा था; संगीत को शांत करने के लिए आपको लगभग सभी को अनप्लग करना पड़ता।
- "ग्रुपेड" टीम (GQA): ये मॉडल्स आश्चर्यजनक रूप से व्यवस्थित थे। भले ही वे बहुत बड़े (अरबों पैरामीटर्स) हों, उनके "स्विच" केवल एक या दो स्थानों पर केंद्रित थे।
- उपमा: GQA मॉडल्स में, क्योंकि कर्मचारी एक ही फाइल कैबिनेट (KV हेड) साझा करते हैं, यदि आप उस एक फाइल कैबिनेट को बाहर निकाल देते हैं, तो पूरी टीम काम करना बंद कर देती है। "स्विच" एक एकल, महत्वपूर्ण बाधा (bottleneck) है।
4. स्थिरता: "रॉक सॉलिड" बनाम "शिफ्टी"
शोधकर्ताओं ने यह भी देखा कि ये स्विच कितने विश्वसनीय थे:
- "स्टैंडर्ड" टीम: कार्य कितना कठिन है, इसके आधार पर उनके "स्विच" इधर-उधर घूमते थे। यदि वाक्य आसान था, तो कर्मचारियों का एक सेट काम करता था। यदि कठिन था, तो दूसरा सेट कार्यभार संभाल लेता था। यह निगरानी करना या भविष्यवाणी करना कठिन बनाता है कि मॉडल क्या कर रहा है।
- "ग्रुपेड" टीम: "स्विच" कार्य कितना भी कठिन हो, ठीक उसी स्थान पर बना रहता था। यह "मैकेनिस्टिकली स्टेबल" (यांत्रिक रूप से स्थिर) था। यह एक ऐसे अविचल मास्टर स्विच की तरह है जो पार्टी के लिए लाइट जलाने या सिर्फ किताब पढ़ने के लिए, दोनों ही स्थितियों में रोशनी को नियंत्रित करता है।
5. "फेज़ ट्रांज़िशन" का आश्चर्य
ग्रुपेड टीम के साथ उन्होंने एक और दिलचस्प खोज की। जब उन्होंने विभिन्न आकारों के मॉडल्स को देखा, तो उन्हें एक "टिपिंग पॉइंट" (मोड़) मिला।
- सबसे छोटा ग्रुपेड मॉडल थोड़ा अस्त-व्यस्त था (स्टैंडर्ड टीम की तरह)।
- लेकिन जैसे ही मॉडल थोड़ा बड़ा हुआ, वह अचानक एक अत्यधिक केंद्रित अवस्था में बदल गया। "स्विच" एक विशिष्ट स्थान पर चला गया और वहीं रहा। यह एक धीमी, क्रमिक प्रक्रिया नहीं थी; यह एक लाइट स्विच को ऑन करने जैसा था।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि आर्किटेक्चर (ब्लूप्रिंट) स्केल (आकार) से अधिक महत्वपूर्ण है।
सिर्फ इसलिए कि एक मॉडल विशाल है, इसका मतलब यह नहीं है कि वह समझने योग्य नहीं है। यदि इसे "ग्रुपेड" डिज़ाइन (GQA) के साथ बनाया गया है, तो यह वास्तव में "स्टैंडर्ड" डिज़ाइन (MHA) वाले छोटे मॉडल की तुलना में समझने और अलग करने में अधिक आसान है। शोधकर्ता सुझाव देते हैं कि चूंकि वर्तमान में उपयोग किए जाने वाले कई सबसे बड़े, सबसे शक्तिशाली AI मॉडल्स पहले से ही इस "ग्रुपेड" डिज़ाइन का उपयोग करते हैं, इसलिए वे हमारे पिछले अनुमान की तुलना में बहुत अधिक पारदर्शी और अध्ययन करने में आसान हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।