तकनीकी सारांश: भाषा मॉडल सर्किट की निरंतरता और विशिष्टता का मापन

समस्या विवरण

मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) का क्षेत्र न्यूरल नेटवर्क को रिवर्स-इंजीनियर करने का लक्ष्य रखता है, जिससे "सर्किट्स" (circuits) की पहचान की जा सके: मॉडल के घटकों (आमतौर पर अटेंशन हेड्स और MLP लेयर्स) के विरल सबग्राफ (sparse subgraphs) जो विशिष्ट व्यवहारों के लिए रूप से जिम्मेदार होते हैं। जबकि मौजूदा कार्यों ने इन सर्किट्स को निकालने और उनकी आवश्यकता (सर्किट हटाने से प्रदर्शन कम हो जाता है) और पर्याप्तता (सर्किट अकेले व्यवहार को पुनरुत्पादित करता है) का मूल्यांकन करने के तरीके स्थापित किए हैं, दो महत्वपूर्ण गुण अभी भी अनछुए रहे हैं: निरंतरता (consistency) और विशिष्टता (specificity)।

• निरंतरता (Consistency): यदि कोई सर्किट किसी कार्य के लिए मॉडल के एल्गोरिदम को वास्तव में कैप्चर करता है, तो उसी कार्य के विभिन्न इनपुट उदाहरणों में समान घटक पुनरावृत्त होने चाहिए। निरंतरता के बिना, एक सर्किट किसी विशिष्ट इनपुट का आर्टिफैक्ट (artifact) हो सकता है न कि एक सामान्यीकरण योग्य तंत्र (generalizable mechanism)।
• विशिष्टता (Specificity): किसी कार्य का सर्किट असंबंधित कार्यों के सर्किट्स से सार्थक रूप से भिन्न होना चाहिए। विशिष्टता के बिना, एक सर्किट का उपयोग विशिष्ट कार्य-आधारित व्यवहार को समझने या उसमें हस्तक्षेप करने के लिए नहीं किया जा सकता है, क्योंकि यह केवल सामान्य-उद्देश्य वाले मॉडल इंफ्रास्ट्रक्चर को दर्शा सकता है।

यह शोध पत्र जांच करता है कि क्या अटेंशन हेड्स और MLP लेयर्स के स्तर पर खोजे गए सर्किट विभिन्न कार्यों और मॉडल परिवारों में इन गुणों को प्रदर्शित करते हैं।

कार्यप्रणाली

प्रयोगात्मक सेटअप

लेखकों ने एल्गोरिद्मिक तर्क (Addition, Boolean Logic), सूचना पुनर्प्राप्ति (Indirect Object Identification [IOI], CopyColors MCQA), और ज्ञान-गहन बेंचमार्क (ARC Easy, ARC Challenge) को कवर करने वाले छह कार्यों का मूल्यांकन किया। इनका परीक्षण चार आर्किटेक्चर परिवारों से सात मॉडलों में किया गया: Gemma 2 (2B, 2B IT), Llama 3.2 (3B, 3B Instruct), Qwen3 (4B, 8B), और OLMo-2 (1B, प्रीट्रेनिंग डायनेमिक्स के लिए उपयोग किया गया)।

सर्किट निष्कर्षण (Circuit Extraction)

अध्ययन ने प्रति-उदाहरण सर्किट निकालने के लिए एज एट्रिब्यूशन पैचिंग (Edge Attribution-Patching - EAP) का उपयोग किया। EAP ग्रेडिएंट जानकारी का उपयोग करके कॉज़ल प्रभावों (causal effects) का अनुमान लगाता है, जो घटकों को उनके एब्सोल्यूट एट्रिब्यूशन स्कोर के आधार पर रैंक करता है। प्रत्येक कार्य के लिए, $n=1000$ उदाहरणों के लिए सर्किट निकाले गए, जिसमें शीर्ष घटकों के 1% से 30% तक के सर्किट आकार ($K$) को स्वीप किया गया।

मूल्यांकन मेट्रिक्स

1. निरंतरता (Reuse): लेखकों ने एक "साझा घटक सेट" ($S_P$) को परिभाषित किया जिसमें वे घटक शामिल हैं जो प्रति-उदाहरण सर्किट के कम से कम एक अंश $P$ में दिखाई देते हैं। उन्होंने reuse@P को मापा, जो इस साझा सेट द्वारा कवर किए गए प्रति-उदाहरण सर्किट का अनुपात है।
2. आवश्यकता (Necessity): साझा घटकों के कॉज़ल रूप से महत्वपूर्ण होने की पुष्टि करने के लिए, लेखकों ने साझा सेट ($S_P$) पर एब्लेशन (एक्टिवेशन्स को शून्य करना) किया। उन्होंने एक कैपेसिटी-कंजर्व्ड कंट्रोल (C3) के विरुद्ध सटीकता में गिरावट की तुलना की, जहाँ समान आकार के घटकों के यादृच्छिक (random) उपसमुच्चय को एब्लेट किया गया था। एक सकारात्मक आवश्यकता स्कोर इंगित करता है कि साझा सेट केवल क्षमता में कमी के अलावा कार्यात्मक रूप से महत्वपूर्ण है।
3. विशिष्टता (Cross-Task Overlap):
   • क्रॉस-टास्क एब्लेशन: लेखकों ने कार्य A के साझा सर्किट को एब्लेट किया और कार्य B पर प्रदर्शन को मापा। यदि सर्किट विशिष्ट हैं, तो कार्य A के सर्किट को एब्लेट करने से कार्य B की तुलना में कार्य A पर अधिक प्रभाव पड़ना चाहिए।
   • डिकंपोजिशन (Decomposition): कार्यों के जोड़ों के लिए, सर्किट को तीन विलगित (disjoint) सेटों में विभाजित किया गया: साझा कोर ($C_A \cap C_B$), कार्य-विशिष्ट ($C_A \setminus C_B$), और पूरक ($C_B \setminus C_A$)। प्रत्येक सेट को लक्षित कार्य बनाम अन्य कार्यों पर इसके कॉज़ल प्रभाव को मापने के लिए स्वतंत्र रूप से एब्लेट किया गया।

मुख्य परिणाम

1. सर्किट एक कार्य के भीतर निरंतर (Consistent) होते हैं

सभी मॉडलों और कार्यों में, प्रति-उदाहरण सर्किट का एक बड़ा हिस्सा घटकों के साझा सेट से लिया जाता है।

• उच्च पुन: उपयोग (High Reuse): $K=10\%$ पर, अधिकांश कार्य-मॉडल संयोजनों में reuse दर 40% से 70% के बीच रही। उदाहरण के लिए, Llama और Qwen मॉडलों में, किसी भी व्यक्तिगत उदाहरण के सर्किट का लगभग आधा या उससे अधिक हिस्सा उन घटकों से बना था जो लगभग हर उदाहरण में साझा थे।
• कॉज़ल महत्व: साझा घटकों को एब्लेट करने से यादृच्छिक नियंत्रण की तुलना में सटीकता में बहुत अधिक गिरावट आई। उदाहरण के लिए, Addition कार्यों में, साझा सेट को हटाने से यादृच्छिक नियंत्रणों की तुलना में 0.8–1.0 की अतिरिक्त सटीकता गिरावट हुई, जो पुष्टि करता है कि ये घटक कार्यात्मक रूप से आवश्यक हैं।
• प्रशिक्षण गतिशीलता (Training Dynamics): OLMo-2-1B में, निरंतरता प्रीट्रेनिंग के शुरुआती चरणों में उभरी (76B टोकन के आसपास चरम पर), लेकिन बाद के चरणों में कम हो गई। हालांकि, आवश्यकता (कॉज़ल महत्व) केवल एनील चरण (anneal phase) के दौरान स्पष्ट रूप से मापने योग्य हुई जब बेसलाइन सटीकता में सुधार हुआ।

2. सर्किट कार्यों के बीच विशिष्ट (Specific) नहीं होते हैं

इस अपेक्षा के विपरीत कि विभिन्न कार्य अलग-अलग तंत्रों पर निर्भर करते हैं, अध्ययन में असंबंधित कार्यों के सर्किट्स के बीच व्यापक ओवरलैप पाया गया।

• अस्पष्ट प्रदर्शन गिरावट: कार्य A के सर्किट को एब्लेट करने और कार्य B पर मूल्यांकन करने पर, प्रदर्शन में गिरावट कार्य B के अपने सर्किट को एब्लेट करने के तुलनीय थी। उदाहरण के लिए, Llama-3.2-3B में, Addition सर्किट को हटाने से Addition पर 99% की गिरावट आई, और अन्य कार्यों के सर्किट्स को हटाने से भी Addition पर औसतन 99% की गिरावट आई।
• उच्च ओवरलैप: $K=10\%$ पर, कार्य युग्मों के सर्किट्स के बीच जेकार्ड ओवरलैप (Jaccard overlap) 0.46 से 0.89 के बीच था, जो यादृच्छिक सर्किट्स के लिए अपेक्षित ~5% से कहीं अधिक है। यह ओवरलैप मुख्य रूप से MLP लेयर्स द्वारा संचालित था, जो छोटे सर्किट्स ($K \le 10\%$) में हावी थे और साझा कोर का अधिकांश हिस्सा थे।
• कार्य-विशिष्ट घटक मौजूद हैं लेकिन गौण हैं: हालांकि एक छोटा कार्य-विशिष्ट घटकों का सेट पहचाना गया (जो $K=10\%$ पर सर्किट का 15–30% हिस्सा था), उन्हें हटाने से साझा कोर को हटाने के विशाल प्रभाव की तुलना में केवल मामूली अतिरिक्त क्षति हुई। साझा कोर ने प्रदर्शन के बड़े हिस्से को प्रभावित किया।

3. संरचना और सूक्ष्मता (Composition and Granularity)

• MLP का प्रभुत्व: छोटे सर्किट आकार पर, सर्किट लगभग पूरी तरह से MLP लेयर्स से बने होते हैं (जैसे, Gemma 2 2B-IT में $K \le 10\%$ पर 95–100%)। जैसे-जैसे सर्किट का आकार बढ़ता है ($K \ge 20\%$), अटेंशन हेड्स अधिक प्रचलित होते जाते हैं।
• लेयर वितरण: Llama और Qwen परिवारों में, छोटे सर्किट शुरुआती लेयर्स में केंद्रित होते हैं, जबकि Gemma मॉडलों ने अधिक कार्य-निर्भर भिन्नता दिखाई।

महत्व और दावे

यह शोध पत्र तर्क देता है कि अटेंशन हेड्स और MLP लेयर्स के स्तर की सूक्ष्मता पर, सर्किट डिस्कवरी यह पहचानने में प्रभावी है कि कौन से घटक महत्वपूर्ण हैं (निरंतरता), लेकिन यह इस मामले में विफल रहती है कि मॉडल किसी अन्य कार्य से अलग एक विशिष्ट कार्य कैसे करता है (विशिष्टता)।

• सामान्य इंफ्रास्ट्रक्चर बनाम कार्य तंत्र: निष्कर्ष बताते हैं कि खोजे गए सर्किट मुख्य रूप से सामान्य-उद्देश्य वाले मॉडल इंफ्रास्ट्रक्चर (विशेष रूप से साझा MLP लेयर्स) की पहचान करते हैं, न कि कार्य-विशिष्ट एल्गोरिदम की। उच्च ओवरलैप इस तथ्य से समझाया गया है कि ये लेयर्स मौलिक संचालन (जैसे, पैरामीट्रिक ज्ञान को स्टोर करना, टोकन को मैप करना) करती हैं जिस पर सभी डाउनस्ट्रीम कार्य निर्भर करते हैं।
• व्याख्यात्मकता (Interpretability) के निहितार्थ: विशिष्टता की कमी लक्षित समझ या हस्तक्षेप के लिए वर्तमान सर्किट डिस्कवरी विधियों की उपयोगिता पर सवाल उठाती है। यदि कार्य A के लिए एक "सर्किट" काफी हद तक कार्य B के सर्किट के समान है, तो इसे पहचानने से कार्य A पर उसके विशिष्ट व्यवहार के बजाय उसके सामान्य कामकाज के बारे में अधिक पता चलता है।
• भविष्य की दिशाएं: लेखक सुझाव देते हैं कि कार्य-विशिष्ट संरचना को पुनः प्राप्त करने के लिए निम्नलिखित की आवश्यकता हो सकती है:
  1. अधिक सूक्ष्म विश्लेषण इकाइयाँ: पॉलीसेमैटिक (polysemantic) घटकों को अलग करने के लिए MLP लेयर्स से आगे बढ़कर स्पार्स फीचर सर्किट्स (जैसे, स्पार्स ऑटोएनकोडर्स का उपयोग करके) की ओर बढ़ना।
  2. विभेदक एट्रिब्यूशन (Contrastive attribution): अन्य कार्यों के सापेक्ष एक कार्य के लिए उच्च एट्रिब्यूशन वाले घटकों की पहचान करना, न कि पूर्ण (absolute) संदर्भ में।

शोध पत्र निष्कर्ष निकालता है कि हालांकि सर्किट्स का साझा कोर अध्ययन का एक सार्थक विषय है (संभावित रूप से सामान्यीकरण और इन-कॉन्टेक्स्ट लर्निंग को संचालित करता है), घटक स्तर पर कार्य-स्तरीय मॉड्यूलरिटी की धारणा वर्तमान साक्ष्यों द्वारा काफी हद तक समर्थित नहीं है।