Constructing Interpretable Features from Compositional Neuron Groups

तकनीकी सारांश: कंपोजिशनल न्यूरॉन समूहों से व्याख्या योग्य विशेषताओं का निर्माण

समस्या विवरण
मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) में एक केंद्रीय चुनौती उन विश्लेषण इकाइयों की पहचान करना है जो मॉडल के आउटपुट को कारण सहित (causally) समझा सकें। जबकि शुरुआती शोध व्यक्तिगत न्यूरॉन्स पर केंद्रित था, साक्ष्य बताते हैं कि न्यूरॉन्स अक्सर कई अवधारणाओं को एनकोड करते हैं (पॉलीसेमैटिसिटी/polysemanticity), जो विश्लेषण के लिए सक्रियता स्थान (activation space) में दिशाओं (directions) की ओर बढ़ने के लिए प्रेरित करता है। वर्तमान अनसुपरवाइज्ड दृष्टिकोणों में स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs) का उपयोग किया जाता है जिन्हें रेसिडुअल स्ट्रीम सक्रियणों (residual stream activations) पर प्रशिक्षित किया जाता है ताकि शून्य से फीचर दिशाएं सीखी जा सकें। हालांकि, SAEs की महत्वपूर्ण सीमाएं हैं: वे अक्सर कॉज़ल मूल्यांकन (स्टीयरिंग) में संघर्ष करते हैं, उनमें अंतर्निहित व्याख्यात्मकता की कमी होती है क्योंकि उनके द्वारा सीखी गई विशेषताएं मॉडल की आंतरिक गणनाओं से स्पष्ट रूप से जुड़ी नहीं होती हैं, और उनकी विशेषताएं मॉडल के प्रतिनिधित्व स्थान (representation space) के प्रति प्रतिबंधित नहीं होती हैं। एक ऐसी विधि की आवश्यकता है जो मॉडल के तंत्रों के साथ सीधा कारण संबंध बनाए रखते हुए अनसुपरवाइज्ड तरीके से व्याख्या योग्य विशेषताओं की खोज कर सके।

कार्यप्रणाली
लेखक मल्टी-लेयर परसेप्ट्रॉन (MLP) सक्रियणों को सीधे सेमी-नॉन-नेगेटिव मैट्रिक्स फैक्टराइजेशन (SNMF) का उपयोग करके विघटित करने का प्रस्ताव देते हैं। SAEs के विपरीत, जो नई दिशाएं सीखते हैं, यह विधि विशेषताओं को सह-सक्रिय (co-activated) न्यूरॉन्स के मौजूदा स्पार्स लीनियर कॉम्बिनेशन के रूप में प्रस्तुत करती है।

1. फॉर्मूलेशन: दिए गए मैट्रिक्स $A \in \mathbb{R}^{d_a \times n}$ के लिए (जहाँ $d_a$ आंतरिक आयाम है और $n$ टोकन की संख्या है), यह विधि $A$ को दो मैट्रिसेस में विभाजित करती है:

   • $Z \in \mathbb{R}^{d_a \times k}$: $k$ MLP फीचर्स का एक मैट्रिक्स, जहाँ प्रत्येक कॉलम न्यूरॉन्स के एक स्पार्स लीनियर कॉम्बिनेशन को परिभाषित करता है।
   • $Y \in \mathbb{R}^{k \times n}_{\geq 0}$: एक नॉन-नेगेटिव कोएफिशिएंट मैट्रिक्स जो इनपुट्स को फीचर्स से मैप करता है।
     यह अपघटन $A \approx ZY$ का अनुसरण करता है।

2. व्याख्यात्मकता तंत्र (Interpretability Mechanism):

   • स्पर्सिटी (Sparsity): $Z$ के कॉलम्स को एक हार्ड विनर-टेक-ऑल ऑपरेटर का उपयोग करके स्पार्स होने के लिए बाध्य किया जाता है, जिससे यह सुनिश्चित होता है कि प्रत्येक फीचर केवल न्यूरॉन्स के एक छोटे समूह को सक्रिय करता है।
   • कॉज़ल ग्राउंडिंग (Causal Grounding): नॉन-नेगेटिव मैट्रिक्स $Y$ स्पष्ट रूप से यह एनकोड करता है कि किन टोकन्स ने एक फीचर के निर्माण में योगदान दिया, जिससे उच्च-सक्रिय संदर्भों के आधार पर टेक्स्टुअल कॉन्सेप्ट लेबल का सीधा असाइनमेंट संभव होता है।
   • रेसिडुअल स्ट्रीम से मैपिंग: सक्रियता स्थान में प्रत्येक फीचर वेक्टर $z_i$ को MLP आउटपुट वेट्स ($W_V$) के माध्यम से रेसिडुअल स्ट्रीम में मैप किया जाता है, जो रेसिडुअल स्ट्रीम फीचर $f_i = W_V z_i$ को परिभाषित करता है। यह सुनिश्चित करता है कि फीचर्स मॉडल के वास्तविक कम्प्यूटेशनल पाथवे में ग्राउंडेड हैं।

3. ऑप्टिमाइजेशन: यह विधि $A$ और $ZY$ के बीच फ्रोबेनियस नॉर्म (Frobenius norm) को कम करने के लिए मल्टीप्लिकेटिव अपडेट्स (Ding et al., 2010) का उपयोग करती है, जिसमें $Z$ पर स्पर्सिटी लागू की जाती है।

प्रमुख योगदान

• MLP अपघटन के लिए SNMF: यह पेपर MLP सक्रियणों को सह-सक्रिय न्यूरॉन्स के समूहों द्वारा परिभाषित व्याख्या योग्य फीचर्स में विघटित करने के लिए एक अनसुपरवाइज्ड विधि पेश करता है, न कि शून्य से मनमानी दिशाएं सीखने के लिए।
• बेहतर कॉज़ल स्टीयरिंग (Causal Steering Superiority): लेखक प्रदर्शित करते हैं कि SNMF-व्युत्पन्न फीचर्स कॉज़ल स्टीयरिंग कार्यों में अत्याधुनिक SAEs (GemmaScope, Llamascope) और एक मजबूत सुपरवाइज्ड बेसलाइन (Difference-in-Means) से बेहतर प्रदर्शन करते हैं, जबकि कॉन्सेप्ट डिटेक्शन में तुलनात्मक प्रदर्शन करते हैं।
• पदानुक्रमित संरचना (Hierarchical Composition) का अनावरण: रिकर्सिव SNMF के माध्यम से, लेखक दिखाते हैं कि MLP फीचर्स कंपोजिशनल होते हैं। सूक्ष्म-स्तरीय अवधारणाएं (जैसे विशिष्ट सप्ताह के दिन) साझा "कोर" न्यूरॉन्स को विशिष्ट न्यूरॉन्स के साथ जोड़कर बनाई जाती हैं। यह एक पदानुक्रमित संरचना को प्रकट करता है जहाँ व्यापक अवधारणाएं (जैसे "सप्ताह का दिन") अधिक विशिष्ट उप-अवधारणाओं से मिलकर बनी होती हैं, जो प्रभावी रूप से "फीचर स्प्लिटिंग" घटना को उलट देती है जो अक्सर SAEs में देखी जाती है।
• न्यूरॉन पुन: उपयोग (Neuron Reuse): विश्लेषण पुष्टि करता है कि अर्थ संबंधी रूप से संबंधित फीचर्स एक कोर सेट न्यूरॉन्स को साझा करते हैं, जिसमें विशिष्ट न्यूरॉन्स विशिष्ट उप-अवधारणाओं को बढ़ावा देने या दबाने का नियंत्रण करते हैं।

परिणाम
प्रयोग Llama 3.1-8B, Gemma 2-2B, और GPT-2 Small पर किए गए।

• कॉन्सेप्ट डिटेक्शन: SNMF फीचर्स ने अधिकांश फीचर्स (>75%) के लिए सकारात्मक डिटेक्शन स्कोर प्राप्त किया, जो दर्शाता है कि वे अवधारणा-संबंधी इनपुट्स के लिए सक्रिय होते हैं और न्यूट्रल इनपुट्स के लिए निष्क्रिय रहते हैं। प्रदर्शन SAEs (जो MLP आउटपुट पर प्रशिक्षित हैं) के बराबर या उससे बेहतर रहा।
• कॉसेप्ट स्टीयरिंग: कॉज़ल स्टीयरिंग मूल्यांकन (जो प्रवाह बनाए रखते हुए किसी अवधारणा की ओर मॉडल जनरेशन को मोड़ने की क्षमता को मापता है) में, SNMF ने सभी लेयर्स में लगातार SAEs को पछाड़ दिया। इसने अक्सर सुपरवाइज्ड Difference-in-Means बेसलाइन के बराबर या उससे बेहतर प्रदर्शन किया।
• पदानुक्रमित विश्लेषण: SNMF के रिकर्सिव अनुप्रयोग ने सूक्ष्म-स्तरीय फीचर्स (जैसे "Monday," "Tuesday") को उच्च-स्तरीय अवधारणाओं (जैसे "Weekday," "Weekend") में सफलतापूर्वक मर्ज किया। कॉज़ल इंटरवेंशन ने पुष्टि की कि "कोर" न्यूरॉन्स को बढ़ाने से संबंधित सभी टोकन्स को बढ़ावा मिला, जबकि "एक्सक्लूसिव" न्यूरॉन्स को बढ़ाने से विशिष्ट टोकन्स को बढ़ावा मिला और दूसरों को दबा दिया गया।

महत्व और दावे
पेपर का दावा है कि SNMF LLMs में व्याख्या योग्य फीचर्स की पहचान करने के लिए एक सरल और प्रभावी उपकरण प्रदान करता है। MLP सक्रियणों को सीधे विघटित करके, यह विधि फीचर्स को उन विशिष्ट मॉडल घटकों से जोड़ती है जो उनके निर्माण के लिए जिम्मेदार हैं। परिणाम बताते हैं कि MLP व्याख्या योग्य न्यूरॉन सेट के एडिटिव अपडेट्स के माध्यम से कार्य करता है। यह कार्य SNPF को SAEs के एक व्यवहार्य विकल्प के रूप में स्थापित करता है, जो बिना किसी सुपरविजन के बेहतर कॉज़ल प्रदर्शन और अंतर्निहित व्याख्यात्मकता प्रदान करता है। इसके अलावा, पदानुक्रमित न्यूरॉन संरचना की खोज यह समझने के लिए एक नया दृष्टिकोण प्रदान करती है कि कैसे LLMs पुन: प्रयोज्य न्यूरल बिल्डिंग ब्लॉक्स से जटिल अवधारणाओं का निर्माण करते हैं, जो एकल-अवधारणा एनकोडिंग से परे न्यूरॉन्स की कार्यात्मक भूमिका का विस्तार करता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें वर्तमान फोकस फीचर काउंट $k < 500$ पर है और मूल्यांकन के लिए LLMs को जज के रूप में उपयोग करना शामिल है, हालांकि वे मानव निर्णयों के साथ मजबूत सहमति की रिपोर्ट करते हैं। वे सुझाव देते हैं कि भविष्य के कार्य बड़े $k$ मानों तक स्केल करने और ऑप्टिमाइजेशन के लिए प्रोजेक्टेड ग्रेडिएंट डिसेंट का उपयोग करने का पता लगा सकते हैं।