Towards Isolated Interventions via Almost Orthogonal Features in Language Models

तकनीकी सारांश: भाषा मॉडलों में लगभग लंबवत (Almost Orthogonal) विशेषताओं के माध्यम से पृथक हस्तक्षेप की ओर

समस्या विवरण
मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) का एक केंद्रीय आधार यह है कि भाषा मॉडलों (LMs) में सार्थक अवधारणाएं सक्रियता स्थान (activation space) में रैखिक विशेषताओं (linear features) के अनुरूप होती हैं। इन विशेषताओं के लिए विश्वसनीय कारण संबंधी हस्तक्षेपों (causal interventions) का समर्थन करने हेतु यह आवश्यक है कि एक विशेषता का हेरफेर करने से अन्य के प्रभावों में पर्याप्त परिवर्तन न हो। हालांकि, व्यवहार में, सीखी गई विशेषताएं अक्सर उलझी हुई (entangled) होती हैं। यह "फीचर इंटरफेरेंस" (feature interference) तब होता है जब विशेषताएं प्रतिनिधित्व स्थान (representation space) में मजबूती से संरेखित होती हैं, जिससे स्थानीयकृत हस्तक्षेप (जैसे, स्टीयरिंग करना) के अनपेक्षित डाउनस्ट्रीम प्रभाव होते हैं, जो कारण संबंधी योगदानों को धुंधला कर देते हैं और हस्तक्षेप क्षमता को सीमित कर देते हैं। यह समस्या सुपरपोजिशन (superposition) की घटना से और भी बढ़ जाती है, जहाँ मॉडल अपने आयामों (dimensions) की तुलना में अधिक विशेषताओं का प्रतिनिधित्व करते हैं, जिससे ऐसे हस्तक्षेप पैटर्न उत्पन्न होते हैं जिन्हें नियंत्रित करना कठिन होता है।

कार्यप्रणाली
इंडिपेंडेंट कॉज़ल मैकेनिज्म (ICM) सिद्धांत से प्रेरित होकर, जो यह मानता है कि जटिल प्रणालियों को स्वायत्त मॉड्यूल में विभाजित किया जा सकता है जो एक-दूसरे को प्रभावित नहीं करते हैं, लेखक आंतरिक विशेषताओं को लगभग लंबवत (almost orthogonal) होने के लिए बाधित करने का प्रस्ताव करते हैं। कार्यप्रणाली में दो-चरणीय फाइन-ट्यूनिंग पाइपलाइन शामिल है:

1. ऑर्थोगोनल SAE प्रशिक्षण: लेखक एक भाषा मॉडल के रेसिडुअल स्ट्रीम सक्रियण (residual stream activations) पर एक स्पार्स ऑटोएनकोडर (SAE) प्रशिक्षित करते हैं। मानक SAEs के विपरीत, वे डिकोडर मैट्रिक्स $D$ पर एक स्पष्ट ऑर्थोगोनलिटी रेगुलराइजेशन पेनल्टी पेश करते हैं। लॉस फंक्शन में एक पद $\lambda \| \text{tril}(D^\top D) \|_F^2$ शामिल है, जो ग्रैम मैट्रिक्स (Gram matrix) के ऑफ-डायगोनल तत्वों को दंडित करता है, जिससे फीचर परमाणुओं (feature atoms) के बीच निम्न स्व-सहसंबंध (low self-coherence या निकट-लंबवता) सुनिश्चित होती है।
2. LM अनुकूलन: एक बार SAE प्रशिक्षित होने और उसके भार (weights) स्थिर होने के बाद, लेखक इसे एक पूर्व-प्रशिक्षित ट्रांसफॉर्मर (विशेष रूप से Gemma 2 2B मॉडल) में एक मध्यवर्ती परत (परत 12/26) पर सम्मिलित करते हैं। इसके बाद, वे नए फीचर ज्योमेट्री के अनुकूल होने और समग्र प्रदर्शन को बनाए रखने के लिए भाषा मॉडल पर लो-रैंक एडैप्टेशन (LoRA) करते हैं।

सैद्धांतिक ढांचा
यह शोध पत्र फीचर इंटरफेरेंस और हस्तक्षेप क्षमता (intervenability) के बीच के संबंध को औपचारिक रूप देता है। LM के प्रतिनिधित्व को विशेषताओं के एक स्पार्स लीनियर कॉम्बिनेशन ($X = DZ$) के रूप में मॉडल करके और आउटपुट मैपिंग के लिए एक लीनियर हाइपोथेसिस मानकर, लेखक वास्तविक आउटपुट और मॉडल आउटपुट के बीच अपेक्षित विसंगति (discrepancy) पर एक ऊपरी सीमा (upper bound) प्राप्त करते हैं।

• वे दिखाते हैं कि हस्तक्षेप के बाद का मिसमैच एक बेसलाइन टर्म और एक हस्तक्षेप-विशिष्ट टर्म द्वारा नियंत्रित होता है जो फीचर डिक्शनरी के स्व-सहसंबंध (self-coherence), जिसे $\mu(D)$ द्वारा दर्शाया गया है, के समानुपाती होता है।
• विशेष रूप से, अपेक्षित विसंगति एक टर्म द्वारा नियंत्रित होती है जिसमें $\delta^2 (d-1)\mu(D)$ शामिल है, जहाँ $\delta$ हस्तक्षेप का परिमाण है। यह सैद्धांतिक रूप से प्रदर्शित करता है कि स्व-सहसंबंध को कम करना (लंबवता बढ़ाना) सीधे हस्तक्षेप के प्रसार को सीमित करता है, जिससे हस्तक्षेप की अलगाव क्षमता (isolation) में सुधार होता है।

प्रमुख योगदान

1. सैद्धांतिक सीमा (Theoretical Bound): लेखक रेसिडुअल स्ट्रीम में हस्तक्षेप क्षमता और फीचर इंटरफेरेंस के बीच संबंध को दर्शाने वाला एक सैद्धांतिक ऊपरी बाउंड प्रदान करते हैं, जो फीचर डिक्शनरी के स्व-सहसंबंध को मॉडल आउटपुट की विसंगति से स्पष्ट रूप से जोड़ता है।
2. ऑर्थोगोनल फाइन-ट्यूनिंग पाइपलाइन: वे एक ऐसा पाइपलाइन प्रदर्शित करते हैं जो एक लगभग लंबवत डिकोडर वाले SAE के साथ LM को फाइन-ट्यून करता है। वे दिखाते हैं कि यह दृष्टिकोण गणितीय तर्क कार्यों पर गैर-दंडित (non-penalized) SAEs के समान प्रदर्शन और व्याख्यात्मकता स्कोर बनाए रखता है।
3. पृथक हस्तक्षेप (Isolated Interventions): लेखक विशिष्ट अवधारणाओं (concepts) पर पहले पृथक हस्तक्षेपों को अंजाम देते हैं, जो स्पिल-ओवर प्रभावों को स्पष्ट रूप से सीमित करते हैं। वे सफलतापूर्वक अवधारणाओं को बदलते हैं (जैसे, नाम "Jerry" को "Aquaman" में बदलना) जबकि मॉडल की तर्क क्षमता को सुरक्षित रखते हैं और अन्य विशेषताओं में अनपेक्षित परिवर्तनों को न्यूनतम करते हैं।

परिणाम

• लंबवता बनाम प्रदर्शन (Orthogonality vs. Performance): GSM8K डेटासेट पर अनुभवजन्य मूल्यांकन से पता चलता है कि ऑर्थोगोनलिटी पेनल्टी $\lambda$ को बढ़ाने से बिना गणितीय तर्क कार्यों पर मॉडल की सटीकता को महत्वपूर्ण रूप से कम किए, ऑर्थोगोनलिटी लॉस (फीचर अलगाव में सुधार) में निरंतर कमी आती है। सख्त ऑर्थोगोनलिटी पेनल्टी वाले मॉडलों का प्रदर्शन गैर-दंडित बेसलाइन के साथ प्रतिस्पर्धी बना रहता है।
• हस्तक्षेप प्रभावकारिता (Intervention Efficacy): प्रथम नामों के प्रतिस्थापन (जैसे, "Jerry" से "Aquaman") और अन्य अवधारणाओं (जानवर, स्थान) से संबंधित प्रयोगों में, उच्च ऑर्थोगोनलिटी पेनल्टी ($\lambda \ge 10^{-6}$) वाले मॉडलों ने काफी बेहतर अलगाव प्रदर्शित किया।
  • सटीक प्रतिस्थापन: जैसे-जैसे पेनल्टी बढ़ी, मॉडल ने अपने उत्पादन में सही प्रतिस्थापित नाम को शामिल करने में अधिक सफलता दिखाई (उदाहरण के लिए, $\lambda=10^{-4}$ के साथ "Aqu " ~70.9% बार रिकवर किया गया, जबकि बिना पेनल्टी के ~60.1% बार)।
  • कम स्पिल-ओवर: ऑर्थोगोनलिटी पेनल्टी वाले मॉडल मूल अवधारणा को छोड़ने और आउटपुट में उसे त्रुटिपूर्ण रूप से बनाए रखने से बचने में अधिक सफल रहे।
• व्याख्यात्मकता (Interpretability): फीचर्स की व्याख्यात्मकता (जिसे एक LLM द्वारा टेक्स्ट स्निपेट्स को सही ढंग से मैच करने की क्षमता द्वारा मापा जाता है) विभिन्न ऑर्थोगोनलिटी पेनल्टी के बावजूद स्थिर रही, जो यह दर्शाता है कि ऑर्थोगोनलिटी लागू करने से फीचर्स की मानव-बोधगम्यता (human-understandability) का त्याग नहीं होता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि फीचर एंटैंगलमेंट (entanglement) भाषा मॉडलों में पृथक हस्तक्षेपों के लिए एक प्राथमिक अवरोधक है। ICM सिद्धांत के साथ हस्तक्षेप क्षमता को औपचारिक रूप से जोड़कर और यह प्रदर्शित करके कि ऑर्थोगोनलिटी रेगुलराइजेशन फीचर इंटरफेरेंस को कम करता है, लेखक एक सिद्धांत आधारित मार्ग का सुझाव देते हैं जो डाउनस्ट्रीम उपयोगिता से समझौता किए बिना SAE फीचर्स की पहचान क्षमता (identifiability) और परमाणुता (atomicity) में सुधार करता है।

लेखक अपने कार्य को अधिक विश्वसनीय और अनुमानित AI सिस्टमों की दिशा में एक कदम के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं। उनका तर्क है कि उनका दृष्टिकोण आंतरिक प्रतिनिधित्व में सटीक, स्थानीयकृत संशोधनों की अनुमति देता है, जो यह समझने के लिए महत्वपूर्ण है कि विशिष्ट घटक आउटपुट में कैसे योगदान देते हैं। वे स्वीकार करते हैं कि हालांकि उनकी विधि मॉडल के प्रतिनिधित्व की संरचना और नियंत्रण क्षमता में सुधार करती है, लेकिन यह मॉडल आउटपुट के सटीक स्टीयरिंग के संबंध में संभावित दोहरे उपयोग (dual-use) की चिंताओं को भी जन्म देती है। हालांकि, वे नोट करते हैं कि उनके दृष्टिकोण के लिए मॉडल के आंतरिक भाग तक सीधी पहुंच और तकनीकी विशेषज्ञता की आवश्यकता होती है, जो इसकी सुलभता को सीमित करती है और दुरुपयोग की संभावना को कम करती है। यह कार्य सुपरपोजिशन या प्रतिकूल मजबूती (adversarial robustness) की सभी समस्याओं को हल करने का दावा नहीं करता है, बल्कि यह सुझाव देता है कि ऑर्थोगोनलिटी को प्रोत्साहित करना अधिक मजबूत मॉडलों की ओर एक मजबूत आर्किटेक्चरल बायस (architectural bias) के रूप में कार्य कर सकता है।