CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits

तकनीकी सारांश: CircuitSteer

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के व्यवहार को इन्फरेंस-टाइम स्टीयरिंग (inference-time steering) के माध्यम से नियंत्रित करना एआई अलाइनमेंट (AI alignment) के लिए एक महत्वपूर्ण चुनौती बनी हुई है। मौजूदा विधियाँ, जैसे कि कॉन्ट्रास्टिव एक्टिवेशन एडिशन (CAA) और रिप्रेजेंटेशन इंजीनियरिंग (RepE), आमतौर पर एग्रीगेट एक्टिवेशन अंतरों से प्राप्त निश्चित, सिंगल-लेयर इंटरवेंशन पर निर्भर करती हैं। ये दृष्टिकोण दो प्राथमिक सीमाओं का सामना करते हैं:

1. सिमेंटिक कॉन्फ़्लेशन (Semantic Conflation): वे विविध सिमेंटिक इनपुट्स पर एक ही इंटरवेंशन वेक्टर लागू करते हैं, जिससे अक्सर उच्च-स्तरीय अवधारणाओं की वितरित प्रकृति (distributed nature) को पकड़ने में विफलता होती है।
2. जियोमेट्रिक मिसअलाइनमेंट (Geometric Misalignment): उच्च-स्तरीय सिमेंटिक अवधारणाएं कई परतों (layers) में वितरित होती हैं और नेटवर्क के माध्यम से क्रमिक रूप से विकसित होती हैं। ज्यामितीय विचार के बिना मल्टी-लेयर इंटरवेंशन विफल हो जाते हैं क्योंकि विभिन्न गहराइयों पर एक ही अवधारणा को एनकोड करने वाले फीचर्स के डिकोडर डायरेक्शन अक्सर ज्यामितिक रूप से मिसअलाइन्ड होते हैं। बिना अलाइनमेंट के इन्हें मिलाने से विनाशकारी हस्तक्षेप (destructive interference) होता है, जिससे फ्लुएंसी कोलैप्स (fluency collapse - टेक्स्ट क्वालिटी में गिरावट) या अस्थिर व्यवहार परिवर्तन होता है।

वर्तमान स्पार्स ऑटोएनकोडर (SAE) आधारित विधियाँ फीचर्स को मोनोसेमेंटिक (monosemantic) फीचर्स में विघटित करके व्याख्यात्मकता (interpretability) में सुधार करती हैं, लेकिन वे अक्सर यह मानती हैं कि सिंगल-लेयर इंटरवेंशन पर्याप्त है, जो सिमेंटिक सिग्नल्स के क्रॉस-लेयर प्रोपेगेशन को अनदेखा करता है।

कार्यप्रणाली: CircuitSteer

CircuitSteer एक ट्रेनिंग-फ्री फ्रेमवर्क है जो SAEs का लाभ उठाकर कई परतों में वितरित सुसंगत सिमेंटिक सर्किट्स की पहचान और हेरफेर करता है। प्रत्येक लेयर पर स्वतंत्र रूप से फीचर्स चुनने के बजाय, यह दो संयुक्त मानदंडों के आधार पर एक फीचर फ्लो सर्किट (feature flow circuit) का निर्माण करता है:

1. फीचर को-एक्टिवेशन (Feature Co-activation): उन फीचर जोड़ों $(l, i)$ और $(l+1, j)$ की पहचान करना जो एक ही इनपुट पर साथ-साथ सक्रिय होते हैं, जो कॉज़ल इन्फ्लुएंस (causal influence) का अनुमान लगाते हैं।
2. जियोमेट्रिक अलाइनमेंट (Geometric Alignment): यह सुनिश्चित करना कि इन फीचर्स के डिकोडर डायरेक्शन संगत (उच्च कोसाइन सिमिलैरिटी) हों। यह सुनिश्चित करता है कि विभिन्न परतों में इंटरवेंशन लागू करते समय विनाशकारी हस्तक्षेप न हो।

यह विधि तीन चरणों में आगे बढ़ती है:

• सर्किट डिस्कवरी (Circuit Discovery): टारगेट प्रॉम्प्ट्स ($D^+$) और बेनिन प्रॉम्प्ट्स ($D^-$) के बीच कॉन्ट्रास्टिव विश्लेषण का उपयोग करते हुए, यह विधि फीचर फ्लो ग्राफ के एडजेस (edges) के लिए एक कॉन्ट्रास्टिव स्पेसिफिसिटी स्कोर (contrastive specificityity score) की गणना करती है। टारगेट व्यवहार के लिए जिम्मेदार सबसर्किट को अलग करने के लिए उच्च स्पेसिफिसिटी स्कोर वाले एडजेस को रिटेन किया जाता है।
• वेक्टर सिंथेसिस (Vector Synthesis): आइसोलेट किए गए सबसर्किट में शामिल प्रत्येक लेयर के लिए, एक डेंस स्टीयरिंग वेक्टर को सर्किट एडजेस में भाग लेने वाले सभी फीचर्स के डिकोडर डायरेक्शन को औसत निकालकर सिंथेसाइज किया जाता है। यह इंटरवेंशन मैग्नीट्यूड को सर्किट साइज से अलग (decouple) करता है।
• मल्टी-पॉइंट इंटरवेंशन (Multi-Point Multi-Point Intervention): इन्फरेंस के दौरान, इन सिंथेसाइज्ड वेक्टर्स को एक स्केलर गुणांक $\lambda$ के साथ सभी प्रासंगिक परतों पर एक साथ लागू किया जाता है। जियोमेटिक अलाइनमेंट यह सुनिश्चित करता है कि इंटरवेंशन गहराई के माध्यम से एक सुसंगत दिशात्मक बदलाव को सुदृढ़ करें, न कि बाद की परतें पहले के व्यवधानों की भरपाई करें।

इस फ्रेमवर्क के लिए किसी वेट अपडेट या ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन की आवश्यकता नहीं है; यह प्री-ट्रेन्ड SAEs (जैसे, Gemma-Scope, Llama-Scope) का उपयोग करता है और फॉरवर्ड-पास एक्टिवेशन्स पर बीजगणितीय संचालन (algebraic operations) करता है।

मुख्य योगदान

• CircuitSteer फ्रेमवर्क: एक नवीन, ट्रेनिंग-फ्री मल्टी-लेयर स्टीयरिंग विधि जो फीचर को-एक्टिवेशन और डिकोडर डायरेक्शन के जियोमेटिक अलाइनमेंट के माध्यम से व्यवहार-विशिष्ट SAE सर्किट्स की पहचान करती है।
• जियोमेटिक अलाइनमेंट की आवश्यकता: इस बात का अनुभवजन्य प्रमाण कि डिकोडर डायरेक्शन का जियोमेटिक अलाइनमेंट स्थिर मल्टी-लेयर स्टीयरिंग के लिए एक पूर्व शर्त है। अनअलाइन्ड फीचर्स फ्लुएंसी कोलैप्स का कारण बनते हैं, जबकि अलाइन्ड फीचर्स बेसलाइन परप्लेक्सिटी के करीब रहते हुए निरंतर व्यवहार संबंधी कमी प्राप्त करते हैं।
• व्यापक बेंचमार्किंग: आठ बेसलाइन्स (जिसमें CAA, RepE, ITI, LoReFT, और SAE-आधारित विधियाँ शामिल हैं) के विरुद्ध चार व्यवहार संबंधी डेटासेट्स (Toxicity, Emotion, Sycophancy, Refusal) और दो मॉडल परिवारों (Gemma-2-2B और Llama-3.1-8B-Instruct) पर मूल्यांकन।

परिणाम

सभी मॉडल्स और डेटासेट्स में, CircuitSteer एकमात्र विधि है जो लगातार फ्लुएंसी-प्रिजर्विंग (fluency-preserving) इंटरवेंशन उत्पन्न करती है:

• फ्लुएंसी प्रिजर्वेशन: प्रतिस्पर्धी विधियाँ या तो टेक्स्ट क्वालिटी (उच्च परप्लेक्सिटी) का त्याग करती हैं या पर्याप्त व्यवहार संबंधी कमी प्राप्त करने में विफल रहती हैं। CircuitSteer बेसलाइन के करीब नॉर्मलाइज्ड परप्लेक्सिटी बनाए रखते हुए महत्वपूर्ण व्यवहार संबंधी कमी प्राप्त करता है।
• जटिल व्यवहार: Sycophancy और Refusal जैसे कठिन कार्यों पर, सिंगल-लेयर विधियाँ (जैसे, CAA) अक्सर पूरी तरह विफल हो जाती हैं या नगण्य परिवर्तन उत्पन्न करती हैं। CircuitSteमान Gemma-2-2B पर सिकोफैंसी को सफलतापूर्वक कम करता है (जहाँ अन्य विधियाँ विफल रहती हैं) और Llama-3.1-8B-Instruct पर रिफ्यूसल रेट को 89% से घटाकर 0% कर देता है।
• रोबस्टनेस: यह विधि बिना हाइपरपैरामीटर ट्यूनिंग के बड़े मॉडल्स (Qwen3.5-27B) और विभिन्न SAE परिवारों तक प्रभावी ढंग से स्केल करती है।
• कैपेबिलिटी प्रिजर्वेशन: स्ट्रॉन्ग स्टीयरिंग कोर क्षमताओं को महत्वपूर्ण रूप से कम नहीं करती है; MMLU और GSM8K पर सटीकता काफी हद तक बरकरार रहती है।

महत्व और दावे

पेपर दावा करता है कि CircuitSteer यह प्रदर्शित करता है कि मल्टी-लेयर सर्किट स्टीयरिंग, जिसे चयनित फीचर्स के बीच जियोमेटिक अलाइनमेंट को लागू करके सक्षम बनाया गया है, स्टेटिक सिंगल-पॉइंट इंटरवेंशन की तुलना में स्पष्ट रूप से अधिक मजबूत और प्रभावी व्यवहार नियंत्रण प्रदान करती है।

लेखक इस कार्य को निम्नलिखित द्वारा सुरक्षित भाषा मॉडल परिनियोजन (deployment) की दिशा में एक सिद्धांतिक कदम के रूप में प्रस्तुत करते हैं:

1. अपारदर्शी रेसिडुअल-स्ट्रीम इंटरवेंशन से पारदर्शी, फीचर-लेवल कंट्रोल की ओर बढ़ना, जहाँ व्यवहार के लिए विशिष्ट सबसर्किट का निरीक्षण और ट्यून किया जा सकता है।
2. जियोमेटिक विचार के बिना मल्टी-लेयर स्टीयरिंग के मौलिक विफलता मोड (विनाशकारी हस्तक्षेप और फ्लुएंसी कोलैप्स) को संबोधित करना।
3. एक स्केलेबल, ट्रेनिंग-फ्री मैकेनिज्म प्रदान करना जो LLMs की वितरित कम्प्यूटेशनल संरचना का सम्मान करता है।

पेपर निष्कर्ष निकालता है कि एआई अलाइनमेंट में मजबूती और पारदर्शिता दोनों प्राप्त करने के लिए मॉडल के अपने फीचर ज्योमेट्री के साथ इंटरवेंशन को संरेखित करना आवश्यक है।