💬 NLP

Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features

यह शोध पत्र कंट्रोल रिइन्फोर्समेंट लर्निंग (CRL) को प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो LLM आउटपुट को निर्देशित करने के लिए टोकन स्तर पर व्याख्या योग्य स्पार्स ऑटोएन्कोडर फीचर्स को गतिशील रूप से चुनने और उन्हें प्रवर्धित करने के लिए एक पॉलिसी को प्रशिक्षित करता है, जिससे विभिन्न बेंचमार्क में मॉडल व्यवहार के लिए प्रति-टोकन हस्तक्षेप प्रोटोकॉल और नए यांत्रिक अंतर्दृष्टि (mechanistic insights) प्राप्त होते हैं।

मूल लेखक: Seonglae Cho, Zekun Wu, Adriano Koshiyama

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seonglae Cho, Zekun Wu, Adriano Koshiyama

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े भाषा मॉडल (जैसे कि इस चैट को चलाने वाला मॉडल) की कल्पना एक विशाल, जटिल ऑर्केस्ट्रा के रूप में करें। इस ऑर्केस्ट्रा में, हजारों संगीतकार (न्यूरॉन्स) एक साथ वाद्य यंत्र बजा रहे हैं। कभी-कभी वे एक सुंदर सिम्फनी बजाते हैं, लेकिन कभी-कभी वे भ्रमित हो जाते हैं और गलत स्वर बजाने लगते हैं, जिससे 'हैलुसिनेशन' (भ्रम) या खराब प्रतिक्रियाएं उत्पन्न होती हैं।

लंबे समय से, वैज्ञानिक इस ऑर्केस्ट्रा को सुनकर यह समझने की कोशिश कर रहे हैं कि कौन से वाद्य यंत्र बज रहे हैं। उन्होंने "स्पार्स ऑटोएनकोडर्स" (SAEs) की खोज की, जो एक सर्वशक्तिमान साउंड इंजीनियर की तरह कार्य करते हैं। SAE उस संगीत को व्यक्तिगत, नामित ट्रैकों में विभाजित कर सकता है: जैसे "मैथ ट्रैक" (गणित का ट्रैक), "सेफ्टी ट्रैक" (सुरक्षा का ट्रैक), "ग्रामर ट्रैक" (व्याकरण का ट्रैक), इत्यादि।

समस्या:
केवल यह जानना पर्याप्त नहीं है कि कौन से ट्रैक बज रहे हैं। केवल इसलिए कि "मैथ ट्रैक" सक्रिय है, इसका मतलब यह नहीं है कि इस ट्रैक की आवाज़ बढ़ाने से गणित की समस्या हल हो जाएगी। कभी-कभी, किसी ट्रैक की आवाज़ बढ़ाना स्थिति को और भी खराब कर सकता है। पिछले तरीकों से यह तो पता चल सकता था कि क्या बजाया गया, लेकिन यह नहीं कि यदि हम वॉल्यूम बदल दें तो क्या होगा।

समाधान: कंट्रोल रिइन्फोर्समेंट लर्निंग (CRL)
यह कार्य कंट्रोल रिइन्फोर्समेंट लर्निंग (CRL) नामक एक नई विधि पेश करता है। कल्पना कीजिए कि CRL एक चतुर कंडक्टर (संचालक) है जो प्रदर्शन के दौरान ऑर्केस्ट्रा के ठीक बगल में खड़ा है।

यह इस प्रकार काम करता है, चरण दर चरण:

1. कंडक्टर का कार्य (पॉलिसी)

प्रत्येक शब्द (टोकन) के लिए जिसे मॉडल बोलने वाला है, यह कंडक्टर ऑर्केस्ट्रा की वर्तमान स्थिति का परीक्षण करता है। कंडक्टर के पास एक रिमोट कंट्रोल है जिसमें प्रत्येक व्यक्तिगत "ट्रैक" (फीचर) के लिए बटन हैं जिन्हें SAE द्वारा पहचाना गया है।

निर्णय: कंडक्टर तय करता है: "अभी हमें 'लॉजिकल रीजनिंग' (तार्किक तर्क) ट्रैक की आवाज़ बढ़ानी चाहिए" या "चलिए 'इमोशनल बायस' (भावनात्मक पूर्वाधिकार) ट्रैक की आवाज़ कम करते हैं।"
क्रिया: कंडक्टर तुरंत उस एक शब्द के लिए उस विशिष्ट ट्रैक के वॉल्यूम को समायोजित करता है।

2. करके सीखना (रिइन्फोर्समेंट लर्निंग)

कंडक्टर को शुरुआत में नियम नहीं पता होते। वह खेल खेलकर सीखता है:

यदि ऑर्केस्ट्रा एक सही उत्तर देता है, तो कंडक्टर को एक "पुरस्कार" (एक अंक) मिलता है।
यदि ऑर्केस्ट्रा एक गलत उत्तर देता है, तो उसे कोई अंक नहीं मिलता।
समय के साथ, कंडक्टर सीख जाता है कि सही परिणाम प्राप्त करने के लिए किन क्षणों में किन ट्रैक्स को बढ़ाना आवश्यक है।

3. "एडेप्टिव मास्क" (बुरी आदतों को रोकना)

एक चतुर कंडक्टर आलसी हो सकता है और हर समस्या के लिए एक ही "मैथ ट्रैक" की आवाज़ बढ़ा सकता है। इसे रोकने के लिए, यह कार्य एडेप्टिव फीचर मास्किंग नामक एक चाल का उपयोग करता है।

कल्पना कीजिए कि कंडक्टर का एक नियम है: "आप अन्य ट्रैक्स को आज़माने के बाद ही लगातार दो बार एक ही वाद्य यंत्र का उपयोग कर सकते हैं।"
यह कंडक्टर को ऑर्केस्ट्रा के विभिन्न हिस्सों को खोजने और एक ही ट्रिक पर निर्भर रहने के बजाय समस्याओं को हल करने के नए तरीके खोजने के लिए मजबूर करता है।

4. "लॉगबुक" (व्याख्यात्मकता)

यही इस कार्य की सबसे बड़ी सफलता है। चूंकि कंडक्टर प्रत्येक शब्द के लिए एक विशिष्ट चुनाव करता है, इसलिए हमें पूरे प्रदर्शन की एक विस्तृत लॉगबुक प्राप्त होती है।

हम पीछे मुड़कर देख सकते हैं कि: "आह, शब्द संख्या 5 पर, कंडक्टर ने 'सेफ्टी ट्रैक' की आवाज़ बढ़ाई, जिसने मॉडल को कुछ अभद्र कहने से रोका।"
हम स्पष्ट रूप से देख सकते हैं कि मॉडल क्यों सफल हुआ या क्यों विफल हुआ। यह ऐसा है जैसे हमारे पास प्रत्येक स्वर के लिए कंडक्टर के विचारों का ट्रांसक्रिप्ट हो।

उन्होंने क्या खोजा?

Gemma 2 नामक मॉडल पर इस विधि को लागू करके, शोधकर्ताओं ने कुछ दिलचस्प बातें खोजीं:

प्रारंभिक बनाम देर से आने वाले लेयर्स (परतें): ऑर्केस्ट्रा के अलग-अलग विभाग होते हैं। "प्रारंभिक" विभाग (लेयर्स) व्याकरण और संरचना (जैसे विराम चिह्न और वाक्य निर्माण) को संभालते हैं। "देर से आने वाले" विभाग गहरे अर्थ और तर्क को संभालते हैं। कार्य में पाया गया कि गणित की समस्या को हल करने के लिए, अक्सर केवल "प्रारंभिक" खंडों को ही नहीं, बल्कि उन "देर से आने वाले" खंडों को भी समायोजित करने की आवश्यकता होती है जहाँ तर्क निवास करता है।
"ब्रांचिंग पॉइंट्स" (शाखा बिंदु): कभी-कभी दो बहुत समान प्रश्नों के लिए सही उत्तर प्राप्त करने हेतु पूरी तरह से अलग कंडक्टर क्रियाओं की आवश्यकता होती है। सिस्टम सटीक क्षण की पहचान कर सकता है जब एक सही और गलत उत्तर के बीच का मार्ग अलग होता है।
सुरक्षा बनाम पूर्वाग्रह (Safety vs. Bias): सिस्टम ने सीखा कि "बायस" (अन्याय) को ठीक करना और "सेफ्टी" (हानिकारक अनुरोधों को अस्वीकार करना) को ठीक करने के लिए अलग-अलग रणनीतियों की आवश्यकता होती है। कुछ कार्यों के लिए, कंडक्टर को बहुत विशिष्ट होना पड़ता है; अन्य के लिए, उसे कई अलग-अलग ट्रैक्स को खोजना पड़ता है।

परिणाम

इस कार्य का परीक्षण विभिन्न चुनौतियों पर किया गया:

गणित (GSM8K): कंडक्टर ने सही तार्किक ट्रैक्स को बढ़ाकर मॉडल को अधिक गणितीय समस्याएं हल करने में मदद की।
सुरक्षा (HarmBench): मॉडल अत्यधिक सतर्क हुए बिना हानिकारक चीजों को करने से मना करने में बेहतर हो गया।
ज्ञान (MMLU): मॉडल ने ज्ञान संबंधी प्रश्नों के अधिक सटीक उत्तर दिए।

सारांश:
यह कार्य हमें केवल यह नहीं बताता कि AI क्या सोचता है; यह हमें वास्तविक समय में, शब्द-दर-शब्द, AI की सोच को नियंत्रित करने का एक उपकरण देता है। यह एक "ब्लैक बॉक्स" को एक पारदर्शी मशीन में बदल देता है जहाँ हम देख सकते हैं कि सही उत्तर प्राप्त करने के लिए कौन से आंतरिक स्विच चालू किए गए थे। यह एक इंसान को AI के आंतरिक विचारों को नियंत्रित करने और उसे सही रास्ते पर रखने के लिए एक रिमोट कंट्रोल देने जैसा है।

तकनीकी सारांश: कंट्रोल रीइन्फोर्समेंट लर्निंग (CRL)

1. समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर्स (SAEs) भाषा मॉडलों के एक्टिवेशन को व्याख्या योग्य (interpretable), मानव-पठनीय फीचर्स में विघटित करने के लिए एक शक्तिशाली उपकरण सिद्ध हुए हैं। हालांकि, मौजूदा विश्लेषण विधियाँ काफी हद तक स्थिर (static) हैं: वे यह पहचानती हैं कि विशिष्ट इनपुट के लिए कौन से फीचर्स सक्रिय होते हैं, लेकिन वे यह प्रकट नहीं करतीं कि किन फीचर्स को सुदृढ़ (reinforce) करने पर वास्तव में मॉडल के आउटपुट में परिवर्तन आता है। वर्तमान एक्टिवेशन हेरफेर तकनीकें अक्सर फीचर चयन के लिए कंट्रास्टिव डेटासेट्स या कोएफिशिएंट्स को अनुकूलित करने के लिए एक्टिवेशन के व्यापक भंडारण पर निर्भर करती हैं, जिनमें जनरेशन की गुणवत्ता के आधार पर नियंत्रण रणनीतियों को समायोजित करने के लिए अनुकूलन योग्य फीडबैक तंत्र का अभाव होता है।

यह कार्य स्थिर फीचर पहचान और गतिशील, व्याख्या योग्य हस्तक्षेप (intervention) के बीच के अंतर को पाटता है। मुख्य चुनौती एक ऐसा ढांचा विकसित करना है जो न केवल मॉडल को नियंत्रित करने के लिए SAE फीचर्स का चयन करे, बल्कि टोकन-लेवल इंटरवेंशन प्रोटोकॉल भी प्रदान करे जो यह समझा सके कि एक फीचर को क्यों चुना गया और इसने आउटपुट को कैसे प्रभावित किया, जिससे नियंत्रण को 'मैकेनिस्टिक इंटरप्रिटेबिलिटी' के एक उपकरण में बदला जा सके।

2. कार्यप्रणाली: कंट्रोल रीइन्फोर्समेंट लर्निंग (CRL)

लेखक कंट्रोल रीइन्फोर्समेंट लर्निंग (CRL) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो ट्रांसफॉर्मर रिप्रेजेंटेशन के नियंत्रण को SAE फीचर्स पर एक मार्कोव निर्णय प्रक्रिया (MDP) के रूपas मानता है।

2.1. MDP फॉर्मूलेशन

स्टेट ( $S$ ): ऑब्जर्वेशन वर्तमान टोकन पोजीशन के लिए एक विशिष्ट लेयर $\ell$ में रेसिडुअल स्ट्रीम का एक्टिवेशन ( $x \in \mathbb{R}^d$ ) है।
एक्शन ( $A$ ): एक बाइनरी वेक्टर जो सुदृढ़ीकरण (reinforcement) के लिए एक या अधिक SAE फीचर्स का चयन करता है। पॉलिसी टॉप- $k$ फीचर्स चुनती है (व्याख्यात्मकता के लिए आमतौर पर $k=1$ )।
ट्रांजिशन ( $P$ ): नियत (Deterministic), जो लागू किए गए फीचर हस्तक्षेप के साथ ट्रांसफॉर्मर के फॉरवर्ड पास द्वारा संचालित होता है।
रिवॉर्ड ( $R$ ): अंतिम आउटपुट की गुणवत्ता (जैसे, MMLU पर शुद्धता, सुरक्षा कार्यों पर रिफ्यूज़ल) पर आधारित कार्य-विशिष्ट पुरस्कार।

2.2. CRL टोकन और फीचर कंट्रोल

प्रत्येक जनरेशन स्टेप $t$ पर, ढांचा टोकन-लेवल हस्तक्षेप करता है:
$\tilde{x}_t = x_t + c \cdot a_t W_{dec}$
यहाँ, $a_t$ एक स्पार्स बाइनरी सिलेक्शन वेक्टर है, $c$ एक कंट्रोल कोएफिशिएंट है, और $W_{dec}$ एक SAE डिकोडर है। पॉलिसी नेटवर्क $\pi_\theta$ फीचर चयन के लिए रेसिडुअल स्ट्रीम एक्टिवेशन को लॉजिट्स में मैप करता है और इसे एक 2-लेयर MLP के रूप में लागू किया गया है।

2.3. एडेप्टिव फीचर मास्किंग (AFM)

पॉलिसी को बार-बार सक्रिय होने वाले फीचर्स के छोटे सेट में ढहने (collapse) से रोकने के लिए, CRL एडेप्टिव फीचर मास्किंग पेश करता है।

एक प्रति-सैंपल बूलियन मास्क फीचर चयन विकल्पों को प्रतिबंधित करता है।
मास्क फीचर्स के एक छोटे उपसमूह के साथ शुरू होता है और जनरेशन के दौरान धीरे-धीरे फैलता है, उन फीचर्स को एकीकृत करता है जो पिछले चरणों में स्वाभाविक रूप से सक्रिय हुए थे।
यह तंत्र सिंगल-फीचर हस्तक्षेपों की व्याख्यात्मकता को बनाए रखते हुए विविध फीचर्स की खोज को बढ़ावा देता है।

2.4. ऑप्टिमाइजेशन

पॉलिसी और एक क्रिटिक नेटवर्क (स्टेट वैल्यू एस्टीमेशन के लिए) को प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करके प्रशिक्षित किया जाता है।

कंट्रोल कोएफिशिएंट ( $c$ ): सही ढंग से अनुमानित ट्रेनिंग सैंपल्स के एक्टिवेशन स्ट्रेंथ को औसत करके अनुकूलित रूप से निर्धारित किया जाता है, जिससे विभिन्न लेयर्स के लिए मैनुअल ट्यूनिंग की आवश्यकता समाप्त हो जाती है।
क्रिटिक नेटवर्क: एक 2-लेयर MLP जो वैल्यू फंक्शन $V_\phi(s)$ का अनुमान लगाता है, जिससे विश्लेषण के दौरान पॉलिसी एरर्स (फीचर चयन) को क्रिटिक एरर्स (रिवॉर्ड एस्टीमेशन) से अलग करने में मदद मिलती है।

3. मुख्य योगदान

यह कार्य चार प्राथमिक योगदानों को रेखांकित करता है:

टोकन-लेवल इंटरवेंशन प्रोटोकॉल: एक ढांचा जो सटीक रूप से यह पहचानता है कि प्रत्येक टोकन पर कौन सा SAE फीचर चुना गया था और उसका आउटपुट पर क्या प्रभाव पड़ा, जिससे सूक्ष्म व्यवहार विश्लेषण संभव होता है।
डायग्नोस्टिक टूल्स:
- ब्रांच पॉइंट ट्रैकिंग: उन महत्वपूर्ण निर्णय बिंदुओं की पहचान करता है जहाँ समान प्रीफिक्स फीचर चयन के आधार पर अलग-अलग परिणामों की ओर ले जाते हैं।
- क्रिटिक ट्रजेक्टरी एनालिसिस: पॉलिसी एरर (फीचर चयन) और क्रिटिक एरर (रिवॉर्ड एस्टीमेशन) के बीच अंतर करने के लिए सीखे गए वैल्यू फंक्शन का उपयोग करता है।
एडेप्टिव फीचर मास्किंग (AFM): सिंगल-फीचर हस्तक्षेपों की व्याख्यात्मकता से समझौता किए बिना विविध फीचर खोज सुनिश्चित करने के लिए एक्सप्लोरेशन और एक्सप्लोइटेशन के बीच संतुलन बनाने वाला एक तंत्र।
फीचर सिमेंटिक्स का अनुभवजन्य लक्षण वर्णन (Empirical Characterization): यह प्रदर्शित करता है कि शुरुआती लेयर्स सिंटैक्टिक संरचनाओं को एनकोड करती हैं जबकि बाद की लेयर्स एब्स्ट्रैक्ट सिमेंटिक्स को कैप्चर करती हैं, और विभिन्न कार्यों के लिए अलग-अलग बॉटलनेक पैटर्न होते हैं।

4. प्रयोगात्मक परिणाम

ढांचे का मूल्यांकन Gemma 2 2B (और LLaMA-3.1 8B) पर पांच बेंचमार्क: MMLU, BBQ, GSM8K, HarmBench, और XSTest के माध्यम से Gemma Scope और LLaMA Scope SAEs का उपयोग करके किया गया।

प्रदर्शन सुधार: CRL ने सभी बेंचमार्क पर सुधार हासिल किया। उल्लेखनीय लाभों में शामिल हैं:
- HarmBench: +7.66 प्रतिशत अंक (41.46% $\to$ 49.12%)।
- BBQ (Ambiguous): +5.69 प्रतिशत अंक।
- MMLU: +3.31 प्रतिशत अंक।
- GSM8K: +1.03 प्रतिशत अंक।
पूरकता (Complementarity): जब सुपरवाइज्ड फाइन-ट्यून्ड (SFT) मॉडलों (जैसे, MMLU शुद्धता SFT + CRL के साथ 55.2% से बढ़कर 56.1% हो गई) पर लागू किया जाता है, तो CRL योगात्मक लाभ (additive gains) प्रदान करता है।
लेयर-विशिष्ट सिमेंटिक्स:
- लेयर 10: फीचर्स ठोस, सिंटैक्टिक गुणों (जैसे, "गणितीय नोटेशन", "सर्वनाम संदर्भ") को कैप्चर करते हैं।
- लेयर 20: फीचर्स एब्स्ट्रैक्ट, कॉन्टेक्स्टुअल सिमेंटिक्स (जैसे, "लॉजिकल डेरिवेशंस की संरचना", "गणितीय प्रमाण") को कैप्चर करते हैं।
- इष्टतम हस्तक्षेप लेयर्स कार्यों के अनुसार भिन्न होती हैं (जैसे, BBQ के लिए लेयर 5, MMLU के लिए लेयर 24)।
क्रिटिक विश्लेषण:
- BBQ: स्पष्ट सैंपल डिस्क्रिमिनेशन के साथ प्रभावी पॉलिसी-क्रिटिक समन्वय दिखाता है।
HarmBench बनाम XSTest: HarmBench सही और गलत सैंपल्स के बीच स्पष्ट अंतर दिखाता है, जबकि XSTest उलटे एस्टीमेशन पैटर्न प्रदर्शित करता है, जो रिवॉर्ड एस्टीमेशन में कार्य-विशिष्ट चुनौतियों का संकेत देता है।

5. महत्व और दावे

यह कार्य CRL को मैकेनिस्टिक इंटरप्रिटेबिलिटी में एक महत्वपूर्ण प्रगति के रूप में स्थापित करता है। इसका प्राथमिक महत्व स्थिर फीचर विश्लेषण (क्या सक्रिय होता है देखना) से गतिशील हस्तक्षेप नमूनाकरण (क्या बदलता है देखना) की ओर एक पैराडाइम शिफ्ट में निहित है।

व्याख्यात्मकता (Interpretability): सिंगल फीचर्स के चयन को लागू करके और हस्तक्षेपों को लॉग करके, CRL मॉडल व्यवहार का एक "मैकेनिस्टिक" दृष्टिकोण प्रदान करता है, यह प्रदर्शित करता है कि "गणितीय संचालन" जैसे फीचर्स वर्ड प्रॉब्लम्स में "बच्चों" जैसी मात्रात्मक इकाइयों में लेक्सिकल रूप से सामान्यीकृत (generalize) हो सकते हैं।
डायग्नोस्टिक क्षमता: यह ढांचा मॉडल और SAE दोनों के लिए एक डायग्नोस्टिक टूल के रूप में कार्य करता है। यदि AFM के बावजूद पॉलिसी किसी अर्थहीन फीचर्स पर ढह जाती है, तो यह SAE की कमी (जैसे, गायब अवधारणाएं या पॉलीसेमी) का संकेत देती है, न कि नियंत्रण पद्धति की विफलता का।
व्यावहारिकता: CRL कम इन्फरेंस ओवरहेड (8–9% लेटेंसी) के साथ काम करता है और इसके लिए मॉडल के बेस वेट्स को फिर से प्रशिक्षित करने की आवश्यकता नहीं है, जो इसे एक हल्का, पोस्ट-हॉक सुधार तंत्र बनाता है।

लेखक निष्कर्ष निकालते हैं कि फीचर्स को स्टीयर करने के लिए रीइन्फोर्समेंट लर्निंग के साथ सीखना, भाषा मॉडलों को समझने और नियंत्रित करने के लिए एक व्यावहारिक उपकरण स्थापित करता है, जो डायनेमिक, कार्य-विशिष्ट अंतर्दृष्टि के साथ स्टेटिक विश्लेषण का पूरक है।