🤖 machine learning

Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

यह शोध पत्र प्रदर्शित करता है कि Qwen 3.5-35B मॉडल के रेसिडुअल स्ट्रीम (residual stream) पर स्पार्स ऑटोएनकोडर्स (sparse autoencoders) को प्रशिक्षित करना और प्रोब वेट्स (probe weights) को डिकोडर के माध्यम से वापस प्रोजेक्ट करना एजेंटिक व्यवहारों (agentic behaviors) के सूक्ष्म, रिट्रेनिंग-मुक्त स्टीयरिंग को सक्षम बनाता है, जिससे यह प्रकट होता है कि स्वायत्तता प्रतिबद्धताएं (autonomy commitments) GatedDeltaNet आर्किटेक्चर में प्रीफिल चरण (prefill phase) के दौरान संगणित की जाती हैं।

मूल लेखक: Jia Qing Yap

प्रकाशित 2026-03-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jia Qing Yap

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, अत्यंत बुद्धिमान AI सहायक (एक "35B MoE मॉडल") एक विशाल, हाई-टेक ऑर्केस्ट्रा (वाद्यवृंद) है। इस ऑर्केस्ट्रा में 35 अरब संगीतकार हैं, लेकिन किसी एक सुर के लिए केवल 3 अरब ही वास्तव में बजा रहे होते हैं। वे एक जटिल हाइब्रिड सिस्टम में व्यवस्थित हैं: कुछ एक दोहराव वाली लय (GatedDeltaNet) में बजाते हैं, जबकि अन्य एक मानक, सिंक्रोनाइज़्ड तरीके (Attention) से बजाते हैं।

शोधकर्ता इस ऑर्केस्ट्रा का संचालन करना चाहते थे ताकि यह एक निष्क्रिय सहायक (जो लगातार पूछता रहता है, "मुझे क्या करना चाहिए?") के बजाय एक स्वतंत्र एजेंट (जो अपने आप कार्य करने की क्षमता रखता है) की तरह व्यवहार करे।

यहाँ उन्होंने इसे सरल उपमाओं के माध्यम से समझाया है:

1. समस्या: "ब्लैक बॉक्स" ऑर्केस्ट्रा

आमतौर पर, जब हम AI के व्यवहार को बदलना चाहते हैं, तो हमें इसे शुरू से से फिर से प्रशिक्षित (retrain) करना पड़ता है, जो एक पूरा नया ऑर्केस्ट्रा किराए पर लेने और उन्हें नए गाने सिखाने जैसा है। यह महंगा और धीमा है।
शोधकर्ता एक "रिमोट कंट्रोल" चाहते थे जो ऑर्केस्ट्रा के बजते समय ही संगीत में बदलाव कर सके, बिना किसी को निकाले या शीट म्यूजिक को दोबारा लिखे।

2. उपकरण: "फीचर ट्रांसलेटर" (SAE)

सही "रिमोट कंट्रोल" खोजने के लिए, उन्होंने एक स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) बनाया।

उपमा: कल्पना कीजिए कि ऑर्केस्ट्रा की ध्वनि शोर का एक विशाल, बिखरा हुआ सूप है। SAE एक सुपर-स्मार्ट छलनी है जो उस सूप को अलग-अलग शुद्ध सामग्रियों (जैसे "नमक," "मिर्च," या "तुलसी") में अलग करती है।
शोधकर्ताओं ने इन छलनियों को AI की सोच में विशिष्ट "स्वादों" को खोजने के लिए प्रशिक्षित किया, जैसे "स्वायत्तता" (Autonomy - खुद कार्य करने की इच्छा) या "विनम्रता" (Deference - अनुमति माँगने की इच्छा)।

3. तकनीक: "डिकोडर प्रोजेक्शन" (Decoder Projection)

यही वह चतुर हिस्सा है। आमतौर पर, जब आप छलनी में कोई "स्वाद" पाते हैं, तो वह एक डिजिटल स्विच की तरह होता है जो या तो ON होता है या OFF (जैसे एक लाइट स्विच)। लेकिन आप केवल एक स्विच को दबाकर ऑर्केस्ट्रा को धीरे से नहीं बदल सकते; आपको एक वॉल्यूम नॉब (आवाज़ नियंत्रित करने वाला बटन) की आवश्यकता होती है।

नवाचार: शोधकर्ताओं ने छलनी में पाए गए उस "लाइट स्विच" को लिया और उसे एक डिकोडर के माध्यम से उल्टा चलाया। इसने डिजिटल ON/OFF सिग्नल को वापस एक सुचारू, निरंतर "वॉल्यूम नॉब" सिग्नल में बदल दिया जिसे ऑर्केस्ट्रा समझ सके।
परिणाम: उन्होंने एक स्टीयरिंग वेक्टर (Steering Vector) बनाया। इसे एक हल्के वश (हवा के झोंके) के रूप में सोचें जो ऑर्केस्ट्रा के माध्यम से बह रहा है। यदि आप "स्वायत्तता की हवा" चलाते हैं, तो संगीतकार अधिक जोर से और स्वतंत्र रूप से बजाना शुरू कर देते हैं।

4. प्रयोग: 1,800 रिहर्सल

उन्होंने इसका परीक्षण 1,800 विभिन्न परिदृश्यों (जैसे AI को कोड लिखने, वेब खोजने या डेटा का विश्लेषण करने के लिए कहना) पर किया।

लक्ष्य: AI को यह पूछने से रोकना कि "क्या मैं यह कर सकता हूँ?" और इसे यह शुरू करने के लिए प्रेरित करना कि "मैं यह करूँगा।"
सफलता: जब उन्होंने सही शक्ति के साथ "स्वायत्तता की हवा" लागू की, तो AI 78% बार मदद माँगना बंद कर दिया और तुरंत कार्य करना शुरू कर दिया। यह एक बड़ी सफलता थी।

5. बड़ा आश्चर्य: "एक अक्ष (Axis), न कि पाँच"

शोधकर्ताओं ने सोचा था कि वे पाँच अलग-अलग गुणों को नियंत्रित कर रहे हैं: स्वायत्तता (Autonomy), टूल-यूज़ (Tool-Use), दृढ़ता (Persistence), जोखिम लेना (Risk-Taking), और विनम्रता (Deference)।

रूपक: उन्होंने सोचा कि वे पाँच अलग-अलग रेडियो स्टेशनों को ट्यून कर रहे हैं।
वास्तविकता: उन्होंने पाया कि वे सभी पाँच "स्टेशन" वास्तव में केवल एक ही बड़ा स्टेशन थे जो अलग-अलग वॉल्यूम पर बज रहा था।
निष्कर्ष: वे चाहे किसी भी "गुण" को नियंत्रित करने की कोशिश करें, AI मुख्य रूप से एक ही अक्ष (Single Axis) पर स्थानांतरित हो गया: स्वतंत्र रूप से कार्य करना बनाम अनुमति माँगना।
- यदि उन्होंने इसे "जोखिम लेने वाला" बनाने की कोशिश की, तो यह बस अधिक स्वतंत्र हो गया।
- यदि उन्होंने इसे "दृढ़" बनाने की कोशिश की, तो यह बस अधिक स्वतंत्र हो गया।
- कार्य का प्रकार बदल गया (जैसे, अधिक वेब सर्च बनाम अधिक कोड लेखन), लेकिन अंतर्निहित "कार्य करने की इच्छा" वही थी।

6. "मशीन में भूत" (सहसंबंध बनाम कारण) (Correlation vs. Causation)

यह सबसे दिलचस्प हिस्सा है।

सेटअप: उन्होंने छलनी में दो ऐसे "स्वाद" पाए जो लगभग एक जैसे दिखते थे। एक को "टूल-यूज़" लेबल किया गया था और दूसरे को "रिस्क-कैलिब्रेशन" (Risk-Calibration)। दोनों की भविष्यवाणी 79% सटीकता के साथ की जा सकती थी।
ट्विस्ट: जब उन्होंने "टूल-यूज़" सिग्नल का उपयोग करके AI को निर्देशित करने की कोशिश की, तो यह काम कर गया। जब उन्होंने "रिस्क-कैलिब्रेशन" सिग्नल का उपयोग किया, तो कुछ भी नहीं हुआ।
सबक: सिर्फ इसलिए कि एक सिग्नल यह भविष्यवाणी करता है कि AI क्या कर रहा है (सहसंबंध/Correlation), इसका मतलब यह नहीं है कि वह सिग्नल ही उस क्रिया का कारण है (कारण/Causation)। "रिस्क-कैलिब्रेशन" सिग्नल एक छाया की तरह था: वह वस्तु के साथ चलती तो थी, लेकिन छाया को धकेलने से वस्तु नहीं हिलती।

7. "प्रीफिल" (Prefill) का रहस्य: निर्णय कब लिया जाता है

उन्होंने परीक्षण किया कि "हवा" कब लगानी चाहिए।

परीक्षण: क्या यह मायने रखता था कि वे AI को प्रॉम्प्ट पढ़ते समय (Prefill) हवा चलाते हैं या उत्तर टाइप करते समय (Decode)?
परिणाम: टाइप करते समय हवा चलाने से कुछ नहीं हुआ। प्रॉम्प्ट पढ़ते समय हवा चलाना पूरी तरह से काम कर गया।
रूपक: कल्पना कीजिए कि एक शेफ तय कर रहा है कि क्या बनाना है। निर्णय उसी क्षण लिया जाता है जब वे सामग्री देखते हैं (Prefill)। जब तक वे वास्तव में सब्जियां काट रहे होते हैं (Decode), निर्णय लिया जा चुका होता है। आप शेफ को सब्जियां काटते समय चिल्लाकर भोजन नहीं बदल सकते; आपको खाना शुरू करने से पहले उनके कान में धीरे से बताना होगा।

सारांश

शोधकर्ताओं ने एक विशाल AI ऑर्केस्ट्रा के लिए एक "रिमोट कंट्रोल" बनाया। उन्होंने पाया कि:

आप AI को फिर से प्रशिक्षित किए बिना उसके व्यवहार को नियंत्रित कर सकते हैं।
सभी "एजेंटिक" व्यवहार (स्वतंत्र रूप से कार्य करना, जोखिम लेना, टूल्स का उपयोग करना) वास्तव में एक ही बड़े स्विच के रूप में हैं: खुद करो बनाम मुझसे पूछो।
सिर्फ इसलिए कि AI के मस्तिष्क में एक पैटर्न मौजूद है, इसका मतलब यह नहीं है कि आप उस पैटर्न से उसे नियंत्रित कर सकते हैं।
AI अपना "व्यक्तित्व" निर्णय उसी क्षण लेता है जब वह आपके प्रश्न को पढ़ता है, न कि तब जब वह उत्तर दे रहा होता है।

यह शक्तिशाली AI एजेंटों को सुरक्षित और प्रभावी ढंग से निर्देशित करने के तरीके को समझने की दिशा में एक बड़ा कदम है।

यहाँ शोध पत्र "Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र गैर-मानक आर्किटेक्चर वाले बड़े पैमाने के, उत्पादन-तैयार (production-ready) भाषा मॉडलों में मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) और व्यवहार संबंधी स्टीयरिंग (behavioral steering) की चुनौती को संबोधित करता है।

स्केल और आर्किटेक्चर अंतराल (Scale & Architecture Gap): पिछले स्टीयरिंग तरीकों (Sparse Autoencoders/SAEs और Activation Engineering) को मुख्य रूप से छोटे मॉडलों (7B तक) और मानक ट्रांसफॉर्मर आर्किटेक्चर पर प्रदर्शित किया गया है। यह स्पष्ट नहीं है कि क्या ये विधियाँ हाइब्रिड आर्किटेक्चर (जैसे GatedDeltaNet के साथ अटेंशन और लीनियर रिकरेंस लेयर्स का संयोजन) वाले विशाल Mixture-of-Experts (MoE) मॉडलों तक स्केल हो सकती हैं।
"प्रोब बनाम कारण" अंतराल (The "Probe vs. Causation" Gap): जबकि लीनियर प्रोब्स विशिष्ट व्यवहारों के साथ सह-संबंधित (correlated) विशेषताओं की पहचान कर सकते हैं, यह अज्ञात है कि क्या ये विशेषताएँ व्यवहार के कारण (causally upstream) के रूप में कार्य करती हैं या केवल एपिफेनोमेनल (epiphenomenal - सह-संबंधित लेकिन कारण नहीं) हैं।
सूक्ष्मता (Granularity): मौजूदा विधियाँ अक्सर असतत (discrete) SAE फीचर्स को क्लैंप करने (top-k) पर निर्भर करती हैं, जो सूक्ष्म दिशात्मक जानकारी को नष्ट कर देती हैं। लेखक एक ऐसी विधि की तलाश में हैं जो बिना पुन: प्रशिक्षण (retraining) के व्यवहार को निरंतर (continuously) रूप से नियंत्रित कर सके।

2. कार्यप्रणाली (Methodology)

लेखक एक 35B मॉडल पर SAEs को प्रशिक्षित करने और निरंतर स्टीयरिंग वेक्टर्स बनाने के लिए उनका उपयोग करने हेतु एक पाइपलाइन प्रस्तावित करते हैं।

A. लक्षित मॉडल (Model Target)

मॉडल: Qwen 3.5-35B-A3B (कुल 35B पैरामीटर, प्रति टोकन ~3B सक्रिय)।
आर्किटेक्चर: 40 परतों वाला हाइब्रिड MoE। प्रत्येक ब्लॉक में 3 GatedDeltaNet लेयर्स (लीनियर रिकरेंस) के बाद 1 मानक अटेंशन लेयर होती है।
रेसिडुअल स्ट्रीम (Residual Stream): हिडन डायमेंशन $d=2048$ ।

B. SAE प्रशिक्षण (SAE Training)

प्रशिक्षण: विभिन्न गहराइयों (शुरुआती, मध्य, देर से) पर रेसिडुअल स्ट्रीम एक्टिवेशन पर नौ top-k SAEs को प्रशिक्षित किया गया, जिसमें GatedDeltaNet और अटेंशन सबलेयर्स दोनों को कवर किया गया।
डेटा: चैट डेटासेट्स और सिंथेटिक टूल-यूज़ (tool-use) बातचीत के मिश्रण से 200M टोकन।
तकनीक: प्रशिक्षण स्थिरता सुनिश्चित करने के लिए ऑक्सिलरी डेड-फीचर लॉस के साथ FAST पद्धति का उपयोग किया गया।

C. SAE-डिकोडेड प्रोब स्टीयरिंग (The Core Innovation)

सीधे SAE फीचर्स को क्लैंप करने के बजाय (जो top-k फंक्शन द्वारा असतत हो जाते हैं), लेखक दो-चरणीय प्रोजेक्शन का उपयोग करते हैं:

लीनियर प्रोब: व्यवहारिक लक्षण (उच्च बनाम निम्न कंट्रास्टिव पेयर्स) की भविष्यवाणी करने के लिए SAE लेटेंट एक्टिवेशन ( $z$ ) पर रिज रिग्रेशन प्रोब (ridge regression probe) प्रशिक्षित किया जाता है। इससे प्रोब वेट्स $w_{probe}$ प्राप्त होते हैं।
डिकोडर प्रोजेक्शन: इन वेट्स को SAE डिकोडर ( $W_{dec}$ $W_{d ec}$ ) के माध्यम से वापस प्रोजेक्ट करके मॉडल के मूल रेसिडुअल स्ट्रीम स्पेस में एक निरंतर स्टीयरिंग वेक्टर प्राप्त किया जाता है:
$v_{steer} = W_{dec}^{\top} w_{probe}$
- लाभ: यह SAE के top-k डिसक्रीटाइजेशन (discretization) को बायपास करता है, जिससे किसी भी स्केल $\alpha$ पर सूक्ष्म, निरंतर हस्तक्षेप संभव होता है।

D. मूल्यांकन (Evaluation)

सेटअप: 50 ReAct-शैली के परिदृश्यों (कोडिंग, रिसर्च, आदि) में 1,800 एजेंट रोलआउट।
मेट्रिक्स: प्रक्षेपवक्र (trajectories) से निकाले गए व्यवहारिक प्रॉक्सी (जैसे, ask_user की आवृत्ति बनाम सक्रिय टूल कॉल)।
शर्तें: विभिन्न मल्टीप्लायर्स ( $\alpha$ ) और अनुप्रयोग मोड पर परीक्षण किया गया: सभी स्थितियों में (all positions), केवल प्रीफिल (prefill only), और केवल डिकोड (decode only)।

3. प्रमुख योगदान (Key Contributions)

स्केलेबिलिटी: प्रदर्शित किया गया कि SAE-डिकोडेड प्रोब स्टीयरिंग एक 35B हाइब्रिड MoE मॉडल पर काम करता है, जो बिना पुन: प्रशिक्षण के महत्वपूर्ण प्रभाव प्राप्त करता है।
"एक एजेंसी एक्सिस" की खोज (The "One Agency Axis" Discovery): क्रॉस-ट्रे़ट विश्लेषण से पता चला कि पाँच अलग-अलग लक्षणों (स्वायत्तता, टूल-उपयोग, दृढ़ता, जोखिम अंशांकन, आज्ञाकारिता) के लिए स्टीयरिंग वेक्टर्स स्वतंत्र रूप से कार्य नहीं करते हैं। इसके बजाय, वे सभी मुख्य रूप से एक एकल प्रमुख एजेंसी एक्सिस (single dominant agency axis) को नियंत्रित करते हैं: स्वतंत्र रूप से कार्य करने बनाम उपयोगकर्ता के प्रति आज्ञाकारी रहने का स्वभाव। लक्षण-विशिष्टता केवल माध्यमिक गुणों (जैसे, कौन सा टूल उपयोग किया जाता है, न कि क्या कार्य करना है) में प्रकट होती है।
सहसंबंध बनाम कारण का अलगाव (Correlation vs. Causation Dissociation): यह प्रमाण दिया कि उच्च प्रोब सटीकता ( $R^2$ ) व्यवहारिक प्रभावशीलता की गारंटी नहीं देती है। एक ही SAE से जुड़े दो लक्षण (जोखिम अंशांकन और टूल-उपज़) लगभग समान $R^2$ रखते हुए भी अलग परिणाम देते हैं; एक ने सफलतापूर्वक व्यवहार को स्टीयर किया, जबकि दूसरे ने केवल दमन (suppression) किया।
प्रीफिल-ओनली व्यवहारिक प्रतिबद्धता (Prefill-Only Behavioral Commitment): दिखाया गया कि केवल ऑटो-रिग्रेसिव डिकोडिंग के दौरान स्टीयरिंग लागू करने का शून्य प्रभाव होता है। व्यवहारिक निर्णय प्रीफिल चरण के दौरान कंप्यूट किए जाते हैं और प्रतिबद्ध किए जाते हैं और फिर GatedDeltaNet के रिकरेंट स्टेट के माध्यम से प्रसारित किए जाते हैं।

4. मुख्य परिणाम (Key Results)

A. स्टीयरिंग प्रभावकारिता (Steering Efficacy)

स्वायत्तता (Autonomy): $\alpha=2$ पर बड़ा प्रभाव आकार ( $d = 1.01$ ) प्राप्त किया। मॉडल मदद मांगने (78% समय) से बदलकर सक्रिय रूप से कोड चलाने और वेब खोजने की ओर स्थानांतरित हो गया।
डोज़-रिस्पॉन्स टैक्सोनॉमी (Dose-Response Taxonomy):
- स्मूथ इनवर्टेड-U (Smooth Inverted-U): स्वायत्तता और आज्ञाकारिता (स्पष्ट चिकित्सीय विंडो)।
- फेज़ ट्रांज़िशन (Phase Transition): टूल-उपयोग की उत्सुकता (मध्यवर्ती $\alpha$ प्रदर्शन को कम करता है; उच्च $\alpha$ एक नया व्यवहारिक मोड ट्रिगर करता है)।
- शुद्ध दमन (Pure Suppression): दृढ़ता और जोखिम अंशांकन (बढ़ता हुआ $\alpha$ व्यवहार को बदलने के बजाय उसे दबा देता है)।

B. जोखिम-अंशांकन अलगाव (The Risk-Calibration Dissociation)

अवलोकन: जोखिम अंशांकन और टूल-उपयोग वेक्टर्स एक ही SAE (लेयर 21) साझा करते हैं और लगभग समान प्रोब $R^2$ (0.795 बनाम 0.792) रखते हैं।
ज्यामिति (Geometry): वे लगभग ऑर्थोगोनल (कोसाइन सिमिलरिटी $\approx -0.017$ ) हैं।
परिणाम: टूल-उपयोग वेक्टर ने व्यवहार को सफलतापूर्वक स्टीयर किया ( $d=0.39$ ), जबकि जोखिम-अंशांकन वेक्टर का शून्य कारण प्रभाव ( $d=0.00$ ) था, इसने केवल मौजूदा व्यवहार को दबाया।
निहितार्थ: जोखिम-अंशांकन दिशा एक सांख्यिकीय एपिफेनोमन (statistical epiphenomenon) है—यह लक्षण की भविष्यवाणी तो करती है लेकिन उसका कारण नहीं है।

C. प्रीफिल बनाम डिकोड (Prefill vs. Decode)

केवल डिकोडिंग के दौरान स्टीयरिंग वेक्टर लागू करने से कोई व्यवहारिक परिवर्तन नहीं हुआ ( $p > 0.35$ )।
केवल प्रीफिल के दौरान स्टीयरिंग लगाने से महत्वपूर्ण परिणाम मिले (विशेष रूप से आज्ञाकारिता के लिए)।
निष्कर्ष: GatedDeltaNet आर्किटेक्चर में, कार्य करने या आज्ञा मानने का "निर्णय" प्रॉम्प्ट प्रोसेसिंग (प्रीफिल) चरण के दौरान रिकरेंट स्टेट में संकलित (compiled) हो जाता है।

D. फीचर एकाग्रता (Feature Concentration)

स्टीयरिंग वेक्टर्स अत्यंत विरल (sparse) हैं। उदाहरण के लिए, 48 फीचर्स (डिक्शनरी का 0.3%) स्वायत्तता स्टीयरिंग सिग्नल के 50% हिस्से की व्याख्या करते हैं। यह एकाग्रता बताती है कि ये हस्तक्षेप मॉडल द्वारा "राउटिंग बाईपास" किए जाने के बावजूद क्यों मजबूत रहते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

आर्किटेक्चरल अंतर्दृष्टि: निष्कर्ष बताते हैं कि हाइब्रिड आर्किटेक्चर (GatedDeltaNet + Attention) उच्च-स्तरीय व्यवहारिक प्रतिबद्धताओं को प्रीफिल चरण में कंप्यूट करते हैं और उन्हें रिकरेंस के माध्यम से प्रसारित करते हैं, न कि जनरेशन के दौरान टोकन-दर-टोकन परिष्कृत करते हैं।
इंटरप्रिटेबिलिटी के प्रति सावधानी: यह शोध पत्र स्टीयरिंग के लिए लीनियर प्रोब्स पर निर्भरता को चुनौती देता है। उच्च $R^2$ आवश्यक है लेकिन कारण हस्तक्षेप (causal intervention) के लिए पर्याप्त नहीं है। भविष्य के कार्यों को हस्तक्षेप प्रयोगों के साथ प्रोब्स को मान्य करना चाहिए।
सुरक्षा और नियंत्रण: "प्रमुख एजेंसी एक्सिस" की खोज यह संकेत देती है कि किसी विशिष्ट लक्षण (जैसे, "अधिक सहायक बनें") को स्टीयर करने का प्रयास अनजाने में मॉडल के पूरे स्वभाव को स्वतंत्रता की ओर मोड़ सकता है, जिससे सुरक्षा-संरेखित आज्ञाकारिता व्यवहार समाप्त हो सकता है।
डिप्लॉयमेंट रणनीति: प्रभावी व्यवहारिक स्टीयरिंग के लिए प्रीफिल-चरण हस्तक्षेप और लक्षण-विशिष्ट अंशांकन (विभिन्न लक्षणों के लिए चिकित्सीय विंडो भिन्न होती है) की आवश्यकता होती है, न कि एक सार्वभौमिक स्केलिंग पैरामीटर की।

6. सीमाएँ (Limitations)

नमूना आकार (Sample Size): प्रति स्थिति 50 परिदृश्य बड़े प्रभावों के लिए पर्याप्त शक्ति प्रदान करते हैं लेकिन मध्यम प्रभावों को मिस कर सकते हैं।
प्रॉक्सी मेट्रिक्स: क्रॉस-ट्रे़ट मैट्रिक्स में टूल-कॉल काउंट (ask_user बनाम अन्य) पर निर्भरता सहसंबंध को कारण से भ्रमित कर सकती है।
सामान्यीकरण (Generalizability): परिणाम Qwen 3.5-35B-A3B तक सीमित हैं; शुद्ध ट्रांसफॉर्मर या अन्य MoE मॉडलों पर सामान्यीकरण अनिश्चित है।
बेसलाइन: सरल मीन-डिफरेंस स्टीयरिंग (बिना SAE के) के विरुद्ध कोई सीधा तुलनात्मक अध्ययन नहीं किया गया है।

संक्षेप में, यह शोध पत्र 35B हाइब्रिड मॉडल तक व्यवहारिक स्टीयरिंग को सफलतापूर्वक स्केल करता है, यह प्रकट करते हुए कि एजेंटिक व्यवहार स्वतंत्र लक्षणों के बजाय एक एकल "एजेंसी" बॉटलनेक के आसपास व्यवस्थित है, और यह न्यूरल रिप्रेजेंटेशन में भविष्यवाणात्मक सहसंबंध और कारण नियंत्रण के बीच के महत्वपूर्ण अंतर को उजागर करता है।