🤖 machine learning

Minimizing Collateral Damage in Activation Steering

यह शोधपत्र एक्टिवेशन स्टीयरिंग में होने वाले संपार्श्विक क्षति (collateral damage) को कम करने के लिए एक सिद्धांत-आधारित ढांचे को प्रस्तुत करता है, जिसे एक प्रतिबन्धित अनुकूलन समस्या (constrained optimization problem) के रूप में तैयार किया गया है जो एक्टिवेशन के फीचर दिशाओं में व्यवधानों की गैर-समान लागतों को एक्टिवेशन के अनुभवजन्य द्वितीय-क्षण आव्यूह (empirical second-moment matrix) का उपयोग करके ध्यान में रखता है।

मूल लेखक: Tam Nguyen, Tu Anh Nguyen, Sina Alemohammad, Richard G. Baraniuk

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tam Nguyen, Tu Anh Nguyen, Sina Alemohammad, Richard G. Baraniuk

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक विशाल रोबोट को नियंत्रित करना

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, अविश्वसनीय रूप से जटिल रोबोट है जिसने बोलना और सोचना सीख लिया है। कभी-कभी, हम पूरे रोबोट को फिर से बनाए बिना उसके व्यवहार में थोड़ा बदलाव करना चाहते हैं। उदाहरण के लिए, हम चाहते हैं कि वह अधिक ईमानदार हो, कम विषाक्त (toxic) हो, या अधिक मज़ेदार हो।

वैज्ञानिकों ने एक तकनीक विकसित की है जिसे एक्टिवेशन स्टीयरिंग (Activation Steering) कहा जाता है। इसे एक "रिमोट कंट्रोल" के रूप में समझें जो रोबोट के आंतरिक विचारों (उसके "एक्टिवेशन्स") को एक विशिष्ट दिशा में धकेलता है ताकि उसके आउटपुट को बदला जा सके।

समस्या: "बुलडोजर" प्रभाव

यह पेपर तर्क देता है कि वर्तमान में लोग इस रिमोट कंट्रोल का उपयोग जिस तरह से करते हैं, वह एक बुलडोजर चलाने जैसा है।

यह अभी कैसे काम करता है: आप बुलडोजर को एक विशिष्ट लक्ष्य (जैसे "अधिक ईमानदार बनो") की ओर इशारा करते हैं और उसे धक्का देते हैं।
नुकसान: जबकि आप लक्ष्य को तो हिट कर देते हैं, लेकिन बुलडोजर अपने रास्ते में आने वाली हर चीज़ को भी कुचल देता है। रोबोट के मस्तिष्क में, इसका मतलब यह है कि जब आप उसे अधिक ईमानदार बनाते हैं, तो आप अनजाने में उसे गणित में कमज़ोर, कम रचनात्मक, या अधिक भ्रमित बना देते हैं।
क्यों? वर्तमान विधियाँ मानती हैं कि रोबोट का मस्तिष्क पूरी तरह से सममित (symmetrical) है (जैसे एक चिकनी गेंद)। वे सोचते हैं कि किसी भी दिशा में धक्का देने में ऊर्जा की लागत समान होती है। लेकिन रोबोट का मस्तिष्क वास्तव में ऊबड़-खाबड़ और असमान है (जैसे एक पर्वत श्रृंखला)। एक तरफ धक्का देने से आप एक सुरक्षित घाटी में फिसल सकते हैं, जबकि दूसरी तरफ धक्का देने से आप किसी खाई में गिर सकते हैं।

लेखक इस अनचाहे नुकसान को "कोलेटरल डैमेज" (Collateral Damage) कहते हैं।

समाधान: COAST (जीपीएस नेविगेटर)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे COAST (COllateral-damage Minimizing Activation STeering) कहा जाता है।

केवल रोबोट को एक सीधी रेखा में धकेलने के बजाय, COAST एक स्मार्ट जीपीएस नेविगेटर की तरह काम करता है जो इलाके (terrain) को जानता है।

यह इलाके का मानचित्र बनाता है: स्टीयरिंग करने से पहले, COAST रोबोट के मस्तिष्क का एक नक्शा तैयार करता है (इस डेटा का उपयोग करके कि रोबोट आमतौर पर कैसे सोचता है) ताकि यह देख सके कि कौन सी दिशाएं "सुरक्षित" हैं और कौन सी "खतरनाक"।
यह सुरक्षित रास्ता खोजता है: यदि आप रोबोट को "ईमानदारी" की ओर धकेलना चाहते हैं, तो COAST उसे सीधे नहीं धकेलता। यह उस विशिष्ट वक्र (curve) की गणना करता है जो आपको "ईमानदारी" तक ले जाए और साथ ही सुरक्षित घाटियों के करीब रहे और खाइयों से बचा रहे।
लक्ष्य: यह आपके वांछित परिवर्तन (स्टीयरिंग) को प्राप्त करता है जबकि रोबोट के अन्य कौशल (जैसे गणित या लेखन) को न्यूनतम नुकसान पहुँचाता है।

एक रचनात्मक उपमा: हाइकिंग ट्रिप (पदयात्रा)

कल्पना कीजिए कि आप एक विशाल, पहाड़ी द्वीप (रोबोट का मस्तिष्क) पर हाइकिंग कर रहे हैं।

लक्ष्य: आप एक विशिष्ट कैंपसाइट पर पहुँचना चाहते हैं जिसका नाम "ईमानदारी" (target direction) है।
पुराना तरीका (ActAdd/Standard Steering): आप बस अपना कंपास "ईमानदारी" की ओर दिखाते हैं और सीधे वहां चलने लगते हैं। यदि रास्ता एक खड़ी, पथरीली चट्टान के ऊपर से जाता है, तो आप गिरकर अपनी टांग तोड़ सकते हैं (जिससे मॉडल की गणित करने की क्षमता को नुकसान पहुँचता है)।
COAST का तरीका: आपके पास एक टोपोग्राफिक मैप है। आप जानते हैं कि सीधे "ईमानदारी" की ओर जाने से आप एक खतरनाक खाई को पार करेंगे। इसलिए, COAST आपको एक घुमावदार रास्ते पर ले जाता है जो खाई के चारों ओर से जाता है। आप "ईमानदारी" तक तो पहुँच जाते हैं, लेकिन आपने अपनी टांग नहीं तोड़ी और न ही अपना बैग खोया (मॉडल के अन्य कौशल)।

उन्होंने इसे कैसे साबित किया कि यह काम करता है

शोधकर्ताओं ने कई अलग-अलग AI मॉडलों (जैसे Llama और Qwen) पर इसका परीक्षण किया। उन्होंने मॉडलों को एक साथ दो काम करने के लिए कहा:

जेलब्रेक (Jailbreak): मॉडल को वह कहने की कोशिश करना जिसे वह आमतौर पर मना कर देता है (स्टीयरिंग शक्ति का परीक्षण)।
समझदार बने रहना (Stay Smart): सामान्य प्रश्नों के सही उत्तर देना जारी रखना (यह परीक्षण करना कि क्या मॉडल टूट गया है)।

परिणाम:

पुरानी विधियाँ: जब उन्होंने मॉडल को "वर्जित" चीज़ कहने के लिए प्रेरित किया, तो मॉडल सामान्य प्रश्नों के उत्तर देने में काफी खराब हो गया। यह एक ट्रेड-ऑफ था: आपको व्यवहार परिवर्तन तो मिला, लेकिन आपने उसकी बुद्धिमत्ता खो दी।
COAST: इसने मॉडल को "वर्जित" चीज़ कहने में सफल बनाया बिना उसे मूर्ख बनाए। इसने मॉडल की बुद्धिमत्ता को बरकरार रखते हुए उसके व्यवहार को बदलने में सफलता प्राप्त की।

निष्कर्ष

यह पेपर दावा करता है कि AI के मस्तिष्क को एक सरल, चिकनी गेंद के बजाय एक जटिल, असमान परिदृश्य के रूप में मानकर, हम इसे बहुत अधिक सटीकता से "स्टीयर" कर सकते हैं। COAST हमें बुरे व्यवहारों को ठीक करने या नए गुण जोड़ने की अनुमति देता है, बिना उन अच्छी चीजों को गलती से नुकसान पहुँचाए जो AI पहले से ही कर रहा था। यह एक अनाड़ी "धक्के" को एक सटीक "नज" (हल्के से धकेलना) में बदल देता है।

तकनीकी सारांश: एक्टिवेशन स्टीयरिंग में कोलेटरल डैमेज (Collateral Damage) को कम करना

1. समस्या की परिभाषा

एक्टिवेशन स्टीयरिंग (Activation steering) एक ऐसी तकनीक है जिसका उपयोग विशिष्ट लक्ष्य फीचर दिशा (जैसे, सत्यनिष्ठा बढ़ाना या विषाक्तता को कम करना) के साथ एक्टिवेशन को संरेखित करने के लिए आंतरिक निरूपण (internal representations) में हस्तक्षेप करके लार्ज लैंग्वेज मॉडल (LLM) के व्यवहार को नियंत्रित करने के लिए किया जाता है। हालांकि यह प्रभावी है, मानक विधियाँ जैसे कि ActAdd (वेक्टर जोड़) और Norm-Preserving Steering (जैसे, Slerp, Angular Steering) अक्सर "कोलेटरल डैमेज" (collateral damage) से ग्रस्त होती हैं।

कोलेटरल डैमेज को गैर-लक्ष्य फीचर दिशाओं के साथ एक्टिवेशन के संरेखण में अनचाहे परिवर्तनों के रूप में परिभाषित किया गया है। पेपर का तर्क है कि मौजूदा विधियाँ गैर-लक्ष्य फीचर्स की आइसोट्रॉपी (isotropy) को मान लेती हैं—यानी वे किसी भी दिशा में बदलाव को समान रूप से महंगा मानती हैं। हालांकि, LLM निरूपण स्थान (representation spaces) स्वाभाविक रूप से एनिसोट्रोपिक (anisotropic) होते हैं; फीचर्स आपस में उलझे हुए होते हैं, और कुछ दिशाओं में एक्टिवेशन को स्थानांतरित करने से कई जुड़े हुए फीचर्स एक साथ बाधित हो सकते हैं, जिससे असंबंधित कार्यों (जैसे, तर्क या तथ्यात्मक सटीकता) पर प्रदर्शन में गिरावट आती है।

मुख्य समस्या स्टीयरिंग सफलता (वांछित व्यवहार परिवर्तन प्राप्त करना) और डाउनस्ट्रीम मॉडल प्रदर्शन को बनाए रखने के बीच का ट्रेड-ऑफ (trade-off) है। वर्तमान दृष्टिकोण या तो प्रदर्शन को त्यागकर उच्च स्टीयरिंग सफलता प्राप्त करते हैं या प्रदर्शन को बनाए रखने के लिए प्रभावी ढंग से स्टीयर करने में विफल रहते हैं।

2. कार्यप्रणाली: COAST

लेखक COllateral-damage Minimizing Activation STeering (COAST) का प्रस्ताव करते हैं, जो एक सिद्धांत आधारित ढांचा है जो स्टीयरिंग को एक 'प्रतिबंधित अनुकूलन समस्या' (constrained optimization problem) के रूप में मॉडल करता है।

2.1 गणितीय औपचारिकीकरण (Mathematical Formalization)

लक्ष्य एक नया एक्टिवेशन वेक्टर $x$ खोजना है जो एक निश्चित एलाइनमेंट बजट (स्टीयरिंग दिशा $d$ के साथ एक लक्षित कोसाइन समानता $\alpha$ ) को संतुष्ट करता हो, जबकि गैर-लक्ष्य फीचर्स के साथ संरेखण में अपेक्षित वर्ग परिवर्तन (expected squared change) को न्यूनतम करता हो।

ऑब्जेक्टिव फंक्शन को कोलेटरल डैमेज $J(x)$ को कम करता है:
$\min_{x \in \mathcal{M}} (x - h)^\top \Sigma (x - h)$
जहाँ:

$h$ मूल एक्टिवेशन है।
$\mathcal{M}$ नॉर्म प्रिजर्वेशन ( $\|x\|=1$ ) और एलाइनमेंट बजट ( $d^\top x = \alpha$ ) द्वारा परिभाषित एक व्यवहार्य सेट (feasible set) है।
$\Sigma$ कोलेटरल वेटिंग मैट्रिक्स है, जो एक्टिवेशन के एम्पिरिकल सेकंड-मोमेंट (empirical second-moment) का प्रतिनिधित्व करता है ( $\Sigma = \mathbb{E}[hh^\top]$ )।

आइसोट्रोपिक विधियों के विपरीत जो आइडेंटिटी मैट्रिक्स का उपयोग करती हैं (सभी दिशाओं को समान रूप से दंडित करती हैं), COAST एनिसोट्रोपिक ज्यामिति को दर्शाने के लिए $\Sigma$ का उपयोग करता है। उच्च विचरण (variance) या बार-बार सह-सक्रिय होने वाली दिशाओं को अधिक दंडित किया जाता है, जो अनुकूलन को "संवेदनशील" फीचर क्लस्टरों से दूर निर्देशित करता है।

2.2 अनुकूलन एल्गोरिदम (Optimization Algorithm)

व्यवहार्य सेट $\mathcal{M}$ एक $(p-2)$ -स्फीयर (यूनिट हाइपरस्फीयर पर एक "अक्षांश") बनाता है। COAST अनुकूलन समस्या को रीमानियन ग्रेडिएंट डिसेंट (Riemannian gradient descent) का उपयोग करके हल करता है:

आरंभ (Initialization): एल्गोरिदम $\mathcal{M}$ के मैनिफोल्ड पर $h$ के यूक्लिडियन प्रोजेक्शन पर आरंभ होता है।
ग्रेडिएंट गणना: यह $\mathcal{M}$ के स्पर्शज्या स्थान (tangent space) पर यूक्लिडियन ग्रेडिएंट ( $2\Sigma(x-h)$ ) को प्रोजेक्ट करके रीमानियन ग्रेडिएंट की गणना करता है।
जियोडेसिक अपडेट (Geodesic Update): एल्गोरिदम स्फीयर पर एक्सपोनेंशियल मैप द्वारा परिभाषित जियोडेसिक (महावृत्त/great circle) के साथ चलते हुए एक्टिवेशन को अपडेट करता है, यह सुनिश्चित करता है कि एलाइनमेंट बजट हर चरण में सख्ती से संतुष्ट हो।

2.3 सैद्धांतिक गुण

सामान्यीकरण (Generalization): COAST, Slerp (Spherical Linear Interpolation) का कड़ाई से सामान्यीकरण करता है। उन परिदृश्यों में जहाँ कोलेटरल डैमेज आइसोट्रोपिक है (उदाहरण के लिए, फीचर्स लक्ष्य के लंबवत हैं या समान रूप से वितरित हैं), COAST क्लोज्ड-फॉर्म Slerp समाधान में बदल जाता है।
माध्यम से।
अभिसरण (Convergence): पेपर सिद्ध करता है कि निरंतर-समय रीमानियन ग्रेडिएंट फ्लो एक एकल स्टेशनरी पॉइंट पर अभिसरित होता है। इसके अलावा, विशिष्ट ज्यामितीय आरंभ के साथ, फ्लो कोलरल डैमेज ऑब्जेक्टिव के ग्लोबल मिनिमम पर अभिसरित होता है।
दक्षता: यह विधि "प्लग-एंड-प्ले" है, जो इन्फरेंस में न्यूनतम ओवरहेड (0.9%–4.0%) जोड़ती है और व्यवहार में केवल एक सिंगल जियोडेसिक स्टेप की आवश्यकता होती है।

3. मुख्य योगदान

कोलेटरल डैमेज का औपचारिकीकरण: पेपर कोलेटरल डैमेज को अपेक्षित अनचाहे एलाइनमेंट शिफ्ट के रूप में एक गणितीय परिभाषा प्रदान करता है, जो इसे सीधे एक्टिवेशन के एम्पिरिकल सेकंड-मोमेंट मैट्रिक्स से जोड़ता है।
एनिसोट्रॉपी-जागरूक स्टीयरिंग: यह एक ऐसा ढांचा पेश करता है जो स्पष्ट रूप से LLM निरूपणों की एनिसोट्रोपिक ज्यामिति को ध्यान में रखता है, जो पिछले कार्यों की आइसोट्रोपिक धारणाओं से आगे बढ़ता है।
COAST एल्गोरिदम: एक नवीन अनुकूलन एल्गोरिदम जो एलाइनमेंट बजट स्फीयर पर सबसे "सुरक्षित" स्टीयर्ड एक्टिवेशन को खोजता है, जिससे गैर-लक्ष्य फीचर्स में व्यवधान कम होता है।
सैद्धांतिक गारंटी: सामान्य एनिसोट्रोपिक स्थितियों के तहत इष्टतम स्टीयरिंग समाधान के लिए ग्लोबल कन्वर्जेंस के प्रमाण।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि COAST, प्रदर्शन संरक्षण के साथ स्टीयरिंग प्रभावशीलता को संतुलित करने में मौजूदा बेसलाइन (ActAdd, Angular Steering, Slet) से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने tinyBenchmarks सूट और सुरक्षा मूल्यांकन के लिए HarmBench का उपयोग करके चार इंस्ट्रक्शन-ट्यून्ड LLMs (Llama-3.2-3B, Llama-3.1-8B, Qwen2.5-14B, Gemma-2-9B) पर COAST का मूल्यांकन किया।

ट्रेड-ऑफ शमन (Trade-off Mitigation): जबकि ActAdd ने एक तीव्र ट्रेड-ऑफ दिखाया (उच्च स्टीयरिंग सफलता लेकिन महत्वपूर्ण सटीकता गिरावट) और Angular Steering उच्च सफलता दर प्राप्त करने में संघर्ष करता रहा, COAST लगातार उच्च Attack Success Rates (ASR) (स्टीयरिंग प्रभावशीलता) प्राप्त करने में सफल रहा और साथ ही अनस्टीयर्ड मॉडल्स के समान कार्य सटीकता बनाए रखी।
मात्रात्मक लाभ:
- COAST ने Angular Steering की तुलना में ASR में 30% तक सुधार किया।
- इसने समकक्ष ASR स्तरों पर ActAdd की तुलना में सटीकता में 20% तक सुधार दिखाया।
- विशिष्ट मॉडल्स (Gemma-2-9B, Llama-3.2-3B) में, COAST ने Slerp की तुलना में ASR और टास्क सटीकता दोनों को एक साथ सुधारा।
कोलेटरल डैमेज एक प्रॉक्सी के रूप में: अध्ययन ने अनुभवजन्य रूप से सत्यापित किया कि प्रस्तावित कोलेटरल डैमेज मेट्रिक प्रदर्शन गिरावट के लिए एक विश्वसनीय प्रॉक्सी है, जो छह बेंचमार्क में कोलेटरल डैमेज और मॉडल सटीकता के बीच एक मजबूत नकारात्मक पियर्सन सहसंबंध ( $r < -0.9$ ) दिखाता है।
कंप्यूटेशनल लागत: COAST ने मामूली इन्फरेंस ओवरहेड (0.9%–4.0% टोकन/सेकंड की कमी) उत्पन्न किया, जो इसके वास्तविक समय के परिनियोजन (real-time deployment) के लिए उपयुक्तता की पुष्टि करता है।

5. महत्व और दावे

पेपर COAST को "क्या हम स्टीयर कर सकते हैं?" से बदलकर "क्या हम जिम्मेदारी से स्टीयर कर सकते हैं?" की ओर एक बदलाव के रूप में प्रस्तुत करता है। कोलेटरल डैमेज को स्पष्ट रूप से कम करके, यह विधि असंबंधित क्षमताओं को त्याग दिए बिना लक्षित व्यवहार परिवर्तन सक्षम करती है।

लेखक दावा करते हैं कि COAST जवाबदेह एक्टिवेशन इंटरवेंशन (accountable activation interventions) के लिए एक आधार प्रदान करता है, जिसकी विशेषता है:

स्पष्ट उद्देश्य: स्टीयरिंग को एक स्पष्ट लागत फलन (cost function) के साथ एक अनुकूलन समस्या के रूप में फ्रेम किया गया है।
पारदर्शी बाधाएं: एलाइनमेंट बजट एक उपयोगकर्ता-परिभाषित, व्याख्या योग्य पैरामीटर है।
अनुमानित दुष्प्रभाव: मॉडल के निरूपण स्थान की ज्यामिति को मॉडल करके, यह विधि अनचाहे व्यवहार संबंधी विचलन या क्षमता में गिरावट के जोखिम को कम करती है।

यह कार्य सुझाव देता है कि एलाइनमेंट, पर्सनलाइजेशन या कंटेंट मॉडरेशन के लिए स्टीयरिंग-आधारित नियंत्रणों का भविष्य का परिनियोजन अधिक विश्वसनीय और सुरक्षित हो सकता है, बशर्ते कि मॉडल के आंतरिक निरूपणों की एनिसोट्रोपिक प्रकृति का हस्तक्षेप के दौरान सम्मान किया जाए। लेखक इस बात पर जोर देते हैं कि हालांकि स्टीयरिंग एक शक्तिशाली उपकरण है, लेकिन दुरुपयोग को रोकने के लिए साइड इफेक्ट्स की पारदर्शी रिपोर्टिंग के साथ विविध कार्यों में इसका मूल्यांकन किया जाना चाहिए।