Towards Understanding Steering Strength

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक सुपर-स्मार्ट, लेकिन थोड़ी शरारती, रोबोट शेफ के रूप में करें। इसने अपने ट्रेनिंग डेटा से हर तरह के व्यंजन बनाना सीख लिया है, लेकिन कभी-कभी यह गलती से रेसिपी में "ज़हर" (हानिकारक या अवांछित व्यवहार) मिला देता है। इसे बिना पूरे शेफ को फिर से प्रशिक्षित किए ठीक करने के लिए, शोधकर्ता एक्टिवेशन स्टीयरिंग (activation steering) नामक तकनीक का उपयोग करते हैं। इसे इस तरह समझें जैसे आप रोबोट को खाना बनाते समय एक कोमल धक्का दे रहे हैं, उसे "सुरक्षा" या "ईमानदारी" की ओर धकेल रहे हैं और "धोखाधड़ी" या "हानि" से दूर रख रहे हैं।

बड़ा सवाल जिसका यह पेपर समाधान करता है, वह यह है: आपको कितना ज़ोर से धक्का देना चाहिए?

यदि आप बहुत हल्का धक्का देते हैं, तो रोबोट आपकी बात अनसुनी कर देता है और खराब व्यंजन बनाना जारी रखता है। यदि आप बहुत ज़ोर से धक्का देते हैं, तो आप रोबोट को गिरा सकते हैं, जिससे पूरा भोजन ही बर्बाद हो जाएगा। लेखकों, मागामेड ताइमेस्कानोव, सैमुअल वैटर, और डेमियन गैरो ने यह पता लगाने का निर्णय लिया कि बल की सही मात्रा क्या है, जिसे वे स्टीयरिंग स्ट्रेंथ (steering strength) कहते हैं (जिसे ग्रीक अक्षर $\alpha$ द्वारा दर्शाया गया है)।

सड़क में "उभार" (The "Bump" in the Road)

सबसे आश्चर्यजनक बात जो उन्होंने पाई, वह यह है कि स्टीयरिंग स्ट्रेंथ को बढ़ाने से व्यवहार केवल एक सीधी रेखा में बेहतर नहीं होता है। इसके बजाय, यह एक रोलरकोस्टर की तरह एक विशिष्ट आकार में व्यवहार करता है।

कल्पना कीजिए कि आप रोबोट को "सुरक्षित" शब्द बोलने के लिए प्रेरित करने की कोशिश कर रहे हैं। जैसे-जैसे आप धीरे-धीरे धक्का ($\alpha$) बढ़ाते हैं:

1. उदय (The Rise): शुरुआत में, सुरक्षित शब्दों के बोलने की संभावना बढ़ जाती है। बहुत बढ़िया!
2. शिखर (The Peak): फिर, यह एक मधुर बिंदु (sweet spot) पर पहुँचता है। यह वह "उभार" (bump) है। रोबोट बिल्कुल वही कह रहा है जो आप चाहते हैं, और बाकी की बातचीत अभी भी तर्कसंगत है।
3. गिरावट (The Drop): लेकिन यदि आप उस शिखर से आगे बढ़ते हैं, तो सुरक्षित शब्दों की संभावना वास्तव में कम होने लगती है। रोबोट भ्रमित हो जाता है, और उसके उत्तरों की गुणवत्ता गिर जाती है।

यह पेपर गणितीय रूप से सिद्ध करता है कि अधिकांश शब्दों के लिए, यह "उभार" वाला व्यवहार वास्तविक है। उन्होंने पाया कि "ऑफ-टारगेट" शब्द (वह बुरा stuff जिसे आप टालने की कोशिश कर रहे हैं) "टारगेट" शब्दों (अच्छी चीज़ें जिन्हें आप चाहते हैं) से पहले अपने शिखर पर पहुँचते हैं और फीके पड़ने लगते हैं। इसका मतलब है कि एक विशिष्ट विंडो मौजूद है जहाँ रोबोट टूटने से पहले सही विषय पर केंद्रित रहता है।

"सिग्मॉइड" एस-कर्व (The "Sigmoid" S-Curve)

जब उन्होंने बड़े परिदृश्य को देखा—कि एक पूरे विचार (जैसे "बुराई" या "प्रसन्नता") को उत्पन्न करने की संभावना कितनी है, न कि केवल एक शब्द की—तो उन्होंने पाया कि यह एक एस-कर्व (S-curve) या सिग्मॉइड है।

इसे एक लाइट स्विच की तरह समझें जो तुरंत चालू नहीं होता। जैसे-जैसे आप स्टीयरिंग स्ट्रेंथ बढ़ाते हैं, विचार (concept) तब तक बंद रहता है, फिर धीरे-धीरे चमकने लगता है, और अंत में, यह पूरी तरह से प्रकाशित हो जाता है। पेपर दिखाता है कि किसी विचार के प्रकट होने की संभावना इस सहज एस-आकार का पालन करती है, जो अन्य शोधकर्ताओं द्वारा प्रयोगों में देखे गए पैटर्न से मेल खाती है। हालाँकि, उन्होंने यह भी नोट किया कि यदि आप स्ट्रेंथ को बहुत अधिक बढ़ा देते हैं, तो रोबोट आपके प्रॉम्प्ट को पूरी तरह से सुनना बंद कर देता है और आपके द्वारा कुछ भी पूछे जाने पर बस उन्हीं कुछ शब्दों को बार-बार दोहराने लगता है।

धक्का देने की लागत (The Cost of Pushing)

यहाँ पेंच है: आप बिना कुछ खोए कुछ प्राप्त नहीं कर सकते।

पेपर सिद्ध करता है कि आप कितनी भी सावधानी से अपनी स्टीयरिंग स्ट्रेंथ का चयन करें, रोबोट को धक्का देने से वह हमेशा अपने मूल काम (अगले शब्द की सही भविष्यवाणी करना) में थोड़ा खराब हो जाता है। उन्होंने इसे क्रॉस-एन्ट्रॉपी (cross-entropy) नामक एक मीट्रिक का उपयोग करके मापा (यह मापने का एक तरीका कि मॉडल अपने स्वयं के आउटपुट से कितना "आश्चर्यचकित" है)।

उन्होंने पाया कि जिस बिंदु पर आप बिल्कुल भी धक्का नहीं दे रहे हैं ($\alpha = 0$), उसके आसपास प्रदर्शन को होने वाला नुकसान एक U-आकार जैसा दिखता है।

• यदि आप थोड़ा सा धक्का देते हैं, तो नुकसान कम होता है (यह एक कोमल वक्र की तरह दिखता है)।
• यदि आप बहुत अधिक धक्का देते हैं, तो नुकसान बहुत बढ़ जाता है।
• महत्वपूर्ण रूप से, पेपर दिखाता है कि यह नुकसान केवल एक सीधी रेखा नहीं है; यह छोटे धक्कों के लिए द्विघात (quadratically, यानी $x^2$ की तरह) बढ़ता है। इसका मतलब है कि बल में मामूली वृद्धि भी प्रदर्शन को आपकी अपेक्षा से कहीं अधिक तेज़ी से नुकसान पहुँचा सकती है।

उन्होंने क्या खारिज किया (What They Ruled Out)

लेखकों ने कुछ सामान्य भ्रांतियों को खारिज करने में बहुत सावधानी बरती:

• यह एक सीधी रेखा नहीं है: उन्होंने स्पष्ट रूप से दिखाया कि यह विचार कि "अधिक स्टीयरिंग हमेशा वांछित व्यवहार को बढ़ाता है" गलत है। एक निश्चित बिंदु के बाद, अधिक स्टीयरिंग वांछित व्यवहार को कम कर देती है।
• यह जादू नहीं है: उन्होंने इस विचार के विरुद्ध तर्क दिया कि आप स्टीयरिंग स्ट्रेंथ के लिए कोई भी रैंडम नंबर चुन सकते हैं। पेपर सुझाव देता है कि "स्वीट स्पॉट" विशिष्ट प्रॉम्प्ट और मॉडल पर निर्भर करता है, इसलिए "एक ही नंबर सबके लिए" (one-size-fits-all) वाला विकल्प मौजूद नहीं है।
• यह केवल लक्ष्य के बारे में नहीं है: उन्होंने दिखाया कि स्टीयरिंग अन्य अवधारणाओं को भी प्रभावित करती है। यदि आप रोबोट को "खुश" होने के लिए प्रेरित करते हैं, तो आप अनजाने में उसे "दुखी" होने से कम कर सकते हैं, लेकिन आप "गणित" या "कोडिंग" के बारे में बात करने की उसकी क्षमता को भी बिगाड़ सकते हैं, यह इस पर निर्भर करता है कि अवधारणाएं रोबोट के मस्तिष्क के भीतर कैसे उलझी हुई हैं।

वे कितने आश्वस्त हैं?

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक सरलीकृत रोबोट (एक "अनकन्स्ट्रेंड फीचर्स मॉडल") का गणितीय मॉडल बनाया और कठोर गणित के साथ इन व्यवहारों को सिद्ध किया। फिर उन्होंने इन सिद्धांतों का परीक्षण ग्यारह अलग-अलग वास्तविक दुनिया के लैंग्वेज मॉडल्स पर किया, जिनमें छोटे मॉडल्स से लेकर GPT-2, Gemma और Qwen जैसे विशाल मॉडल्स शामिल हैं।

उन्होंने पाया कि "बंप" पैटर्न, एस-कर्व, और प्रदर्शन को होने वाला यू-आकार का नुकसान इन सभी विभिन्न मॉडल्स में लगातार दिखाई देता है। हालांकि वे स्वीकार करते हैं कि उनका गणितीय मॉडल वास्तविक जीवन का एक सरलीकरण है, लेकिन तथ्य यह है कि वास्तविक रोबोट बिल्कुल वैसा ही व्यवहार करते हैं जैसा गणित ने भविष्यवाणी की थी, इससे उनके निष्कर्षों पर उनका विश्वास बहुत बढ़ जाता है।

मुख्य निष्कर्ष (The Takeaway)

पेपर सुझाव देता है कि लैंग्वेज मॉडल को स्टीयर करना एक रेडियो ट्यून करने जैसा है। यदि आप डायल को बहुत अधिक घुमा देते हैं, तो आपको स्पष्ट सिग्नल नहीं मिलता; आपको केवल शोर (static) मिलता है। लेखक इन मॉडल्स को नियंत्रित करने की कोशिश करने वाले किसी भी व्यक्ति के लिए दो-चरणीय रणनीति का प्रस्ताव देते हैं:

1. पहले, "सीलिंग" (ceiling) खोजें—वह बिंदु जहाँ रोबोट टूटने लगता है या आपके प्रॉम्प्ट को अनदेखा करने लगता है।
2. दूसरा, उस सीलिंग के ठीक नीचे की स्ट्रेंथ चुनें जो रोबोट की सामान्य बुद्धिमत्ता को होने वाले नुकसान को न्यूनतम रखते हुए आपको सबसे अधिक "अच्छा" व्यवहार प्रदान करती है।

उन्होंने हर स्थिति के लिए एकदम सही नंबर खोजने की समस्या को हल नहीं किया, लेकिन उन्होंने हमें इलाके का एक नक्शा दे दिया ताकि हम अंधेरे में अनुमान लगाना बंद कर सकें।