← नवीनतम पेपर
🤖 machine learning

When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search

यह शोध पत्र तर्क देता है कि एक्टिवेशन स्टीयरिंग प्रभावकारिता में परिवर्तनशीलता मुख्य रूप से रैंक-1 समाधानों की अनुपस्थिति के बजाय खोज की कठिनाई (search difficulty) द्वारा संचालित होती है, जो GRACE फ्रेमवर्क का प्रस्ताव करता है जो इष्टतम स्टीयरिंग दिशाओं के लिए कुशल, ज्यामिति-जागरूक बजट वाली खोज (geometry-aware budgeted search) को निर्देशित करने के लिए प्रॉम्प्ट-बाउंड्री संरेखण और एक नए "कॉन्सेप्ट ग्रैनुलैरिटी" मीट्रिक का लाभ उठाता है।

मूल लेखक: John T. Robertson, Jianing Zhu, Haris Vikalo, Zhangyang Wang

प्रकाशित 2026-05-19
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: John T. Robertson, Jianing Zhu, Haris Vikalo, Zhangyang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट (एक Large Language Model) है जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और समस्याओं को हल कर सकता है। कभी-कभी, आप इस रोबोट को एक निश्चित तरीके से कार्य करने के लिए प्रेरित करना चाहते हैं—शायद अधिक "हास्यपूर्ण" (humorous), अधिक "पेशेवर" (professional), या कम "असभ्य" (rude) होने के लिए।

इसे करने का एक लोकप्रिय तरीका है जिसे एक्टिवेशन स्टीयरिंग (Activation Steering) कहा जाता है। इसे ऐसे समझें जैसे आप इस रोबोट के मस्तिष्क के भीतर एक विशिष्ट "वॉल्यूम नॉब" (volume knob) ढूंढ रहे हों। यदि आप इस नॉब को सही दिशा में घुमाते हैं, तो रोबोट वैसा ही व्यवहार करने लगता है जैसा आप चाहते हैं।

हालाँकि, इस शोध पत्र (paper) के लेखकों ने पाया कि यह विधि एक जुआ खेलने जैसा है। कभी-कभी यह पूरी तरह से काम करती है; अन्य समय में, यह पूरी तरह विफल हो जाती है। मुख्य प्रश्न जो उन्होंने पूछा था, वह था: यह इतना अनिश्चित क्यों है?

यहाँ इस पेपर की कहानी है, जिसे सरल अवधारणाओं और उपमाओं (analogies) में विभाजित किया गया है।

1. समस्या: ऐसा नहीं है कि नॉब मौजूद नहीं है; बल्कि यह है कि हम इसे ढूंढ नहीं पा रहे हैं

कई शोधकर्ताओं का मानना था कि समस्या यह है कि कुछ व्यक्तित्व लक्षण (जैसे "बुरा होना" या "मजाकिया होना") रोबोट के मस्तिष्क में किसी एक एकल "नॉब" के रूप में मौजूद नहीं होते। उन्हें लगा कि रोबोट बहुत जटिल है और इसमें एक साधारण स्विच काम नहीं करेगा।

लेखक तर्क देते हैं: नहीं, नॉब शायद वहीं है। समस्या यह है कि उसे ढूंढना महंगा और कठिन है।

  • उपमा: कल्पना कीजिए कि आप एक विशाल, अंधेरे गोदाम में एक विशिष्ट कुंजी (key) की तलाश कर रहे हैं। आप जानते हैं कि कुंजी मौजूद है, लेकिन गोदाम में 100 अलग-अलग कमरे (layers) हैं और कुंजी किसी भी शेल्फ (coefficient) पर हो सकती है। यदि आप बस रैंडम तरीके से दराजें खोलना शुरू कर देते हैं, तो आप पूरा दिन बिता सकते हैं और शायद उसे कभी न ढूंढ पाएं। पेपर का तर्क है कि कुंजी वहीं है, लेकिन हमारी खोज पद्धति बहुत अनाड़ी (clumsy) है।

2. पहली खोज: गोदाम के लिए एक "फ्लैशलाइट" (Flashlight)

लेखकों को एहसास हुआ कि इससे पहले कि आप खोजना शुरू करें, आप रोबोट के बोलने से ठीक पहले उसके "विचारों" (thoughts) को देख सकते हैं (प्रॉम्प्ट बाउंड्री पर)।

  • उपमा: कल्पना कीजिए कि जब रोबोट किसी विशिष्ट विषय (जैसे "खाना बनाना") के बारे में सोच रहा होता है, तो उसका मस्तिष्क एक विशिष्ट पैटर्न में चमकता है। यदि आप रोबोट के बोलने से पहले इस पैटर्न को देखते हैं, तो आप देख सकते हैं कि गोदाम का कौन सा कमरा कुंजी रखने के लिए सबसे अधिक संभावित है।
  • परिणाम: इस "फ्लैशलाइट" (जिसे वे प्रॉम्प्ट-बाउंड्री अलाइनमेंट कहते हैं) का उपयोग करके, वे उन 60% कमरों को छोड़ सके जिनकी उन्हें जांच करने की आवश्यकता नहीं थी। इसने बिना किसी प्रभावशीलता को खोए, खोजने की प्रक्रिया को बहुत तेज़ और सस्ता बना दिया।

3. दूसरी खोज: कुछ अवधारणाएं "आकार बदलने वाली" (Shapeshifters) होती हैं

फ्लैशलाइट के साथ भी, कुछ अवधारणाओं को नियंत्रित करना अभी भी कठिन था। क्यों?

लेखकों ने एक नया विचार पेश किया जिसे कॉन्सेप्ट ग्रैनुलैरिटी (Concept Granularity) कहा जाता है।

  • लो ग्रैनुलैरिटी (स्थिर): "गणित" की अवधारणा की कल्पना करें। कोई भी व्यक्ति सवाल पूछे या उसे कैसे भी प्रस्तुत करे, रोबोट का मस्तिष्क गणित के बारे में लगभग एक ही दिशा में सोचता है। यह एक ठोस, भारी पत्थर की तरह है। इसे नियंत्रित करना आसान है।
  • हाई ग्रैनुलैरिटी (अस्थिर): "हास्य" (Humor) की अवधारणा की कल्पना करें। एक व्यक्ति के लिए एक संदर्भ में जो बात मजेदार है, वह दूसरे संदर्भ में अपमानजनक हो सकती है। रोबोट का मस्तिष्क विशिष्ट प्रश्न के आधार पर अपनी दिशा बदल देता है। यह धुएं के बादल को नियंत्रित करने की कोशिश करने जैसा है; इसका आकार बदलता रहता है।
  • परिणाम: यदि कोई अवधारणा "हाई ग्रैनुलैरिटी" (बदलने वाली) है, तो कोई भी एकल नॉब हर स्थिति में पूरी तरह से काम नहीं करेगा। लेखकों ने पाया कि यदि कोई अवधारणा "शिफ्टिंग" (shifty) है, तो आप खोजने में अधिक समय खर्च करेंगे, और फिर भी, आपको पूर्ण परिणाम नहीं मिलेंगे। यह खोज में कोई त्रुटि (bug) नहीं है, बल्कि यह उस अवधारणा की अपनी विशेषता (feature) है।

4. समाधान: GRACE (स्मार्ट मैकेनिक)

लेखकों ने GRACE (Granularity- and Representation-Aware Concept Engineering) नामक एक वर्कफ़्लो बनाया। GRACE को एक स्मार्ट मैकेनिक के रूप में समझें जो कार को ठीक करने की कोशिश करने से पहले यह निदान (diagnose) करता है कि कार शुरू क्यों नहीं हो रही है।

GRACE तीन चीजें जाँचता है:

  1. क्या शोर खराब निर्देशों से आ रहा है? (शायद रोबोट भ्रमित है क्योंकि दिए गए उदाहरण असंगत थे)।
    • समाधान: उदाहरणों को साफ करें।
  2. क्या सिग्नल बहुत कमजोर या बहुत तेज है? (शायद एक उदाहरण इतना जोर से चिल्ला रहा है कि वह दूसरों को दबा रहा है)।
    • समाधान: उदाहरणों के वॉल्यूम को संतुलित करें।
  3. क्या अवधारणा ही बहुत ज्यादा बदलने वाली है? (High Granularity)।
    • समाधान: यह स्वीकार करें कि एक एकल नॉब हर चीज़ के लिए पूरी तरह से काम नहीं करेगा। एक "परफेक्ट" एकल दिशा खोजने में समय बर्बाद न करें; इसके बजाय, अपने खोज बजट का उपयोग उन हिस्सों पर करें जिन्हें सुधारा जा सकता है।

पेपर के दावों का सारांश

  • बदलाव: हमें यह नहीं पूछना चाहिए कि "क्या इस अवधारणा की एक स्टीयरिंग दिशा है?" बल्कि हमें यह पूछना चाहिए कि "उस दिशा को ढूंढना कितना सस्ता है?"
  • शॉर्टकट: आप रोबोट के बोलने से पहले उसके मस्तिष्क को देखकर यह अनुमान लगा सकते हैं कि स्टीयरिंग दिशा कहाँ छिपी है। इससे बहुत सारा समय बचता है।
  • सीमा: कुछ अवधारणाएं स्वाभाविक रूप से "शिफ्टिंग" (high granularity) होती हैं। इनके लिए, एक एकल स्टीयरिंग दिशा कभी भी पूर्ण नहीं होगी, चाहे आप कितनी भी खोज करें।
  • वर्कफ़्लो: खोजने के दायरे को सीमित करने के लिए "फ्लैशलाइट" का उपयोग करें, और यह जानने के लिए कि कब रुकना है और "पर्याप्त अच्छे" परिणाम को स्वीकार करना है, "ग्रैनुलैरिटी" की जांच का उपयोग करें।

यह पेपर क्या दावा नहीं करता है:

  • यह दावा नहीं करता है कि यह चिकित्सा निदान (medical diagnoses) या क्लिनिकल उपयोगों के लिए काम करता है।
  • यह दावा नहीं करता है कि यह AI को सामान्य अर्थों में "सुरक्षित" बनाएगा, केवल यह कि यह विशिष्ट व्यवहारों को नियंत्रित करना अधिक कुशल बनाता है।
  • यह सुझाव नहीं देता है कि हाई-ग्रैनुलैरिटी अवधारणाएं "टूटी हुई" हैं; यह केवल कहता है कि उन्हें एक साधारण स्विच के साथ नियंत्रित करना कठिन है।

संक्षेप में, यह पेपर हमें सिखाता है कि स्टीयरिंग नॉब खोजने के लिए दीवार पर सिर पटकना कैसे बंद करें, और इसके बजाय हमें उन नॉब्स को खोजने का नक्शा देता है जिन्हें घुमाना आसान है, जबकि हमें यह भी बताता है कि कौन से नॉब बहुत अधिक डगमगाने वाले हैं जिन्हें पूरी तरह से घुमाना असंभव है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →