Inverted Detection and Control in Steering Vectors
यह शोध पत्र एक ऐसी घटना की पहचान करता है जहाँ अत्यधिक विभेदक स्टीयरिंग वेक्टर्स (discriminative steering vectors) विरोधाभासी रूप से विपरीत व्यवहारों को बढ़ावा दे सकते हैं (जिसे "इनवर्टेड-स्टीयरिंग वेक्टर्स" कहा जाता है), बिना जनरेशन के इन वेक्टर्स का पता लगाने और उन्हें सुधारने के लिए एक ज्यामितीय विधि प्रस्तावित करता है, और यह प्रदर्शित करता है कि इन साइन फ्लिप्स (sign flips) को लागू करने से कई लार्ज लैंग्वेज मॉडल्स और अवधारणाओं में इन्फरेंस-टाइम इंटरवेंशन प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, डिजिटल मस्तिष्क को यह सिखाने की कोशिश कर रहे हैं कि सच कैसे बोला जाता है या विनम्र कैसे बना जाता है। आप इसके पूरे दिमाग को फिर से प्रोग्राम नहीं करना चाहते; यह बहुत कठिन और धीमा होगा। इसके बजाय, आप इसे एक हल्का सा इशारा देना चाहते हैं, एक कोमल थपकी, ताकि सोचते समय इसे सही काम करने की याद दिलाई जा सके। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस "इशारे" को स्टीयरिंग वेक्टर (Steering Vector) कहा जाता है। इसे एक चुंबकीय दिशा-सूचक यंत्र (कम्पास) की सुई की तरह समझें जो AI के मस्तिष्क के भीतर छिपी हुई है। यदि AI झूठ की ओर भटक रहा है, तो आप सुई को "सत्य" की ओर मोड़ देते हैं, और AI के विचार जादुई रूप से उस दिशा में पुनर्गठित हो जाने चाहिए। लंबे समय तक, वैज्ञानिकों का मानना था कि यह भौतिकी का एक सीधा खेल है: यदि कम्पास की सुई "सत्य" की ओर इशारा करती है, तो AI को उस दिशा में धकेलने से वह अधिक सत्यवादी हो जाएगा। यह एक सरल नियम जैसा लग रहा था: वह दिशा खोजें जो झूठ को सच से अलग करती है, और AI को उस रेखा के साथ आगे बढ़ाएं।
लेकिन क्या होगा अगर कम्पास टूटा हुआ हो? क्या होगा अगर, AI को सच की ओर ले जाने के बजाय, सुई वास्तव में बिल्कुल विपरीत दिशा में इशारा कर रही हो, और AI को उस दिशा में धकेलने से वह और भी अधिक झूठ बोलने लगे? यह एक नई स्टडी से सामने आया एक आश्चर्यजनक मोड़ है। शोधकर्ताओं ने पाया कि कभी-कभी, वे उपकरण जिनका उपयोग हम AI के व्यवहार को नियंत्रित करने के लिए करते हैं, वे "उल्टे" (inverted) होते हैं। वे ऐसे दिखते हैं जैसे वे सही दिशा में इशारा कर रहे हों, लेकिन वास्तव में वे AI को गलत रास्ते पर ले जाते हैं। यह खोज महत्वपूर्ण है क्योंकि इसका मतलब है कि केवल एक ऐसी दिशा खोजना पर्याप्त नहीं है जो अच्छे और बुरे को अलग करती है; हमें यह भी सुनिश्चित करना होगा कि जब हम AI को धकेलते हैं, तो वह वास्तव में सही दिशा में चलता है। यदि हम इन "उल्टे" (inverted) दिशाओं की जांच नहीं करते हैं, तो हम अनजाने में अपने AI को कम ईमानदार, कम सहायक या अधिक खतरनाक बना सकते हैं, भले ही हमें लगता हो कि हम उसकी मदद कर रहे हैं।
उलटे कम्पास का रहस्य
"इनवर्टेड डिटेक्शन एंड कंट्रोल इन स्टीयरिंग वेक्टर्स" (Inverted Detection and Control in Steering Vectors) शीर्षक वाला यह शोध पत्र एक अजीब घटना की गहराई में जाता है जिसे लेखक इनवर्टेड-स्टीयरिंग वेक्टर्स (Inverted-Steering Vectors - ISVs) कहते हैं। इसे समझने के लिए, आइए AI के मस्तिष्क को एक विशाल, बहु-परतीय शहर के रूप में कल्पना करें। इस शहर के भीतर, लाखों छोटे संदेशवाहक (जिन्हें "अटेंशन हेड्स" कहा जाता है) एक-दूसरे को नोट्स भेज रहे हैं। जब हम चाहते हैं कि AI सत्यवादी हो, तो हम शहर में एक विशिष्ट "दिशा" खोजने की कोशिश करते हैं जो "सत्य" का प्रतिनिधित्व करती है। आमतौर पर, हम इसे यह देखकर पाते हैं कि जब AI सच बोलता है बनाम जब वह झूठ बोलता है, तो वह क्या नोट्स लिखता है। इन दो प्रकार के नोट्स के बीच का अंतर हमें हमारा "स्टीयरिंग वेक्टर" देता है—जो सत्य की ओर इशारा करने वाला एक मानचित्र है।
पुरानी धारणा सरल थी: यदि आप इस मानचित्र के साथ AI के विचारों को धकेलते हैं, तो उसे अधिक सत्यवादी होना चाहिए। लेकिन लेखकों ने पाया कि इनमें से कुछ मानचित्रों के लिए, ठीक इसके विपरीत होता है। वे इन्हें इनवर्टेड-स्टीयरिंग वेक्टर्स (ISVs) कहते हैं। यह एक ऐसे मानचित्र की तरह है जो कहता है "उत्तर इस दिशा में है," लेकिन जब आप उत्तर की ओर चलते हैं, तो आप वास्तव में दक्षिण में पहुँच जाते हैं। मानचित्र एकदम सही दिखता है—यह स्पष्ट रूप से "सत्य" के मोहल्ले को "झूठ" के मोहल्ले से अलग करता है—लेकिन यदि आप इस मानचित्र का उपयोग AI को निर्देशित करने के लिए करते हैं, तो यह AI को गलत दिशा में धकेल देता है।
शोधकर्ताओं ने इसका परीक्षण तीन अलग-अलग AI मॉडलों (Gemma 3, Qwen 2.5, और Olmo 3) और पाँच विभिन्न अवधारणाओं पर किया, जिसमें सत्यनिष्ठा, धन की खोज, और "करिगेबल" (सुधार के लिए तैयार होना) होना शामिल है। उन्होंने पाया कि ये उल्टे मानचित्र कोई दुर्लभ दुर्घटना नहीं हैं; वे एक व्यवस्थित त्रुटि (systematic glitch) हैं। वास्तव में, उन्होंने पाया कि कुछ वेक्टर्स अंतर का पता लगाने में इतने अच्छे थे (एक स्कोर जिसे AUC कहा जाता है, जो 0.97 तक बहुत उच्च है) कि वे एकदम सटीक लग रहे थे। फिर भी, जब शोधकर्ताओं ने इस वेक्टर का उपयोग AI को निर्देशित करने के लिए किया, तो AI ने ठीक उसके विपरीत किया जो इरादा था।
उन्होंने इस गड़बड़ी को कैसे खोजा
तो, आप चलने शुरू करने से पहले कैसे जान सकते हैं कि आपका कम्पास टूटा हुआ है? लेखकों ने एक चतुर तरीका निकाला जिसके लिए AI के द्वारा पूरी कहानी लिखने और फिर यह जाँचने की आवश्यकता नहीं है कि वह अच्छी है या नहीं। ऐसा करने में बहुत समय और पैसा लगेगा। इसके बजाय, उन्होंने यह देखा कि AI के बोलने से पहले, उसके सोचने के दौरान उसके मस्तिष्क के भीतर क्या होता है।
उन्होंने एक अवधारणा पेश की जिसे रिप्रेजेंटेशन रिस्पॉन्स (Representation Response) कहा जाता है। कल्पना कीजिए कि AI का मस्तिष्क कमरों की एक श्रृंखला है। आप पहले कमरे में (स्टीयरिंग वेक्टर) एक बटन दबाते हैं, और आप देखते हैं कि गलियारे के अगले कमरे में क्या होता है। यदि कम्पास सही काम कर रहा है (एक "रेगुलर-स्टीयरिंग वेक्टर"), तो पहले कमरे में बटन दबाने से दूसरे कमरे में "सत्य" के संकेत चमकने चाहिए। लेकिन यदि कम्पास उल्टा है (एक ISV), तो बटन दबाने से वास्तव में दूसरा कमरा "झूठ" के संकेतों से जगमगा उठेगा।
इस "चमकने" के प्रभाव को मापकर, शोधकर्ताओं ने एक स्कोर बनाया जिसे वे स्पूफ स्कोर (Spoof Score) कहते हैं। यदि स्कोर सकारात्मक है, तो कम्पास सही काम कर रहा है। यदि स्कोर नकारात्मक है, तो कम्पास टूटा हुआ है और पीछे की ओर इशारा कर रहा है। इसने उन्हें बिना एक भी वाक्य उत्पन्न किए इन उल्टे वेक्टर्स की पहचान करने की अनुमति दी। यह कार के पहियों के बीच गियर को देखकर यह जाँचने जैसा है कि कार का स्टीयरिंग व्हील पहियों से जुड़ा है या नहीं, न कि कार को खाई में गिराकर यह देखना कि क्या होता है।
सुधार का तरीका
एक बार जब उन्हें पता चल गया कि टूटे हुए दिशा-सूचकों को कैसे पहचाना जाए, तो लेखकों ने एक सरल समाधान का परीक्षण किया: साइन को बदलना (flip the sign)। यदि स्पूफ स्कोर बताता है कि वेक्टर उल्टा है, तो वे बस धक्का देने की दिशा को उलट देते हैं। AI को वेक्टर के साथ "आगे" धकेलने के बजाय, वे उसे "पीछे" की ओर धकेलते हैं।
परिणाम नाटकीय थे। अपने प्रयोगों में, उन्होंने मानक विधि (जो केवल वेक्टर द्वारा दिखाई गई दिशा में धकेलती है) की तुलना अपनी नई विधि (जो स्पूफ स्कोर की जाँच करती है और आवश्यकतानुसार दिशा बदल देती है) से की। 30 में से 27 प्रयोगों में, उनकी नई विधि बेहतर काम करती है। कुछ मामलों में, सुधार बहुत बड़ा था—वांछित व्यवहार को बढ़ावा देने में 138% तक बेहतर। उदाहरण के लिए, AI को अधिक ईमानदार बनाने के प्रयास में, मानक विधि कभी-कभी इसे थोड़ा बेहतर बनाती है, लेकिन उनकी नई विधि इसे काफी अधिक सत्यवादी बनाती है।
यह क्यों मायने रखता है
यह खोज AI को नियंत्रित करने के बारे में हमारी सोच को बदल देती है। लंबे समय तक, एक नियम प्रचलित था: "एक ऐसी दिशा खोजें जो अच्छे को बुरे से अलग करती है, और उस दिशा में आगे बढ़ें।" यह शोध पत्र सुझाव देता है कि वह नियम अधूरा है। केवल इसलिए कि एक दिशा दोनों को अलग करती है, इसका मतलब यह नहीं है कि उस दिशा में धकेलने से AI 'अच्छे' की ओर बढ़ेगा। कभी-कभी, अलगाव वास्तविक होता है, लेकिन AI के व्यवहार के साथ उसका संबंध उल्टा होता है।
लेखक इस बात पर जोर देते हैं कि यह केवल एक सैद्धांतिक जिज्ञासा नहीं है; यह एक व्यावहारिक समस्या है जो यह प्रभावित करती है कि हम सुरक्षित AI का निर्माण कैसे करते हैं। यदि हम इन वेक्टर्स पर बिना 'इनवर्जन' (उल्टा होने) की जाँच किए भरोसा करते हैं, तो हम अनजाने में अपने AI को हानिकारक व्यवहारों की ओर मोड़ सकते हैं जबकि हमें लगता है कि हम उसे सुरक्षा की ओर ले जा रहे हैं। अपने नए "स्पूफ स्कोर" चेक का उपयोग करके, हम इन त्रुटियों को होने से पहले ही पकड़ सकते हैं, यह सुनिश्चित करते हुए कि जब हम AI को इशारा करें, तो वह वास्तव में वहीं जाए जहाँ हम उसे भेजना चाहते हैं।
संक्षेप में, यह शोध पत्र प्रकट करता है कि AI का आंतरिक मानचित्र भ्रामक हो सकता है। यह हमें दिखाता है कि इन शक्तिशाली मॉडलों को वास्तव में नियंत्रित करने के लिए, हमें केवल मानचित्र-पाठक ही नहीं, बल्कि दिशा-सूचक (कम्पास) की जाँच करने वाले भी बनना होगा, ताकि यह सुनिश्चित हो सके कि चुनी गई दिशा वास्तव में हमें उसी गंतव्य तक ले जाए जहाँ हम जाना चाहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।