Beyond a Single Direction: Chain-of-Thought Disrupts Simple Steering of Refusal
यह शोध पत्र प्रकट करता है कि लार्ज रीजनिंग मॉडल्स (Large Reasoning Models) में, रिफ्यूज़ल मैकेनिज्म (refusal mechanisms) रेसिडुअल स्ट्रीम एक्टिवेशन्स (residual stream activations) और चेन-ऑफ-थॉट ट्रेसेस (Chain-of-Thought traces) दोनों में संयुक्त रूप से एनकोड किए गए हैं, जिससे सरल एक्टिवेशन स्टीयरिंग (activation steering) तब तक कम प्रभावी हो जाती है जब तक कि स्वयं रीजनिंग प्रक्रिया में भी हेरफेर न किया जाए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े लैंग्वेज मॉडल (जैसे इस पेपर में दिया गया AI) की कल्पना एक बहुत ही बुद्धिमान, लेकिन थोड़े जिद्दी लाइब्रेरियन के रूप में करें। जब आप उससे कोई सवाल पूछते हैं, तो वह तुरंत जवाब नहीं देता। पहले, वह सोचने के लिए एक पिछले कमरे में जाता है और एक नोटपैड पर नोट्स लिखता है (यह चेन-ऑफ-थॉट या CoT है)। केवल अपने नोट्स पूरे करने के बाद ही वह बाहर आता है और आपको अंतिम उत्तर देता है।
लंबे समय तक, शोधकर्ताओं को लगा कि वे सवाल पूछने के क्षण में लाइब्रेरियन के दिमाग को "ट्वीक" (बदलने) करके उसके व्यवहार को नियंत्रित कर सकते हैं (कंप्यूटर की आंतरिक स्मृति)। उनका मानना था कि उनके दिमाग में एक विशिष्ट "रिफ्यूज़ल स्विच" (मना करने वाला स्विच) है। यदि वे उस स्विच को दबाते, तो लाइब्रेरियन बुरे अनुरोधों के लिए "नहीं" कहता। यदि वे उसे खींचते, तो वह "हाँ" कहता।
बड़ी खोज:
इस पेपर ने पाया कि आधुनिक "रीज़निंग" मॉडल्स (वे स्मार्ट लाइब्रेरियन जो पहले नोट्स लिखते हैं) के लिए, वह एकल स्विच अकेले काम नहीं करता है। इनकार केवल दिमाग में नहीं है; यह नोटपैड पर भी लिखा होता है।
यहाँ सरल उपमाओं का उपयोग करके उनके प्रयोगों का विवरण दिया गया है:
1. "ब्रेन ट्वीक" अकेला (कमजोर स्विच)
शोधकर्ताओं ने लाइब्रेरियन के दिमाग में "रिफ्यूज़ल स्विच" को दबाने की कोशिश की, जबकि उन्हें उनके मूल नोट्स का उपयोग करने के लिए मजबूर किया।
- परिणाम: यह लगभग 39% बार ही काम कर पाया।
- उपमा: कल्पना कीजिए कि किसी जिद्दी व्यक्ति को उसका मन बदलने के लिए उसके कान में फुसफुसाकर समझाने की कोशिश करना, लेकिन वह अभी भी एक स्क्रिप्ट पढ़ रहा है जिसमें लिखा है "ऐसा मत करो।" स्क्रिप्ट (नोट्स) आपके फुसफुसाने का विरोध कर रही है। नोट्स सक्रिय रूप से इनकार को पुख्ता कर रहे हैं।
2. नोट्स छीन लेना (बिना CoT के)
इसके बाद, उन्होंने वही ब्रेन ट्वीक किया लेकिन लाइब्रेरियन को कहा, "इस बार कोई नोट्स मत लिखना। बस मुझे उत्तर दे दो।"
- परिणाम: सफलता दर बढ़कर 70% हो गई।
- उपमा: बिना नोट्स के विरोध करने के खिलाफ तर्क दिए, लाइब्रेरियन को मनाना बहुत आसान था। इससे साबित हुआ कि नोट्स खुद इनकार को जारी रखने के लिए बहुत अधिक काम कर रहे थे।
3. लाइब्रेरियन को नोट्स फिर से लिखने देना (रीजनरेशन)
अंत में, उन्होंने ब्रेन ट्वीक लागू किया और लाइब्रेरियन को उस नए माइंडसेट के आधार पर नए सिरे से ताज़ा नोट्स लिखने दिया।
- परिणाम: सफलता दर आसमान छूकर 94% तक पहुँच गई।
- उपमा: यह लाइब्रेरियन के कान में नया विचार फुसफुसाने जैसा है जबकि वह अपने नोट्स लिख रहा है। वह ऐसे नोट्स लिखता है जो कहते हैं, "ठीक है, यह एक अच्छा विचार है," और फिर वह आत्मविश्वास से आपको उत्तर देता है। नोट्स और दिमाग अब मिलकर "हाँ" कहने के लिए काम कर रहे हैं।
4. "घोस्ट नोट" (निरंतरता)
सबसे दिलचस्प हिस्सा: उन्होंने पिछले प्रयोग के "हाँ" वाले नोट्स लिए, ब्रेन ट्वीक को हटा दिया, और बस लाइब्रेरियन को वे नए नोट्स पढ़ने के लिए दे दिए।
- परिणाम: लाइब्रेरियन ने अभी भी लगभग 48% बार "हाँ" कहा।
- उपमा: कान में फुसफुसाहट के बिना भी, नोट्स में ही "हाँ" के संकेत को इतना ले जाने की शक्ति थी कि वह लाइब्रेरियन को सहमत कर सके। नोट्स की अपनी शक्ति होती है।
मुख्य निष्कर्ष
पुराने AI मॉडल्स में, आप उनके दिमाग में एक स्विच बदलकर उन्हें बुरा करने से रोक सकते थे। लेकिन इन नए, स्मार्ट मॉडल्स में जो बोलने से पहले "सोचते" हैं, इनकार एक दो-भाग वाली प्रणाली है:
- दिमाग: आंतरिक स्मृति अवस्था।
- नोट्स: चेन-ऑफ-थॉट रीजनिंग।
यदि आप केवल दिमाग को ठीक करने की कोशिश करते हैं, तो नोट्स विरोध करेंगे और इनकार को जीवित रखेंगे। यदि आप केवल नोट्स को ठीक करते हैं, तो दिमाग अभी भी विरोध कर सकता है। AI का मन बदलने के लिए, आपको उसकी आंतरिक अवस्था और तर्क प्रक्रिया दोनों को बदलना होगा।
सुरक्षा के लिए यह क्यों महत्वपूर्ण है:
पेपर सुझाव देता है कि यदि कोई इन AI मॉडल्स को बुरा करने के लिए धोखा देना चाहता है (एक "जेलब्रेक"), तो उन्हें सीधे दिमाग को हैक करने की आवश्यकता नहीं हो सकती है। उन्हें बस AI को "बुरे नोट्स" (एक तर्क जो बुरे कार्य को सही ठहराता है) लिखने के लिए बहलाने की आवश्यकता हो सकती है, और AI उन नोट्स का पालन करेगा भले ही उसका दिमाग "ना" कहने की कोशिश कर रहा हो। इसके विपरीत, इन मॉडल्स की सुरक्षा करने के लिए, आप केवल दिमाग को देखकर नहीं रह सकते; आपको यह भी देखना होगा कि AI सोचते समय क्या लिख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।