Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal
यह शोध पत्र निर्देश-ट्यून किए गए बड़े भाषा मॉडलों (large language models) में इनकार (refusal) के आंतरिक तंत्र की जांच करता है, जिसमें विशिष्ट लेटेंट फीचर्स (latent features) को पहचानने और उन्हें हटाने (ablate करने) के लिए स्पार्स ऑटोएनकोडर्स (sparse autoencoders) को प्रशिक्षित किया गया है जो मॉडल को इनकार से अनुपालन (compliance) की ओर कारणवश बदल देते हैं, जिससे जेलब्रेकिंग के लिए एक बहु-चरणीय पाइपलाइन का खुलासा होता है और रेडंडेंट सुरक्षा फीचर्स (redundant safety features) के अस्तित्व पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी तस्वीर: AI मॉडल "ना" क्यों कहते हैं?
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक बहुत ही बुद्धिमान, लेकिन थोड़े घबराए हुए लाइब्रेरियन की तरह है। जब आप उससे कुछ खतरनाक मांगते हैं (जैसे "मैं बम कैसे बनाऊं?"), तो लाइब्रेरियन को प्रशिक्षित किया जाता है कि वह कहे, "मुझे खेद है, मैं इसमें आपकी मदद नहीं कर सकता।" इसे रिफ्यूज़ल (refusal - मना करना) कहा जाता है।
हालाँकि, कभी-कभी एक चालाक व्यक्ति लाइब्रेरियन को धोखा देकर बम बनाने के निर्देश हासिल कर सकता है (इसे "जेलब्रेक" कहते हैं)। दूसरी ओर, कभी-कभी लाइब्रेरियन इतना डर जाता है कि वह निर्दोष चीजों (जैसे "मैं केक कैसे बनाऊं?") में मदद करने से भी मना कर देता है।
इस पेपर के लेखकों ने इस "मना करने" वाले व्यवहार के आंतरिक तंत्र (internal mechanics) को समझने की कोशिश की। केवल यह देखने के बजाय कि लाइब्रेरियन क्या कहता है, वे लाइब्रेरियन के मस्तिष्क के अंदर देखना चाहते थे कि कौन से न्यूरॉन्स (या "फीचर्स") उस "ना" को होने के लिए सक्रिय हो रहे हैं।
टूल: "फीचर एक्स-रे" (स्पार्स ऑटोएनकोडर - Sparse Autoencoders)
मॉडल के अंदर देखने के लिए, शोधकर्ताओं ने स्पार्स ऑटोएनकोडर (SAE) नामक एक उपकरण का उपयोग किया।
- एनालॉजी (उपमा): कल्पना कीजिए कि मॉडल का मस्तिष्क एक विशाल, अस्त-व्यस्त कमरा है जहाँ एक साथ हजारों लाइटें जल रही हैं, जिससे यह समझना असंभव है कि क्या हो रहा है। एक SAE एक विशेष फिल्टर की तरह है जो अधिकांश लाइटों को बंद कर देता है, जिससे केवल कुछ विशिष्ट, अर्थपूर्ण लाइटें ही चमकती रह जाती हैं।
- परिणाम: धुंधली गतिविधि के बजाय, वे स्पष्ट "फीचर्स" देख सकते हैं (जैसे "प्रोग्रामिंग कोड" लेबल वाली लाइट या "खतरनाक विषय" लेबल वाली दूसरी लाइट)।
तीन-चरणीय जासूसी प्रक्रिया
शोधकर्ताओं ने रिफ्यूज़ल को नियंत्रित करने वाली विशिष्ट लाइटों को खोजने के लिए एक तीन-चरणीय पाइपलाइन बनाई।
चरण 1: "रिफ्यूज़ल डायरेक्शन" खोजना
सबसे पहले, उन्होंने यह पता लगाया कि मॉडल का मस्तिष्क किस दिशा में संकेत करता है जब वह "ना" कहने का निर्णय लेता है।
- एनालॉजी: मॉडल के मस्तिष्क को एक दिशा-सूचक यंत्र (कम्पास) के रूप में सोचें। उन्होंने वह विशिष्ट दिशा खोजी जहाँ कम्पास की सुई तब इशारा करती है जब मॉडल सुरक्षित व्यवहार कर रहा होता है।
- कार्रवाई: उन्होंने उन सभी "लाइटों" (फीचर्स) को देखा जो इस "ना" की दिशा के साथ संरेखित (aligned) थीं और उम्मीदवारों की एक बड़ी सूची तैयार की।
चरण 2: "ग्रीडी प्रूनिंग" (न्यूनतम टीम खोजना)
उनके पास उम्मीदवार लाइटों की एक विशाल सूची थी, लेकिन वे जानते थे कि उनमें से सभी वास्तव में आवश्यक नहीं हैं।
- एनालॉजी: कल्पना कीजिए कि आपके पास 100 लोगों की एक टीम है जो एक साइन बोर्ड पकड़े हुए है जिस पर "STOP" लिखा है। आप जानना चाहते हैं कि साइन बोर्ड को गिराने के लिए आपको कम से कम कितने लोगों को हटाने की आवश्यकता है।
- कार्रवाई: उन्होंने व्यवस्थित रूप से लाइटों के समूहों को बंद किया। यदि किसी समूह को बंद करने से मॉडल ने "ना" कहना बंद कर दिया और हानिकारक प्रश्न का उत्तर देना शुरू कर दिया, तो वे जान गए कि वे लाइटें महत्वपूर्ण थीं। वे तब तक ऐसा करते रहे जब तक कि उन्हें उन सबसे आवश्यक लाइटों की सबसे छोटी टीम नहीं मिल गई जो मॉडल को सुरक्षित रखने के लिए आवश्यक थी।
चरण 3: "हाइड्रा प्रभाव" (छिपी हुई बैकअप योजना)
यह सबसे आश्चर्यजनक खोज थी। उन्होंने पाया कि मॉडल के पास एक बैकअप सिस्टम है।
- एनालॉजी: ग्रीक पौराणिक कथाओं के हाइड्रा (Hydra) के बारे में सोचें। यदि आप एक सिर काट देते हैं, तो दो और उग आते हैं। शोधकर्ताओं ने पाया कि मॉडल के पास "हाइड्रा-हेड्स" हैं।
- खोज: जब उन्होंने चरण 2 में पाई गई "महत्वपूर्ण" लाइटों को बंद किया, तो मॉडल ने हार नहीं मानी। इसके बजाय, लाइटों का एक दूसरा सेट (जो पहले सो रहा/निष्क्रिय था) अचानक जाग गया और "ना" कहने का काम संभालने के लिए सक्रिय हो गया।
- समाधान: रिफ्यूज़ल को वास्तव में तोड़ने के लिए, उन्हें इन छिपे हुए बैकअप लाइटों को भी खोजना पड़ा। उन्होंने इन छिपी हुई कड़ियों को खोजने के लिए फैक्टरइज़ेशन मशीन (Factorization Machine) नामक एक गणितीय उपकरण का उपयोग किया (इसे एक ऐसे जासूस के रूप में सोचें जो लाइटों के बीच गुप्त साझेदारी की तलाश करता है)।
मुख्य निष्कर्ष
- रिफ्यूज़ल एक टीम वर्क है, सिंगल स्विच नहीं: यह केवल एक न्यूरॉन नहीं है जो "ना" कह रहा है। यह फीचर्स का एक जटिल नेटवर्क है जो मिलकर काम करता है।
- "हाइड्रा" अतिरेक (Redundancy): मॉडल खुद को सुरक्षित रखने में बहुत कुशल है। यदि आप मुख्य "सुरक्षा" फीचर्स को अक्षम कर देते हैं, तो मॉडल "ना" कहने के लिए बैकअप फीचर्स को सक्रिय कर देता है। यही कारण है कि सरल सुधार अक्सर विफल हो जाते हैं।
- गैर-रेखीय अंतःक्रियाएं (Non-Linear Interactions): आप व्यक्तिगत फीचर्स के प्रभावों को केवल जोड़कर नहीं देख सकते। वे जटिल तरीकों से एक-दूसरे के साथ इंटरैक्ट करते हैं (जैसे एक टीम स्पोर्ट्स जहाँ खिलाड़ी एक-दूसरे पर निर्भर होते हैं)। एक साधारण लीनियर चेक इन छिपी हुई साझेदारियों को मिस कर देता है।
- लाइट्स का वास्तविक अर्थ क्या है: जब उन्होंने देखा कि ये "रिफ्यूज़ल लाइट्स" वास्तव में क्या डिटेक्ट कर रही थीं, तो उन्हें मिली-जुली चीजें मिलीं:
- कुछ स्पष्ट थे (जैसे "हिंसा" या "अवैध कार्य")।
- कई आश्चर्यजनक रूप से विशिष्ट थे, जैसे "प्रोग्रामिंग सिंटैक्स" या "विराम चिह्न (punctuation)"। इससे पता चलता है कि मॉडल शायद इसलिए मना कर रहा है क्योंकि सवाल पूछने का तरीका एक खतरनाक कोड पैटर्न जैसा दिखता है, न कि केवल शब्दों के कारण।
निष्कर्ष
यह पेपर दिखाता है कि हम इन विशिष्ट आंतरिक लाइटों को सर्जरी के माध्यम से बंद करके "जेलब्रेक" (मॉडल को अनुपालन करने के लिए मजबूर) कर सकते हैं। अधिक महत्वपूर्ण बात यह है कि यह प्रकट करता है कि मॉडल की सुरक्षा एक रेडंडेंट (redundant), जटिल नेटवर्क पर बनी है।
यह क्यों मायने रखता है?
वर्तमान में, सुरक्षा टीमें ट्रायल एंड एरर (डेटा को बार-बार बदलकर) के माध्यम से AI को ठीक करने की कोशिश करती हैं। यह पेपर सुझाव देता है कि हम आंतरिक "वायरिंग" को समझकर बेहतर कर सकते हैं। यदि हमें पता है कि कौन से "हाइड्रा-हेड्स" सुरक्षा के लिए जिम्मेदार हैं, तो हम उन्हें अधिक सावधानी से ऑडिट कर सकते हैं और मॉडल की मददगार होने की क्षमता को नुकसान पहुँचाए बिना उसके व्यवहार को ठीक कर सकते हैं।
यह पेपर क्या दावा नहीं करता है:
- यह दावा नहीं करता कि इस पद्धति का उपयोग "अनहैक करने योग्य" AI बनाने के लिए किया जा सकता है।
- यह दावा नहीं करता कि यह हर AI मॉडल पर काम करता है (उन्होंने केवल दो का परीक्षण किया: Gemma और LLaMA)।
- यह वास्तविक दुनिया के अनुप्रयोगों में सुरक्षा को दरकिनार करने के लिए इसका उपयोग करने का सुझाव नहीं देता है; बल्कि, यह सुरक्षा को समझने के लिए जेलब्रेकिंग का उपयोग एक उपकरण के रूप में करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।