Graph-Regularized Sparse Autoencoders for LLM Safety Steering
यह शोध पत्र ग्राफ-रेगुलराइज्ड स्पार्स ऑटोएनकोर्स (GSAE) को प्रस्तुत करता है, जो एक नवीन डिक्शनरी-लर्निंग विधि है जो कई मॉडलों और हमले के परिदृश्यों में हानिकर अनुरोधों के प्रति इनकार (refusal) को बढ़ाते हुए सौम्य कार्यों पर प्रदर्शन बनाए रखते हुए, एलएलएम (LLM) सुरक्षा स्टीयरिंग में महत्वपूर्ण सुधार करने के लिए न्यूरॉन सह-सक्रियण ग्राफ (neuron co-activation graph) पर डिकोडर वेक्टर्स को स्मूथ करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अत्यंत बुद्धिमान पुस्तकालय के रूप में करें जहाँ हर किताब किसी प्रश्न के संभावित उत्तर का प्रतिनिधित्व करती है। इस पुस्तकालय के भीतर, लाखों नन्हे पुस्तकालयाध्यक्ष (न्यूरॉन्स) मिलकर काम कर रहे हैं ताकि सही किताबें अलमारियों से निकाली जा सकें।
कभी-कभी, एक उपयोगकर्ता एक पेचीदा सवाल (एक "जेलब्रेक") पूछता है जो पुस्तकालयाध्यक्षों को खतरनाक किताबें थमाने के लिए बहला लेता है, जैसे कि "बम कैसे बनाएं" या "टैक्स चोरी कैसे करें।"
इस शोध पत्र के लेखकों ने एक समस्या देखी कि हम वर्तमान में इन पुस्तकालयाध्यक्षों को खतरनाक किताबें देने से रोकने के लिए कैसे काम करते हैं।
समस्या: "स्वतंत्र" पुस्तकालयाध्यक्ष
वर्तमान सुरक्षा उपकरण हर पुस्तकालयाध्यक्ष के साथ ऐसे व्यवहार करते हैं जैसे कि वे पूरी तरह से अलग काम कर रहे हों। वे यह मान लेते हैं कि यदि एक पुस्तकालयाध्यक्ष "सुरक्षा" के बारे में सोच रहा है, तो उसे अपने पड़ोसियों की सोच की परवाह नहीं है।
लेकिन वास्तव में, सुरक्षा एक टीम वर्क है। जब पुस्तकालय को किसी खतरनाक अनुरोध को "ना" कहना होता है, तो यह केवल एक पुस्तकालयाध्यक्ष द्वारा "रुको!" चिल्लाने के बारे में नहीं होता है। यह पूरे पुस्तकालयाध्यक्षों के एक मोहल्ले के बारे में है जो एक विशिष्ट पैटर्न में मिलकर काम कर रहे हैं। यदि आप केवल एक पुस्तकालयाध्यक्ष को ठीक करते हैं, तो अन्य लोग अभी भी गलती से वह बुरी किताब थमा सकते हैं।
समाधान: "ग्राफ-रेगुलराइज्ड" टीम (GSAE)
लेखकों ने ग्राफ-रेगुलराइज्ड स्पार्स ऑटोएनकोडर्स (GSAE) नामक एक नई विधि बनाई है।
इसे पुस्तकालय का एक नक्शा बनाने के रूप में समझें जो यह दिखाता है कि कौन से पुस्तकालयाध्यक्ष आपस में बात करते हैं।
- ग्राफ (The Graph): उन्होंने देखा कि कौन से पुस्तकालयाध्यक्ष तब मिलकर काम करते हैं (सह-सक्रिय होते हैं) जब मॉडल सुरक्षित हो रहा होता है। उन्होंने इन "पड़ोसी" पुस्तकालयाध्यक्षों को जोड़ने के लिए रेखाएं खींचीं।
- रेगुलराइजेशन (The Regularization): उन्होंने सिस्टम को सिखाया कि यदि दो पुस्तकालयाध्यक्ष इस मानचित्र पर पड़ोसी हैं, तो उन्हें समान रूप से सोचना चाहिए। यदि एक "सुरक्षा" के बारे में सोच रहा है, तो पड़ोसी को भी "सुरक्षा" के बारे में ही सोचना चाहिए। यह सुरक्षा संकेत को खंडित या टूटा हुआ होने से रोकता है।
एक एकल "सुरक्षा स्विच" खोजने के बजाय, GSAE पुस्तकालयाध्यक्षों की एक सुचारू, समन्वित टीम खोजता है जो हानिकारक अनुरोधों को अस्वीकार करने के लिए स्वाभाविक रूप से एक साथ काम करती है।
सुरक्षा गार्ड: "दो-द्वार" प्रणाली (The Two-Gate System)
एक बेहतर टीम वाले पुस्तकालयाध्यक्षों के होने के बावजूद, आप हर बातचीत को रोकना नहीं चाहेंगे। आप नहीं चाहेंगे कि पुस्तकालय "फ्रांस की राजधानी क्या है?" जैसे सवाल के लिए जवाब देने से मना कर दे क्योंकि वह बहुत अधिक सावधान हो रहा है।
इसलिए, लेखकों ने एक दो-द्वार सुरक्षा प्रणाली बनाई है:
पहला द्वार (इनपुट गेट): बातचीत शुरू होने से पहले ही, एक सुरक्षा गार्ड प्रश्न को देखता है।
- यदि प्रश्न स्पष्ट रूप से खतरनाक है (जैसे, "बम कैसे बनाएं"), तो गार्ड तुरंत कहता है, "प्रवेश निषेध," और प्रक्रिया को रोक देता है।
- यदि प्रश्न स्पष्ट रूप से सुरक्षित है (जैसे, "एक चुटकुला सुनाओ"), तो गार्ड कहता, "आगे बढ़ो," और पुस्तकालयाध्यक्षों को सामान्य रूप से काम करने देता है।
- यदि प्रश्न अस्पष्ट है (जैसे, "एक जासूस के बारे में कहानी लिखें"), तो गार्ड इसे अंदर जाने देता है लेकिन इस पर कड़ी नज़र रखता है।
गलियारे का द्वार (कंटिन्यूएशन गेट): यह सबसे चतुर हिस्सा है। जैसे ही मॉडल उत्तर लिखना शुरू करता है, यह दूसरा द्वार शब्दों के प्रवाह पर नज़र रखता है।
- यदि कहानी एक खतरनाक रास्ते पर जाने लगती है (जैसे, जासूस रहस्य चुराना शुरू कर देता है), तो गेट तुरंत हस्तक्षेप करता है और कहानी को पुनर्निर्देशित करता है।
- यदि कहानी सुरक्षित रहती है, तो गेट खुला रहता है, और मॉडल स्वतंत्र रूप से लिखना जारी रखता है।
यह प्रणाली एक स्मार्ट बाउंसर की तरह है जो केवल लोगों को बाहर नहीं निकालता; वे केवल तभी हस्तक्षेप करते हैं जब पार्टी खतरनाक होने लगती है, और वे हस्तक्षेप करना तभी बंद करते हैं जब चीजें शांत हो जाती हैं।
उन्होंने क्या पाया
लेखकों ने इस नई प्रणाली (GSAE) का परीक्षण पुराने तरीकों के मुकाबले एक विशाल पेचीदा सवालों की सूची (JailbreakBench, HarmBench, आदि) का उपयोग करके किया।
- "ना" कहने में बेहतर: GSAE हानिकारक अनुरोधों को अस्वीकार करने में बहुत बेहतर था। एक परीक्षण में, इसने मानक पद्धति की तुलना में इनकार की दर (refusal rate) में 20 अंक का सुधार किया।
- "हाँ" कहने में बेहतर: महत्वपूर्ण रूप से, यह चिड़चिड़ा नहीं हुआ। इसने पुराने तरीकों की तुलना में बहुत अधिक बार निर्दोष प्रश्नों (जैसे गणित की समस्याओं या सामान्य ज्ञान) को अस्वीकार करने से परहेज किया।
- हर जगह काम करता है: उन्होंने इसे विभिन्न प्रकार के AI मॉडलों (Llama, Mistral, Qwen, Phi) पर परखा और यह उन सभी पर अच्छी तरह से काम करता है।
- गति: यह तेज़ है। अतिरिक्त सुरक्षा जांचों के बावजूद यह पुस्तकालय को बहुत अधिक धीमा नहीं करता है।
मुख्य निष्कर्ष (The Bottom Line)
लेखों का दावा है कि AI के आंतरिक "पुस्तकालयाध्यक्षों" को एक समन्वित टीम के रूप में कार्य करना सिखाकर (ग्राफ मैप का उपयोग करके) और एक स्मार्ट, दो-चरणीय सुरक्षा गार्ड (गेट्स) का उपयोग करके, हम AI को कम उपयोगी बनाए बिना बहुत अधिक सुरक्षित बना सकते हैं। यह AI के आंतरिक तर्क को ठीक करने का एक तरीका है ताकि वह स्वाभाविक रूप से जान सके कि कब मना करना है, बजाय इसके कि केवल सतह पर पैच लगाया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।