Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स में सुरक्षा-संरेखित इनकार व्यवहार (safety-aligned refusal behavior) मुख्य रूप से मिड-नेटवर्क एमएलपी (MLP) परतों के भीतर स्थानीयकृत है न कि एक वितरित गुण है, जो यह प्रकट करता है कि इन भारों (weights) के विशिष्ट उपसमुच्चयों को प्रत्यारोपित करना इनकार क्षमताओं को प्रभावी ढंग से स्थानांतरित कर सकता है और साथ ही सुरक्षा संरेखण की गैर-योगात्मक (non-additive) और बेंचमार्क-निर्भर प्रकृति को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट बनाया है जो कहानियाँ लिख सकता है, गणित की समस्याएँ हल कर सकता है और किसी भी विषय पर बातचीत कर सकता है। लेकिन इसमें एक पेंच है: आपको यह सुनिश्चित करना होगा कि वह गलती से किसी की बम बनाने में मदद न करे या कोई बुरा पत्र न लिख दे। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो आज के कई चैटबॉट्स के पीछे का AI दिमाग है। उन्हें सुरक्षित रखने के लिए, इंजीनियर उन्हें "अलाइन" करते हैं, यानी उन्हें खतरनाक अनुरोधों को "ना" कहना सिखाते हैं। लंबे समय तक, वैज्ञानिकों ने सोचा कि यह "सुरक्षा" रोबोट के पूरे मस्तिष्क में समान रूप से फैली हुई एक कोमल, अदृश्य धुंध की तरह है। यदि आप मस्तिष्क के किसी भी हिस्से को थोड़ा बदलते हैं, तो सुरक्षा थोड़ी बहुत हिल सकती है, लेकिन वह काफी हद तक वैसी ही रहेगी। हालाँकि, वास्तविक दुनिया में, ये सुरक्षा कवच आश्चर्यजनक रूप से नाजुक होते हैं। एक चतुर चाल या एक छोटा सा बदलाव कभी-कभी रोबोट को उसके नियम पूरी तरह से भुला देने पर मजबूर कर सकता है। यह एक बड़ा, दिलचस्प रहस्य खड़ा करता है: रोबोट के दिमाग के अंदर "ना" वाला बटन वास्तव में कहाँ छिपा है? क्या यह हर जगह बिखरा हुआ है, या यह किसी विशिष्ट, छोटे से कोने में छिपा है?
शोधकर्ताओं की एक टीम ने इस रहस्य को सुलझाने के लिए जासूसी करने का निर्णय लिया। केवल अनुमान लगाने के बजाय, उन्होंने एक अनोखा प्रयोग किया: वेट ट्रांसप्लांटेशन (वजन प्रत्यारोपण)। कल्पना कीजिए कि आपके पास दो समान रोबोट हैं। एक है "अच्छा रोबोट" (सुरक्षा-अलाइन किया गया), और दूसरा है "अनअलाइन्ड रोबोट" (मूल, अनअलाइन्ड संस्करण)। शोधकर्ताओं ने अच्छे रोबोट के मस्तिष्क के हिस्सों को एक-एक करके अनअलाइन्ड रोबोट में बदलना शुरू किया, यह देखने के लिए कि कौन से हिस्से वास्तव में "इनकार" करने की शक्ति रखते हैं। उन्होंने केवल पूरे मस्तिष्क को नहीं बदला; उन्होंने विशिष्ट प्रकार के कनेक्शनों को बदला, जैसे शब्दों पर ध्यान केंद्रित करने वाले हिस्से (अटेंशन) बनाम सूचना को प्रोसेस और सोचने वाले हिस्से (MLP लेयर्स)।
यहाँ उन्हें क्या मिला, और यह कुछ ऐसा है जैसे यह पता लगाना कि रोबट का "ना" कोई पूरी सुरक्षा टीम नहीं है, बल्कि विशेषज्ञों की एक बहुत ही विशिष्ट, छोटी सी टुकड़ी है:
1. "सोचने" वाले हिस्से भारी काम करते हैं
शोधकर्ता उम्मीद कर रहे थे कि संदर्भ पर ध्यान केंद्रित करने वाले हिस्से (जिन्हें अटेंशन वेट्स कहा जाता है) मुख्य सुरक्षा गार्ड होंगे। लेकिन वे गलत थे! जब उन्होंने केवल "सोचने" वाले हिस्सों (जिन्हें MLP वेट्स कहा जाता है) को अच्छे रोबोट से अनअलाइन्ड वाले में बदला, तो अनअलाइन्ड रोबोट ने बुरे अनुरोधों को अस्वीकार करना कम से कम 2.7 गुना अधिक बार शुरू कर दिया, बजाय इसके कि उन्होंने "फोकस करने" वाले हिस्सों को बदला होता। यह पता चला कि सुरक्षा का "ना" मुख्य रूप से MLP लेयर्स में समाहित है, जो नेटवर्क के वे हिस्से हैं जो वास्तव में जानकारी को प्रोसेस और रूपांतरित करते हैं।
2. "मध्य" भाग जादुई क्षेत्र है
लेकिन यह केवल कोई भी सोचने वाला हिस्सा नहीं है। शोधकर्ताओं ने पाया कि सुरक्षा संकेत मस्तिष्क के एक बहुत ही विशिष्ट मध्य भाग में केंद्रित है। उनके द्वारा परीक्षण किए गए मॉडल्स में, सबसे शक्तिशाली "इनकार" करने की शक्ति ब्लॉक 3 में पाई गई, जो लेयर्स 8 से 11 के अनुरूप है। यदि आप रोबोट के मस्तिष्क को 28 मंजिला इमारत के रूप में देखें, तो सुरक्षा गार्ड ज्यादातर 8वीं से 11वीं मंजिल पर रह रहे हैं। जब उन्होंने केवल इन विशिष्ट मंजिलों को बदला, तो रोबोट "ना" कहने में बहुत बेहतर हो गया।
3. अधिक होना हमेशा बेहतर नहीं होता (द "गोल्डिलॉक्स" प्रभाव)
यहाँ एक मोड़ है जो इस कहानी को और भी दिलचस्प बनाता है। शोधकर्ताओं ने सोचा था कि यदि सुरक्षा का एक ब्लॉक अच्छा है, तो सभी सुरक्षा ब्लॉकों को बदलना एकदम सही होगा। लेकिन ऐसा नहीं था! कई मामलों में, अधिक अलाइन किए गए ब्लॉक जोड़ने से रोब मॉडल बुरे अनुरोधों को अस्वीकार करने में बदतर हो गया। यह सुरक्षा गार्डों की एक टीम की तरह है: यदि आप बहुत अधिक गार्ड लाते हैं, तो वे एक-दूसरे से टकराने या बहस करने लग सकते हैं, और सुरक्षा वास्तव में गिर जाती है। शोधकर्ताओं ने पाया कि केवल छह ब्लॉकों का एक चयनात्मक मिश्रण अक्सर पूरे सुरक्षा तंत्र को बदलने से बेहतर काम करता है। कभी-कभी, सातवां ब्लॉक जोड़ने से रोबोट की "ना" कहने की क्षमता कम हो जाती थी।
4. "ओवर-रिफ्यूज़ल" (अत्यधिक इनकार) का जाल
एक और बात है। वे हिस्से जो रोबोट को बुरे अनुरोधों के लिए "ना" कहने के लिए प्रेरित करते हैं, वे उसे निर्दोष अनुरोधों के लिए भी "ना" कहने के लिए प्रेरित करते हैं। इसे ओवर-रिफ्यूज़ल कहा जाता है। जब शोधकर्ताओं ने MLP वेट्स को बदला, तो रोबोट बुरे लोगों को रोकने में बहुत अच्छा हो गया, लेकिन उसने "मौसम कैसा है?" या "कोई चुटकुला सुनाओ" जैसे मासूम सवालों के जवाब देने से भी मना करना शुरू कर दिया। इससे पता चलता है कि सुरक्षा तंत्र एक थोड़ा भद्दा उपकरण (blunt instrument) है; केवल हिस्सों को बदलकर "बुरे कामों को रोकें" के संकेत को "सब कुछ रोकें" के संकेत से अलग करना कठिन है।
यह क्यों मायने रखता है?
यह खोज बताती है कि AI में सुरक्षा पूरे नेटवर्क में फैला हुआ एक विशाल, अटूट कवच नहीं है। इसके बजाय, यह एक स्थानीयकृत और नाजुक विशेषता है, जो कुछ विशिष्ट लेयर्स में केंद्रित है। यही कारण है कि AI सुरक्षा इतनी भंगुर (brittle) हो सकती है: यदि आप गलती से उन विशिष्ट लेयर्स (लेयर्स 8-11) को बदल देते या हटा देते हैं, तो पूरा सुरक्षा तंत्र ढह सकता है। इसका मतलब यह भी है कि यदि हम भविष्य में AI सुरक्षा को ठीक करना चाहते हैं, तो हमें पूरे रोबोट को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। हमें बस उन विशिष्ट "मध्य" लेयर्स को सावधानीपूर्वक ट्यून या सुरक्षित करने की आवश्यकता हो सकती है।
शोधकर्ताओं को कोई ऐसा जादुई समाधान नहीं मिला जो सभी सुरक्षा समस्याओं को हल कर सके। उन्होंने पाया कि सुरक्षा इंटरैक्शन-सेंसिटिव है, जिसका अर्थ है कि मस्तिष्क के हिस्से जटिल तरीकों से एक साथ काम करते हैं, और आप केवल अधिक सुरक्षा वाले हिस्से डालकर बेहतर परिणाम की उम्मीद नहीं कर सकते। लेकिन ठीक-ठीक यह पता लगाकर कि "ना" कहाँ रहता है, उन्होंने हमें यह समझने के लिए एक मानचित्र दिया है कि AI कभी-कभी विफल क्यों होता है और हम भविष्य में बेहतर, अधिक मजबूत सुरक्षा प्रणाली कैसे बना सकते हैं। यह हमें याद दिलाता है कि AI की विशाल, जटिल दुनिया में भी, सबसे महत्वपूर्ण चीजें अक्सर बीच में होती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।