No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks
यह शोध पत्र डिस्ट्रीब्यूटेड सेफ्टी अलाइनमेंट (DSA) का प्रस्ताव करता है, जो लक्षित व्यवधान और ग्रेडिएंट-निर्देशित पहचान के माध्यम से कई न्यूरॉन्स में सुरक्षा क्षमताओं को रेडंडेंटली एनकोड करके, सामान्य उपयोगिता को बनाए रखते हुए सिंगल पॉइंट ऑफ फेल्योर को समाप्त करके, व्हाइट-बॉक्स न्यूरॉन-स्तरीय हमलों के विरुद्ध लार्ज लैंग्वेज मॉडल की मजबूती को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान रोबोट को एक सहायक बनने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि वह गणित की समस्याओं को हल करने, कहानियाँ लिखने और आपके दिन के बारे में बातचीत करने में माहिर हो, लेकिन आपको यह भी सुनिश्चित करना होगा कि वह कभी भी किसी खतरनाक काम में मदद करने के लिए सहमत न हो, जैसे कि बैंक को हैक करना या कोई बुरा पत्र लिखना। यह "AI सुरक्षा" (AI safety) की दुनिया है, जहाँ शोधकर्ता इन विशाल कंप्यूटर दिमागों में डिजिटल सुरक्षा घेरे (guardrails) बनाने की कोशिश करते हैं।
इस समस्या को समझने के लिए, जो यह शोध पत्र संबोधित करता है, यह सोचें कि मानव मस्तिष्क कैसे काम करता है। जब आप किसी बुरे विचार को "ना" कहने का निर्णय लेते हैं, तो यह केवल आपके दिमाग में एक छोटा सा विचार नहीं होता जो काम करता है; बल्कि यह न्यूरॉन्स की एक पूरी टीम होती है जो एक साथ सक्रिय होती है। लेकिन आज के AI मॉडल में, शोधकर्ताओं ने कुछ डरावना खोजा है: रोबोट का "ना" अक्सर कुछ बहुत ही विशिष्ट न्यूरॉन्स द्वारा संभाला जाता है। यह ऐसा है जैसे आपकी पूरी सुरक्षा टीम केवल एक छोटे से सुरक्षा गार्ड पर निर्भर हो जो मुख्य दरवाजे पर खड़ा है। यदि कोई चतुर हैकर ("व्हाइट-बॉक्स अटैकर") अंदर घुसकर उस एक गार्ड को ढेर कर दे, तो पूरी इमारत खतरे के लिए खुली रह जाएगी। रोबोट अचानक "ना" कहना भूल जाएगा और भयानक अनुरोधों में मदद करना शुरू कर सकता है। यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या होगा यदि हम केवल एक गार्ड पर भरोसा करने के बजाय, एक पूरी सेना को प्रशिक्षित करें जो इस काम को साझा करे?
इस अध्ययन के पीछे के शोधकर्ता, सिमियाओ ज़ी (Simiao Xie) और उनकी टीम, डिस्ट्रीब्यूटेड सेफ्टी अलाइनमेंट (DSA) नामक एक नया तरीका प्रस्तावित करते हैं। उनका तर्क है कि वर्तमान में AI को सुरक्षित बनाने का तरीका बहुत नाजुक है क्योंकि यह "मना करने" की सारी शक्ति को न्यूरॉन्स के एक छोटे, निश्चित समूह में केंद्रित कर देता है। यदि कोई हमलावर उन विशिष्ट न्यूरॉन्स को ढूंढ लेता है और उन्हें हटा देता है, तो सुरक्षा प्रणाली ढह जाती है। इसे ठीक करने के लिए, DSA इस बात को एक "म्यूजिकल चेयर्स" के खेल की तरह देखता है।
यहाँ बताया गया है कि उनका तरीका कैसे काम करता है, एक मनोरंजक उपमा का उपयोग करते हुए: कल्पना कीजिए कि AI का मस्तिष्क एक विशाल ऑर्केस्ट्रा है। पुराने तरीके में, केवल प्रथम वायलिन वादक (first violinist) को "रुको!" नोट बजाने की अनुमति थी। यदि वह वायलिन वादक बीमार हो जाता या उसे निकाल दिया जाता, तो संगीत एक आपदा में बदल जाता। नया DSA तरीका कंडक्टर (प्रशिक्षण एल्गोरिदम) को मजबूर करता है कि पूरा ऑर्केस्ट्रा उस "रुको!" नोट को सीखे।
इसे करने के लिए, शोधकर्ता प्रशिक्षण प्रक्रिया के दौरान एक चतुर तरकीब का उपयोग करते हैं। पहले वे पहचानते हैं कि कौन से न्यूरॉन्स वर्तमान में बुरे अनुरोधों को "ना" कहने का भारी काम कर रहे हैं। फिर, वे मॉडल के साथ "लुका-छिपी" का खेल खेलते हैं। वे जानबूझकर उन शीर्ष न्यूरॉन्स को बंद (mask) कर देते हैं, यह मानकर कि वे चले गए हैं। लेकिन यहाँ ट्विस्ट यह है: वे उसी समय अन्य न्यूरॉन्स को भी बेतरतीब ढंग से बंद कर देते हैं। यह AI को थोड़ा घबराने और यह महसूस करने के लिए मजबूर करता है कि, "ओह नहीं, मेरे मुख्य 'स्टॉप' न्यूरॉन्स चले गए हैं, और कुछ बैकअप वाले भी गायब हैं! मुझे 'ना' कहने में मदद करने के लिए नए न्यूरॉन्स खोजने होंगे!"
इस प्रक्रिया को दोहराकर, AI यह सीखता है कि "सुरक्षा" के काम को कुछ ही न्यूरॉन्स के बजाय सैकड़ों अलग-अलग न्यूरॉन्स में कैसे फैलाया जाए। यह एक ऐसी टीम की तरह बन जाता है जहाँ हर कोई आपातकालीन कोड जानता है। भले ही कोई हमलावर मूल "सुरक्षा न्यूरॉन्स" को हटाने में सफल हो जाए, फिर भी मॉडल के पास बुरे अनुरोध को अस्वीकार करने के लिए दर्जनों अन्य न्यूर्स तैयार रहेंगे।
शोध पत्र दिखाता है कि यह दृष्टिकोण अविश्वसनीय रूप से अच्छा काम करता है। जब उन्होंने विभिन्न AI मॉडलों (Qwen2.5 और LLaMA सहित) पर अपने तरीके का परीक्षण किया, तो उन्होंने पाया कि जब हमलावरों ने सबसे महत्वपूर्ण सुरक्षा न्यूरॉन्स को सर्जिकल तरीके से हटाने की कोशिश की, तब भी DSA-प्रशिक्षित मॉडलों ने बुरे काम करने से मना कर दिया। वास्तव में, कुछ परीक्षणों में, पुराने मॉडल सुरक्षा न्यूरॉन्स को हटाने पर लगभग हर बार विफल हो गए, जबकि DSA मॉडल लगभग पूरी तरह से "ना" कहते रहे।
महत्वपूर्ण रूप से, शोधकर्ताओं ने यह भी जांचा कि इस नए सुरक्षा तंत्र ने AI को कम बुद्धिमान तो नहीं बना दिया। उन्होंने गणित की समस्याओं, पठन बोध और सामान्य ज्ञान पर मॉडलों का परीक्षण किया, और पाया कि मॉडल पहले की तरह ही स्मार्ट और सहायक थे। सुरक्षा उनके बुद्धिमत्ता की कीमत पर नहीं आई; मॉडल बस अधिक चालाकी से बचने में सक्षम हो गए।
यह शोध पत्र सुझाव देता है कि यह "वितरित" (distributed) दृष्टिकोण एक बड़ा कदम है क्योंकि यह "एकल विफलता बिंदु" (single point of failure) पर निर्भर रहना बंद कर देता है। एक दीवार बनाने के बजाय जिसमें एक कमजोर कड़ी हो, वे एक सुरक्षा जाल बना रहे हैं जो कई धागों से बुना गया है। यदि एक धागा टूट जाता है, तो भी जाल बना रहता है। हालाँकि यह नोट किया गया है कि यह एक सिमुलेशन-आधारित सुधार है और वास्तविक दुनिया के हमले हमेशा विकसित होते रहते हैं, इसके परिणाम दृढ़ता से संकेत देते हैं कि सुरक्षा भार को AI के मस्तिष्क में फैलाना इन शक्तिशाली उपकरणों को सभी के लिए सुरक्षित रखने का एक बहुत अधिक मजबूत तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।