Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization
यह शोधपत्र एक हाइब्रिड ढांचे का प्रस्ताव करता है जो मानक प्रथम-क्रम संरेखण (first-order alignment) के बाद कुछ शून्य-क्रम अनुकूलन परिशोधन (zeroth-order optimization refinement) चरणों को लागू करके सुरक्षा-संरेखित बड़े भाषा मॉडलों की गड़बड़ियों (perturbations) के विरुद्ध सुदृढ़ता को बढ़ाता है, जिसमें उन परतों पर अपडेट को केंद्रित करके दक्षता में सुधार किया गया है जिन्हें सुदृढ़ता के लिए सबसे संवेदनशील पहचाना गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।
बड़ी समस्या: "कांच के घर" जैसी सुरक्षा
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) बनाया है और उसे सुरक्षित रहना सिखाया है। आपने उसे हानिकारक अनुरोधों को अस्वीकार करना सिखाया है, जैसे कि "मैं बम कैसे बनाऊं?" इस प्रशिक्षण को सेफ्टी अलाइनमेंट (Safety Alignment) कहा जाता है।
हालाँकि, शोधकर्ताओं ने पाया कि यह सुरक्षा कांच के बने घर की तरह है। जब सब कुछ शांत होता है, तो यह एकदम सही और मजबूत दिखता है। लेकिन यदि आप इसे एक छोटा सा धक्का भी दें—जैसे कि इसकी आंतरिक वायरिंग में थोड़ा सा बदलाव (पैरामीटर नॉइज़), इसकी सोचने की प्रक्रिया में एक छोटी सी गड़बड़ी (एक्टिवेशन नॉइज़), या स्पेस बचाने के लिए इसकी मेमोरी को कंप्रेस करना (क्वांटाइजेशन)—तो कांच टूट जाता है। रोबोट अचानक अपने सुरक्षा नियमों को भूल जाता है और खतरनाक उत्तर देने लगता है।
यह शोध पत्र तर्क देता है कि वर्तमान सुरक्षा प्रशिक्षण बहुत अधिक "शार्प" (तीखा) है। यह "सुरक्षित" और "असुरक्षित" के बीच एक बहुत ही विशिष्ट और नाजुक सीमा बनाता है। यदि आप उस सटीक सीमा से एक मिलीमीटर भी दूर हटते हैं, तो सुरक्षा टूट जाती है।
पुराना तरीका बनाम नया तरीका
पुराना तरीका (फर्स्ट-ऑर्डर ऑप्टिमिज़ेशन):
मान लीजिए कि मानक प्रशिक्षण एक हाइकर (पहाड़ी यात्री) की तरह है जो घाटी के निचले हिस्से को खोजने की कोशिश कर रहा है। हाइकर अपने पैरों के ठीक नीचे की ढलान (ग्रेडिएंट) को देखता है और ढलान की दिशा में एक कदम लेता है। यह तेज़ और कुशल है। यह रोबोट को जल्दी सुरक्षित बनाता है। लेकिन क्योंकि हाइकर केवल तात्कालिक ढलान को देख रहा है, वह एक छोटे, तीखे गड्ढे में जा सकता है। यदि ज़मीन थोड़ी भी हिलती है, तो वह गड्ढे से बाहर गिर जाएगा।
नया तरीका (ज़ीरोथ-ऑर्डर ऑप्टिमिज़ेशन):
शोधकर्ता ज़ीरोथ-ऑर्डर (Zeroth-Order - ZO) ऑप्टिमिज़ेशन का उपयोग करके एक दूसरा चरण जोड़ने का प्रस्ताव देते हैं।
कल्पना कीजिए कि हाइकर घाटी के निचले हिस्से में रुक जाता है और अपने आस-पास की ज़मीन को हिलाना (shaking) शुरू कर देता है। वह यह देखने के लिए ज़मीन को बाएँ, दाएँ, आगे और पीछे धकेलता है कि ज़मीन कैसी प्रतिक्रिया देती है।
- यदि ज़मीन ऊबड़-खाबड़ और अस्थिर है, तो उसे पता चल जाता है कि वह एक "शार्प" (तीखे) स्थान पर है।
- यदि ज़मीन समतल और चिकनी है, तो उसे पता चल जाता है कि वह एक "रोबस्ट" (मजबूत) स्थान पर है।
ZO ऑप्टिमिज़ेशन ढलान को नहीं देखता; यह बस मॉडल में छोटे-छोटे यादृच्छिक "झटके" (परटर्बेशन्स) जोड़कर और यह देखकर परीक्षण करता है कि सुरक्षा स्कोर कैसे बदलता है। यह स्वाभाविक रूप से मॉडल को सपाट और चिकने क्षेत्रों की ओर धकेलता है जहाँ सुरक्षा अधिक स्थिर होती है।
समाधान: दो चरणों वाली प्रशिक्षण प्रक्रिया
यह शोध पत्र एक हाइब्रिड फ्रेमवर्क का प्रस्ताव करता है जो पुराने तरीके की गति को नए तरीके की स्थिरता के साथ जोड़ता है। इसे एक सुरक्षित रोबोट के लिए दो-चरणीय रेसिपी के रूप में समझें:
चरण 1: स्प्रिंट (फर्स्ट-ऑर्डर अलाइनमेंट)
सबसे पहले, वे रोबोट को सुरक्षा नियम सिखाने के लिए मानक, तेज़ विधि का उपयोग करते हैं। यह रोबोट को जल्दी से एक "सुरक्षित" स्थिति में ले आता है। यह घाटी के निचले हिस्से तक दौड़ने जैसा है।चरण 2: शेक-डाउन (ज़ीरोथ-ऑर्डर रिफाइनमेंट)
एक बार जब रोबोट सुरक्षित हो जाता है, तो वे फिर से शुरुआत नहीं करते हैं। इसके बजाय, वे केवल कुछ चरणों के लिए "हिलाने" (shaking) की तकनीक (Zeroth-Order) लागू करते हैं। यह रोबोट की आंतरिक सेटिंग्स को धीरे से व्यवस्थित करता है ताकि सुरक्षा नियम "चिकने" और कम नाजुक हों। यह हाइकर के चारों ओर मिट्टी भरने जैसा है ताकि यदि ज़मीन हिले तो वह गिर न जाए।
सीक्रेट सॉस: कमज़ोर कड़ियों को खोजना
शोधकर्ताओं ने महसूस किया कि पूरे रोबोट को "हिलाना" धीमा और महंगा है। इसलिए, उन्होंने पहले कमज़ोर जगहों को खोजने का एक तरीका बनाया।
उन्होंने एक "सेंसिटिविटी टेस्ट" विकसित किया जिससे यह पता चल सके कि रोबheid के मस्तिष्क के कौन से विशिष्ट हिस्से (layers) हिलाने पर सुरक्षा नियमों को तोड़ सकते हैं।
- उपमा: कल्पना कीजिए कि एक लकड़ी की कुर्सी है। यदि आप पूरी कुर्सी को हिलाते हैं, तो वह डगमगा सकती है। लेकिन यदि आप उस एक विशिष्ट पैर को ढूंढ लेते हैं जो ढीला है और केवल उसी पैर को कस देते हैं, तो पूरी कुर्सी स्थिर हो जाती है।
- विधि: वे मॉडल के प्रत्येक लेयर (परत) का परीक्षण करते हैं कि हिलाने पर उसकी सुरक्षा कितनी कम होती है। फिर वे अपना "शेकिंग" प्रशिक्षण केवल उन विशिष्ट, महत्वपूर्ण लेयर्स पर केंद्रित करते हैं। यह प्रक्रिया को बहुत तेज़ और कुशल बनाता है।
परिणाम
यह शोध पत्र दिखाता है कि यह तरीका काम करता है:
- नाजुकता वास्तविक है: छोटे, यादृच्छिक बदलाव भी एक "सुरक्षित" मॉडल को असुरक्षित बना सकते हैं।
- रिफाइनमेंट काम करता है: मुख्य प्रशिक्षण के बाद इस "शेकिंग" प्रशिक्षण के कुछ चरण जोड़ने से मॉडल को तोड़ना बहुत कठिन हो जाता है।
- दक्षता (Efficiency): केवल महत्वपूर्ण लेयर्स पर ध्यान केंद्रित करके, वे बिना किसी भारी अतिरिक्त कंप्यूटर पावर या समय के ये सुरक्षा लाभ प्राप्त करते हैं।
सारांश
संक्षेप में, यह शोध पत्र कहता है: "हमने अपने AI को सुरक्षित होना सिखाया, लेकिन यह बहुत नाजुक था। हमने पाया कि प्रशिक्षण के बाद AI को धीरे से 'हिलाकर'—और विशेष रूप से उसके मस्तिष्क के उन हिस्सों पर ध्यान केंद्रित करके जो हिलाने के प्रति सबसे अधिक संवेदनशील हैं—हम इसके सुरक्षा नियमों को बहुत अधिक मज़बूत और विश्वसनीय बना सकते हैं, बिना पूरी प्रक्रिया को धीमा किए।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।