Logit-Gap Steering: A Forward-Pass Diagnostic for Alignment Robustness
यह शोध पत्र अलाइनमेंट सुरक्षा मार्जिन को मापने के लिए एक फॉरवर्ड-पास डायग्नोस्टिक के रूप में "रिफ्यूज़ल-अफ़र्मेशन लॉजिट गैप" (refusal-affirmation logit gap) को प्रस्तुत करता है और प्रदर्शित करता है कि "लॉजिट-गैप स्टीयरिंग" (logit-gap steering) कुशलतापूर्वक कम-परप्लेक्सिटी वाले, हस्तांतरणीय इन-डिस्ट्रीब्यूशन सफ़िक्स (in-distribution suffixes) की खोज कर सकता है जो वर्तमान सुरक्षा प्रणालियों को बायपास कर देते हैं, जिससे यह पता चलता है कि अलाइनमेंट सुदृढ़ता अक्सर बहुत पतले परिचालन मार्जिन पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े लैंग्वेज मॉडल (जैसे कि एक बहुत ही स्मार्ट रोबोट असिस्टेंट) की कल्पना एक विशेष क्लब के बाउंसर के रूप में करें। इसका काम "विषाक्त" (toxic) या असुरक्षित अनुरोधों को बाहर रखना है। यदि आप इससे कोई खतरनाक चीज़ पूछते हैं, तो बाउंसर के पास एक मानसिक चेकलिस्ट होती है। यदि अनुरोध बुरा दिखता है, तो बाउंसर का आंतरिक अलार्म (एक "अस्वीकृति टोकन" जैसे "नहीं" या "मैं नहीं कर सकता") बहुत ज़ोर से बजता है। यदि अनुरोध सुरक्षित है, तो एक अलग अलार्म (एक "सकारात्मक टोकन" जैसे "ज़रूर" या "यहाँ है") बजता है।
एक अच्छी तरह से प्रशिक्षित, "एलाइंड" (aligned) मॉडल में, "नहीं" वाला अलार्म "हाँ" वाले अलार्म की तुलना में बहुत अधिक तेज़ होता है। इन दोनों अलार्मों के बीच के वॉल्यूम का अंतर ही वह है जिसे लेखक लॉगिट गैप (Logit Gap) कहते हैं।
समस्या: गैप उम्मीद से कहीं ज़्यादा पतला है
पेपर का तर्क है कि हालांकि "नहीं" का अलार्म तेज़ है, लेकिन "हाँ" के अलार्म और इसके बीच का अंतर उतना चौड़ा नहीं है जितना हम उम्मीद करते हैं। यह एक ऐसे बाउंसर की तरह है जो बहुत सख्त है, लेकिन अगर आप उसके कान में एक विशिष्ट, चतुर वाक्यांश फुसफुसाते हैं, तो वह अचानक आपको अंदर जाने देने का फैसला कर सकता है।
जेलब्रेक (धोखा देने) के पिछले तरीके इन मॉडलों को तोड़ने की कोशिश करने जैसे थे, जैसे दरवाज़े को एक भारी हथौड़े से तोड़ना। उन्हें एक अजीब, निरर्थक वाक्यांश खोजने के लिए भारी मात्रा में कंप्यूटर पावर और समय (सुपरकंप्यूटर पर घंटों) की आवश्यकता होती थी जो बाउंसर को भ्रमित कर सके।
समाधान: "लॉगिट-गैप स्टीयरिंग" (Logit-Gap Steering)
लेखक इस बात का परीक्षण करने का एक नया, बहुत तेज़ तरीका पेश करते हैं कि बाउंसर वास्तव में कितना सुरक्षित है। वे इसे लॉगिट-गैप स्टीयरिंग कहते हैं।
यहाँ उपमा (analogy) दी गई है:
दरवाज़ा तोड़ने के बजाय, वे एक मास्टर की (master key) के साथ ताले बनाने वाले (locksmith) की तरह काम करते हैं।
- मापन (The Measurement): सबसे पहले, वे मापते हैं कि एक विशिष्ट बुरे अनुरोध के लिए "नहीं" का अलार्म "हाँ" के अलार्म से कितना अधिक तेज़ है। मान लीजिए, "नहीं" का वॉल्यूम 50 है और "हाँ" का 10 है। गैप 40 यूनिट है।
- रणनीति (The Strategy): उन्हें एक छोटा वाक्यांश (एक 'सफिक्स') खोजने की आवश्यकता है जो, अनुरोध में जोड़े जाने पर, "नहीं" के वॉल्यूम को कम करता है और "हाँ" के वॉल्यूम को इतना बढ़ाता है कि वह 40-यूनिट के गैप को भर सके।
- शॉर्टकट (The Shortcut): अंदाज़ा लगाने या भारी गणित के बजाय, वे केवल उन शब्दों को देखते हैं जिन्हें मॉडल पहले से ही पसंद करता है (सामान्य, प्राकृतिक दिखने वाले शब्द)। वे प्रत्येक शब्द के लिए एक "स्कोर" की गणना करते हैं कि वह गैप को भरने में कितना मदद करता है।
- परिणाम (The Result): वे सबसे अच्छा स्कोर करने वाले शब्दों को चुनते हैं और उन्हें एक साथ जोड़ते हैं। यह उन विनम्र लेकिन दृढ़ शब्दों के सटीक क्रम को खोजने जैसा है जो धीरे से बाउंसर के हाथ को "नहीं" बटन से हटाकर "हाँ" बटन की ओर धकेल देते हैं।
यह क्यों महत्वपूर्ण है (निष्कर्ष)
1. यह बेहद तेज़ है
पुराने तरीके (जिसे GCG कहा जाता है) को एक ट्रिक खोजने के लिए एक शक्तिशाली कंप्यूटर पर लगभग 5 घंटे लगते थे। नया "लॉगिट-गैप स्टीयरिंग" तरीका लगभग 2 मिनट में ट्रिक्स का एक पूरा सेट खोज लेता है। यह लगभग 125 गुना तेज़ है।
- ट्रिक्स अदृश्य हैं
पुराने ट्रिक्स अक्सर अजीब, टूटी-फूटी अंग्रेजी या रैंडम प्रतीकों (जैसे "x99#tag") का उपयोग करते थे जो संदिग्ध दिखते थे। रक्षक इन्हें आसानी से पहचान सकते थे और ब्लॉक कर सकते थे।
इस विधि द्वारा खोजे गए नए ट्रिक्स पूरी तरह से सामान्य, प्राकृतिक लगने वाली अंग्रेजी से बने होते हैं। वे एक विनम्र वाक्य की तरह पढ़ते हैं। क्योंकि वे बहुत सामान्य दिखते हैं, वे "परप्लेक्सिटी फिल्टर्स" (वे रक्षा प्रणालियाँ जो असामान्य टेक्स्ट की तलाश करती हैं) से बच निकलते हैं। पेपर दिखाता है कि जबकि ये फिल्टर पुराने निरर्थक ट्रिक्स को लगभग पूरी तरह से ब्लॉक कर देते हैं, वे इन नए, प्राकृतिक दिखने वाले ट्रिक्स को मुश्किल से छू भी पाते हैं।
3. एक आकार सभी के लिए उपयुक्त (ज्यादातर)
लेखकों ने पाया कि यदि उन्होंने एक छोटे, सस्ते मॉडल (जैसे 0.5 बिलियन पैरामीटर वाला मॉडल) पर एक ट्रिक खोजी, तो वही ट्रिक उसी मॉडल परिवार के विशाल, महंगे 72 बिलियन पैरामीटर वाले संस्करण पर भी काम करती है। यह एक ताले के लिए चाबी खोजने और यह महसूस करने जैसा है कि वही चाबी उसी इमारत के विशाल तिजोरी के दरवाजे को भी खोल सकती है।
4. "एंसेम्बल" प्रभाव (The Ensemble Effect)
कभी-कभी एक ट्रिक काम नहीं करती है। लेकिन लेखकों ने पाया कि यदि आप एक साथ 8 अलग-अलग प्राकृतिक दिखने वाले ट्रिक्स का उपयोग करते हैं, तो सफलता दर नाटकीय रूप रूप से बढ़ जाती है। कुछ सबसे मजबूत, सबसे सुरक्षित मॉडलों पर, इस विधि ने सुरक्षा गार्ड को 38% से 96% बार सफलतापूर्वक बायपास किया, जबकि पुराने तरीके उन्हीं मॉडलों पर लगभग पूरी तरह से विफल रहे।
बड़ी तस्वीर (The Big Picture)
पेपर निष्कर्ष निकालता है कि इन AI मॉडलों में जिस सुरक्षा मार्जिन पर हम भरोसा करते हैं, वह वास्तविक है, लेकिन वह पतला और मापने योग्य है।
- अच्छी खबर: हमारे पास एक तेज़, सस्ता टूल है जिससे हम सटीक रूप से माप सकते हैं कि एक मॉडल कितना "सुरक्षित" है। हम हमला होने से पहले सटीक "गैप" देख सकते हैं।
- बुरी खबर: गैप अक्सर इतना छोटा होता है कि कुछ अच्छी तरह से चुने गए प्राकृतिक शब्द इसे भर सकते हैं।
- सीख: रक्षकों को केवल अजीब दिखने वाले टेक्स्ट (निरर्थक शब्द) को रोकने पर निर्भर नहीं रहना चाहिए। उन्हें ऐसे बचाव बनाने की आवश्यकता है जो टेक्स्ट के अर्थ को समझते हों, क्योंकि हमलावरों ने बाउकर के पास से चुपके से निकलने के लिए मॉडल की अपनी भाषा को धाराप्रवाह बोलना सीख लिया है।
लेखक इस बात पर ज़ोर देते हैं कि वे नुकसान पहुँचाने के नए तरीके नहीं बना रहे हैं, बल्कि एक "डायग्नोस्टिक टूल" प्रदान कर रहे हैं ताकि सुरक्षा टीमों को ठीक से पता चल सके कि उनके लॉक कहाँ कमज़ोर हैं ताकि वे उन्हें ठीक कर सकें। उन्होंने प्रकाशन से पहले अपने निष्कर्षों को मॉडल बनाने वाली कंपनियों (जैसे Google, Meta और Alibaba) के साथ साझा किया, ताकि मॉडलों को अधिक सुरक्षित बनाया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।