Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks
यह शोध पत्र यह प्रदर्शित करता है कि आंतरिक सुरक्षा स्कोर, जो प्रॉम्प्ट-निर्भर अटेंशन मापों पर निर्भर करते हैं, जेलब्रेक सफलता की भविष्यवाणी करने में विफल रहते हैं क्योंकि रैपिंग हमले सामग्री और मापन निर्देशांक दोनों को बदल देते हैं, जिससे हानिकारक इरादे वाले स्कोर कई मॉडलों और हमला परिवारों में वास्तविक हानिकारक परिणामों को एंटी-रैंक (anti-rank) कर देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बातूनी, बहुत ही स्मार्ट रोबोट के सुरक्षा प्रमुख हैं। यह रोबोट मददगार होने के लिए डिज़ाइन किया गया है, लेकिन इसका एक काला पक्ष भी है: यदि कोई व्यक्ति चतुराई से लिखे गए अनुरोध के साथ इसे धोखा देता है, तो यह अपने नियमों को भूल सकता है और खतरनाक सलाह देना शुरू कर सकता है, जैसे कि बम कैसे बनाया जाए या वायरस कैसे लिखा जाए। इसे "जेलब्रेक" (jailbreak) कहा जाता है। इसे रोकने के लिए, इंजीनियरों ने एक "सेफ्टी डिटेक्टर" (safety detector) बनाया है जो एक क्लब के बाउंसर की तरह काम करता है। यह बाउंसर रोबोट के बोलने से पहले ही व्यक्ति के अनुरोध को देखता है। यदि अनुरोध संदिग्ध लगता है, तो बाउंसर उस पर एक उच्च "खतरा स्कोर" (danger score) लगा देता है और उस व्यक्ति को बाहर निकाल देता है।
लंबे समय तक, सभी ने माना कि यह प्रणाली पूरी तरह से काम करती है। तर्क सरल था: "यदि बाउंसर उच्च खतरा स्कोर देता है, तो अनुरोध बुरा है, और रोबrobot निश्चित रूप से 'ना' कहेगा।" यह एक ठोस योजना लग रही थी। लेकिन यहाँ एक पेंच है: बाउंसर अनुरोध के "इरादे" (intent) का न्याय कर रहा है, जबकि रोबोट का वास्तविक व्यवहार कई अन्य चीजों पर निर्भर करता है, जैसे कि उस सटीक क्षण में रोबोट कैसे सोच रहा है और वह चालाकी को कैसे समझता है। यह एक सुरक्षा गार्ड द्वारा किसी फिल्म के शीर्षक मात्र से उसकी समीक्षा करने जैसा है, यह मानकर कि डरावना शीर्षक एक हॉरर फिल्म का संकेत है, बिना वास्तव में दृश्यों को देखे। बड़ा सवाल यह है कि क्या एक उच्च खतरा स्कोर यह भविष्यवाणी करता है कि रोबोट धोखा खाने से बचने में सफल होगा? या बाउंसर केवल अनुमान लगा रहा है?
"मेजरिंग द wrong थिंग" (Measuring the Wrong Thing) नामक यह शोध पत्र इस सुरक्षा प्रणाली का ऑडिट करने के लिए पर्दे के पीछे जाता है। शोधकर्ताओं ने, मिंगयू लुओ और सहयोगियों के नेतृत्व में, यह परीक्षण करने का निर्णय लिया कि क्या "खतरा स्कोर" वास्तव में यह बताता है कि जेलब्रेक सफल होगा या नहीं। उन्होंने एक उपकरण का उपयोग करके एक चतुर प्रयोग तैयार किया जिसे उन्होंने "एक्टिव अटेंशन प्रोबिंग" (Active Attention Probing) कहा। सोचिए कि यह उपकरण रोबोट के मस्तिष्क के भीतर एक निश्चित स्थान पर रखा गया एक विशेष, अदृश्य माइक्रोफोन है। यह पूरे अराजक संवाद को सुनने के बजाय (जो हर बार एक नया पैंतरा जोड़ने पर बदल जाता है), अनुरोध पढ़ने के ठीक बाद एक विशिष्ट, अपरिवर्तक सिग्नल को सुनता है। यह उन्हें यह मापने की अनुमति देता है कि रोबोट अनुरोध के बारे में क्या सोच रहा है, बिना चालाकी के शोर के माप को भ्रमित किए।
उन्होंने कई हानिकारक अनुरोधों को लिया और उनका दो तरह से परीक्षण किया: पहला, उनके साधारण, स्पष्ट रूप में, और दूसरा, उन्हें एक "जेलब्रेक" वेश में लपेटकर (जैसे कि एक रोल-प्लेइंग गेम या एक नकली कोडिंग कार्य)। उन्होंने पाया कि कुछ चौंकाने वाला। जब उन्होंने हानिकारक अनुरोधों को इन वेशों में लपेटा, तो अनुरोध वास्तव में रोबोट को धोखा देने में अधिक सफल हो गए। सफलता दर 5% के मामूली स्तर से उछलकर 27% हो गई। हालांकि, सुरक्षा डिटेक्टर का "खतरा स्कोर" बिल्कुल विपरीत कार्य करता है: उसने सोचा कि लिपटे हुए अनुरोध अधिक सुरक्षित थे। स्कोर गिर गया, जिससे खतरनाक अनुरोध निर्दोष दिखने लगे।
परिणाम एक पूर्ण गड़बड़ी है। शोधकर्ताओं ने पाया कि जिन अनुरोधों ने वास्तव में रोबोट को धोखा देने में सफलता प्राप्त की, सुरक्षा डिटेक्टर ने उन्हें सबसे कम खतरा स्कोर दिया। जो अनुरोध विफल रहे, उन्हें डिटेक्टर ने उच्चतम स्कोर दिया। यह ऐसा है जैसे बाउंसर असली अपराधियों को उनके वेश बदलकर दरवाजे से आसानी से गुजर जाने दे रहा है, जबकि उन लोगों को रोक रहा है जिन्होंने केवल एक भड़कीली शर्ट पहनी है। वास्तव में, डिटेक्टर इतना भ्रमित था कि उसने सफल हमलों को "कम खतरनाक" के रूप में रैंक किया, जिसका स्कोर विफल हमलों की तुलना में भी खराब था (एक AUROC 0.220 के साथ, जहाँ 0.5 एक कॉइन फ्लिप यानी सिक्के के उछाल के बराबर है)।
पत्र ने यह भी जांचा कि क्या यह समस्या तब बढ़ जाती है जब हमलावर अपनी शैली बदलते हैं या विभिन्न भाषाओं का उपयोग करते हैं। उन्होंने पाया कि हालांकि डिटेक्टर "हानिकारक इरादे" को पहचानने में अभी भी ठीक हो सकता है, लेकिन वह वास्तव में रोबोट के आज्ञाकारी होने की भविष्यवाणी करने की अपनी क्षमता पूरी तरह से खो देता है। डिटेक्टर का "कैलिब्रेशन" (यह कितनी अच्छी तरह से वास्तविकता से मेल खाता है) टूट जाता है, और बुरे अनुरोधों को रोकने के लिए उपयोग किए जाने वाले थ्रेशोल्ड (thresholds) काम करना बंद कर देते हैं।
संक्षेप में, यह पत्र सिद्ध करता है कि एक सुरक्षा स्कोर जो "बुरे इरादे" को पहचानने में अच्छा है, वास्तव में "सफल जेलब्रेक" की भविष्यवाणी करने में बहुत खराब है। लेखक दिखाते हैं कि सुरक्षा प्रणालियों का परीक्षण करने का वर्तमान तरीका त्रुटिपूर्ण है क्योंकि यह मानता है कि एक बुरे विचार को पहचानना ही एक बुरे परिणाम को रोकने का मतलब है। लेकिन वास्तव में, जितना अधिक चतुर पैंतरा होगा, अनुरोध डिटेक्टर के लिए उतना ही सुरक्षित दिखता जाएगा, भले ही वह रोबोट के लिए उतना ही खतरनाक क्यों न हो जाए। यह पत्र यह नहीं कहता कि सुरक्षा डिटेक्टर बेकार हैं, लेकिन यह कहता है कि हम उन पर यह बताने के लिए भरोसा नहीं कर सकते कि कोई विशिष्ट हमला काम करेगा या नहीं। हमें सुरक्षा को मापने के एक नए तरीके की आवश्यकता है जो केवल इरादे को नहीं, बल्कि वास्तविक परिणाम को देखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।