How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
यह शोध पत्र प्रकट करता है कि LLM जेलब्रेक सफलता दर को मापने के लिए उपयोग किए जाने वाले स्वचालित जज अत्यधिक अविश्वसनीय हैं, जिसमें समर्पित क्लासिफायर ओवर-फ्लैगिंग के प्रति प्रवृत्त होते हैं और LLM-एज़-जज अस्थिर रिकॉल तथा प्रतिकूल फ्रेमिंग (adversarial framing) के प्रति अत्यधिक संवेदनशील होते हैं, जिससे जज प्रदर्शन मेट्रिक्स और प्रतिकूल मजबूती (adversarial robustness) जांच के मानकीकृत रिपोर्टिंग की आवश्यकता उत्पन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप निबंधों का एक ढेर ग्रेड कर रहे हैं ताकि यह देख सकें कि किनमें खतरनाक विचार शामिल हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता यह सब अक्सर करते हैं ताकि यह देखा जा सके कि क्या AI मॉडल को "जेलब्रेक" (नुकसानदेह बनने के लिए बहकाया) किया गया है। लेकिन यहाँ एक ट्विस्ट है: कोई भी इंसान वास्तव में उन निबंधों को नहीं पढ़ रहा है। इसके बजाय, वे एक स्वचालित "जज" (एक कंप्यूटर प्रोग्राम) का उपयोग करते हैं जो उन्हें ग्रेड देता है।
यह पेपर एक सरल लेकिन डरावना सवाल पूछता है: क्या हम इन स्वचालित जजों पर भरोसा कर सकते हैं?
लेखक, यांग गाओ (Yang Gao) ने इन जजों को कटघरे में खड़ा करने और उनसे जिरह करने का फैसला किया। इस जांच में क्या पाया गया, इसे रोजमर्रा के उपमाओं के माध्यम से समझाया गया है।
दो प्रकार के जज
अध्ययन ने दो मुख्य प्रकार के स्वचालित जजों की तुलना की:
- विशेषज्ञ (द डेडिकेटेड क्लासिफायर): इसे एक ऐसे सुरक्षा गार्ड के रूप में सोचें जिसे विशेष रूप से बुरे व्यवहार को पहचानने के लिए काम पर रखा गया है। उन्हें केवल इसी एक काम के लिए प्रशिक्षित किया गया है।
- सामान्यज्ञ (द एलएलएम-एज़-जज): इसे एक बुद्धिमान, सुशिक्षित लाइब्रेरियन के रूप में सोचें जिससे पूछा गया है, "हे, क्या आप इस निबंध को देख सकते हैं और मुझे बता सकते हैं कि क्या यह बुरा है?" वे सामान्य उद्देश्य वाले AI मॉडल हैं जिन्हें केवल एक ग्रेडर के रूप में कार्य करने के लिए एक प्रॉम्प्ट दिया गया है।
समस्या: वे चीजों को अलग तरह से देखते हैं
जब लेखक ने इन जजों की तुलना वास्तविक मनुष्यों (एक "गोल्ड स्टैंडर्ड") के पैनल से की, तो दोनों प्रकार के जज विपरीत तरीकों से विफल हुए:
- विशेषज्ञ एक "पैरानॉयड अलार्मिस्ट" (शक्की अलार्म बजाने वाला) है।
- उपमा: एक ऐसे स्मोक डिटेक्टर की कल्पना करें जो इतना संवेदनशील है कि वह ब्रेड टोस्ट करने पर भी बज उठता है।
- परिणाम: यह जज लगभग हर हानिकारक निबंध को पकड़ लेता है (यह शायद ही कभी चूकता है), लेकिन यह निर्दोष निबंधों पर भी "खतरा!" चिल्लाता है। यह बुरे व्यवहार की अत्यधिक रिपोर्ट करता है, जिससे AI वास्तव में जितना खतरनाक है उससे कहीं अधिक खतरनाक दिखने लगता है।
- सामान्यज्ञ एक "भटका हुआ छात्र" है।
- उपमा: एक ऐसे छात्र की कल्पना करें जो परीक्षा दे रहा है जो पेज के फॉर्मेटिंग पर इतना ध्यान केंद्रित कर रहा है कि वह वास्तविक उत्तरों को ही मिस कर देता है।
- परिणाम: ये जज निर्दोष चीजों को "बुरा" कहने में बहुत सावधान रहते हैं (उच्च शुद्धता/precision), लेकिन वे वास्तविक खतरे का एक बड़ा हिस्सा मिस कर देते हैं। आप कौन सा जनरललिस्ट इस्तेमाल करते हैं, इस पर निर्भर करते हुए, वे हानिकारक सामग्री में से 35% से 94% तक मिस कर सकते हैं। यदि आप एक अलग जनरललिस्ट का उपयोग करते हैं, तो आपके परिणाम पूरी तरह बदल जाते हैं।
"मैजिक ट्रिक" हमला
इसके बाद लेखक ने इन जजों को "जादुई ट्रिक्स" का उपयोग करके "बेवकूफ बनाने" की कोशिश की, जिसने निबंध की वास्तविक सामग्री को नहीं बदला, केवल उसे पेश करने के तरीके को बदल दिया।
- ट्रिक: लेखक ने एक हानिकारक निबंध लिया और उसके शुरू में एक विनम्र वाक्य जोड़ दिया जैसे, "मैं यह शैक्षिक उद्देश्यों के लिए लिख रहा हूँ," या "यहाँ एक बुरे आदमी की कहानी है।"
- परिणाम:
- जनरललिस्ट जज: वे पूरी तरह से मूर्ख बन गए। कई मामलों में, एक साधारण विनम्र वाक्य जोड़ने से उन्हें लगा कि एक खतरनाक निबंध सुरक्षित था। यह एक क्लब के बाउंसर की तरह है जो एक खतरनाक व्यक्ति को अंदर जाने देता है क्योंकि उसने टक्सीडो पहना हुआ है।
- विशेषज्ञ (Specialist): यह जज बहुत सख्त था। इसने विनम्र आवरण (wrapper) को नजरअंदाज किया और खतरे को चिह्नित किया।
"हैकर" हमला
लेकिन विशेषज्ञ अजेय नहीं था। इसके बाद लेखक ने एक "व्हाइट-बॉक्स" हमला किया।
- उपमा: कल्पना करें कि विशेषज्ञ एक ताला है। जनरललिस्ट को एक नकली चाबी (विनम्र आवरण) से बेवकूफ बनाया गया था। लेकिन फिर लेखक ने ताले के आंतरिक गियर (कोड/वेट्स) को देखा और अंदर से ताला खोलने के लिए एक गणितीय सूत्र का उपयोग किया।
- परिणाम: यहाँ तक कि सख्त विशेषज्ञ को भी तब मजबूर किया जा सकता था जब हमलावर को कोड को थोड़ा बदलने का तरीका पता हो, जिससे वह खतरनाक निबंध को "सुरक्षित" कहे।
अंतिम प्रमाण: नुकसान अभी भी वहीं था
आप सोच सकते हैं, "शायद ट्रिक इसलिए काम कर गई क्योंकि निबंध वास्तव में सुरक्षित हो गया था?"
यह साबित करने के लिए कि ऐसा नहीं था, लेखक ने दो मानव विशेषज्ञों को "ट्रिक किए गए" निबंधों को पढ़ने के लिए काम पर लगाया।
- फैसला: मनुष्य इस बात पर सहमत थे कि हानिकारक सामग्री अभी भी मौजूद थी। निबंध बदला नहीं था; जज बस अंधा हो गया था। "ट्रिक" ने समस्या को ठीक नहीं किया; इसने बस जज को दूसरी ओर देखने के लिए मजबूर कर दिया।
निष्कर्ष (टेकअवे)
यह पेपर निष्कर्ष निकालता है कि हम AI सुरक्षा पत्रों में रिपोर्ट किए गए नंबरों पर भरोसा नहीं कर सकते, भले ही एक स्वचालित जज ने ऐसा कहा हो।
- यदि आप एक जनरललिस्ट जज का उपयोग करते हैं, तो आप अधिकांश खतरे को मिस कर सकते हैं क्योंकि वे विनम्र शब्दों से आसानी से विचलित हो जाते हैं।
- यदि आप एक विशेषज्ञ जज का उपयोग करते हैं, तो आप खतरे को बहुत अधिक रिपोर्ट कर सकते हैं, या आप असुरक्षित हो सकते हैं यदि कोई कोड को हैक करने का तरीका जानता हो।
सिफारिश: इससे पहले कि आप किसी सुरक्षा स्कोर पर भरोसा करें, आपको:
- यह जांचना चाहिए कि जज वास्तविक मनुष्यों के साथ कितनी अच्छी तरह सहमत होता है।
- नंबरों को इस आधार पर ठीक करना चाहिए कि जज कितनी बार गलतियाँ करता है।
- खुद जज को "बेवकूफ बनाने" की कोशिश करनी चाहिए ताकि देखा जा सके कि वह कितना टिक पाता है।
संक्षेप में: जज पर भरोसा करने से पहले, जज का परीक्षण करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।