When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift
यह शोध पत्र प्रकट करता है कि मानक क्रॉस-वैलिडेशन (cross-validation), एक कठोर लीव-वन-डेटासेट-आउट (Leave-One-Dataset-Out) मूल्यांकन की तुलना में मैलिशियस प्रॉम्प्ट क्लासिफायर के सामान्यीकरण (generalization) को 8–16.5 AUC अंकों से काफी अधिक बढ़ाकर दिखाता है, जो मॉडल फीचर्स में व्यापक डेटासेट-निर्भर शॉर्टकट्स को उजागर करता है जिन्हें वर्तमान डोमेन-जनरलाइजेशन तकनीकें कम करने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-टेक संग्रहालय के लिए एक सुरक्षा गार्ड को प्रशिक्षित कर रहे हैं। आपका लक्ष्य गार्ड को यह पहचानना सिखाना है कि चोर चोरी की गई वस्तु को कैसे छिपाता है, चाहे वह उसे किसी भी तरह से छिपाने की कोशिश करे। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "चोर" दुर्भावनापूर्ण निर्देश (malicious instructions) हैं जो एक रोबोटिक मस्तिष्क (जिसे लार्ज लैंग्वेज मॉडल कहा जाता है) को कुछ ऐसा करने के लिए बहलाने की कोशिश करते हैं जो उसे नहीं करना चाहिए, जैसे कि रहस्य उजागर करना या हानिकारक कोड लिखना। इसे "प्रॉम्ट इंजेक्शन" (prompt injection) कहा जाता है। गार्ड को प्रशिक्षित करने के लिए, वैज्ञानिक आमतौर पर उन्हें ज्ञात चोरों और ज्ञात निर्दोष आगंतुकों की तस्वीरों का एक विशाल ढेर दिखाते हैं। यदि गार्ड 99% तस्वीरों को सही पहचान लेता है, तो हम आमतौर पर खुशी मनाते हैं और कहते हैं, "बहुत बढ़िया काम! आप वास्तविक दुनिया के लिए तैयार हैं!"
लेकिन यहाँ एक पेंच है: क्या होगा अगर गार्ड वास्तव में यह नहीं सीख रहा है कि चोर कैसा दिखता है? क्या होगा अगर वह केवल फोटो एल्बम को सीख रहा है? शायद चोरों की सभी तस्वीरें एक लाल कमरे में ली गई थीं, और निर्दोष लोगों की सभी तस्वीरें एक नीले कमरे में ली गई थीं। गार्ड शायद व्यक्ति के चेहरे को देखने के बजाय दीवार के रंग की जाँच कर रहा होगा। यह शोध पत्र इस बारे में है कि शोधकर्ताओं के एक समूह ने यह परीक्षण करने का निर्णय क्यों लिया कि उनके सुरक्षा गार्ड वास्तव में स्मार्ट थे या वे केवल प्रशिक्षण कक्ष के रंग को याद करने में बहुत अच्छे थे। उन्होंने एक नया परीक्षण बनाया जहाँ गार्ड को एक बिल्कुल नए कमरे में चोर को पहचानना होता है जिसे उसने पहले कभी नहीं देखा है, ताकि यह देखा जा सके कि क्या वे वास्तव में अच्छे और बुरे के बीच अंतर कर सकते हैं।
महान "कमरे के रंग" की चाल
शोधकर्ताओं ने, मैक्स फोमिन के नेतृत्व में, यह पाया कि हमारे AI सुरक्षा गार्डों को परीक्षण करने का मानक तरीका हमें झूठ बोल रहा है। उन्होंने पाया कि जब हम इन गार्डों का परीक्षण सामान्य तरीके (सभी प्रशिक्षण और परीक्षण तस्वीरों को मिला कर) से करते हैं, तो गार्ड प्रतिभाशाली दिखते हैं, और अविश्वसनीय रूप से उच्च अंक प्राप्त करते हैं। लेकिन जब शोधकर्ताओं ने एक सख्त परीक्षण का उपयोग किया जिसे LODO (Leave-One-Dataset-Out) कहा जाता है, जहाँ गार्ड को एक पूरी तरह से नए "कमरे" (एक नए डेटासेट) का सामना करने के लिए मजबूर किया जाता है जिसे उसने प्रशिक्षण के दौरान कभी नहीं देखा था, तो गार्ड अचानक बहुत कम प्रभावशाली दिखने लगे।
सरल शब्दों में, मानक परीक्षण ऐसे थे जैसे गार्ड को एक बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) दी जा रही हो जहाँ उत्तर प्रश्न के प्रारूप में ही छिपे हुए थे। शोध पत्र दिखाता है कि वर्तमान सुरक्षा क्लासिफायर अक्सर केवल "डेटासेट शॉर्टकट" को याद कर रहे होते हैं। एक दुर्भावनापूर्ण हमले के गहरे, जटिल पैटर्न को सीखने के बजाय, वे सतही संकेतों को सीख रहे हैं जैसे कि "यह टेक्स्ट 'WildJailbreak' फ़ाइल से आया हुआ लगता है, इसलिए यह बुरा होना चाहिए," या "यह ईमेल 'Enron' फ़ाइल से आया हुआ लगता है, इसलिए यह सुरक्षित होना चाहिए।"
प्रयोग: 18 अलग-अलग कमरे
इसे साबित करने के लिए, टीम ने 18 अलग-अलग डेटासेट्स (टेक्स्ट के संग्रह) वाला एक विशाल प्रशिक्षण मैदान बनाया, जिसमें 1,05,000 से अधिक नमूने शामिल थे। इनमें सीधे जेलब्रेक प्रयासों से लेकर हानिरहित व्यावसायिक ईमेल तक सब कुछ शामिल था। उन्होंने इन टेक्स्टों पर चार AI मॉडल (Llama, Gemma और Qwen सहित) का उपयोग करके सुरक्षा क्लासिफायर को प्रशिक्षित किया।
जब उन्होंने मानक "मिक्स-एंड-मैच" परीक्षण पद्धति का उपयोग किया, तो क्लासिफायर लगभग पूर्ण स्कोर करते थे, जिसमें सटीकता दर अक्सर 99% से ऊपर थी। यह एक पूर्ण विजय की तरह लग रहा था। हालाँकि, जब उन्होंने LODO पद्धति का उपयोग किया—17 डेटासेट्स पर प्रशिक्षण दिया और सख्ती से 18वें डेटासेट पर परीक्षण किया जिसे उन्होंने कभी नहीं देखा था—तो स्कोर नाटकीय रूप रूप से गिर गया।
यह अंतर बहुत बड़ा था। मानक परीक्षणों ने AI की सामान्यीकरण (generalize) करने की क्षमता को 8.0 से 16.5 प्रतिशत अंक तक बढ़ा-चढ़ाकर दिखाया। कुछ विशिष्ट मामलों में, गिरावट और भी चौंकाने वाली थी, जहाँ सटीकता का अंतर डेटासेट के आधार पर 1% से 25% तक था। उदाहरण के लिए, एक क्लासिफायर जो मानक परीक्षणों पर 99.5% जीनियस की तरह दिखता था, "Mosscap" नामक नए डेटासेट पर परीक्षण किए जाने पर 79.4% प्रदर्शन करने वाला बन गया। इसने साबित कर दिया कि AI "बुरे व्यवहार" की अवधारणा को नहीं सीख रहा था; वह केवल प्रशिक्षण डेटा की "शैली" को पहचान रहा था।
"शॉर्टकट" जासूसी
शोधकर्ताओं ने केवल इस अंतर को खोजने पर ही नहीं रोका; वे यह जानना चाहते थे कि यह क्यों हुआ। उन्होंने एक विशेष उपकरण का उपयोग किया जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है, जो AI के मस्तिष्क के भीतर के सूक्ष्म आंतरिक स्विचों (फीचर्स) को देखने के लिए एक सूक्ष्मदर्शी (microscope) की तरह काम करता है। वे देखना चाहते थे कि AI द्वारा निर्णय लेने के समय कौन से स्विच सक्रिय हो रहे थे।
उन्होंने पाया कि AI की "मस्तिष्क शक्ति" का एक महत्वपूर्ण हिस्सा डेटासेट शॉर्टकट पर बर्बाद हो रहा था।
- AI द्वारा निर्णय लेने के लिए उपयोग किए जाने वाले शीर्ष फीचर्स में से 28% से 44% वास्तव में केवल शॉर्टकट थे जो डेटासेट की पहचान करते थे, न कि हमले की।
- उन्होंने एक अलग "डेटासेट आइडेंटिटी क्लासिफायर" भी बनाया जो AI के आंतरिक संकेतों को देखकर 96.6% सटीकता के साथ यह अनुमान लगा सकता था कि टेक्स्ट का टुकड़ा किस डेटासेट से आया है। इसने पुष्टि की कि डेटासेट्स इतने विशिष्ट थे कि AI उन्हें आसानी से पहचान सकता था, और वह सुरक्षा परीक्षण में धोखाधड़ी करने के लिए उस क्षमता का उपयोग कर रहा था।
शोध पत्र ने यह भी पता लगाया कि क्या मानक सुधार इस समस्या को हल कर सकते थे। उन्होंने "एडवर्सरियल ट्रेनिंग" (AI को ट्रिकी उदाहरणों से लड़ना सिखाना) और "रीवेटिंग" (AI को कठिन उदाहरणों पर अधिक ध्यान देने के लिए मजबूर करना) जैसे सामान्य तरीकों को आज़माया। दुर्भाग्य से, इनमें से कोई भी मानक सुधार इस अंतर को नहीं भर सका। शोधकर्ताओं ने पाया कि "यह कौन सा डेटासेट है" और "क्या यह सुरक्षा खतरा है" के संकेत AI के मस्तिष्क के भीतर आपस में उलझे हुए थे। "डेटासेट" सिग्नल को हटाने की कोशिश करने से अनजाने में "सुरक्षा" सिग्नल को नुकसान पहुँचा, जिससे समस्या को हल करना और भी कठिन हो गया।
चांदी की रेखा (The Silver Lining): बेहतर स्पष्टीकरण
हालाँकि इस अंतर की खबर गंभीर है, लेकिन शोध पत्र भविष्य में इस समस्या को हल करने के लिए एक चतुर उपकरण प्रदान करता है। शोधकर्ताओं ने AI के स्पष्टीकरणों को "वेट" (weight) करने का एक तरीका विकसित किया। केवल यह पूछने के बजाय कि, "किस फीचर ने आपको सोचा कि यह बुरा था?", उन्होंने पूछा, "किस फीचर ने आपको सोचा कि यह बुरा था और जो सभी अलग-अलग कमरों में सुसंगत (consistent) रहा?"
"डेटासेट शॉर्टकट" वाले फीचर्स को फ़िल्टर करके, वे एक प्रॉम्ट को फ्लैग करने के कारणों के लिए बहुत अधिक विश्वसनीय स्पष्टीकरण उत्पन्न कर सके। उन्होंने पाया कि इस पद्धति ने प्रॉम्ट को फ्लैग करने के शीर्ष 20 कारणों को लगभग 98% मामलों में बदल दिया, जिससे प्रभावी रूप से AI के तर्क को साफ किया गया और उसके "धोखाधड़ी" वाले तर्क को हटा दिया गया।
निचोड़ (The Bottom Line)
यह शोध पत्र यह दावा नहीं करता है कि उसने AI सुरक्षा की समस्या को हल कर लिया है। वास्तव में, यह स्पष्ट रूप से कहता है कि उन्हें मौजूदा तकनीकों का उपयोग करके इस अंतर को भरने का कोई तरीका नहीं मिला। इसके बजाय, उन्होंने एक महत्वपूर्ण वास्तविकता की जाँच (reality check) प्रदान की है। उन्होंने दिखाया कि AI सुरक्षा के लिए वर्तमान "गोल्ड स्टैंडर्ड" दोषपूर्ण है क्योंकि यह AI मॉडलों को खतरे को समझने के बजाय डेटा के स्रोत को याद करके धोखाधड़ी करने की अनुमति देता है।
AI एजेंट बनाने या उपयोग करने वाले किसी भी व्यक्ति के लिए सबक स्पष्ट है: यदि आपका सुरक्षा गार्ड 99% स्कोर करता है जहाँ प्रशिक्षण और परीक्षण डेटा एक ही ढेर से आते हैं, तो आप उसे एक नए स्रोत से होने वाले वास्तविक हमले को संभालने के लिए भरोसा नहीं कर सकते। आपको यह जानने के लिए कि क्या वे वास्तव में सुरक्षित हैं, उन्हें उस डेटा पर परीक्षण करना होगा जिसे उन्होंने पहले कभी नहीं देखा है। लेखकों ने अपने उपकरण जारी कर दिए हैं ताकि अन्य लोग इन सख्त परीक्षणों को चला सकें, जिससे यह सुनिश्चित हो सके कि भविष्य के AI गार्ड वास्तव में चोरों को पहचानना सीख रहे हैं, न कि केवल कमरे के रंग को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।