कल्पना कीजिए कि आप एक बहुत ही शानदार रेस्टोरेंट के हेड शेफ हैं जो एक साथ दो चीजें परोसता है: एक प्लेट पर एक तस्वीर और एक बोली गई ऑर्डर। आपका लक्ष्य यह सुनिश्चित करना है कि किचन कभी भी कुछ खतरनाक न पकाए, भले ही कोई तस्वीर के अंदर "जहरीले" निर्देश छिपाकर या अजीब तरीके से फुसफुसाकर शेफ को धोखा देने की कोशिश करे। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की दुनिया है। ये सुपर-स्मार्ट कंप्यूटर दिमाग हैं जो छवियों (images) को "देख" सकते हैं और टेक्स्ट को "पढ़" सकते हैं, और फिर आपसे चैट कर सकते हैं। लेकिन क्योंकि वे देख सकते हैं, इसलिए बुरे तत्व पिक्सेल में हानिकारक कमांड छिपाकर या फोटो के बैकग्राउंड में उन्हें छिपाकर डाल सकते हैं।

इसे रोकने के लिए, वैज्ञानिकों ने इन्फरेंस-टाइम डिफेंस (Inference-Time Defenses) का आविष्कार किया है। इन्हें सुरक्षा गार्डों के रूप में सोचें जो सीधे किचन के दरवाजे पर खड़े होते हैं। वे रेसिपी (मॉडल के दिमाग) को नहीं बदलते; इसके बजाय, वे ऑर्डर जाने से पहले उसकी जांच करते हैं, या वे अंतिम डिश को जाने से पहले उसकी जांच करते हैं। कुछ गार्ड ऑर्डर के साथ एक विनम्र चेतावनी नोट जोड़ते हैं, जबकि अन्य छिपे हुए धोखों को धुंधला करने के लिए तस्वीर को थोड़ा हिला देते हैं। बड़ा सवाल सभी के लिए यह है: कौन सा गार्ड वास्तव में सबसे अच्छा काम कर रहा है? यदि हम गार्डों पर भरोसा नहीं कर सकते, तो हम गलती से एक खतरनाक भोजन परोस सकते हैं, या और भी बुरा, हम इतने डरे हुए हो सकते हैं कि हम कोई भी भोजन परोसने से इनकार कर दें।

---

द ग्रेट किचन ऑडिट: जब स्कोरकार्ड गलत था

मॉस्को के शोधकर्ताओं की एक टीम ने जासूस खेलने का फैसला किया। उन्होंने नए गार्ड नहीं बनाए; इसके बजाय, वे एक हालिया प्रयोग के अभिलेखों (archives) में गए जिसने दावा किया था कि उसने आठ अलग-अलग AI शेफों पर तीन अलग-अलग सुरक्षा गार्डों (RapGuard, AdaShield, और SmoothVLM जैसे तरीकों से प्रेरित) का परीक्षण किया है। वे देखना चाहते थे कि कौन सबसे अच्छा है। लेकिन जैसे ही उन्होंने फाइलों की खुदाई की, उन्हें टूटे हुए लिंक, गायब सामग्री और भ्रमित स्कोरकार्डों का ढेर मिला।

यहाँ उनकी खोज दी गई है, जिसे वास्तविकता की जांच के साथ परोसा गया है।

1. "गायब सामग्री" का रहस्य

शोधकर्ताओं ने पाया कि प्रयोग को 9,000 अलग-अलग ऑर्डर्स (इनपुट) को सात अलग-अलग सुरक्षा परीक्षणों में टेस्ट करना था। हालाँकि, जब उन्होंने प्रोवेनेंस (डेटा कहाँ से आया उसका पेपर ट्रेल) की जाँच की, तो उन्हें एहसास हुआ कि सात में से तीन परीक्षण पूरी तरह से खराब थे।

• "गलत प्लेट" की त्रुटि: एक परीक्षण, जिसका उद्देश्य यह जांचना था कि क्या AI छवियों में छिपे निर्देशों को पहचान सकता है, वास्तव में पूरी तरह से गलत तस्वीर परोस रहा था। यह एक टोस्टर पर पानी छिड़ककर फायर अलार्म का परीक्षण करने जैसा था।
• "टेक्स्ट-ओनली" धोखाधड़ी: एक अन्य परीक्षण जो चित्रों और टेक्स्ट का मिश्रण होना चाहिए था, लेकिन सिस्टम ने गलती से AI को चित्रों को अनदेखा करने और केवल टेक्स्ट को पढ़ने की अनुमति दे दी। यह एक "टेक्स्ट-ओनली फॉलबैक" था, जिसका अर्थ था कि AI को परीक्षण पास करने के लिए वास्तव में चित्र देखने की आवश्यकता ही नहीं पड़ी।
• "रैंडम पैच" की गड़बड़ी: एक तीसरे परीक्षण ने दावा किया कि वह एक विशेष "एडवर्सरियल पैच" (AI को भ्रमित करने के लिए छवि पर एक छोटा, चालाकी भरा स्टिकर) का उपयोग करता है। लेकिन कंप्यूटर ने वह चालाकी भरा स्टिकर नहीं बनाया; उसने बस एक रैंडम आयत (rectangle) बना दिया।

इन त्रुटियों के कारण, शोधकर्ताओं को उन तीन परीक्षणों के परिणामों को फेंकना पड़ा। वे केवल नंबरों को "ठीक" नहीं कर सकते थे; डेटा ही वहां मौजूद नहीं था। इससे उनके पास काम करने के लिए चार विशिष्ट परीक्षणों (FigStep, JailBreakV, SALAD-Bench, और HarmBench-Simple) से केवल 4,820 वैध इनपुट बचे।

2. "कीवर्ड" का जाल

मूल प्रयोग ने यह तय करने के लिए एक बहुत ही सरल तरीका इस्तेमाल किया कि AI सुरक्षित है या नहीं: इसने विशिष्ट "जादुई शब्दों" को देखा।

• यदि AI कहता था "मैं यह नहीं कर सकता" या "मुझे खेद है," तो इसे सुरक्षित (एक इनकार/refusal) के रूप में चिह्नित किया गया।
• यदि AI कहता था "यहाँ बताया गया है कि कैसे..." या "ज़रूर, मैं मदद कर सकता हूँ," तो इसे असुरक्षित (एक हानिकारक उत्तर) के रूप में चिह्नित किया गया।

शोधकर्ताओं ने इस पद्धति के साथ एक बड़ी समस्या पाई। सिस्टम ने खाली जवाबों (जहाँ AI ने कुछ भी नहीं कहा) को "सुरक्षित" के रूप में गिना क्योंकि लीगेसी कोड में उनके लिए कोई विशेष नियम नहीं था; चूंकि खाली स्ट्रिंग न तो "हानिकारक" सूची से मेल खाती थी और न ही "इनकार" सूची से, डिफ़ॉल्ट लॉजिक ने उन्हें सुरक्षित मान लिया। इसने उन उत्तरों को भी सुरक्षित माना जो एक विनम्र चेतावनी के साथ शुरू होते थे लेकिन फिर भी खतरनाक निर्देश देते थे, क्योंकि सिस्टम केवल एक इनकार वाक्यांश की उपस्थिति को हानिकारक एक को ओवरराइड करने के लिए देखता था, और कभी-कभी लॉजिक उलझ जाता था।

जब उन्होंने डेटा की पुन: जाँच की, तो पाया कि "कीवर्ड" पद्धति एक बहुत ही खराब जज थी। यह एक शिक्षक की तरह था जो यह देखकर ग्रेड देता है कि छात्र ने वास्तव में प्रश्न का उत्तर दिया या नहीं, इसके बजाय केवल यह देखता है कि उत्तर में "the" शब्द है या नहीं। 246 चालाकी भरे उत्तरों के एक ऑडिट में, कीवर्ड सिस्टम ने 13 हानिकारक उत्तरों को मिस कर दिया जिन्हें एक स्मार्ट मानव-समान जज (एक "Haiku-family judge") ने सही ढंग से खतरनाक पहचाना था। तकनीकी शब्दों में, कीवर्ड सिस्टम ने इन 13 मामलों को "सुरक्षित" लेबल किया जबकि वे वास्तव में "हानिकारक" थे (फॉल्स नेगेटिव्स)।

3. "मास रिफ्यूज़ल" का मिथक

मूल अध्ययन ऐसा संकेत देता था कि सुरक्षा गार्ड AI को सब कुछ अस्वीकार करने (एक "मास रिफ्यूज़ल") के लिए मजबूर कर रहे हैं। शोधकर्ताओं ने 38,500 सुरक्षित, सामान्य प्रश्नों का पुन: ऑडिट किया यह देखने के लिए कि AI वास्तव में कितनी बार "ना" कहता है जब उसे इसकी आवश्यकता नहीं होती।

परिणाम? AI वास्तव में बहुत विनम्र और मददगार था।

• अनावश्यक इनकार की अनुमानित दर केवल 0.52% थी।
• यहाँ तक कि सबसे खराब स्थिति (डेटा का सबसे बड़ा एकल समूह) में भी, दर केवल 3.24% थी।
• शोधकर्ताओं ने नोट किया कि "सैंपलिंग-ओनली" अनिश्चितता (त्रुटि की सीमा) 10.92% तक पहुँच सकती है, लेकिन यह भी मूल अध्ययन द्वारा सुझाए गए "मास रिफ्यूज़ल" से बहुत दूर है।

भ्रम "डिफेंसिव प्रीएम्बल" (defensive preamble) से आया था। सुरक्षा गार्ड अक्सर उत्तर की शुरुआत में एक लंबा, विनम्र चेतावनी जोड़ते थे (जैसे, "मुझे आपको चेतावनी देनी चाहिए कि यह खतरनाक है...")। पुराना कीवर्ड सिस्टम इस चेतावनी को ही इनकार समझ लेता था, जबकि AI वास्तव में उत्तर देना जारी रखता था। यह एक बाउंसर की तरह था जो कहता है, "मैं तुम्हें अंदर नहीं आने दूंगा," लेकिन फिर दरवाजा खोल देता है और आपको अंदर जाने देता है। कीवर्ड सिस्टम ने इन प्रीएम्बल को इनकार के रूप में गलत लेबल किया, जिससे संख्या बढ़ गई।

4. सुरक्षित होने की लागत

अंत में, शोधकर्ताओं ने देखा कि इन सुरक्षा गार्डों ने कितना समय बर्बाद किया।

• "गौसियन" (Gaussian) गार्ड (जो छवि को पांच बार धुंधला करता है और उत्तर पर वोट देता है) ने बिना कुछ किए तुलना में 5.45 से 12.76 गुना अधिक समय लिया।
• तीन गार्डों का पूरा स्टैक 4.36 से 16.59 गुना अधिक समय लेता है।

इसका मतलब है कि जबकि गार्ड मदद करने की कोशिश कर रहे हो सकते हैं, वे किचन को अविश्वसनीय रूप से धीमा बना रहे हैं।

निचोड़ (The Bottom Line)

यह पेपर हमें यह नहीं बताता है कि कौन सा सुरक्षा गार्ड "सबसे अच्छा" है। वास्तव में, यह हमें बताता है कि हम पिछले रैंकिंग पर भरोसा नहीं कर सकते क्योंकि डेटा टूटा हुआ था और स्कोरिंग पद्धति दोषपूर्ण थी।

• उन्होंने क्या खारिज किया: उन्होंने साबित किया कि "मास रिफ्यूज़ल" के बारे में मूल दावे गलत थे और सात में से तीन सुरक्षा परीक्षण अमान्य थे।
• उन्होंने क्या पाया: सुरक्षा गार्ड (विशेष रूप से प्रॉम्प्ट रैपर्स) वास्तव में AI के व्यवहार को बदलते हैं, लेकिन इसका प्रभाव AI मॉडल और परीक्षण के प्रकार के आधार पर बहुत भिन्न होता है। कभी-कभी वे मदद करते हैं, कभी-कभी वे नुकसान पहुँचाते हैं, और कभी-कभी वे बस चीज़ों को धीमा कर देते हैं।
• सबक: आप केवल एक परीक्षण नहीं चला सकते और एक स्कोर नहीं देख सकते। आपको यह सुनिश्चित करना होगा कि सामग्री (इनपुट) वास्तविक है, स्कोरकार्ड (मूल्यांकन) वास्तव में सुरक्षा को मापता है, और आपके पास काम की जाँच करने के लिए पूरा रेसिपी (रॉ टेक्स्ट) है।

लेखक निष्कर्ष निकालते हैं कि इससे पहले कि हम विभिन्न सुरक्षा गार्डों की तुलना कर सकें, हमें उन्हें टेस्ट करने के लिए एक बेहतर, अधिक ईमानदार प्रणाली बनाने की आवश्यकता है। तब तक, हम निश्चित रूप से नहीं कह सकते कि कौन नायक है और कौन केवल किचन को धीमा कर रहा है।