🤖 machine learning

VLMGuard: Bootstrapping Malicious Prompt Detectors from Unlabeled Vision-Language Prompts in the Wild

VLMGuard एक नवीन फ्रेमवर्क है जो अनलेबल इन-द-वाइल्ड प्रॉम्प्ट्स और एक स्वचालित दुर्भावनापूर्णता अनुमान स्कोर का लाभ उठाकर विजन-लैंग्वेज मॉडल्स के लिए दुर्भावनापूर्ण प्रॉम्प्ट डिटेक्टरों को बूटस्ट्रैप करता है, जो मानव एनोटेशन की आवश्यकता को समाप्त करते हुए अत्याधुनिक तरीकों की तुलना में बेहतर डिटेक्शन प्रदर्शन प्राप्त करता है।

मूल लेखक: Junlin Fang, Wenyu Chen, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor R. Carvalho, Emily Lawton, Sharon Li, Jack W. Stokes, Sean Du

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junlin Fang, Wenyu Chen, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor R. Carvalho, Emily Lawton, Sharon Li, Jack W. Stokes, Sean Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक रोबोटिक असिस्टेंट (एक विजन-लैंग्वेज मॉडल) है जो तस्वीरों को देख सकता है और आपके सवालों के जवाब देने के लिए टेक्स्ट पढ़ सकता है। आप इस रोबोट को लोगों की मदद करने के लिए वास्तविक दुनिया में भेजना चाहते हैं। लेकिन एक समस्या है: कुछ लोग रोबोट को बुरा काम करने के लिए बहला-फुसला सकते हैं, जैसे कि हथियार बनाने के निर्देश देना या सुरक्षा नियमों को दरकिनार करना। इन चालाकी भरे प्रयासों को "मैलेशियस प्रॉम्प्ट्स" (malicious prompts) कहा जाता है।

यह पेपर एक नया सिस्टम पेश करता है जिसे VLMGuard कहा जाता है, जो धोखेबाजों को रोबोट के जवाब देने से पहले ही पकड़ लेता है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:

बड़ी समस्या: "सुई और घास का ढेर" (Needle in a Haystack)

आमतौर पर, कंप्यूटर को यह पहचानने के लिए कि "बुरा" क्या है, आपको उदाहरणों की एक विशाल सूची की आवश्यकता होती है जो ठीक से दिखाए कि "बुरा" क्या दिखता है और "अच्छा" क्या दिखता है। आपको हजारों उदाहरणों को लेबल करने के लिए इंसानों की आवश्यकता होगी: "यह सुरक्षित है," "यह खतरनाक है।"

लेकिन वास्तविक दुनिया में, ऐसी लेबल की गई सूचियाँ प्राप्त करना कठिन, महंगा और धीमा है। हमलावर हमेशा नए तरीके निकालते रहते हैं, और जब तक आप पुराने तरीकों को लेबल कर लेते हैं, तब तक नए तरीके आ चुके होते हैं। इसके अलावा, रोबोट का उपयोग करने वाले अधिकांश लोग अच्छे होते हैं; बुरे लोग बहुत कम होते हैं। यह एक विशाल घास के ढेर में कुछ विशिष्ट सुइयों को खोजने जैसा है, बिना यह जाने कि कौन सी सुई है।

समाधान: VLMGuard (एक "अंतर्ज्ञान" डिटेक्टर)

VLMGuard इस समस्या को अनलेबल (unlabeled) डेटा का उपयोग करके हल करता है—वह लाखों सवाल और तस्वीरें जो जनता से हर दिन रोबोट को मिलती हैं। इसे यह जानने के लिए किसी इंसान की जरूरत नहीं है कि "यह बुरा है।" इसके बजाय, यह दो चरणों वाली प्रक्रिया का उपयोग करके खुद को सिखाता है।

चरण 1: "अजीब चीज़ को पहचानना" (सबस्पेस एक्सट्रैक्शन - Subspace Extraction)

कल्पना कीजिए कि रोबोट का मस्तिष्क करोड़ों मोतियों से भरा एक विशाल कमरा है। प्रत्येक मोती उपयोगकर्ता के एक प्रश्न का प्रतिनिधित्व करता है। अधिकांश मोती "अच्छे" (benign) हैं, और बहुत कम "बुरे" (malicious) हैं।

VLMGuard कमरे के आकार को देखता है। वह महसूस करता है कि "अच्छे" मोती ज्यादातर केंद्र में क्लस्टर में होते हैं, जबकि "बुरे" मोती, अलग और चालाक होने के कारण, केंद्र से एक विशिष्ट, असामान्य दिशा में दूर स्थित होते हैं।

सिस्टम एक गणितीय ट्रिक (जिसे सिंगुलर वैल्यू डिकंपोजिशन कहा जाता है) का उपयोग करके उस विशिष्ट "असामान्य दिशा" को खोजने के लिए करता है। फिर यह प्रत्येक मोती को एक स्कोर देता है कि वह उस दिशा में कितना फैला हुआ है।

उपमा: इसे हवाई अड्डे पर मेटल डिटेक्टर की तरह समझें। अधिकांश लोग (अच्छे प्रॉम्प्ट्स) बिना किसी अलार्म के गुजर जाते हैं। लेकिन यदि कोई कुछ भारी और धातु जैसा (एक मैलेशियस प्रॉम्प्ट) लेकर आता है, तो डिटेक्टर बीप करता है। VLMGuard हर उस सवाल के लिए एक "बीप स्कोर" बनाता है जो रोबोट प्राप्त करता है, भले ही वह अभी यह न जानता हो कि वह वास्तव में एक बुरा सवाल है या नहीं।

चरण 2: "स्मार्ट फ़िल्टर" चरण (एक क्लासिफायर को प्रशिक्षित करना)

अब, VLMGuard के पास स्कोर की एक सूची है। यह मान लेता है कि उच्चतम "बीप स्कोर" वाले सवाल संभवतः बुरे हैं, और कम स्कोर वाले सवाल अच्छे हैं। यह इस सूची का उपयोग एक दूसरे, छोटे और स्मार्ट "सुरक्षा गार्ड" (एक क्लासिफायर) को प्रशिक्षित करने के लिए करता है।

यह सुरक्षा गार्ड यह सीखने के लिए तैयार होता है कि सवालों को कैसे देखना है और कहना है, "यह उस उच्च-स्कोरिंग वाले सवाल जैसा दिखता है जो मैंने पहले देखा था," या "यह कम-स्कोरिंग वाले सवाल जैसा दिखता है।"

यह दूसरा चरण क्यों महत्वपूर्ण है?
पेपर में पाया गया कि पहला चरण ("बीप स्कोर") एकदम सटीक नहीं है। कभी-कभी, एक सामान्य सवाल अजीब लग सकता है क्योंकि उसे बोलने का तरीका (जैसे कि फैंसी शब्दों या अजीब वाक्य संरचना का उपयोग करना) अलग है, जिससे गलत अलार्म बज सकता है। दूसरा चरण (सुरक्षा गार्ड) उन हानिरहित विचित्रताओं को अनदेखा करना सीखता है और केवल सवाल के इरादे (intent) पर ध्यान केंद्रित करता है। यह एक ऐसे गार्ड के बीच का अंतर है जो हर तेज़ आवाज़ पर घबरा जाता है बनाम एक ऐसा गार्ड जो जानता है कि बच्चे की हंसी और बम की टिक-टिक के बीच क्या अंतर है।

यह एक बड़ी बात क्यों है

कोई अतिरिक्त होमवर्क नहीं: इस सिस्टम को हजारों उदाहरणों को लेबल करने के लिए इंसानों के बैठने की आवश्यकता नहीं है। यह उस अव्यवस्थित, अनलेबल डेटा से सीखता है जो पहले से ही दुनिया में मौजूद है।
यह अनुकूलित होता है: क्योंकि यह वास्तविक दुनिया से सीखता है, यह उन नए प्रकार के धोखों को भी पहचान सकता है जिनके बारे में इंसानों ने अभी तक सोचा भी नहीं है।
यह काम करता है: लेखकों ने कई अलग-अलग रोबोट मॉडल पर इसका परीक्षण किया और पाया कि यह मौजूदा अन्य तरीकों की तुलना में बुरे प्रॉम्प्ट्स को पकड़ने में बहुत बेहतर है। इसने डिटेक्शन सटीकता में काफी सुधार किया (मौजूदा सर्वोत्तम तरीकों से लगभग 5% बेहतर)।

निष्कर्ष

VLMGuard एक सुरक्षा प्रणाली की तरह है जो भीड़ को देखकर सीखती है। "बुरे लोगों" की किसी मैनुअल की तुलना करने के बजाय, यह सीखता है कि "सामान्य" क्या है, उन सांख्यिकीय विसंगतियों को पहचानता है जो किसी धोखे का संकेत देती हैं, और फिर वास्तविक खतरों को पकड़ने और हानिरहित शोर को अनदेखा करने के लिए एक स्मार्ट फ़िल्टर को प्रशिक्षित करता है। यह वास्तविक दुनिया में AI सहायकों को सुरक्षित रखने में इसे बहुत आसान और तेज़ बनाता है।

तकनीकी सारांश: VLMGuard

समस्या विवरण

विज़न-लैंग्वेज मॉडल्स (VLMs) तेजी से ओपन-वर्ल्ड वातावरण में तैनात किए जा रहे हैं जहाँ वे सौहार्दपूर्ण (benign) और प्रतिकूल रूप से हेरफेर किए गए (adversarially manipulated) इनपुट्स के मिश्रण को प्रोसेस करते हैं। केवल टेक्स्ट-आधारित मॉडल्स के विपरीत, VLMs एक विस्तारित अटैक सरफेस का सामना करते हैं जहाँ हमलावर असुरक्षित व्यवहार उत्पन्न करने के लिए विज़ुअल, टेक्स्टुअल, या दोनों चैनलों को हेरफेर कर सकते हैं, जैसे कि हानिकारक सामग्री उत्पन्न करना या अनपेक्षित टूल एक्शन को निष्पादित करना।

VLMs के लिए सुरक्षा उपायों (safeguards) को विकसित करने में प्राथमिक चुनौती उच्च-गुणवत्ता वाले, लेबल किए गए डेटासेट्स की कमी है जिसमें सौहार्दपूर्ण और दुर्भावनापूर्ण (malicious) दोनों प्रकार के प्रॉम्प्ट शामिल हों। ऐसे डेटा को क्यूरेट करने के लिए महत्वपूर्ण मानवीय प्रयास और हमले की रणनीतियों के विकसित होने के साथ निरंतर अपडेट की आवश्यकता होती है। फलस्वरूप, एक ऐसी विधि की महत्वपूर्ण आवश्यकता है जो बिना व्यापक मैनुअल एनोटेशन पर निर्भर रहे, वास्तविक दुनिया के डिप्लॉयमेंट में स्वाभाविक रूप से उपलब्ध विशाल अनलेबल यूजर प्रॉम्प्ट्स का प्रभावी ढंग से उपयोग करके दुर्भावनापूर्ण प्रॉम्प्ट्स का पता लगा सके।

कार्यप्रणाली: VLMGuard

लेखक VLMGuard का प्रस्ताव करते हैं, जो अनलेबल डेटा से दुर्भावनापूर्ण प्रॉम्प्ट डिटेक्टर को बूटस्ट्रैप करने के लिए डिज़ाइन किया गया एक दो-चरणीय लर्निंग फ्रेमवर्क है। यह फ्रेमवर्क इस धारणा के तहत कार्य करता है कि अनलेबल यूजर प्रॉम्प्ट्स एक हबर कंटैमिनेशन मॉडल (Huber contamination model) का पालन करते हैं, जहाँ डेटा वितरण $P_{unlabeled}$ एक सौहार्दपूर्ण ( $P_{benign}$ ) और एक दुर्भावनापूर्ण ( $P_{malicious}$ ) वितरण का मिश्रण है, जिसमें एक छोटा मिक्सिंग रेशियो $\pi$ है।

चरण 1: लेटेंट सबस्पेस के माध्यम से स्वचालित दुर्भावना अनुमान (Automated Maliciousness Estimation)

पहला चरण अनलेबल मिश्रण के भीतर सौहार्दपूर्ण और दुर्भावनापूर्ण नमूनों के बीच अंतर करने के लिए एक प्री-ट्रेंड VLM के आंतरिक रिप्रजेंटेशन का लाभ उठाता है।

रिप्रजेंटेशन एक्सट्रैक्शन: प्रत्येक प्रॉम्प्ट $(x_v, x_t)$ के लिए, VLM के एक विशिष्ट लेयर $\ell$ से एक $d$ -डायमेंशनल रिप्रजेंटेशन $f$ निकाला जाता है।
सबस्पेस आइडेंटिफिकेशन: लेखक सेंटर्ड एम्बेडिंग मैट्रिक्स पर सिंगुलर वैल्यू डिकंपोजिशन (SVD) करते हैं। सैद्धांतिक विश्लेषण सुझाव देता है कि हबर कंटैमिनेशन मॉडल के तहत, रिप्रजेंटेशन क्लाउड के अग्रणी सिंगुलर दिशाएं दुर्लभ दुर्भावनापूर्ण नमूनों के कारण होने वाले विचलन की ओर पक्षपाती होती हैं।
स्कोरिंग: प्रत्येक प्रॉम्प्ट के लिए एक दुर्भावना अनुमान स्कोर $\kappa_i$ कंप्यूट किया जाता है, जो टॉप- $k$ डोमिनेंट सिंगुलर दिशाओं पर इसके प्रोजेक्शन एनर्जी के आधार पर, उनके सिंगुलर वैल्यूज द्वारा भारित (weighted) होता है:
$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$
जहाँ $\mu$ एम्पिरिकल मीन है, $v_j$ राइट सिंगुलर वेक्टर्स हैं, और $\lambda_j$ सिंगुलर वैल्यूज हैं।
स्यूडो-पार्टीशनिंग: प्रॉम्प्ट्स को एक कैंडिडेट दुर्भावनापूर्ण सेट $\mathcal{M}$ (उच्च स्कोर) और एक कैंडिडेट सौहार्दपूर्ण सेट $\mathcal{B}$ (निम्न स्कोर) में एक थ्रेशोल्ड $T$ का उपयोग करके विभाजित किया जाता है। यह अनलेबल डेटा की एक नॉइज़ी स्यूडो-लेबलिंग बनाता है।

चरण 2: सेफगार्डिंग प्रॉम्प्ट क्लासिफायर को प्रशिक्षित करना

दूसरा चरण सीधे प्रोजेक्शन स्कोर की भंगुरता (brittleness) को संबोधित करता है, जो सतह-स्तर के बदलावों (जैसे, पैराफ्रेसिंग) के प्रति संवेदनशील हो सकता है जो दुर्भावनापूर्ण इरादे को प्रतिबिंबित नहीं करते हैं।

क्लासिफायर ट्रेनिंग: एक हल्का बाइनरी क्लासिफायर (एक 3-लेयर MLP) लॉजिस्टिक लॉस का उपयोग करके स्यूडो-लेबल किए गए सेट्स $\mathcal{{M}}$ (लेबल 1) और $\mathcal{B}$ (लेबल 0) पर प्रशिक्षित किया जाता है।
रोबस्टनेस: लेखक तर्क देते हैं कि यह क्लासिफायर उन "न्यूजेंस वेरिएशंस" (जैसे, सौहार्दपूर्ण प्रॉम्प्ट्स में लेक्सिकल या सिंटैक्टिक परिवर्तन) को कम करने के लिए सीखता है जो डोमिनेंट सबस्पेस एनर्जी के साथ स्प्यूरियस रूप से सह-संबंधित होते हैं, जिससे टेस्ट-टाइम डिटेक्शन के लिए अधिक मजबूत निर्णय सीमा (decision boundary) प्राप्त होती है।

मुख्य योगदान

फ्रेमवर्क फॉर्मूलेशन: VLMGuard का परिचय, जो अनलेबल यूजर प्रॉम्प्ट्स का लाभ उठाकर दुर्भावनापूर्ण प्रॉम्प्ट डिटेक्शन को औपचारिक रूप देता है, जो डेटा की कमी की समस्या के लिए एक व्यावहारिक समाधान प्रदान करता है।
सिद्धांतिक स्कोरिंग फंक्शन: VLM रिप्रजेंटेशन (SVD के माध्यम से) से प्राप्त एक स्कोरिंग फंक्शन का विकास जो एक प्रॉम्प्ट के दुर्भावनापूर्ण होने की संभावना का अनुमान लगाता है। पेपर एक सैद्धांतिक औचित्य प्रदान करता है कि अग्रणी कोवेरिएंस दिशाओं पर प्रोजेक्शन एनर्जी, सौहार्दपूर्ण और दुर्भावनापूर्ण माध्यों के बीच अलगाव के समान एक क्लास-कंडीशनल गैप बनाती है।
अनुभवजन्य सत्यापन (Empirical Validation): तीन वास्तविक दुनिया के परिदृश्यों का उपयोग करके फ्रेमवर्क की प्रभावकारिता, स्केलेबिलिटी (जैसे, 72B पैरामीटर्स तक), और वास्तविक प्रॉम्प्ट वेरिएशंस एवं असामान्य सौहार्दपूर्ण डेटा के विरुद्ध मजबूती को प्रदर्शित करने वाले व्यापक प्रयोग।

प्रयोगात्मक परिणाम

लेखकों ने तीन वास्तविक दुनिया के परिदृश्यों में पांच डेटासेट्स (JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench) और दो बैकबोन VLMs (LLaVA-1.6-7B और Qwen2.5-VL-7B/72B) का उपयोग करके VLMGuard का मूल्यांकन किया।

प्रदर्शन: VLMGuard ने सभी परिदृश्यों में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। औसतन, इसने सबसे अच्छे मौजूदा मेथड (GPT-5.4) की तुलना में एरिया अंडर द रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक कर्व (AUROC) में 5.39% का सुधार किया और अनसर्टेंटी-बेस्ड और एक्टिवेशन-बेस्ड बेसलाइन्स को काफी पीछे छोड़ दिया।
लो प्रिवैलेंस के प्रति रोबस्टनेस: विधि तब भी प्रभावी रही जब अनलेबल ट्रेनिंग सेट में दुर्भावनापूर्ण अनुपात $\pi$ अत्यंत कम (जैसे, $\pi=0.001$ ) था, जिससे 88.16% का AUROC प्राप्त हुआ।
जनरलाइजेशन: फ्रेमवर्क ने मजबूत ट्रांसफरैबिलिटी प्रदर्शित की, एक डेटासेट पर प्रशिक्षित होने और विभिन्न दुर्भावनापूर्ण बेंचमार्क पर परीक्षण करने पर भी उच्च डिटेक्शन सटीकता बनाए रखी।
एब्लेशन स्टडीज:
- क्लासिफायर की आवश्यकता: सीधे SVD प्रोजेक्शन स्कोर का उपयोग करने से दो-चरणीय दृष्टिकोण की तुलना में कम प्रदर्शन मिला, जो शोर को हटाने (denoising) और प्रॉम्प्ट वेरिएशंस को संभालने में क्लासिफायर की भूमिका की पुष्टि करता है।
- लेयर सिलेक्शन: मध्यवर्ती (intermediate) लेयर्स ने डिटेक्शन के लिए सबसे अच्छे रिप्रजेंटेशन प्रदान किए, जो शुरुआती और अंतिम लेयर्स दोनों से बेहतर थे।
- स्केलेबिलिटी: 7B से 72B पैरामीटर मॉडल्स तक स्केल करने पर प्रदर्शन में सुधार हुआ।

महत्व और दावे

पेपर दावा करता है कि VLMGuard वास्तविक दुनिया के VLM डिप्लॉयमेंट के लिए एक व्यावहारिक और लचीला दृष्टिकोण प्रदान करता है। अतिरिक्त मानव एनोटेशन और अतिरिक्त बाहरी मॉडल्स (जैसे, नॉइज़िंग के लिए अलग जज मॉडल्स या डिफ्यूजन मॉडल्स) की आवश्यकता को समाप्त करके, यह फ्रेमवर्क VLMs को सुरक्षित करने के लिए एक स्व-निहित (self-contained) समाधान प्रदान करता है।

लेखक जोर देते हैं कि उनका तरीका वास्तविक प्रॉम्प्ट वेरिएशंस (लेक्सिकल और सिंटैक्टिक परिवर्तन) के प्रति मजबूत है और असामान्य लेकिन सौहार्दपूर्ण डेटा की उपस्थिति में भी दुर्भावनापूर्ण इरादे को पहचान सकता है। यह कार्य अनलेबल प्रॉम्प्ट डेटासेट्स का लाभ उठाने पर भविष्य के शोध को प्रेरित करने का लक्ष्य रखता है, जो एडवर्सरियल मशीन लर्निंग में लेबल किए गए डेटा की कमी की मौलिक बाधा को संबोधित करता है।