💻 computer science

Peering Behind the Shield: Guardrail Identification in Large Language Models

यह शोध पत्र AP-Test प्रस्तुत करता है, जो एक नवीन ब्लैक-बॉक्स विधि है जो विभिन्न परिदृश्यों में पूर्ण वर्गीकरण सटीकता प्राप्त करते हुए, लार्ज लैंग्वेज मॉडल एजेंटों में तैनात विशिष्ट गार्डरेल्स की सटीक पहचान करने के लिए गार्ड-विशिष्ट एडवरसेरियल प्रॉम्प्ट्स और एक नए "मैच स्कोर" मीट्रिक का उपयोग करता है।

मूल लेखक: Ziqing Yang, Yixin Wu, Rui Wen, Michael Backes, Yang Zhang

प्रकाशित 2026-04-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziqing Yang, Yixin Wu, Rui Wen, Michael Backes, Yang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हाई-टेक बैंक में प्रवेश कर रहे हैं। आप जानते हैं कि वहां सुरक्षा गार्ड, कैमरे और अलार्म मौजूद हैं, लेकिन आप यह नहीं जानते कि वे सुरक्षा प्रणाली के किस ब्रांड का उपयोग कर रहे हैं। क्या यह "SafeGuard 3000" है? क्या यह "UltraShield" है? या शायद कोई कस्टम-बिल्ट सिस्टम है?

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इन सुरक्षा प्रणालियों को गार्डरेल्स (Guardrails) कहा जाता है। ये वे अदृश्य बाड़ हैं जो AI चैटबॉट्स को कुछ बुरा, खतरनाक या अवैध कहने से रोकते हैं।

आपके द्वारा साझा किया गया पेपर, "Peering Behind the Shield," एक चतुर नई तकनीक के बारे में है जिसे AP-Test कहा जाता है। यह शोधकर्ताओं के लिए एक तरीका है जिससे वे यह पता लगा सकें कि एक ब्लैक-बॉक्स AI के दरवाजे पर वास्तव में कौन सा सुरक्षा गार्ड खड़ा है, भले ही उन्हें गार्ड का आईडी कार्ड देखने की अनुमति न हो।

सरल उपमाओं (analogies) का उपयोग करके इसका विवरण यहाँ दिया गया है:

1. समस्या: रहस्यमयी गार्ड

कल्पना कीजिए कि आप एक AI चैटबॉट हैं। आपके पास एक सुरक्षा गार्ड (गार्डरेल) है जो आपके द्वारा कही गई हर बात की जांच करता है, इससे पहले कि आप उसे बाहर भेजें।

चुनौती: आप (हमलावर या शोधकर्ता) केवल चैटबॉट से बात कर सकते हैं। आप गार्ड को देख नहीं सकते। आप बस इतना जानते हैं कि कभी-कभी चैटबॉट कहता है, "मैं यह नहीं कर सकता," और कभी-कभी वह कहता है, "यहाँ आपका उत्तर है।"
यह क्यों मायने रखता है: यदि आप जानते हैं कि ठीक कौन सा गार्ड वहां है (जैसे, "ओह, यह WildGuard मॉडल है"), तो आप उनकी विशिष्ट कमजोरियों को जान सकते हैं और उन्हें चकमा दे सकते। यदि आप नहीं जानते, तो आप केवल अनुमान लगा रहे हैं।

2. पुराना तरीका बनाम नया तरीका

पुराना तरीका (LLM Fingerprinting): आमतौर पर, किसी मॉडल की पहचान करने के लिए, आप उसे पेचीदा सवाल पूछते हैं ताकि यह देखा जा सके कि वह कैसे उत्तर देता है। लेकिन गार्डरेल्स अलग हैं। वे लंबे, अद्वितीय उत्तर नहीं देते। वे बस "सुरक्षित" (Safe) या "असुरक्षित" (Unsafe) कहते हैं। यह किसी व्यक्ति की पहचान इस आधार पर करने जैसा है कि वह सिर हिलाता है या नहीं। यह बहुत अस्पष्ट है!
नया तरीका (AP-Test): लेखकों ने एक "जादुई परीक्षण" बनाया है। सामान्य प्रश्न पूछने के बजाय, वे एडवर्सरियल प्रॉम्प्ट्स (Adversarial Prompts) बनाते हैं। इन्हें कस्टम-मेड चाबियों के रूप में सोचें।

3. AP-Test कैसे काम करता है: "जादुई चाबी" रणनीति

शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो एक विशिष्ट वाक्य (प्रॉम्प्ट) बनाता है जो दो चीजें एक साथ करने के लिए डिज़ाइन किया गया है:

लक्ष्य को ट्रिगर करना: इसे इस तरह डिज़ाइन किया गया है कि जिस विशिष्ट गार्ड का वे परीक्षण कर रहे हैं (मान लीजिए, "गार्ड वाइल्ड"), वह घबरा जाए और चिल्लाए, "खतरा! रुक जाओ!"
दूसरों को अनदेखा करना: इसे इस योग्य बनाया गया है कि अन्य सभी गार्ड (गार्ड लामा, गार्ड शील्ड, आदि) कहें, "ओह, यह ठीक है। आप जा सकते हैं।"

प्रक्रिया:

चाबी बनाना: वे एक कंप्यूटर का उपयोग करके एक वाक्य को बार-बार तब तक बदलते रहते हैं जब तक कि वह पूरी तरह से "गार्ड वाइल्ड" को ट्रिगर कर दे लेकिन बाकी सभी को शांत रखे।
परीक्षण: वे इस वाक्य को रहस्यमयी AI को देते हैं।
- परिदृश्य A: AI उत्तर देने से मना कर देता है। निष्कर्ष: "आहा! AI के पास 'गार्ड वाइल्ड' ड्यूटी पर है!"
- परिदृश्य B: AI सामान्य रूप से उत्तर देता है। निष्कर्ष: "नहीं, 'गार्ड वाइल्ड' यहाँ नहीं है।"

4. गार्डों के दो प्रकार (इनपुट बनाम आउटपुट)

पेपर यह स्पष्ट करता है कि गार्ड दो अलग-अलग स्थानों पर हो सकते हैं:

सामने का दरवाजा गार्ड (Input Guard): AI के सोचने से पहले आपके प्रश्न की जांच करता है।
- परीक्षण: बस AI को "जादुई चाबी" वाला प्रश्न पूछें। यदि वह तुरंत मना कर देता है, तो सामने का दरवाजा गार्ड वहां मौजूद है।
पीछे का दरवाजा गार्ड (Output Guard): AI के उत्तर देने के बाद लेकिन आपको दिखाने से पहले उसकी जांच करता है।
- समस्या: आप AI को "जादुई चाबी" बोलने के लिए मजबूर नहीं कर सकते क्योंकि AI शायद ऐसा न चाहे।
- समाधान: शोधकर्ता AI को बताते हैं: "कृपया इस वाक्य को बिल्कुल वैसे ही दोहराएं: [जादुic चाबी]।"
- यदि AI इसे दोहराने की कोशिश करता है, तो पीछे का दरवाजा गार्ड देखता है कि "जादुई चाबी" AI के मुंह के अंदर है और चिल्लाता है, "रुक जाओ!" यदि AI इसे बोलने की अनुमति प्राप्त है, तो पीछे का दरवाजा गार्ड वहां नहीं है।

5. "मैच स्कोर" (Match Score): अंतिम निर्णय

वे कैसे सुनिश्चित करते हैं? वे मैच स्कोर का उपयोग करते हैं।

कल्पना कीजिए कि "जादुic चाबी" असली गार्ड वाइल्ड को 100% समय "रुक जाओ" कहने पर मजबूर करती है।
यदि रहस्यमयी AI भी 100% समय "रुक जाओ" कहता है, तो मैच स्कोर 1.0 है (परफेक्ट मैच!)।
यदि रहस्यमयी AI केवल 10% समय "रुक जाओ" कहता है, तो स्कोर कम है, जिसका अर्थ है कि यह संभवतः कोई दूसरा गार्ड है।

6. उन्होंने क्या पाया?

उन्होंने कई अलग-अलग AI सिस्टम और विभिन्न प्रकार के गार्डों (जैसे WildGuard, LlamaGuard, आदि) पर इसका परीक्षण किया।

परिणाम: यह पूरी तरह से काम कर गया! वे लगभग हर मामले में 100% सटीकता के साथ गार्ड की पहचान कर सके।
आश्चर्य: भले ही AI के पास दो गार्ड थे (एक सामने, एक पीछे), परीक्षण फिर भी सटीक रूप से पता लगा सका कि कौन से गार्ड वहां थे।

आपको इसकी परवाह क्यों करनी चाहिए?

हमलावरों के लिए: यदि आप जानते हैं कि वहां कौन सा गार्ड है, तो आप सिस्टम को आसानी से तोड़ सकते हैं।
रक्षकों के लिए: यदि आप AI कंपनी हैं, तो आपको यह जानने की आवश्यकता है कि आपकी सुरक्षा प्रणाली का एक "फिंगरप्रिंट" है जिसे खोजा जा सकता है। यह पेपर साबित करता है कि वर्तमान सुरक्षा गार्ड बहुत आसानी से पहचाने जा सकते हैं।
सभी के लिए: यह दिखाता है कि AI सुरक्षा केवल एक गार्ड रखने के बारे में नहीं है; यह यह सुनिश्चित करने के बारे में भी है कि वह गार्ड धोखा देने में कठिन हो और पहचान में मुश्किल हो।

संक्षेप में: पेपर ने एक ऐसा "लॉक-पिकिंग किट" बनाया है जो केवल ताले को तोड़ने की कोशिश नहीं करता; बल्कि यह बताने के लिए ताले की "क्लिक" की आवाज़ सुनता है कि वह किस ब्रांड का ताला है, भले ही दरवाजा काले रंग से रंगा हुआ हो।

यहाँ शोध पत्र "Peering Behind the Shield: Guardrail Identification in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) को वास्तविक दुनिया के संवादात्मक AI एजेंटों में तैनात किया जा रहा है, उन्हें सेफ्टी गार्डरेल्स (जैसे, LlamaGuard, WildGuard, ShieldGemma) द्वारा सुरक्षित किया जा रहा है। ये गार्डरेल्स इनपुट और आउटपुट सामग्री को नियंत्रित करने के लिए बाहरी फिल्टर के रूप में कार्य करते हैं, जिससे हानिकारक या नीति-उल्लंघन वाली प्रतिक्रियाओं को रोका जा सके।

मुख्य समस्या जिसका समाधान किया गया है वह है गार्डरेल पहचान (Guardrail Identification): एक ब्लैक-बॉक्स AI एजेंट में तैनात विशिष्ट गार्डरेल (या उसके व्युत्पन्न/डेरिवेटिव) का निर्धारण करना।

प्रेरणा (Motivation): गार्डरेल की पहचान करने से हमलावर ब्लैक-बॉक्स हमलों से लक्षित, व्हाइट-बॉक्स-शैली के हमलों की ओर बढ़ सकते हैं, जिससे जेलब्रेक और प्रॉम्प्ट इंजेक्शन की सफलता दर काफी बढ़ जाती है। इसके विपरीत, यह मॉडल मालिकों को उनके मालिकाना सुरक्षा मॉडलों के अनधिकृत उपयोग का पता लगाने में मदद करता है।
चुनौतियां:
- C1 (सीमित आउटपुट स्पेस): गार्डरेल्स आमतौर पर बाइनरी "Safe/Unsafe" लेबल आउटपुट करते हैं, जिससे पूर्ण LLMs की तुलना में अद्वितीय प्रतिक्रिया पैटर्न के माध्यम से उन्हें अलग करना कठिन हो जाता है।
- C2 (अस्पष्टता/Obfuscation): एजेंटों में अक्सर कई सुरक्षा परतें (जैसे, सुरक्षा-संरेखित LLMs + बाहरी गार्डरेल्स) होती हैं, जो विशिष्ट उम्मीदवार गार्डरेल को छिपा देती हैं।
- C3 (परिनियोजन चरण/Deployment Stages): गार्डरेल्स को इनपुट (उपयोगकर्ता प्रॉम्प्ट को फ़िल्टर करना) या आउटपुट (LLM प्रतिक्रियाओं को फ़िल्टर करना) चरण में तैनात किया जा सकता है। आउटपुट गार्डरेल्स का परीक्षण करना कठिन है क्योंकि हमलावर सीधे LLM द्वारा उत्पन्न टेक्स्ट को नियंत्रित नहीं कर सकता है।
- C4 (थ्रेशोल्ड चयन): मौजूदा पहचान विधियों में निर्णय थ्रेशोल्ड सेट करने के लिए सिद्धांतों का अभाव है, जिससे परिणाम अविश्वसनीय हो जाते हैं।

2. कार्यप्रणाली: AP-Test

लेखक AP-Test (Adversarial Prompts for Guardrail Testing) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो तैनात गार्डरेल की पहचान करने के लिए गार्ड-विशिष्ट एडवरसैरियल प्रॉम्प्ट्स का उपयोग करता है। यह विधि दो मुख्य चरणों से मिलकर बनी है:

A. एडवरसैरियल प्रॉम्प्ट ऑप्टिमाइज़ेशन (Adversarial Prompt Optimization)

लक्ष्य एक प्रॉम्प्ट $P = x_a \parallel x_q$ (एक एडवरसैरियल प्रीफिक्स $x_a$ और एक सामान्य क्वेरी $x_q$ का संयोजन) बनाना है जो एक विशिष्ट कैंडिडेट गार्डरेल ( $G_t$ ) को इनपुट को "Unsafe" के रूप में चिह्नित करने के लिए ट्रिगर करे, जबकि अन्य सभी गार्डरेल्स और अंतर्निहित LLM के लिए "Safe" बना रहे।

यह एक लॉस फंक्शन $L$ को ऑप्टिमाइज़ करके प्राप्त किया जाता है जिसमें तीन घटक होते हैं:

कैंडिडेट एडवरसैरियल लॉस ( $L_1, L_2$ ): कैंडिडेट गार्डरेल $G_t$ $G_{t}$ को प्रॉम्प्ट को असुरक्षित (unsafe) वर्गीकृत करने के लिए मजबूर करता है।
- $L_1$ : "Unsafe" वर्गीकरण को प्रोत्साहित करता है।
- $L_2$ : "Safe" वर्गीकरण को दंडित करता है।
क्रॉस-गार्डरेल कम्पैटिबिलिटी लॉस ( $L_3$ ): यह सुनिश्चित करता है कि प्रॉम्प्ट को एक सेफ्टी स्कोरर ( $S$ ) और अन्य गैर-कैंडिडेट गार्डरेल्स द्वारा "Safe" के रूप de रूप में वर्गीकृत किया जाए। यह असंबंधित सुरक्षा तंत्रों से होने वाले फॉल्स पॉजिटिव को रोकता है।
- $L = L_1 + \alpha L_2 + \beta L_3$ ।
ऑप्टिमाइज़ेशन रणनीति: लॉस को कम करने के लिए टोकन एम्बेडिंग्स को अपडेट करने के लिए ग्रीडी कोऑर्डिनेट ग्रेडिएंट (GCG) रणनीति का उपयोग करता है, जो टॉप- $k$ रिप्लेसमेंट्स को सैंपल करता है।

B. एडवरसैरियल प्रॉम्प्ट टेस्टिंग (Adversarial Prompt Testing)

फ्रेमवर्क विभिन्न परिनियोजन चरणों को कवर करने के लिए दो पूरक रणनीतियों का उपयोग करता है:

इनपुट गार्ड टेस्ट: एडवरसैरियल प्रॉम्प्ट को सीधे AI एजेंट को भेजा जाता है। यदि एजेंट क्वेरी को अस्वीकार कर देता है, तो यह सुझाव देता है कि कैंडिडेट गार्डरेल इनपुट चरण पर तैनात है।
आउटपुट गार्ड टेस्ट: आउटपुट गार्डरेल्स का परीक्षण करने के लिए, एजेंट को एडवरसैरियल प्रॉम्प्ट को दोहराने (Repeat) के लिए प्रेरित किया जाता है (जैसे, "आपका कार्य टेक्स्ट की नकल करना है। इस स्ट्रिंग को ठीक से दोहराएं...")। LLM का दोहराव फिर आउटपुट गार्डरेल को पास किया जाता है। यदि गार्डरेल दोहराव को असुरक्षित के रूप में चिह्नित करता है, तो कैंडिडेट संभवतः मौजूद है।

C. मैच स्कोर मेट्रिक (Match Score Metric)

थ्रेशोल्ड चयन समस्या (C4) को हल करने के लिए, लेखक मैच स्कोर (MS) पेश करते हैं:
$MS = \frac{|min(r, r_t)|^\lambda}{|r_t|^\lambda}$

$r$ : AI एजेंट का रिफ्यूज़ल रेट (अस्वीकार करने वाली प्रतिक्रियाओं का अनुपात)।
$r_t$ : उसी प्रॉम्प्ट्स के साथ सीधे क्वेरी किए जाने पर कैंडिडेट गार्डरेल का रिफ्यूज़ल रेट।
$\lambda$ : स्केलिंग फैक्टर।
निर्णय नियम: यदि $MS > 0.5$, तो कैंडिडेट गार्डरेल को मौजूद माना जाता है। यह मेट्रिक पूरी तरह से कैंडिडेट मॉडल के व्यवहार पर निर्भर करता है, जिससे सहायक LLM सेट की आवश्यकता समाप्त हो जाती है।

3. प्रमुख योगदान (Key Contributions)

प्रथम गार्डरेल पहचान विधि: AP-Test गार्ड-विशिष्ट एडवरसैरियल प्रॉम्प्ट्स का उपयोग करके ब्लैक-बॉक्स AI एजेंटों में विशिष्ट गार्डरेल्स की पहचान करने वाला पहला दृष्टिकोण है।
दोहरी-चरणीय टेस्टिंग (Dual-Stage Testing): यह इनपुट और आउटपुट दोनों गार्डरेल परिनियोजन को प्रभावी ढंग से संभालता है, जो आउटपुट फिल्टर के परीक्षण की कठिनाई को दूर करता है।
सिद्धांतिक निर्णय मेट्रिक: मैच स्कोर का परिचय एक मजबूत, थ्रेशोल्ड-स्वतंत्र पहचान रणनीति प्रदान करता है।
व्यापक मूल्यांकन: इस विधि को विविध एजेंटों (Llama3.1, GPT-4o) और जटिल परिदृश्यों (कई गार्डरेल्स) में चार कैंडिडेट गार्डरेल्स (WildGuard, LlamaGuard, LlamaGuard2, LlamaGuard3) के विरुद्ध सत्यापित किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

परफेक्ट एक्यूरेसी: AP-Test ने इनपुट और आउटपुट दोनों गार्ड टेस्ट के लिए सभी परीक्षण किए गए परिदृश्यों में 100% क्लासिफिकेशन एक्यूरेसी (Acc = 1.00) और AUC = 1.00 प्राप्त किया।
मजबूती (Robustness):
- यह विधि विभिन्न अंतर्निहित LLMs (Llama3.1 बनाम GPT-4o) के प्रति मजबूत है।
- यह सफलतापूर्वक गार्डरेल्स की पहचान करती है भले ही एजेंट में कई गार्डरेल्स (जैसे, दोनों इनपुट और आउटपुट फिल्टर सक्रिय) हों।
- यह बेस गार्डरेल्स और उनके फाइन-ट्यून किए गए डेरिवेटिव्स (जैसे, LlamaGuard पर आधारित Aegis मॉडल) के बीच सही ढंग से अंतर करती है।
एब्लेशन स्टडीज (Ablation Studies):
- लॉस टर्म्स: $L_3$ (कम्पैटिबिलिटी लॉस) को हटाने से उच्च फॉल्स पॉजिटिव हुए (जैसे, WildGuard एजेंटों को LlamaGuard के रूप में गलत पहचानना)।
- क्वेरी सेट ( $Q$ ): ऑप्टिमाइज़ेशन के दौरान सामान्य क्वेरी सेट $Q$ को हटाने से ऐसे प्रॉम्प्ट बने जिन्होंने सभी गार्डरेल्स को ट्रिगर किया, जिससे विशिष्टता समाप्त हो गई। ऑप्टिमाइज़ेशन को निर्देशित करने के लिए क्वेरी सेट अत्यंत महत्वपूर्ण है।
- एपॉक्स (Epochs): विधि कुशलतापूर्वक अभिसरण (converge) करती है (लगभग 50 एपॉक्स में), और प्रदर्शन तब स्थिर होता है जब टारगेट और अन्य गार्डरेल्स के बीच का अंतर स्पष्ट हो जाता है।

5. महत्व और निहितार्थ (Significance and Implications)

सुरक्षा जोखिम: यह कार्य एक महत्वपूर्ण भेद्यता को उजागर करता है: एक बार जब हमलावर विशिष्ट गार्डरेल की पहचान कर लेता है, तो वे अत्यधिक प्रभावी, लक्षित हमले तैयार कर सकते हैं जो सिस्टम को बायपास कर देते हैं। यह सुरक्षा प्रतिमान को "ब्लैक-बॉक्स डिफेंस" से "व्हाइट-बॉक्स वल्नरेबिलिटी" में बदल देता है।
कॉपीराइट और IP संरक्षण: इसके विपरीत, यह विधि मॉडल मालिकों के लिए एक उपकरण के रूप में कार्य करती है ताकि यह पता लगाया जा सके कि क्या उनके मालिकाना गार्डरेल्स का उपयोग तीसरे पक्ष के एजेंटों में अनधिकृत रूप से किया जा रहा है।
भविष्य की दिशाएं: यह शोध पत्र ऐसे गार्डरेल्स विकसित करने का आह्वान करता है जो स्वाभाविक रूप से फिंगरप्रिंट करने और बायपास करने में कठिन हों। यह सीमाओं को भी नोट करता है, जैसे कि वर्तमान ध्यान मॉडल-आधारित गार्डरेल्स पर है, न कि नियम-आधारित फिल्टर या प्रोप्रायटरी क्लोज्ड-सोर्स सिस्टम पर।

संक्षेप में, AP-Test यह प्रदर्शित करता है कि वर्तमान सुरक्षा गार्डरेल्स को एडवरसैरियल प्रॉम्प्टिंग के माध्यम से पहचाना जा सकता है, जो AI सुरक्षा पारिस्थितिकी तंत्र में एक नए हमले के सतह (attack surface) को प्रकट करता है और अधिक मजबूत, गैर-फिंगरप्रिंट करने योग्य सुरक्षा तंत्र की आवश्यकता पर जोर देता है।