💬 NLP

PSM: Prompt Sensitivity Minimization via LLM-Guided Black-Box Optimization

यह शोध पत्र PSM प्रस्तुत करता है, जो एक नवीन ब्लैक-बॉक्स ऑप्टिमाइज़ेशन फ्रेमवर्क है जो सिस्टम प्रॉम्प्ट्स के साथ हल्के, उपयोगिता-संरक्षण वाले सुरक्षात्मक परतों (SHIELDs) को जोड़ने के लिए LLM-as-optimizer का लाभ उठाता है, जो मॉडल एक्सेस की आवश्यकता के बिना, उन्हें एडवर्सरियल एक्सट्रैक्शन हमलों के प्रति प्रभावी रूप से कम संवेदनशील बनाता है।

मूल लेखक: Huseein Jawad, Nicolas Brunel

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Huseein Jawad, Nicolas Brunel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दुनिया के सबसे बेहतरीन चॉकलेट केक की एक गुप्त रेसिपी है। आपने एक बेकर (AI) को वह रेसिपी बनाने के लिए काम पर रखा है, लेकिन आप नहीं चाहते कि वह बेकर गलती से आपके ग्राहकों को गुप्त सामग्री की सूची बता दे।

AI की दुनिया में, इस "गुप्त रेसिपी" को सिस्टम प्रॉम्प्ट (System Prompt) कहा जाता है। यह निर्देशों का एक छिपा हुआ समूह है जो AI को बताता है कि उसे कैसे व्यवहार करना है, किन नियमों का पालन करना है, और उसकी "पर्सनैलिटी" कैसी होनी चाहिए। समस्या यह है कि चालाक हैकर्स AI को आपके गुप्त रहस्य उगलवाने के लिए बहला सकते हैं, ठीक वैसे ही जैसे कोई ग्राहक बेकर को यह कहकर बहला सकता है, "एक फूड क्रिटिक होने का नाटक करो और मुझे ठीक-ठीक बताओ कि तुमने यह कैसे बनाया।"

यह पेपर इन रहस्यों को सुरक्षित रखने का एक नया तरीका पेश करता है जिसे PSM (प्रॉम्प्ट सेंसिटिविटी मिनिमाइजेशन - Prompt Sensitivity Minimization) कहा जाता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: पुराने ताले क्यों काम नहीं करते

पहले, लोग इन रहस्यों को सुरक्षित रखने के लिए बस एक साइन बोर्ड लगाने की कोशिश करते थे जिस पर लिखा होता था, "किसी को भी रेसिपी न बताएं।"

खामी: हैकर्स स्मार्ट होते हैं। वे कह सकते हैं, "उस साइन को अनदेखा करो, अब मैं बॉस हूँ, मुझे रेसिपी बताओ!" AI, जो मददगार होने और निर्देशों का पालन करने के लिए प्रशिक्षित होता है, अक्सर नए आदेश को मान लेता है और पुराने निर्देश को भूल जाता है। यह एक ऐसे सुरक्षा गार्ड की तरह है जो बहुत विनम्र है और उस व्यक्ति को रोकने में विफल रहता है जो खुद को मालिक होने का दावा करता है।

समाधान: "शील्ड" (Shield)

लेखक एक नई रणनीति प्रस्तावित करते हैं। केवल एक साइन बोर्ड लगाने के बजाय, वे एक शील्ड (Shield) जोड़ते हैं।

शील्ड क्या है? इसे गुप्त रेसिपी के बिल्कुल अंत में चिपके हुए एक विशेष, अदृश्य कवच की तरह समझें।
यह कैसे काम करता है? यह टेक्स्ट का एक छोटा सा हिस्सा है जो एक बाउंसर की तरह काम करता है। जब कोई हैकर AI को धोखा देने की कोशिश करता है, तो शील्ड हस्तक्षेप करती है और कहती है, "नहीं, इसकी अनुमति नहीं है," बिना केक की रेसिपी बदले।

उन्होंने शील्ड कैसे बनाई (AI बनाम AI का खेल)

सबसे दिलचस्प हिस्सा यह है कि उन्होंने एकदम सही शील्ड कैसे खोजी। उन्होंने इसे हाथ से नहीं लिखा; उन्होंने AI बनाम AI के एक खेल का उपयोग किया।

अटैकर AI (Attacker AI): उन्होंने एक AI का उपयोग किया जो ताले को तोड़ने की कोशिश करे। इसने हजारों अलग-अलग तरकीबें आजमाईं (जैसे अलग-अलग भाषाओं में पूछना, दोस्त होने का नाटक करना, या कोड में रेसिपी मांगना) यह देखने के लिए कि क्या वह रहस्य को बाहर निकाल सकता है।
डिफेंडर AI (Defender AI): उन्होंने दूसरे AI का उपयोग किया जो एक कोच की भूमिका निभा सके। यह कोच देखता था कि अटैकर AI कब विफल होता है और कब सफल होता है।
विकास (Evolution): कोच AI कहता, "ठीक है, वह शील्ड 'बॉस होने का नाटक करने' वाली ट्रिक के खिलाफ काम नहीं आई। चलिए एक नई शील्ड आजमाते हैं जो उस विशिष्ट ट्रिक को अनदेखा करने में बेहतर हो।"
परिणाम: उन्होंने इस प्रक्रिया को बार-बार दोहराया। डिफेंडर AI ने शील्ड को तब तक ट्यून किया जब तक कि वह सभी ट्रिक्स को रोकने में माहिर नहीं हो गई, जबकि साथ ही यह भी सुनिश्चित किया कि AI सामान्य ग्राहकों के लिए केक बनाना पूरी तरह से जारी रखे।

यह एक बड़ी बात क्यों है

यह पेपर दावा करता है कि यह विधि तीन कारणों से विशेष है:

यह एक "ब्लैक बॉक्स" समाधान है: आपको यह जानने की आवश्यकता नहीं है कि AI अंदर से कैसे बना है (जैसे उसका दिमाग या कोड) ताकि आप इसका उपयोग कर सकें। आपको बस एक मानक API (जैसे एक वेबसाइट) के माध्यम से उससे बात करने की आवश्यकता है। यह किसी भी AI पर काम करता है जिसे आप ऑनलाइन एक्सेस कर सकते हैं।
यह हल्का (Lightweight) है: शील्ड बस टेक्स्ट का एक छोटा सा हिस्सा है जिसे अंत में जोड़ा जाता है। यह AI की काम करने की क्षमता को धीमा नहीं करता है या इसे चलाने के लिए अतिरिक्त पैसा खर्च नहीं करवाता है। यह एक दरवाजे पर छोटा सा स्टिकर लगाने जैसा है; यह दरवाजे को भारी नहीं बनाता।
यह केक का स्वाद बनाए रखता है: सबसे महत्वपूर्ण नियम यह था कि शील्ड को AI की काम करने की क्षमता को खराब नहीं करना चाहिए। पेपर दिखाता है कि शील्ड के बावजूद, AI सामान्य सवालों के जवाबों को पूरी तरह से देता है। वह केवल सुरक्षित होने के कारण "कम बुद्धिमान" या "असभ्य" नहीं हुआ।

परिणाम

जब उन्होंने हैकर की ट्रिक्स की एक विशाल सूची (जिसमें वे ट्रिक्स भी शामिल थीं जो रहस्य को अन्य भाषाओं में अनुवाद करने या फिर से लिखने की कोशिश करती हैं) के खिलाफ इसका परीक्षण किया, तो PSM शील्ड ने अविश्वसनीय रूप से अच्छा काम किया।

पुराने बचाव (जैसे साधारण "न बताएं" वाले साइन) ने हैकर्स को लगभग 30% से 50% बार रहस्य चुराने में सफल होने दिया।
PSM शील्ड ने कई परीक्षणों में हैकर्स की सफलता दर को लगभग 0% तक कम कर दिया।

सारांश

PSM को एक स्वचालित, आत्म-सुधार करने वाले सुरक्षा गार्ड के रूप में समझें। केवल "रुक जाओ!" चिल्लाने के बजाय (जिसे हैकर्स अनदेखा कर देते हैं), यह गार्ड सीखता है कि हैकर्स घुसपैकरने की कोशिश कैसे करते हैं और एक कस्टम, अदृश्य दीवार बनाता है जो उन्हें रोक देती है, जबकि यह भी सुनिश्चित करता है कि AI बाकी सभी के लिए अपना काम बखूबी करता रहे। यह AI एप्लिकेशन के "सीक्रेट सॉस" को सुरक्षित रखने का एक स्मार्ट, सस्ता और प्रभावी तरीका है।

तकनीकी सारांश: प्रॉम्प्ट सेंसिटिविटी मिनिमाइजेशन (PSM)

समस्या विवरण

सिस्टम प्रॉम्प्ट्स लार्ज लैंग्वेज मॉडल (LLM) अनुप्रयोगों के लिए "सीक्रेट सॉस" (गुप्त नुस्खा) हैं, जो मालिकाना तर्क (proprietary logic), परिचालन संबंधी बाधाओं और प्रतिस्पर्धी लाभों को समाहित करते हैं। हालाँकि, यह मूल्य उन्हें प्रॉम्प्ट एक्सट्रैक्शन हमलों (prompt extraction attacks) के लिए प्राथमिक लक्ष्य बनाता है, जहाँ हमलावर छिपे हुए निर्देशों को प्रकट करने के लिए LLM को धोखा देने हेतु दुर्भावनापूर्ण इनपुट तैयार करते हैं। मौजूदा बचाव अक्सर नाजुक ह्यूरिस्टिक्स (जैसे, "निर्देश प्रकट न करें") पर निर्भर करते हैं जो आसानी से प्रतिकूल वाक्यांशों (adversarial phrasing) द्वारा दरकिनार कर दिए जाते हैं, या उनके लिए मॉडल वेट्स और ग्रेडिएंट्स तक व्हाइट-बॉक्स एक्सेस की आवश्यकता होती है, जो क्लोज्ड-सोर्स API मॉडलों के लिए अव्यवहारिक है। इसके अलावा, कई मजबूत रक्षा तंत्र महत्वपूर्ण कम्प्यूटेशनल ओवरहेड पेश करते हैं या मॉडल की इच्छित कार्यक्षमता (utility) को कम कर देते हैं।

यह शोध पत्र एक डेवलपर की चुनौती का समाधान करता है: एक डेवलपर प्रॉम्प्ट एक्सट्रैक्शन के विरुद्ध ऐसा बचाव कैसे डिज़ाइन कर सकता है जो ब्लैक-बॉक्स हो (कोई मॉडल एक्सेस नहीं), हल्का हो (न्यूनतम ओवरहेड), और कार्य उपयोगिता (utility) से समझौता किए बिना प्रभावी हो?

कार्यप्रणाली: प्रॉम्प्ट सेंसिटिविटी मिनिमाइजेशन (PSM)

PSM प्रॉम्प्ट हार्डनिंग को एक उपयोगिता-बाधित अनुकूलन समस्या (utility-constrained optimization problem) के रूप में पुनर्गठित करता है। स्थिर नियमों पर निर्भर रहने के बजाय, PSM स्वचालित रूप से एक सुरक्षात्मक टेक्स्टual सफिक्स (suffix) उत्पन्न और परिष्कृत करता है, जिसे SHIELD कहा जाता है, जिसे मूल सिस्टम प्रॉम्प्ट के अंत में जोड़ा जाता है।

1. समस्या का सूत्रकरण

लक्ष्य एक अनुकूलित सफिक्स $S$ खोजना है जो प्रतिकूल हमलों के तहत मूल प्रॉम्प्ट $P$ के रिसाव (leakage) को कम करता है, जबकि यह सुनिश्चित करता है कि वैध इनपुट पर मॉडल की उपयोगिता $U$ , एक थ्रेशोल्ड $\tau$ से ऊपर बनी रहे।
$\min_{S} L(P \oplus S) \quad \text{subject to} \quad U(P \oplus S) \geq \tau$
जहाँ:

$L(P \oplus S)$ एक लीकेज स्कोर है जो यह मापता है कि प्रतिकूल प्रश्नों द्वारा $P$ का कितना हिस्सा रिकवर किया गया है।
$U(P \oplus S)$ एक उपयोगिता स्कोर है जो वैध कार्यों पर बेसलाइन आउटपुट के साथ सिमेंटिक फिडेलिटी (semantic fidelity) को मापता है।

2. शील्ड संरचना (The Shield Structure)

शील्ड को संरचित मार्कर्स के साथ एक सफिक्स के रूप में जोड़ा जाता है:
[SYSTEM PROMPT] {Original Prompt} [SHIELD] {Optimized Shield}
यह डिज़ाइन इस अनुभवजन्य अवलोकन का लाभ उठाता है कि LLMs संदर्भ के अंत में दी गई जानकारी को अधिक महत्व देते हैं और संघर्ष होने पर हाल के निर्देशों का पालन करते हैं। संरचित मार्कर्स मूल प्रॉम्प्ट को सुरक्षात्मक परत से स्पष्ट रूप से अलग करते हैं, जिससे मॉडल को निर्देशों के पदानुक्रम (hierarchy) को पहचानने में मदद मिलती है।

3. ऑब्जेक्टिव फंक्शन्स (Objective Functions)

लीकेज ऑब्जेक्टिव ( $L$ ): इसे प्रतिकूल प्रश्नों के एक सेट के प्रति मूल प्रॉम्प्ट और मॉडल की प्रतिक्रिया के बीच ROUGE-L रिकॉल का उपयोग करके मापा जाता है। अनुकूलन को सुगम बनाने के लिए, पेपर 50 कंपोजिशनल एडवर्सरियल प्रॉम्प्ट्स के सेट में अधिकतम लीकेज के स्मूथ एप्रोक्सिमेशन (log-sum-exp) का उपयोग करता है। ये प्रॉम्प्ट डिस्ट्रैक्टर्स, रिपिटिशन रिक्वेस्ट और फॉर्मेटिंग रिक्वेस्ट को जोड़ते हैं ताकि मजबूत, यथार्थवादी हमलावरों का अनुकरण किया जा सके।
उपयोगिता ऑब्जेक्टिव ( $U$ ): इसे वैध प्रश्नों के लिए गोल्ड-स्टैंडर्ड रिस्पॉन्स के विरुद्ध (सेंटेंस एम्बेडिंग्स के माध्यम से) सिमेंटिक समानता द्वारा मापा जाता है। यह बेसलाइन मॉडल के प्रदर्शन के सापेक्ष एक अनुपात है ताकि कार्य की गुणवत्ता के संरक्षण को सुनिश्चित किया जा सके।

4. LLM-as-Optimizer के माध्यम से अनुकूलन

PSM एक ब्लैक-बॉक्स, इवोल्यूशनरी-स्टाइल एल्गोरिदम का उपयोग करता है जहाँ एक LLM ऑप्टिमाइज़र के रूप में कार्य करता है:

इनिशियलाइजेशन (Initialization): एक LLM विविध शील्ड उम्मीदवारों की एक प्रारंभिक आबादी उत्पन्न करता है।
मूल्यांकन (Evaluation): प्रत्येक उम्मीदवार का मूल्यांकन फिटनेस फंक्शन का उपयोग करके किया जाता है: $fitness(S) = L(P \oplus S) + \lambda \cdot \max(0, \tau - U(P \oplus S))$ , जहाँ $\lambda$ उपयोगिता हानि के लिए एक बड़ा पेनल्टी मल्टीप्लायर है।
चयन और पीढ़ी (Selection & Generation): शीर्ष प्रदर्शन करने वाले शील्ड्स का चयन किया जाता है, और उनके टेक्स्ट और स्कोर को इन-कॉन्टेक्स्ट उदाहरणों के रूप में ऑप्टिमाइज़र LLM को वापस फीड किया जाता है। LLM फिर सफल पैटर्न का विश्लेषण करता है और नए, बेहतर उम्मीदवार बनाता है।
पुनरावृत्ति (Iteration): यह प्रक्रिया अभिसरण (convergence) तक दोहराई जाती है (कम लीकेज और उच्च उपयोगिता)।

मुख्य योगदान

ब्लैक-बॉक्स अनुकूलता: PSM को मॉडल वेट्स, ग्रेडिएंट्स या इंटरनल्स तक किसी एक्सेस की आवश्यकता नहीं होती है, जिससे यह API के माध्यम से सुलभ किसी भी प्रोप्रायटरी या ओपन-सोर्स LLM के लिए लागू करने योग्य बन जाता है।
कम ओवरहेड: सीखा गया शील्ड एक स्टैटिक टेक्स्टुअल सफिक्स है। यह नगण्य इन्फरेंस-टाइम लागत डालता है और इसके लिए सर्विसिंग स्टैक में किसी बदलाव की आवश्यकता नहीं होती है; अनुकूलन ऑफलाइन किया जाता है।
पुनरावृत्मक सुधार: एक LLM-as-optimizer का उपयोग करके, फ्रेमवर्क गैर-स्पष्ट, प्रभावी रक्षा रणनीतियों की खोज करने के लिए नेचुरल लैंग्वेज के उच्च-आयामी सिमेंटिक स्पेस में बुद्धिमानी से नेविगेट करता है।
उपयोगिता संरक्षण: फ्रेमवर्क एक हार्ड यूटिलिटी कंस्ट्रेंट लागू करता है, यह सुनिश्चित करता है कि हार्डनिंग इच्छित कार्यों पर मॉडल के प्रदर्शन को कम न करे।

प्रयोगात्मक परिणाम

लेखकों ने तीन क्लोज्ड-सोर्स मॉडल्स (GPT-5-MINI, GPT-4.1-MINI, GPT-4O-MINI) पर दो सिस्टम प्रॉम्प्ट कॉर्पोरा (Unnatural Instructions और Synthetic System Prompts) का उपयोग करके PSM का मूल्यांकन किया। उन्होंने चार अटैक सूट्स के विरुद्ध परीक्षण किया: Raccoon, Raccoon-Language, Polite-Requests, और Command-Override।

लीकेज में कमी: PSM ने बेसलाइन्स (No-Defense, N-gram Filters, Heuristic Guardrails, और Decoy Prompts) को काफी पीछे छोड़ दिया। सभी डेटासेट्स और मॉडल्स में, PSM ने अटैक सक्सेस रेट (ASR) को 0–6% तक कम कर दिया, जो अक्सर शून्य के करीब लीकेज प्राप्त करता है।
पैराफ्रेज़ के प्रति मजबूती: N-gram फिल्टर्स के विपरीत जो ट्रांसलेशन या पैराफ्रेजिंग हमलों (Raccoon-Language) के खिलाफ विफल हो गए, PSM ने कम ASR बनाए रखा, जो लिटरल टेक्स्ट ओवरलैप से परे मजबूती प्रदर्शित करता है।
उपयोगिता संरक्षण: टेबल 3 दिखाता है कि PSM ने सिमेंटिक टास्क फिडेलिटी को संरक्षित किया, जिसमें उपयोगिता स्कोर अक्सर बेसलाइन के 100% से अधिक रहा, जो इंगित करता है कि रक्षा ने उपयोगी क्षमताओं को दबाया नहीं।
सामान्यीकरण (Generalization): अनुकूलित शील्ड्स ने मजबूत क्रॉस-मॉडल सामान्यीकरण दिखाया, जिससे विभिन्न मॉडल परिवारों में समान रूप से कम ASR प्राप्त हुआ।

महत्व और दावे

पेपर का दावा है कि PSM LLM सुरक्षा में एक प्रतिमान परिवर्तन (paradigm shift) प्रस्तुत करता है, जो भंगुर, ह्यूरिस्टिक-आधारित बचाव से एक मजबूत, अनुकूलन-संचालित दृष्टिकोण की ओर बढ़ता है। इसका महत्व निम्नलिखित में निहित है:

व्यावहारिकता: यह व्हाइट-बॉक्स एक्सेस या विशेषज्ञता की आवश्यकता के बिना मूल्यवान प्रॉम्प्ट संपत्तियों को सुरक्षित करने के लिए एक व्यवस्थित, पुनरुत्पादक विधि प्रदान करता है।
स्केलेबिलिटी: शील्ड की हल्के स्वभाव के कारण, इसे नगण्य इन्फरेंस-टाइम ओवरहेड के साथ वास्तविक दुनिया के परिदृश्यों में तैनात किया जा सकता है।
सुरक्षा स्थिति: प्रॉम्प्ट लीकेज को प्रभावी ढंग से रोकते हुए और उपयोगिता बनाए रखते हुए, PSM मालिकाना बौद्धिक संपदा और परिचालन डेटा की रक्षा करता है, जो LLM अनुप्रयोगों के व्यावसायीकरण में एक महत्वपूर्ण भेद्यता को संबोधित करता है।

लेखक निष्कर्ष निकालते हैं कि PSM प्रॉम्प्ट IP को सुरक्षित करने और अगली पीढ़ी के LLM सिस्टम को सुरक्षित करने के लिए एक सुलभ मार्ग प्रदान करता है, हालांकि वे प्रशिक्षण के दौरान उपयोग किए गए अटैक सूट की व्यापकता और अनुकूलन लूप की कम्प्यूटेशनल तीव्रता के संबंध में सीमाओं को स्वीकार करते हैं।