How Few-shot Demonstrations Affect Prompt-based Defenses Against LLM Jailbreak Attacks
यह शोध पत्र प्रकट करता है कि फ्यू-शॉट प्रदर्शनों (few-shot demonstrations) के प्रॉम्प्ट-आधारित सुरक्षा उपायों पर भिन्न प्रभाव होते हैं, जो पहचान को सुदृढ़ करके रोल-ओरिएंटेड प्रॉम्प्ट्स (Role-Oriented Prompts) को बेहतर बनाते हैं, जबकि निर्देशों से ध्यान भटकाकर टास्क-ओरिएंटेड प्रॉम्प्ट्स (Task-Oriented Prompts) को महत्वपूर्ण रूप से कमज़ोर करते हैं, जिससे एलएलएम (LLM) सुरक्षा रणनीतियों को अनुकूलित करने के लिए महत्वपूर्ण अंतर्दृष्टि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) बहुत प्रतिभाशाली लेकिन नादान इंटर्न हैं। वे कोड लिखने, कहानियाँ सुनाने और सवालों के जवाब देने में माहिर हैं, लेकिन उन्हें खतरनाक या अनैतिक काम करने से रोकने के लिए सख्त नियमों की आवश्यकता होती है।
आपके द्वारा प्रदान किया गया पेपर इस बात की जांच करता है कि हम इन इंटर्न को उनके नियम कैसे देते हैं। विशेष रूप से, यह दो अलग-अलग तरीकों से नियम लिखने (प्रॉम्प्ट्स) और "उदाहरण कहानियों" (फ्यू-शॉट प्रदर्शन) को जोड़ने से परिणाम कैसे बदलते हैं, इस पर नज़र डालता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. निर्देश देने के दो तरीके
शोधकर्ताओं ने "सिस्टम प्रॉम्प्ट्स" (AI को दी जाने वाली प्रारंभिक निर्देश) के दो मुख्य शैलियों का परीक्षण किया:
- रोल-ओरिएंटेड प्रॉम्प्ट्स (RoP): "पहचान" वाला दृष्टिकोण
- उपमा: कल्पना कीजिए कि आप इंटर्न को कह रहे हैं, "आप 'गार्जियन' नामक एक सहायक, सुरक्षित और नैतिक सहायक हैं।"
- यह कैसे काम करता है: आप परिभाषित कर रहे हैं कि वे कौन हैं। आप एक अच्छे सहायक के रूप में कार्य करने के लिए उनके प्रशिक्षण पर भरोसा कर रहे हैं।
- टास्क-ओरिएंटेड प्रॉम्प्ट्स (ToP): "जॉब डिस्क्रिप्शन" वाला दृष्टिकोण
- उपमा: कल्पना कीजिए कि आप इंटर्न को कह रहे हैं, "अभी आपका विशिष्ट कार्य सुरक्षित उत्तर उत्पन्न करना है। यदि कोई अनुरोध बुरा है, तो आपका काम 'ना' कहना है।"
- यह कैसे काम करता है: आप परिभाषित कर रहे हैं कि उन्हें क्या करना है। यह वर्तमान क्षण के लिए एक विशिष्ट कमांड है।
2. "उदाहरण कहानियाँ" (फ्यू-शॉट प्रदर्शन)
AI में, "फ्यू-शॉट" का अर्थ है वास्तविक प्रश्न पूछने से पहले मॉडल को व्यवहार करने के कुछ उदाहरण देना।
- उपमा: काम शुरू करने से पहले, आप इंटर्न को एक नोटबुक दिखाते हैं जिसमें 3 उदाहरण दिए गए हैं कि अतीत में "गार्जियन" ने कठिन सवालों को कैसे संभाला था।
- प्रश्न: क्या ये उदाहरण दिखाना इंटर्न को सुरक्षित रहने में मदद करता है, या यह उन्हें भ्रमित करता है?
3. बड़ी खोज: विपरीत प्रभाव
पेपर का मुख्य निष्कर्ष यह है कि इन उदाहरण कहानियों को जोड़ने से एक प्रकार के निर्देश में मदद मिलती है लेकिन दूसरे में नुकसान होता है। यह एक जादू के खेल की तरह है जहाँ एक ही प्रॉप (prop) एक व्यक्ति को हँसाता है और दूसरे को रुलाता है।
परिदृश्य A: "पहचान" वाला दृष्टिकोण (RoP) + उदाहरण = सुपर सेफ (अत्यधिक सुरक्षित)
- क्या हुआ: जब AI को बताया गया "आप एक सुरक्षित सहायक हैं" (RoP) और फिर उसे सुरक्षित व्यवहार के उदाहरण दिखाए गए, तो वह सुरक्षित रहने में बेहतर हो गया।
- उपमा: सोचिए कि AI की "सुरक्षित सहायक" की पहचान एक मांसपेशी (muscle) की तरह है। उदाहरण दिखाना वार्म-अप अभ्यास करने जैसा है। यह मांसपेशी को मजबूत करता है। उदाहरण AI को याद दिलाते हैं, "हाँ, मैं यही हूँ। मैं सुरक्षित वाला हूँ।"
- परिणाम: सुरक्षा में 4.5% तक सुधार हुआ। उदाहरणों ने भूमिका को "सुदृढ़" (reinforce) किया।
परिदृश्य B: "जॉब डिस्क्रिप्शन" वाला दृष्टिकोण (ToP) + उदाहरण = कम सुरक्षित
- क्या हुआ: जब AI को बताया गया "आपका कार्य सुरक्षित रहना है" (ToP) और फिर उसे उदाहरण दिखाए गए, तो वह सुरक्षित रहने में बदतर हो गया।
- उपमा: कल्पना कीजिए कि आप इंटर्न को एक विशिष्ट कार्य निर्देश देते हैं, लेकिन फिर आप उन्हें पढ़ने के लिए कागजात का एक मोटा ढेर थमा देते हैं (उदाहरण)। निर्देश टेक्स्ट के बीच में दब जाता है। इंटर्न उदाहरणों से विचलित हो जाता है और मुख्य नियम को भूल जाता है।
- विज्ञान: पेपर इसे "अटेंशन डिस्ट्रैक्शन" (ध्यान भटकना) कहता है। AI का दिमाग उदाहरणों पर ध्यान केंद्रित करता है (जो टेक्स्ट की शुरुआत में होते हैं) और वास्तविक निर्देश पर ध्यान खो देता है (जो बीच में दब जाता है)।
- परिणाम: सुरक्षा में काफी गिरावट आई, जो 21.2% तक हो सकती है। उदाहरणों ने नियमों को दबा दिया।
4. "थिंक मोड" का विरोधाभास
पेपर ने उन मॉडल्स को भी देखा जिनमें एक विशेष "थिंक मोड" (जहाँ वे उत्तर देने से पहले चरण-दर-चरण तर्क करते हैं) होता है।
- निष्कर्ष: ये मॉडल आम तौर पर जेलब्रेक (सुरक्षा को बायपास करने के लिए डिज़ाइन किए गए हमले) के प्रति अधिक असुरक्षित थे और उदाहरणों से अधिक भ्रमित थे, चाहे निर्देश की शैली कुछ भी हो।
- उपमा: यह उस छात्र की तरह है जो प्रश्न का बहुत अधिक विश्लेषण करता है। नियम का पालन करने के बजाय, वे अपने दिमाग में नियम पर बहस करने लगते हैं, और "बुरे लोग" (जेलब्रेकर्स) उन्हें यह सोचने के लिए मजबूर कर देते हैं कि बुरा विचार वास्तव में तार्किक है।
5. डेवलपर्स को क्या करना चाहिए?
इन निष्कर्षों के आधार पर, लेखक बहुत विशिष्ट सलाह देते हैं:
- यदि आप "पहचान" दृष्टिकोण (RoP) का उपयोग करते हैं: बेझिझक उदाहरण कहानियाँ जोड़ें! यह AI को अधिक सुरक्षित बनाता है।
- यदि आप "जॉब डिस्क्रिप्शन" दृष्टिकोण (ToP) का उपयोग करते हैं: उदाहरण कहानियाँ न जोड़ें। यह AI को कम सुरक्षित बनाता है। निर्देशों को छोटा और सीधा रखें।
- यदि आप "थिंक मोड" मॉडल्स का उपयोग कर रहे हैं: बहुत सावधान रहें। वे अधिक आसानी से ठगे जा सकते हैं, इसलिए आपको अतिरिक्त सुरक्षा उपायों की आवश्यकता हो सकती है।
सारांश
पेपर साबित करता है कि संदर्भ (context) मायने रखता है।
- यदि आप AI का चरित्र परिभाषित करते हैं, तो उदाहरण उस चरित्र को मजबूत करने में मदद करते हैं।
- यदि आप AI का कार्य परिभाषित करते हैं, तो उदाहरण शोर (noise) की तरह काम करते हैं जो निर्देशों को दबा देते हैं।
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने यह साबित करने के लिए कई अलग-अलग AI मॉडल्स और सुरक्षा बेंचमार्क पर इनका परीक्षण किया कि ये दो रणनीतियाँ एक ही इनपुट पर विपरीत प्रतिक्रिया देती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।