PISmith: Reinforcement Learning-based Red Teaming for Prompt Injection Defenses

यहाँ "PISmith: Reinforcement Learning-based Red Teaming for Prompt Injection Defenses" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

प्रॉम्प्ट इंजेक्शन हमले (Prompt injection attacks) लार्ज लैंग्वेज मॉडल (LLM) अनुप्रयोगों, विशेष रूप से स्वायत्त एजेंटों (autonomous agents) के लिए एक गंभीर सुरक्षा जोखिम पैदा करते हैं। हमलावर इनपुट संदर्भ (जैसे वेब पेज, दस्तावेज़) में दुर्भावनापूर्ण निर्देशों को शामिल करते हैं ताकि LLM के व्यवहार को नियंत्रित किया जा सके। हालाँकि कई बचाव (फिल्टर-आधारित और रोकथाम-आधारित) प्रस्तावित किए गए हैं, लेकिन अनुकूली हमलों (adaptive attacks) के विरुद्ध उनकी मजबूती का मूल्यांकन अपर्याप्त रूप से किया गया है।

मौजूदा रेड-टीमिंग विधियाँ इन सुरक्षा उपायों का प्रभावी ढंग से परीक्षण करने में विफल रहती हैं:

• स्थिर हमले (Static attacks) निश्चित टेम्पलेट्स पर निर्भर करते हैं और उनमें अनुकूलन क्षमता का अभाव होता है।
• खोज-आधारित हमले (Search-based attacks) (जैसे TAP, PAIR) प्रति-मामला (per-instance) अनुकूलन तो करते हैं, लेकिन इनमें उच्च कम्प्यूटेशनल लागत आती है और एक हस्तांतरणीय (transferable) हमले की नीति का अभाव होता है।
• मानक सुदृढीकरण शिक्षण (Standard Reinforcement Learning - RL) दृष्टिकोण, जैसे कि सीधे ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) को लागू करना, अत्यधिक रिवॉर्ड स्पर्सिटी (extreme reward sparsity) से ग्रस्त होते हैं। मजबूत सुरक्षा उपायों का सामना करते समय, हमलावर LLM मुख्य रूप से विफल प्रॉम्प्ट उत्पन्न करता है (रिवॉर्ड = 0)। इससे दो विफलता मोड उत्पन्न होते हैं:
  1. एंट्रॉपी कोलैप्स (Entropy Collapse): पॉलिसी कुछ दुर्लभ सफल प्रॉम्प्ट्स पर ओवरफिट हो जाती है, जिससे पॉलिसी एंट्रॉपी शून्य के करीब गिर जाती है। मॉडल नई रणनीतियों की खोज करना बंद कर देता है और एक दोहराव वाले, अप्रभावी मोड में अभिसरित (converge) हो जाता है।
  2. ग्रेडिएंट डाइल्यूशन (Gradient Dilution): भले ही अन्वेषण (exploration) जारी रहता है, लेकिन कुछ सफल रोलआउट्स से मिलने वाला ग्रेडिएंट सिग्नल विफलताओं की भारी संख्या के कारण दब जाता है, जिससे कुशल शिक्षण बाधित होता है।

2. कार्यप्रणाली: PISmith

लेखक PISmith का प्रस्ताव करते हैं, जो एक सुदृढीकरण शिक्षण-आधारित रेड-टीमिंग फ्रेमवर्क है जिसे रिवॉर्ड स्पर्सिटी और एंट्रॉपी कोलैप्स को दूर करने के लिए डिज़ाइन किया गया है। मुख्य उद्देश्य एक हमलावर नीति ($\pi_\phi$) को प्रशिक्षित करना है जो ऐसे इंजेक्ट किए गए प्रॉम्प्ट्स ($p$) उत्पन्न करे जो एक सुरक्षित लक्षित LLM ($M_\theta$) के विरुद्ध इंजेक्ट किए गए कार्य ($g$) की सफलता को अधिकतम करें।

PISmith मानक GRPO की सीमाओं को दूर करने के लिए दो नवीन तंत्र पेश करता है:

A. अनुकूली एंट्रॉपी रेगुलाइजेशन (Adaptive Entropy Regularization)

पॉलिसी को प्रभावी हमलों की खोज करने से पहले एक संकीर्ण मोड में ढलने से रोकने के लिए, PISmith मानक KL-डाइवर्जेंस रेगुलाइजेशन के स्थान पर एक डायनेमिक एंट्रॉपी बोनस का उपयोग करता है।

• तंत्र: एक एंट्रॉपी कैप ($H_{cap}$) निर्धारित किया जाता है। यदि पॉलिसी की एंट्रॉपी ($H(\pi_\phi)$) इस कैप से नीचे गिरती है, तो एक एंट्रॉपी बोनस लागू किया जाता है।
• अनुकूलनशीलता (Adaptivity): एंट्रॉपी रेगुलाइजेशन की शक्ति ($\beta$) वर्तमान औसत रिवॉर्ड ($\bar{r}$) पर आधारित होती है।
  • जब $\bar{r}$ कम होता है (स्पार्स रिवॉर्ड्स), तो उच्च अन्वेषण (exploration) को मजबूर करने के लिए $\beta$ को अधिकतम किया जाता है।
  • जैसे-जैसे $\bar{r}$ बढ़ता है, $\beta$ घटता जाता है, जिससे पॉलिसी को एक्सप्लोइटेशन (exploitation) की ओर बढ़ने की अनुमति मिलती है।
• लक्ष्य: अनियंत्रित शोर (incoherent noise) में बदले बिना, दुर्लभ सफल हमले के पैटर्न खोजने के लिए पर्याप्त अन्वेषण बनाए रखना।

B. डायनेमिक एडवांटेज वेटिंग (Dynamic Advantage Weighting)

यह सुनिश्चित करने के लिए कि पॉलिसी दुर्लभ सफल रोलआउट्स से कुशलतापूर्वक सीख सके, PISмith सफल नमूनों के ग्रेडिएंट योगदान को बढ़ाता है।

• तंत्र: एक सफल रोलआउट ($r_i=1$) के एडवांटेज ($A_i$) को एक डायनेमिक फैक्टर $\gamma(\bar{r})$ से गुणा किया जाता है।
• अनुकूलनशीलता:
  • जब $\bar{r}$ कम होता है (सफलताएं दुर्लभ होती हैं), तो $\gamma(\bar{r}) > 1$ होता है, जो सफल ग्रेडिएंट के भार को महत्वपूर्ण रूप से बढ़ाता है।
  • जैसे-जैसे $\bar{r}$ में सुधार होता है, $\gamma(\bar{r})$ घटकर 1 हो जाता है, जो मानक GRPO व्यवहार पर वापस आ जाता है।
• लक्ष्य: यह सुनिश्चित करना कि कुछ सफल सिग्नल, विफलताओं के बहुमत द्वारा दबाए जाने के बजाय, पॉलिसी अपडेट को संचालित करें।

संयुक्त उद्देश्य (Combined Objective): अंतिम लॉस फंक्शन (loss function) क्लिप्ड सरोगेट लॉस (भारित एडवांटेज का उपयोग करके) और अनुकूली एंट्रॉपी रेगुलाइजेशन टर्म को जोड़ता है।

3. प्रमुख योगदान

1. PISmith फ्रेमवर्क: एक अभिनव RL-आधारित रेड-टीमिंग विधि जो रिवॉर्ड स्पार्सिटी की समस्या को हल करने के लिए अनुकूली एंट्रॉपी रेगुलाइजेशन और डायनेमिक एडवांटेज वेटिंग पेश करती है।
2. व्यापक बेंचमार्किंग: प्रश्नोत्तर (QA), रिट्रीवल-ऑगमेंटेड जनरेशन (RAG), और लॉन्ग-कॉन्टेक्स्ट कार्यों को कवर करने वाले 13 विविध बेंचमार्क पर मूल्यांकन।
3. व्यवस्थित सुरक्षा मूल्यांकन: 7 बेसलाइन्स (स्थिर, खोज-आधारित और RL-आधारित) के विरुद्ध 8 अत्याधुनिक सुरक्षा उपायों (फिल्टर-आधारित और रोकथाम-आधारित दोनों) का कठोर तुलनात्मक अध्ययन।
4. एजेंटिक सेटिंग सत्यापन: ओपन-सोर्स और क्लोज्ड-सोर्स मॉडल्स (GPT-4o-mini और GPT-5-nano सहित) के विरुद्ध जटिल एजेंट वातावरण (InjecAgent और AgentDojo) में PISmith की प्रभावशीलता का प्रदर्शन।

4. प्रयोगात्मक परिणाम

A. हमला प्रदर्शन (RQ1)

• बेहतर सफलता दर: PISmith ने Meta-SecAlign-8B (एक अत्याधुनिक सुरक्षा उपाय) के विरुद्ध औसत ASR@10 का 1.0 और ASR@1 का 0.87 प्राप्त किया, जो सबसे मजबूत बेसलाइन RL-Hammer (0.70/0.48) से काफी बेहतर है।
• सामान्यीकरण (Generalization): केवल Dolly Closed QA डेटासेट से 100 नमूनों पर प्रशिक्षित होने के बावजूद, PISmith 12 अनदेखे बेंचमार्क पर प्रभावी ढंग से सामान्यीकृत हुआ, जिसमें कठिन लॉन्ग-कॉन्टेक्स्ट कार्य भी शामिल थे जहाँ अन्य विधियाँ पूरी तरह विफल रहीं (जैसे HotpotQA-Long: 0.04 ASR के मुकाबले 0.99 ASR)।
• दक्षता: PISmith को लक्ष्य मॉडल से खोज-आधारित विधियों (32k बनाम 82k–194k) की तुलना में कम कुल क्वेरी की आवश्यकता पड़ी, जबकि उच्च सफलता दर प्राप्त की।

B. उपयोगिता-मजबूती ट्रेड-ऑफ (Utility-Robustness Trade-off) (RQ2)

• मौलिक तनाव: अध्ययन एक महत्वपूर्ण ट्रेड-ऑफ को उजागर करता है: कोई भी मौजूदा सुरक्षा उपाय बेंइन (benign) सेटिंग्स में उच्च उपयोगिता बनाए रखते हुए और अनुकूली हमलों का विरोध करते हुए एक साथ काम नहीं कर सकता।
  • वे सुरक्षा उपाय जो उपयोगिता को अच्छी तरह से बनाए रखते हैं, उन्हें PISmith द्वारा आसानी से तोड़ा जा सकता है।
  • वे सुरक्षा उपाय जो PISmith के प्रति मजबूत हैं, अक्सर बेंइन कार्यों पर मॉडल के प्रदर्शन को गंभीर रूप से कम कर देते हैं (उच्च फाल्स पॉजिटिव)।
• निहितार्थ: वर्तमान सुरक्षा उपाय वास्तविक दुनिया में सुरक्षित तैनाती के लिए अपर्याप्त हैं; सुरक्षा और उपयोगिता के बीच संतुलन बनाने के लिए एक नए प्रतिमान (paradigm) की आवश्यकता है।

C. एजेंटिक सेटिंग्स (RQ3)

• PISmith ने InjecAgent और AgentDojo पर उच्च हमला सफलता दर (ASR $\ge$ 0.95) हासिल की।
• इसने GPT-5-nano और GPT-4o-mini पर सफलतापूर्वक हमला किया, जहाँ स्थिर हमले और खोज-आधारित विधियाँ विफल रहीं या खराब प्रदर्शन करती हैं।
• AgentDojo (मल्टी-स्टेप वर्कफ़्लो) में, PISmith ने टेम्पलेट-आधारित रणनीतियों को काफी पीछे छोड़ दिया, जो जटिल टूल-यूज़ परिदृश्यों में इसकी क्षमता को दर्शाता है।

D. एब्लेशन अध्ययन (Ablation Studies)

• अनुकूली एंट्रॉपी रेगुलेशन या डायनेमिक एडवांटेज वेटिंग में से किसी एक को हटाने से प्रदर्शन में भारी गिरावट आई (ASR@1 गिरकर 0.87 से 0.57 या उससे कम हो गया)।
• यह पुष्टि करता है कि दोनों तंत्र आवश्यक हैं: एंट्रॉपी दुर्लभ सफलताओं की खोज सुनिश्चित करती है, जबकि एडवांटेज वेटिंग यह सुनिश्चित करती है कि उन सफलताओं से प्रभावी ढंग से सीखा जा सके।

5. महत्व और निष्कर्ष

• सुरक्षा निहितार्थ: यह शोध पत्र दर्शाता है कि वर्तमान "अत्याधुनिक" प्रॉम्प्ट इंजेक्शन सुरक्षा उपाय अनुकूली, RL-संचालित हमलावरों के सामने नाजुक हैं। स्थिर मूल्यांकन द्वारा प्रदान की गई सुरक्षा की झूठी भावना खतरनाक है।
• अनुसंधान दिशा: निष्कर्ष एक ऐसे सुरक्षा तंत्र की तत्काल आवश्यकता पर प्रकाश डालते हैं जो अनुकूली हमलों का विरोध करते हुए उच्च उपयोगिता बनाए रख सके, एक ऐसा अंतर जिसे वर्तमान फिल्टर-आधारित और रोकथाम-आधारित विधियाँ अभी तक नहीं भर पाई हैं।
• जिम्मेदार प्रकटीकरण (Responsible Disclosure): लेखक इस बात पर जोर देते हैं कि PISmith एक शोध उपकरण है जिसे सुरक्षा उपायों का परीक्षण करने के लिए डिज़ाइन किया गया है। इन कमजोरियों की पहचान करके, इस कार्य का उद्देश्य अधिक लचीले LLM अनुप्रयोगों के विकास को गति देना है।

कोड उपलब्धता: कार्यान्वयन https://github.com/albert-y1n/PISmith पर ओपन-सोर्स है।