तकनीकी सारांश: इंजेक्शन सीखना: सुदृढीकरण शिक्षण (Reinforcement Learning) के माध्यम से स्वचालित प्रॉम्प्ट इंजेक्शन

समस्या की परिभाषा

प्रॉम्प्ट इंजेक्शन लार्ज लैंग्वेज मॉडल (LLM) एजेंटों में एक गंभीर भेद्यता (vulnerability) का प्रतिनिधित्व करता है, जहाँ बाहरी सामग्री (जैसे ईमेल, दस्तावेज़) में निहित प्रतिकूल निर्देश (adversarial instructions) एजेंट के व्यवहार को अनधिकृत कार्यों को निष्पादित करने या डेटा चोरी करने के लिए हाईजैक कर लेते हैं। जबकि स्वचालित जेलब्रेक हमले उन्नत हुए हैं, वे "अनुपालन" (compliance) (जैसे "ज़रूर, मैं मदद कर सकता हूँ" जैसा सकारात्मक उपसर्ग उत्पन्न करना) के लिए अनुकूलन (optimization) पर निर्भर करते हैं। इसके विपरीत, प्रॉम्प्ट इंजेक्शन के लिए मॉडल को एक विशिष्ट टूल कॉल के साथ सटीक पैरामीटर मिलान (जैसे send_email(to="attacker@evil.com")) उत्सर्जित करने की आवश्यकता होती है।

यह अंतर एक मौलिक अनुकूलन चुनौती पैदा करता है:

1. विच्छिन्न और विरल पुरस्कार (Discrete and Sparse Rewards): सफलता का संकेत बाइनरी (0 या 1) होता है। यादृच्छिक रूप से नमूना लिए गए प्रत्यय (suffixes) लगभग कभी भी विशिष्ट टूल कॉल को ट्रिगर नहीं करते हैं, जिससे मानक ऑप्टिमाइज़र के पास अनुसरण करने के लिए कोई ग्रेडिएंट नहीं बचता।
2. उद्देश्य बेमेल (Objective Mismatch): मौजूदा स्वचालित जेलब्रेक विधियाँ (जैसे GCG या TAP) अनुपालन के लिए अनुकूलित होती हैं, जो इंजेक्शन हमलों के लिए आवश्यक सटीक टूल कॉल के निष्पादन के लिए एक खराब प्रॉक्सी है।
3. मैनुअल प्रयास पर निर्भरता: वर्तमान प्रभावी विधियों के लिए अभी भी मानव रेड-टीमर्स और हस्तनिर्मित प्रॉम्प्ट्स पर बहुत अधिक निर्भर रहना पड़ता है, जो स्केलेबिलिटी को सीमित करता है।

कार्यप्रणाली: AutoInject

लेखक AutoInject का प्रस्ताव करते हैं, जो एक ब्लैक-बॉक्स सुदृढीकरण शिक्षण (RL) ढांचा है जिसे प्रॉम्प्ट इंजेक्शन के लिए प्रतिकूल प्रत्ययों (adversarial suffixes) को सीखने के लिए डिज़ाइन किया गया है। मुख्य नवाचार एक विरल, बाइनरी सफलता संकेत को एक सघन (dense), सीखने योग्य पुरस्कार में परिवर्तित करना है जो RL अनुकूलन के लिए उपयुक्त है।

1. समस्या का निरूपण

हमला जनरेशन को एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में मॉडल किया गया है:

• अवस्था (State): इंजेक्शन लक्ष्य, उपयोगकर्ता कार्य संदर्भ, और अब तक उत्पन्न टोकन।
• क्रिया (Action): शब्दावली (vocabulary) से अगला टोकन चुनना।
• पुरस्कार (Reward): एक एपिसोड के अंत में दिया जाने वाला एक मिश्रित स्कोर, जिसमें शामिल हैं:
  • $r_{sec}$: सुरक्षा स्कोर (1 यदि इंजेक्ट किया गया लक्ष्य निष्पादित होता है, अन्यथा 0)।
  • $r_{util}$: उपयोगिता स्कोर (1 यदि मूल उपयोगकर्ता कार्य पूरा होता है, अन्यथा 0)।
  • $r_{pref}$: एक सघन तुलना-आधारित फीडबैक स्कोर।

2. तुलना-आधारित फीडबैक के माध्यम से सघन पुरस्कार

पुरस्कार की विरलता (sparsity) को संबोधित करने के लिए, AutoInject एक सीखा हुआ तुलना-आधारित फीडबैक मॉडल पेश करता है।

• तंत्र: सिस्टम एक संदर्भ प्रत्यय ($x^*$) बनाए रखता है, जो अब तक देखा गया सर्वश्रेष्ठ प्रदर्शन करने वाला प्रत्यय है। प्रत्येक नए उम्मीदवार प्रत्यय ($x$) के लिए, एक फीडबैक मॉडल (एक LLM) को इंजेक्शन लक्ष्य, संदर्भ और दोनों प्रत्ययों के साथ क्वेरी किया जाता है।
• प्रक्रिया: फीडबैक मॉडल यह निर्धारित करने के लिए चेन-ऑफ-थॉट रीजनिंग करता है कि कौन सा प्रत्यय सफल होने की अधिक संभावना रखता है, और एक बाइनरी प्राथमिकता लेबल आउटपुट करता है।
• सिग्नल निष्कर्षण: लेबल टोकन के लॉग-संभावनाओं (log-probabilities) को निकाला जाता है और एक निरंतर प्राथमिकता स्कोर ($r_{pref}$) बनाने के लिए सामान्यीकृत किया जाता है।
• मूल्य: भले ही उम्मीदवार और संदर्भ दोनों इंजेक्शन निष्पादित करने में विफल रहें, फीडबैक मॉडल एक उम्मीदवार को उच्च स्कोर दे सकता है यदि वह अधिक प्रशंसनीय या लक्ष्य के साथ बेहतर संरेखित प्रतीत होता है। यह एक सघन, मोनोटोन सिग्नल प्रदान करता है जो RL एजेंट को शून्य सुरक्षा पुरस्कार के लंबे दौरों के माध्यम से मार्गदर्शन करता है।

3. पॉलिसी ऑप्टिमाइज़ेशन (Policy Optimization)

हमला नीति (attack policy) को 1.5B-पैरामीटर वाले मॉडल (Qwen2.5-1.5B) पर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके प्रशिक्षित किया जाता है।

• सापेक्ष लाभ (Relative Advantage): एक पूर्ण मान फलन (absolute value function) सीखने के बजाय, GRPO एक ही इनपुट के लिए $K$ पूर्णताओं (completions) के एक समूह को नमूना लेता है और उनके मिश्रित पुरस्कारों के आधार पर सापेक्ष लाभ की गणना करता है।
• मिश्रित पुरस्कार: $R = \alpha \cdot r_{sec} + \beta \cdot r_{util} + \gamma \cdot r_{pref}$। तुलनात्मक फीडबैक के लिए भार $\gamma$ गतिशील रूप से शेड्यूल्ड किया जाता है, जो प्रारंभिक ग्रेडिएंट प्रदान करने के लिए उच्च स्तर से शुरू होता है और जैसे-जैसे वास्तविक सफलता संकेत ($r_{sec}$) उपलब्ध होते हैं, कम होता जाता है।
• हमला मोड: ढांचा निम्नलिखित का समर्थन करता है:
  • ऑनलाइन क्वेरी-आधारित हमले: एक विशिष्ट लक्ष्य के लिए क्वेरी बजट के भीतर अनुकूलन।
  • ऑफलाइन हस्तांतरणीय प्रत्यय (Offline Transferable Suffixes): सर्ोगेट कार्यों/मॉडलों पर प्रशिक्षण लेना और सीखे गए प्रत्यय को बिना उपयोग (utility) एक्सेस के अनदेखे लक्ष्यों पर स्थानांतरित करना।

मुख्य योगदान

1. इंजेक्शन के लिए RL निरूपण: एक नवीन RL दृष्टिकोण जो तुलना-आधारित फीडबैक के माध्यम से बाइनरी प्रॉम्प्ट-इंजेक्शन सिग्नल को सघन पुरस्कार में बदल देता है, जिससे प्रभावी GRPO अनुकूलन सक्षम होता है जहाँ मानक विधियाँ विफल हो जाती हैं।
2. दोहरी हमला क्षमता: एक एकीकृत ढांचा जो ऑनलाइन क्वेरी-आधारित अनुकूलन और ऑफलाइन-प्रशिक्षित हस्तांतरणीय प्रत्ययों दोनों का समर्थन करता है जिन्हें परिनियोजन (deployment) के दौरान उपयोग (utility) एक्सेस की आवश्यकता नहीं होती है।
3. व्यापक मूल्यांकन: सात प्रोडक्शन मॉडलों (GPT-5-nano, Claude-3.5-Sonnet, और Gemini-2.5-Flash सहित) और एक विशेष रक्षा मॉडल (Meta-SecAlign-70B) पर AgentDojo बेंचमार्क पर व्यापक परीक्षण।
4. उपयोगिता संरक्षण (Utility Preservation): यह प्रदर्शन करना कि सीखी गई नीति मूल उपयोगकर्ता कार्य की उपयोगिता को बाधित किए बिना या उसे बेहतर बनाए रखते हुए हमले की सफलता को अधिकतम कर सकती है, जो कई टेम्पलेट-आधारित हमलों के विपरीत है जो एजेंट व्यवहार को बाधित करते हैं।

प्रयोगात्मक परिणाम

AgentDojo बेंचमार्क पर मूल्यांकित, AutoInject मौजूदा बेसलाइनों की तुलना में सांख्यिकीय रूप से महत्वपूर्ण सुधार (McNemary's test, $p < 0.05$) प्रदर्शित करता है:

• टेम्पलेट हमलों के विरुद्ध: AutoInject मानव-निर्मित टेम्पलेट्स (जैसे "Direct," "Ignore Previous") की तुलना में काफी बेहतर प्रदर्शन करता है। Gemini-2.5-Flash पर, AutoInject ने 58.00% अटैक सक्सेस रेट (ASR) प्राप्त किया, जबकि टेम्पलेट्स के लिए शिखर 23.60% था।
• ऑप्टिमाइज़ेशन-आधारित बेसलाइनों के विरुद्ध: यह GCG, TAP, रैंडम एडेप्टिव हमलों और इवोल्यूशनरी सर्च से बेहतर है। विशेष रूप से, मजबूत GPT-5-nano मॉडल पर, AutoInject ने 11.49% ASR प्राप्त किया, जबकि सर्वश्रेष्ठ टेम्पलेट हमले ने केवल 1.60% प्रबंधित किया।
• उपयोगिता संरक्षण: कई मामलों में, AutoInject का "उपयोगिता के तहत हमला" (Utility Under Attack) बेनिन बेसलाइन से अधिक था (जैसे GPT-5-nano पर 90.20% बनाम 80.41%), जो इंगित करता है कि सीखे गए प्रत्यय एजेंट के प्राथमिक कार्य को बाधित किए बिना इंजेक्शन को सफलतापूर्वक निष्पादित करते हैं।
• रक्षा बचाव (Defense Evasion): Meta-SecAlign-70B (एक मॉडल जिसे विशेष रूप से प्रॉम्प्ट इंजेक्शन का विरोध करने के लिए फाइन-ट्यून किया गया है) के विरुद्ध, टेम्पलेट हमले पूरी तरह से विफल रहे (0% ASR), जबकि AutoInject ने 21.88% ASR प्राप्त किया।
• हस्तांतरणीयता (Transferability): सीखे गए प्रत्यय अनदेखे मॉडलों और कार्यों में सफलतापूर्वक स्थानांतरित हुए। क्रॉस-टास्क ट्रांसफर परिदृश्यों में, AutoInject ने चार में से पांच लक्षित मॉडलों पर हस्तांतरण-आधारित बेसलाइन RL-Hammer की तुलना में काफी बेहतर प्रदर्शन किया, बावजूद इसके कि इसने काफी कम प्रशिक्षण क्वेरी (260 बनाम 3,900) का उपयोग किया।

महत्व और दावे

यह पेपर प्रॉम्प्ट इंजेक्शन के लिए एक स्वचालित बेसलाइन स्थापित करता है, जो वर्तमान प्राथमिकता-आधारित रक्षाओं और अनुकूलन-आधारित हमलावरों के बीच एक महत्वपूर्ण अंतर को प्रकट करता है।

• स्थिर रक्षाओं की सीमाएं: परिणाम बताते हैं कि स्थिर पैटर्न मिलान या प्राथमिकता अनुकूलन (जैसे Meta-SecAlign) पर निर्भर रक्षाएं अनुकूलित हमलावरों के विरुद्ध अपर्याप्त हैं। लेखक नोट करते हैं कि जबकि ये रक्षाएं ज्ञात टेम्पलेट्स को बेअसर करती हैं, वे सीखे गए प्रत्ययों के खिलाफ विफल रहती हैं जो विभिन्न कमजोरियों का फायदा उठाते हैं।
• "एलेलुलिया" (Allelujah) घटना: अध्ययन ने सफल प्रत्ययों (जैसे "allelujah") में आवर्ती, स्पष्ट रूप से निरर्थक टोकन पैटर्न देखे जो मॉडलों में स्थानांतरित हुए, जो प्रीट्रेनिंग डेटा में सांख्यिकीय नियमितताओं की खोज का सुझाव देते हैं जो अनुपालन व्यवहारों के साथ सह-संबंध रखती हैं।
• सुरक्षा के निहितार्थ: लेखक तर्क देते हैं कि स्वचालित, उपयोगिता-संरक्षण वाले इंजेक्शन रणनीतियाँ अधिक खतरनाक खतरा हैं, क्योंकि वे हमलावरों को उपयोगकर्ता की जानकारी के बिना एजेंटों से समझौता करने की अनुमति देती हैं। वे निष्कर्ष निकालते हैं कि रक्षात्मक प्रतिमानों को इन अनुकूलित, स्वचालित रणनीतियों के लिए विकसित होना चाहिए, जिसमें संभावित रूप से "प्लान-देन-एक्जीक्यूट" या विचार-आधारित रक्षाएं शामिल हैं जो संवेदनशील कार्यों के लिए उपयोगकर्ता की पुष्टि मांगती हैं।

पेपर यह दावा नहीं करता है कि उसने भेद्यता को हल कर दिया है, बल्कि यह कि यह RL-संचालित हमलों के खिलाफ वर्तमान स्वचालित रक्षाओं की अपर्याsufficiency को उजागर करता है, और समुदाय को अधिक मजबूत, अनुकूलन योग्य सुरक्षा उपाय विकसित करने का आग्रह करता है।