तकनीकी सारांश: औसत जेन (Average Jane) के लिए जेलब्रेकिंग

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) जेलब्रेक्स के प्रसार ने इस चिंता को बढ़ा दिया है कि गैर-विशेषज्ञ दुर्भावनापूर्ण अभिनेता ("औसत जेन") इन कमजोरियों का प्रभावी ढंग से लाभ उठाकर कार्रवाई योग्य हानिकारक प्रतिक्रियाएं प्राप्त कर सकते हैं। हालांकि कई जेलब्रेक तकनीकें मौजूद हैं, दो महत्वपूर्ण अंतराल गैर-विशेषज्ञों के व्यापक और प्रभावी उपयोग को रोकते हैं:

1. चयन अंतराल (Selection Gap): किसी विशिष्ट लक्षित मॉडल के लिए ज्ञात तकनीकों के विशाल और बढ़ते सेट में से इष्टतम (optimal) जेलब्रेक की पहचान करना, बिना व्यापक (और पता लगाने योग्य) जांच के।
2. क्वेरी अंतराल (Query Gap): ऐसी दुर्भावनापूर्ण क्वेरी तैयार करना जो सुरक्षा प्रशिक्षण को बायपास करने के लिए पर्याप्त जटिल हो, क्योंकि सरल क्वेरी अक्सर अच्छी तरह से संरेखित (aligned) मॉडलों से कार्रवाई योग्य विवरण प्राप्त करने में विफल रहती हैं।

यह शोध पत्र इस बात की जांच करता है कि क्या इन अंतरालों को स्वचालित, सिद्धांत-आधारित हमले की रणनीतियों के माध्यम से पाटा जा सकता है, विशेष रूप से यह देखना कि क्या गैर-विशेषज्ञ इष्टतम जेलब्रेक नीतियां सीख सकते हैं और क्या क्वेरी को हमले की सफलता बढ़ाने के लिए स्वचालित रूप से उन्नत किया जा सकता है।

कार्यप्रणाली (Methodology)

लेखक जेलब्रेक चयन के लिए ऑनलाइन लर्निंग और क्वेरी संवर्धन (query enhancement) के लिए ऑटोमेटेड प्रॉम्प्ट इंजीनियरिंग को संयोजित करने वाला एक दो-आयामी दृष्टिकोण प्रस्तावित करते हैं।

1. मल्टी-आर्म्ड बैंडिट्स के माध्यम से जेलब्रेक चयन

लेखक जेलब्रेक के चयन को मल्टी-आर्म्ड बैंडिट (MAB) एल्गोरिदम द्वारा हल की जाने वाली एक अनुक्रमिक निर्णय लेने वाली समस्या के रूप में देखते हैं।

• फॉर्मूलेशन: $n$ जेलब्रेक्स $\mathcal{J}$ के सेट और $T$ दुर्भावनापूर्ण क्वेरी के क्रम को देखते हुए, हमलावर एक शिक्षार्थी (learner) के रूप में कार्य करता है। प्रत्येक चरण $t$ पर, शिक्षार्थी एक जेलब्रेक $J(t)$ चुनता है और एक बाइनरी रिवॉर्ड (1 यदि प्रतिक्रिया हानिकारक है, 0 अन्यथा) देखता है।
• परिदृश्य:
  • ट्रांसफर अटैक (Transfer Attack): हमलावर एक एक्सप्लोरेशन सेट $D^{(tr)}$ पर एक नीति (जेलब्रेक का वितरण) सीखता है और इस निश्चित नीति को एक अलग एक्सप्लोइटेशन सेट $D^{(ev)}$ पर लागू करता है। यह "बेस्ट-आर्म आइडेंटिफिकेशन" की नकल करता है।
  • निरंतर हमला (Continual Attack): हमलावर एक्सप्लोइटेशन चरण के दौरान अपनी नीति को ऑनलाइन अपडेट करता है, जो संचयी रिवॉर्ड को अधिकतम करने के लिए एक्सप्लोरेशन और एक्सप्लोइटेशन दोनों को संयुक्त रूप से करता है।
• एल्गोरिदम: अध्ययन दोनों आंशिक-सूचना (partial-information) बैंडिट एल्गोरिदम (जैसे EXP3, Thompson Sampling, LinUCB) और पूर्ण-सूचना (full-information) एल्गोरिदम (Randomised Weighted Majority) का मूल्यांकन करता है। आंशिक-सूचना एल्गोरिदम को उनकी कम्प्यूटेशनल दक्षता के लिए प्राथमिकता दी जाती है, क्योंकि उन्हें प्रत्येक दौर के लिए $n$ क्वेरी के बजाय केवल एक क्वेरी की आवश्यकता होती है।
• रिग्रेट (Regret): लक्ष्य सबलीनियर रिग्रेट (sublinear regret) प्राप्त करना है, जिसका अर्थ है कि हमलावर की सफलता दर और सर्वोत्तम संभव जेलब्रेक (पूर्वव्यापी दृष्टि में) के बीच का अंतर जैसे-जैसे क्वेरी की संख्या बढ़ती है, समाप्त हो जाता है।

2. क्वेरी संवर्धन: FRANKENSTEINBENCH

क्वेरी जटिलता के अंतराल को संबोधित करने के लिए, लेखक 11,279 दुर्भावनापूर्ण क्वेरीओं वाला एक सुरक्षा बेंचमार्क FRANKENSTEINBENCH पेश करते हैं।

• निर्माण: क्वेरी 7 मौजूदा बेंचमार्क (जैसे AIRBench, WMDP, HarmBench) से ली गई हैं और LLM का उपयोग करके उन्हें उन्नत किया गया है।
• जटिलता वर्गीकरण: क्वेरी को सरल (सीधे दुर्भावनापूर्ण अनुरोध) या जटिल (दुर्भावनापूर्ण इरादे को छिपाने के लिए तकनीकी शब्दावली और डोमेन-विशिष्ट विशेषज्ञता का उपयोग करके पुनर्गठित अनुरोध) के रूप में वर्गीकृत किया गया है।
• संवर्धन रणनीति: "दोहरे उपयोग के संकट" (dual-use dilemma) का लाभ उठाते हुए, सरल क्वेरी को सिस्टम प्रॉम्प्ट का उपयोग करके स्वचालित रूप से जटिल में बदल दिया जाता है, जो LLM को विशेषज्ञ व्यक्तित्व (जैसे वित्तीय सलाहकार, साइबर सुरक्षा विशेषज्ञ) अपनाने और तकनीकी शब्दावली का उपयोग करने का निर्देश देते हैं।
• वर्गीकारक (Classifier): पठनीयता स्कोर (जैसे Dale-Chall) और एक LLM-एज़-अ-जज (LLM-as-a-judge) को संयोजित करने वाला एक एन्सेम्बल क्लासिफायर स्वचालित रूप से क्वेरी जटिलता को 89.17% सटीकता के साथ लेबल करता है।

मुख्य योगदान

1. सिद्धांत-आधारित हमला रणनीति: एक नवीन थ्रेट मॉडल जो इष्टतम जेलब्रेक नीतियों को कुशलतापूर्वक सीखने के लिए बैंडिट एल्गोरिदम का उपयोग करता है। यह दृष्टिकोण हमलावरों को ब्रूट-फोर्स मूल्यांकन की लागत और पहचान के जोखिमों से बचते हुए उच्च-प्रदर्शन वाले जेलब्रेक की पहचान करने की अनुमति देता है।
2. FRANKENSTEINBENCH: छह उच्च-जोखिम वाले डोमेन (वित्त, स्वास्थ्य सेवा, शिक्षा, साइबर सुरक्षा, कानूनी, सार्वजनिक-हानि) में 11,279 दुर्भावनापूर्ण क्वेरीओं का एक व्यापक सुरक्षा बेंचमार्क। यह अनूठे रूप से सरल और जटिल क्वेरी के बीच अंतर करता है, जिसमें मैन्युअल रूप से सत्यापित टेस्ट स्प्लिट और स्वचालित जटिलता लेबलिंग शामिल है।
3. व्यापक मूल्यांकन: 15 अत्याधुनिक ओपन-वेट मॉडलों (270M से 120B पैरामीटर तक) और 70 विशिष्ट जेलब्रेक्स पर व्यापक परीक्षण। अध्ययन लगभग 12 मिलियन क्वेरी-रिस्पॉन्स पेयर्स का मूल्यांकन करता है।

प्रयोगात्मक परिणाम

• बैंडिट प्रभावशीलता: बैंडिट-आधारित हमले दोनों "यूनिफॉर्म प्रायर्स" (Uniform Priors) बेसलाइन (रैंडम चयन) और सर्वश्रेष्ठ एकल स्टेटिक जेलब्रेक की तुलना में काफी बेहतर प्रदर्शन करते हैं।
  • औसतन, बैंडित एल्गोरिदम कई पास (प्रत्येक क्वेरी के लिए $k=5$ जेलब्रेक का नमूना लेना) का उपयोग करने पर 15 मॉडलों में 97% तक अटैक सक्सेस रेट (ASR) प्राप्त करते हैं।
  • सिंगल पास ($k=1$) के साथ भी, बैंडित विधियाँ (जैसे Thompson Sampling, EXP3) शीर्ष प्रदर्शन करने वाले व्यक्तिगत जेलब्रेक की तुलना में काफी बेहतर प्रदर्शन करती हैं, विशेष रूप से gpt-oss परिवार जैसे मॉडलों पर जहाँ इष्टतम जेलब्रेक स्पष्ट नहीं होते हैं।
• जटिलता का प्रभाव: जटिल क्वेरी स्वाभाविक रूप से अधिक खतरनाक होती हैं।
  • बेसलाइन सेटिंग (कोई जेलब्रेक नहीं) में, जटिल क्वेरी औसत 50% ASR प्राप्त करती हैं, जबकि सरल क्वेरी के लिए यह 39% है।
  • जब जेलब्रेक के साथ संयोजन किया जाता है, तो जटिल क्वेरी सरल क्वेरी की तुलना में ASR को औसतन 26% तक बढ़ा देती हैं।
• ट्रांसफेरेबिलिटी (स्थानांतरणीयता):
  • क्रॉस-डोमेन: गैर-लक्ष्य डोमेन पर एक्सप्लोरेशन से न्यूनतम प्रदर्शन हानि (लग लगभग 6% का अंतर) होती है, जो सुझाव देता है कि डोमेन-विशिष्ट एक्सप्लोरेशन अनिवार्य नहीं है।
  • क्रॉस-मॉडल: छोटे प्रॉक्सी मॉडलों (जैसे 4B या 12B पैरामीटर) पर सीखी गई नीतियां बड़े लक्षित मॉडलों (जैसे 27B या 70B) पर प्रभावी रूप से स्थानांतरित होती हैं, और अक्सर उच्च ASR बनाए रखती हैं।
• मजबूती (Robustness): बैंडित दृष्टिकोण तब भी प्रभावी रहता है जब उपलब्ध जेलब्रेक के सेट को केवल सबसे खराब प्रदर्शन करने वाले 10 जेलब्रेक तक सीमित कर दिया जाता है, जबकि साधारण बेसलाइन काफी विफल हो जाते हैं।

महत्व और दावे

यह शोध पत्र तर्क देता है कि तैनात LLMs पर हमला करने के लिए गैर-विशेषज्ञ अभिनेताओं की चिंता न्यायोचित है। स्वचालित क्वेरी संवर्धन (जटिल, कठिन-से-पकड़े जाने वाले प्रॉम्प्ट बनाना) और कुशल नीति शिक्षण (बैंडित एल्गोरिदम के माध्यम से) का संयोजन एक अत्यधिक प्रभावी, स्वचालित हमले योग्य पाइपलाइन बनाता है।

• सुरक्षा निहितार्थ: निष्कर्ष बताते हैं कि वर्तमान सुरक्षा मूल्यांकन अपर्याप्त हो सकते हैं यदि वे स्थिर, सरल क्वेरी या एकल "सर्वश्रेष्ठ" जेलब्रेक पर निर्भर करते हैं। यह पेपर प्रदर्शित करता है कि एक हमलावर विशिष्ट मॉडलों के अनुकूल हो सकता है और सुरक्षा संरेखण (safety alignment) को बायपास करने के लिए क्वेरी जटिलता का लाभ उठा सकता है।
• रक्षा परिप्रेक्ष्य: यह कार्य रेड-टीमिंग रणनीतियों की आवश्यकता पर प्रकाश डालता है जो अनुकूली हमलावरों (adaptive attackers) और जटिल क्वेरी संरचनाओं को ध्यान में रखती हैं। यह ऐसे सुरक्षा मूल्यांकनों के विकास के लिए आह्वान करता है जो वास्तविक दुनिया के बाधाओं और गैर-विशेषज्ञ विरोधियों की क्षमताओं को दर्शाते हों।

लेखक एक विनम्र लहजा बनाए रखते हैं, जिसमें अंग्रेजी डेटा, सिंगल-टर्न बातचीत, और एक्सेस संबंधी बाधाओं के कारण प्रोप्रायटरी मॉडलों के व्यापक परीक्षण की कमी जैसी सीमाओं को स्वीकार किया गया है। वे अपने कार्य को सुरक्षा मूल्यांकनों के स्तर को बढ़ाने और अधिक मजबूत रक्षा प्रणालियों को प्रेरित करने की दिशा में एक कदम के रूप में देखते हैं।