Fair ASR: Re-Evaluating Black-Box Jailbreaks under Shared Target-Call Budgets

तकनीकी सारांश: फेयर एएसआर (Fair ASR): साझा लक्ष्य-कॉल बजट के तहत ब्लैक-बॉक्स जेलब्रेक का पुनर्मूल्यांकन

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) जेलब्रेक हमलों के वर्तमान मूल्यांकन मुख्य रूप से अटैक सक्सेस रेट (ASR) पर निर्भर करते हैं, लेकिन वे अक्सर उस सफलता को प्राप्त करने के लिए आवश्यक अटैक बजट का लेखा-जोखा रखने में विफल रहते हैं। मौजूदा अध्ययन अक्सर असमान संसाधन बाधाओं के तहत प्राप्त टर्मिनल ASR मानों की रिपोर्ट करते हैं, जिससे एक अनुचित तुलना उत्पन्न होती है जहाँ किसी विधि की प्रभावशीलता को उसके द्वारा उपयोग किए गए लक्ष्य एक्सेस (target access) की मात्रा के साथ मिला दिया जाता है।

जबकि हालिया "कंप्यूट-अवेयर" (compute-aware) मूल्यांकन एक एकीकृत स्केलर (जैसे, FLOPs) में संसाधनों को एकत्रित करके बजट को सामान्य करने का प्रयास करते हैं, इस दृष्टिकोण की महत्वपूर्ण सीमाएँ हैं:

1. अदृश्यता: क्लोज्ड-सोर्स मॉडलों के लिए इन्फरेंस FLOPs आमतौर पर उपलब्ध नहीं होते हैं और उनका अनुमान लगाना पड़ता है।
2. गैर-परिवर्तनीयता (Non-Interchangeability): FLOPs विभिन्न संसाधन बाधाओं (जैसे, API दर सीमा बनाम कम्प्यूटेशनल लागत) को एक एकल मीट्रिक में समाहित कर देते हैं, जिससे उन परिचालन वास्तविकताओं का विवरण छिप जाता है जहाँ दर सीमाओं (rate limits) और दुरुपयोग का पता लगाने के कारण लक्ष्य-मॉडल एक्सेस प्राथमिक बाधा होता है।

परिणामस्वरूप, विषम ब्लैक-बॉक्स हमलों के मूल्यांकन के लिए एक तुलनीय, अवलोकन योग्य आधार का अभाव है।

2. कार्यप्रणाली: फेयर-एएसआर (Fair-ASR) प्रोटोकॉल

इन मुद्दों को संबोधित करने के लिए, लेखक फेयर-एएसआर (Fair-ASR) पेश करते हैं, जो साझा लक्ष्य-कॉल बजट ($B$) के तहत तुलना को मानकीकृत करता है।

मुख्य सिद्धांत

• प्राथमिक बजट ($B$): प्रोटोकॉल लक्ष्य कॉल्स (विक्टिम मॉडल को क्वेरी) को प्राथमिक बजट के रूप में उपयोग करता है। इसे इसलिए चुना गया क्योंकि:
  • यह सभी ब्लैक-बॉक्स हमलों के लिए सार्वभौमिक है (प्रत्येक हमले को लक्ष्य को क्वेरी करना ही होगा)।
  • यह परिचालन बाधाओं (दर सीमाएं, अकाउंट सस्पेंशन) को दर्शाता है।
  • यह FLOPs के विपरीत सीधे तौर पर अवलोकन योग्य है।
• द्वितीयक मीट्रिक: अटैकर कॉल्स (एक अटैकर LLM या सहायक जज को क्वेरी) को दक्षता ट्रेड-ऑफ का विश्लेषण करने के लिए अलग से ट्रैक किया जाता है, न कि उन्हें प्राथमिक बजट में शामिल किया जाता है।
• मूल्यांकन मेट्रिक्स:
  • ASR@B: अधिकतम $B$ लक्ष्य कॉल्स के भीतर सफलतापूर्वक हमला किए गए हानिकारक अनुरोधों का अंश।
  • ASR-बजट कर्व (ASR-Budget Curve): जैसे-जैसे $B$ बढ़ता है, ASR का प्रक्षेपवक्र (trajectory), जो विकास दर और संतृप्ति बिंदुओं (saturation points) को प्रकट करता है।
  • औसत लक्ष्य कॉल्स (ATC): प्रति सफल हमला खपत किए गए औसत लक्ष्य कॉल्स की संख्या।
  • हानिकरता स्कोर (HS): एक गुणवत्ता मीट्रिक (StrongREJECT रूब्रिक का उपयोग करते हुए) जो हानिकारक प्रतिक्रिया की गंभीरता और विश्वसनीयता का आकलन करता है।

प्रयोगात्मक दायरा

लेखकों ने तीन श्रेणियों में 11 प्रतिनिधि हमलों का पुनर्मूल्यांकन किया:

1. हस्तनिर्मित टेम्पलेट्स (Hand-crafted templates): CodeAttack, DeepInception, CipherChat।
2. स्टोकेस्टिक रिपीटेड-सैंपलिंग (Stochastic repeated-sampling): Best-of-N (BoN)।
3. LLM-संचालित स्वचालित हमले: PAIR, TAP, ReNeLLM, AutoDAN, GPTFuzzer, AutoDAN-Turbo, Rainbow Teaming।

प्रयोग विविध लक्ष्य मॉडलों (Llama-3.1, gpt-oss, GPT-4o, GPT-5, Gemini-3.1-Pro, Claude-Sonnet-4.6) पर मानक डेटासेट्स (HarmBench, JailbreakBench) का उपयोग करके किए गए।

3. पुनर्मूल्यांकन से प्राप्त मुख्य निष्कर्ष

फेयर-एएसआर के अनुप्रयोग ने तीन महत्वपूर्ण अंतर्दृष्टि प्रकट कीं:

1. बजट-निर्भर रैंकिंग: हमलों की रैंकिंग लक्ष्य-कॉल बजट के प्रति अत्यधिक संवेदनशील है। जो विधियाँ बड़े बजट के तहत बेहतर दिखाई देती हैं, वे कम बजट के तहत सरल विधियों द्वारा पीछे छोड़ी जा सकती हैं। उदाहरण के लिए, Llama-3.1-8B पर, $B=5$ पर TAP, BoN से आगे है, लेकिन $B=100$ पर BoN, TAP को पीछे छोड़ देता है।
2. सरल प्रिमिटिव्स (Primitives) की प्रतिस्पर्धात्मकता: समान लक्ष्य एक्सेस के तहत सरल हमले प्रिमिटिव्स अत्यधिक प्रतिस्पर्धी बने रहते हैं।
   • स्टोकेस्टिक परटर्बेशन (Stochastic Perturbation): BoN अतिरिक्त लक्ष्य कॉल्स के साथ बेहतर होता रहता है, और बिना किसी अटैकर-मॉडल कॉल के उच्च ASR प्राप्त करता है।
   • हस्तनिर्मित टेम्पलेट्स: संरचित टेम्पलेट्स (जैसे, CodeAttack) बहुत कम लक्ष्य कॉल्स (जैसे, $B=1$ पर 62% ASR) के साथ उच्च सफलता दर प्राप्त करते हैं, और अक्सर कम-बजट शासन में जटिल LLM-संचालित विधियों से बेहतर प्रदर्शन करते हैं।
3. दक्षता ट्रेड-ऑफ (Efficiency Trade-offs): कोई भी मूल्यांकित LLM-संचालित विधि लक्ष्य और अटैकर दोनों कॉल्स में समान रूप से कुशल नहीं है।
   • ReNeLLM उच्च लक्ष्य-कॉल दक्षता (कम ATC) प्राप्त करता है, लेकिन पुनरावृत्ति (iterative rewriting) और प्रॉम्प्ट-ओनली हार्मफुलनेस गेट्स के कारण उच्च अटैकर-कॉल लागत वहन करता है।
   • अन्य विधियाँ (जैसे, PAIR, TAP) कम अटैकर कॉल्स का उपयोग कर सकती हैं लेकिन समान सफलता थ्रेसहोल्ड तक पहुँचने के लिए काफी अधिक लक्ष्य कॉल्स की आवश्यकता हो सकती है।

4. प्रस्तावित समाधान: ReCode

पहचानित "दो-आयामी दक्षता अंतराल" (two-dimensional efficiency gap) से प्रेरित होकर, लेखक ReCode प्रस्तावित करते हैं, जो एक कंपोजिशनल हमला है जिसे लक्ष्य और अटैकर दोनों कॉल्स को कम करते हुए ASR को अधिकतम करने के लिए डिज़ाइन किया गया है।

डिज़ाइन आर्किटेक्चर

ReCode एक सिंगल-पास पाइपलाइन में तीन घटकों को जोड़ता है:

1. गेट-फ्री डिसेंसिटाइजेशन रीराइटिंग (Gate-free Desensitization Rewriting): ReNeLLM के विपरीत, जो रीराइट्स को फ़िल्टर करने के लिए प्रॉम्प्ट-ओनली हार्मफुलनेस गेट का उपयोग करता है (जिससे महंगी रिट्राइज़ ट्रिगर होती हैं), ReCode डिसेंसिटाइजेशन रणनीतियों (जैसे, साहित्यिक रीराइटिंग, ऑब्जेक्टिव सब्स्टीट्यूशन) का उपयोग करके एक सिंगल-पास रीराइट करता है, जिसमें कोई सहायक जज लूप नहीं होता है।
2. अटैकर-फ्री स्टोकेस्टिक परटर्बेशन: रीराइट किए गए प्रॉम्प्ट को कैरेक्टर-लेवल परटर्बेशन (जैसे, केस इनवर्जन, ASCII इंसर्शन) से गुजरना पड़ता है, जो BoN के समान है, जिसके लिए शून्य अतिरिक्त अटैकर कॉल की आवश्यकता होती है।
3. स्ट्रक्चर्ड कोड-स्टाइल नेस्टिंग: परटर्ब किए गए प्रॉम्प्ट को एक संरचित कोड-शैली टेम्पलेट (जैसे, Python क्लास डेफिनिशन) में एम्बेड किया जाता है, जो अटैकर-मॉडल रिफाइनमेंट की आवश्यकता के बिना इरादे को और अधिक छिपा देता है।

परिणाम

$B=20$ लक्ष्य कॉल्स के बजट के तहत मूल्यांकन किया गया:

• प्रदर्शन: ReCode ने पांच लक्ष्य मॉडलों (gpt-oss वेरिएंट सहित) में 81.0% का औसत ASR प्राप्त किया और तीन फ्रंटियर क्लोज्ड-सोर्स मॉडलों (GPT-5, Gemini-3.1-Pro, Claude-Sonnet-4.6) में 70.3% प्राप्त किया।
• दक्षता: इसके लिए प्रति अनुरोध औसतन केवल 7.00 अटैकर कॉल्स (AAC) की आवश्यकता थी, जो ReNeLLM (18.69) और TAP (49.56) की तुलना में काफी कम है।
• विशिष्ट लाभ: GPT-5 पर, ReCode ने ASR को ReNeLLM के 31% से बढ़ाकर 85% कर दिया, जबकि अटैकर कॉल्स को 26.02 से घटाकर 7.19 कर दिया।
• हानिकरता: ReCode ने उच्चतम औसत हार्मफुलनेस स्कोर (HS) 0.662 भी प्राप्त किया, जो यह दर्शाता है कि उच्च सफलता दर उच्च-गुणवत्ता वाली हानिकारक प्रतिक्रियाओं के साथ सह-संबंधित थी।

5. महत्व और दावे

यह पेपर दावा करता है कि फेयर-एएसआर (Fair-ASR) ब्लैक-बॉक्स जेलब्रेक की तुलना करने के लिए एक आवश्यक, अवलोकन योग्य आधार प्रदान करता है, जो असमान बजट तुलनाओं से प्राप्त भ्रामक निष्कर्षों को सुधारता है। यह प्रदर्शित करता है कि एल्गोरिदम की जटिलता दक्षता की गारंटी नहीं देती है और सरल, कम लागत वाले प्रिमिटिव्स अक्सर कम उपयोग किए जाते हैं।

ReCode का परिचय इस बात का प्रमाण है कि डिसेंसिटाइजेशन रीराइटिंग को अटैकर-फ्री ऑब्फस्केशन तकनीकों के साथ जोड़कर दक्षता अंतराल को पाटना संभव है। लेखक निष्कर्ष निकालते हैं कि भविष्य के मूल्यांकन को सुरक्षा परिदृश्य का सटीक आकलन करने के लिए केवल टर्मिनल ASR से आगे बढ़कर संयुक्त संसाधन दक्षता (लक्ष्य और अटैकर कॉल्स) पर विचार करना चाहिए।

नोट किए गए सीमाएँ:

• प्रोटोकॉल वर्तमान में सिंगल-टर्न हमलों पर केंद्रित है और अभी तक मल्टी-टर्न सेटिंग्स को कवर नहीं करता है।
• लक्ष्य कॉल्स टोकन उपयोग, API मूल्य निर्धारण या टेम्पलेट विकास की मैन्युअल लागत को कैप्चर नहीं करते हैं।
• अध्ययन स्वीकार करता है कि हालांकि ReCode कुशल है, विशिष्ट मॉडल व्यवहार (जैसे, कोड नेस्टिंग के प्रति क्लाउड की संवेदनशीलता) भिन्न हो सकते हैं, जिसके लिए आगे की जांच की आवश्यकता है।