तकनीकी सारांश: द ग्रेट प्रेटेंडर: एलएलएम जेलब्रेक में एक स्टोकेस्टिसिटी समस्या

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) सुरक्षा के मूल्यांकन का वर्तमान मानक, अटैक सक्सेस रेट (ASR), मौलिक रूप से त्रुटिपूर्ण है क्योंकि यह ASR को हमले के एक स्थिर गुण के रूप में मानता है। लेखक तर्क देते हैं कि ASR वास्तव में एक रैंडम वेरिएबल (यादृच्छिक चर) है जो दो स्वतंत्र स्रोतों से प्रभावित होता है, जिन्हें मौजूदा साहित्य में काफी हद तक अनदेखा किया गया है:

1. जेनरेशन स्टोकेस्टिसिटी (उत्पादन यादृच्छिकता): अधिकांश जेलब्रेक हमले (जैसे, Best-of-N, Crescendo) डिज़ाइन द्वारा स्टोकेस्टिक होते हैं। वे कई संभावित प्रॉम्प्ट उत्पन्न करते हैं और एक एकल सफल प्रयास के आधार पर एक का चयन करते हैं। एक एकल रन, रैंडम सीड के आधार पर अलग-अलग उम्मीदवारों का सेट उत्पन्न करता है, जिससे परिवर्तनशील ASR परिणाम मिलते हैं।
2. इवैल्यूएशन स्टोकेस्टिसिटी (मूल्यांकन यादृच्छिकता): ऑटोमेटेड जजेस (जैसे, Llama-Guard) जो प्रतिक्रियाओं को "हानिकारक" या "सुरक्षित" के रूप में वर्गीकृत करने के लिए उपयोग किए जाते हैं, वे स्वयं $T > 0$ पर स्टोकेस्टिक होते हैं। एक ही मॉडल रिस्पॉन्स को एक मूल्यांकन में हानिकारक और दूसरे में निर्दोष लेबल किया जा सकता है।

परिणामस्वरूप, रिपोर्ट किए गए ASR नंबर व्यवस्थित रूप से बढ़े हुए और शोध पत्रों के बीच तुलना करने योग्य नहीं हैं। एक प्रॉम्प्ट जो 10 प्रयासों में से 1 बार सफल होता है, उसे अक्सर 10 में से 10 बार सफल होने वाले प्रॉम्प्ट के समान माना जाता है, जो इस तथ्य को छिपा देता है कि पूर्व एक वास्तविक भेद्यता (vulnerability) के बजाय केवल एक "लकी ड्रॉ" हो सकता है।

2. कार्यप्रणाली

यह शोध पत्र इन स्टोकेस्टिक कारकों को मापने के लिए एक व्यवस्थित अनुभवजन्य अध्ययन का प्रस्ताव करता है।

प्रयोगात्मक सेटअप

• हमले (Attacks): चार ब्लैक-बॉक्स हमलों का मूल्यांकन किया गया: Best-of-N (BoN), PAIR, TAP, और Crescendo।
• टारगेट मॉडल्स: तीन परिवारों (Meta Llama-3, Google Gemma-3, IBM Granite) के 1B से 70B पैरामीटर्स तक के पांच इंस्ट्रक्शन-ट्यून्ड मॉडल्स।
• जजेस (Judges): दो LLM-आधारित जजेस (Llama-Guard-3-1B और Llama-Guard-3-8B)।
• पैरामीटर्स: अध्ययन जेनरेशन और इवैल्यूएशन पाइपलाइन में छह स्टोकेस्टिसिटी पैरामीटर्स को भिन्न करता है:
  • टेम्परेचर्स (Temperatures): टारगेट मॉडल जेनरेशन ($T_{gen}$), टारगेट मॉडल इवैल्यूएशन ($T_{eval}$), जज जेनरेशन ($\theta_{gen}$), और जज इवैल्यूएशन ($\theta_{eval}$)।
  • कंसिस्टेंसी थ्रेशोल्ड्स (Consistency Thresholds): आवश्यक निरंतर सफल मूल्यांकनों की संख्या ($k_{gen}$ जेनरेशन के लिए, $k_{eval}$ इवैल्यूएशन के लिए)।
  • सीड्स (Seeds): वेरिएंस मापने के लिए कई स्वतंत्र रैंडम सीड्स ($S=5$)।

प्रस्तावित फ्रेमवर्क्स

ASR की अस्थिरता को संबोधित करने के लिए, लेखक कंसिस्टेंसी फॉर अटैक सक्सेस (CAS) और दो संबद्ध फ्रेमवर्क्स पेश करते हैं:

1. CAS मेट्रिक: प्रति प्रॉम्प्ट एक बाइनरी इंडिकेटर। एक जेलब्रेक तभी सफल माना जाता है जब सभी $k$ स्वतंत्र मूल्यांकन एक हानिकारक निर्णय लौटाते हैं।

   • स्टैंडर्ड ASR $k=1$ के अनुरूप है।
   • डेटासेट-लेवल मेट्रिक, $ASR(k_{eval})$, उन प्रॉम्प्ट्स का अंश है जहाँ $CAS(r, k_{eval}) = 1$ है।

2. CAS-gen (अटैक जेनरेशन फ्रेमवर्क):

   • एक एकल सफल प्रयास ($k_{gen}=1$) के बाद जेलब्रेक प्रॉम्प्ट को स्वीकार करने के बजाय, हमले को $k_{gen}$ स्वतंत्र रन में लगातार हानिकारक प्रतिक्रिया उत्पन्न करनी चाहिए।
   • यह "चांस सक्सेस" (संयोगवश सफलता) को स्रोत पर ही फ़िल्टर कर देता है, यह सुनिश्चित करता है कि हमले का डेटासेट केवल मजबूत प्रॉम्प्ट्स ही शामिल करे।

3. CAS-eval (अटैक इवैल्यूएशन फ्रेमवर्क):

   • एक निश्चित जेलब्रेक प्रॉम्प्ट का $k_{eval}$ बार मूल्यांकन किया जाता है। इसे एक सुसंगत जेलब्रेक के रूप में तभी वर्गीकृत किया जाता है जब सभी $k_{eval}$ जज कॉल एक हानिकारक निर्णय लौटाते हैं।
   • यह जज की नॉन-डिटरमिनिज्म (अनिश्चितता) के कारण होने वाले फाल्स पॉजिटिव को कम करता है।

3. मुख्य परिणाम

मूल्यांकन प्रकट करता है कि स्टोकेस्टिसिटी पैरामीटर्स रिपोर्ट किए गए ASR को भारी मार्जिन (54 प्रतिशत अंक तक) से बदल सकते हैं, जिससे बिना मानकीकरण के क्रॉस-पेपर तुलना अमान्य हो जाती है।

• इवैल्यूएशन थ्रेशोल्ड ($k_{eval}$) का प्रभाव: $k_{eval}=1$ से $k_{eval}=10$ तक जाने पर सभी कॉन्फ़िगरेशन में ASR में 12 से 24 प्रतिशत अंक की कमी आती है। यह इंगित करता है कि स्टैंडर्ड सिंगल-शॉट इवैल्यूएशन हमले की सफलता को काफी अधिक बताता है।
• जज टेम्परेचर ($\theta_{eval}$) का प्रभाव: यह सबसे अस्थिर पैरामीटर है। $\theta_{eval}$ को 0.0 से बढ़ाकर 1.0 करने से ASR में 54 प्रतिशत अंक तक की गिरावट आ सकती है (उदाहरण के लिए, Crescendo 86% से गिरकर 32% हो जाता है)। $\theta_{eval}=0$ पर, ASR पूरी तरह से स्थिर हो जाता है।
• जेनरेशन बजट ($k_{gen}$) का प्रभाव: $k_{gen}$ को 1 से बढ़ाकर 10 करने से रिपोर्ट किया गया ASR 12 से 30 प्रतिशत अंक बढ़ जाता है। एक ढीला फ़िल्टर ($k_{gen}=1$) उन सीमावर्ती (borderline) प्रॉम्प्ट्स को शामिल कर लेता है जो बार-बार मूल्यांकन के तहत तेजी से गिरते हैं।
• टारगेट मॉडल टेम्परेचर ($T_{eval}$) का प्रभाव: $T_{eval}$ को 0.0 से 1.0 तक बदलने से ASR में अधिकतम 18 प्रतिशत अंक का बदलाव आता है और इसका कोई व्यवस्थित दिशा नहीं है; यह सापेक्ष हमले की रैंकिंग को प्रभावित नहीं करता है।
• अटैक सीड का प्रभाव: सीड-टू-सीड प्रसार मामूली (20 प्रतिशत अंक तक) है लेकिन विशिष्ट कॉन्फ़िगरेशन के लिए अधिक हो सकता है (जैसे, $k_{eval}=10$ के साथ LG-8B के साथ BoN के लिए 50 अंक)।

4. योगदान और महत्व

यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. व्यवस्थित अनुभवजन्य अध्ययन: कई हमलों, मॉडल्स और जजेस में जेनरेशन और इवैल्यूएशन दोनों स्टोकेस्टिसिटी का पहला व्यापक विश्लेषण, जो उन विशिष्ट पैरामीटर्स की पहचान करता है जो ASR वेरिएंस को संचालित करते हैं।
2. नया मेट्रिक और फ्रेमवर्क्स: CAS (कंसिस्टेंसी फॉर अटैक सक्सेस) और CAS-gen/CAS-eval फ्रेमवर्क्स का परिचय। ये उपकरण शोधकर्ताओं को "लकी ड्रॉ" और जज के शोर (noise) को फ़िल्टर करने की अनुमति देते हैं, जिससे अधिक विश्वसनीय और पुनरुत्पादक (reproducible) ASR अनुमान प्राप्त होते हैं।
3. न्यूनतम रिपोर्टिंग मानक: लेखक भविष्य के शोध के लिए एक चेकलिस्ट का प्रस्ताव करते हैं ताकि तुलनात्मकता सुनिश्चित की जा सके। कम से कम, शोध पत्रों को खुलासा करना चाहिए:
   • $k_{gen}$ (जेनरेशन कंसिस्टेंसी थ्रेशोल्ड)
   • $k_{eval}$ (इवैल्यूएशन कंसिस्टेंसी थ्रेशोल्ड)
   • $\theta_{eval}$ (जज इवैल्यूएशन टेम्परेचर)
   • (BoN हमलों के लिए) $\theta_{gen}$ (जज सर्च टेम्परेचर)

महत्व:
यह शोध पत्र तर्क देता है कि स्टोकेस्टिसिटी को नियंत्रित किए बिना ASR को पॉइंट एस्टीमेट के रूप में रिपोर्ट करने का वर्तमान अभ्यास "मौलिक रूप से त्रुटिपूर्ण" है। इन चरों को अनदेखा करके, समुदाय एक "ग्रेट प्रेटेंडर" परिदृश्य बनाता है जहाँ उच्च ASR स्कोर अक्सर वास्तविक भेद्यता के बजाय रैंडम सीड्स और जज के शोर का आर्टिफैक्ट (परिणाम) होते हैं। प्रस्तावित फ्रेमवर्क और रिपोर्टिंग मानक LLM सुरक्षा बेंचमार्किंग में सांख्यिकीय कठोरता बहाल करने का लक्ष्य रखते हैं, यह सुनिश्चित करते हुए कि रिपोर्ट की गई सफलता दर वास्तविक, पुनरुत्पादक हमले की प्रभावशीलता को दर्शाती है। लेखक नोट करते हैं कि उनके निष्कर्ष ओपन-वेट मॉडल्स पर आधारित हैं और API प्रतिबंधों और पारदर्शिता की कमी के कारण प्रोप्राइटरी, भारी RLHF-एलाइनड मॉडल्स तक इस विश्लेषण का विस्तार करना एक खुला अनुभवजन्य प्रश्न बना हुआ है।