SelfGrader: Stable Jailbreak Detection for Large Language Models using Token-Level Logits

यहाँ शोध पत्र "SelfGrader: Token-Level Logits का उपयोग करके Large Language Models के लिए Stable Jailbreak Detection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Large Language Models (LLMs) jailbreak attacks के प्रति अत्यधिक संवेदनशील हैं, जहाँ हमलावर सुरक्षा संरेखण (safety alignment) को बायपास करने और हानिकारक आउटपुट उत्पन्न करने के लिए दुर्भावनापूर्ण प्रश्नों को तैयार करते हैं। मौजूदा रक्षा तंत्र (guardrails) तीन प्राथमिक सीमाओं से ग्रस्त हैं:

• आंतरिक विशेषता-आधारित विधियाँ (Internal Feature-Based Methods): ये ग्रेडिएंट्स या हिडन एक्टिवेशन पर निर्भर करती हैं, जिसके लिए महत्वपूर्ण कंप्यूटेशनल संसाधनों (उच्च विलंबता/मेमोरी) की आवश्यकता होती है और अक्सर बाहरी कैलिब्रेशन डेटासेट की आवश्यकता होती है।
• वर्गीकरण-आधारित विधियाँ (Classification-Based Methods): ये विशिष्ट हमले के वेक्टर्स पर प्रशिक्षित सहायक क्लासिफायर का उपयोग करती हैं, जो अनुकूल (adaptive) या अनदेखे हमलों के विरुद्ध भंगुर (brittle) हो जाती हैं।
• जनरेशन-आधारित विधियाँ (Generation-Based Methods): ये प्रतिक्रियाएँ उत्पन्न करने और "रेड-लिस्ट" (असुरक्षित) या "ग्रीन-लिस्ट" (सुरक्षित) कीवर्ड की जाँच करने पर निर्भर करती हैं। ये सैंपलिंग बायस (निर्णायक टोकन उत्पन्न नहीं हो सकते) और कीवर्ड-मैचिंग बायस (अपूर्ण सूचियाँ हानिकारक बारीकियों को मिस कर देती हैं या निर्दोष सामग्री को गलत वर्गीकृत कर देती हैं) से ग्रस्त हैं।

मुख्य चुनौती एक ऐसा गार्डरेल विकसित करना है जो हल्का (lightweight) हो (कम विलंबता/मेमोरी), विविध और अनुकूल हमलों के प्रति मजबूत (robust) हो, और बिना किसी महंगे प्रशिक्षण या नाजुक टेक्स्ट जनरेशन के स्थिर (stable) (निर्दोष प्रश्नों पर कम फॉल्स पॉजिटिव) हो।

2. कार्यप्रणाली: SelfGrader

लेखक SelfGrader का प्रस्ताव करते हैं, जो एक हल्का गार्डरेल है जो जेलब्रेक डिटेक्शन को टोकन-लेवल लॉजिट्स (logits) का उपयोग करके एक संख्यात्मक ग्रेडिंग समस्या (numerical grading problem) के रूप में पुनर्गठित करता है।

मुख्य अवधारणा (Core Concept)

टेक्स्ट जनरेट करने या ग्रेडिएंट्स की जांच करने के बजाय, SelfGrader मॉडल द्वारा उत्पादित Numerical Tokens (NTs) (जैसे अंक 0–9) के एक संक्षिप्त सेट के logit distributions का लाभ उठाता है। मॉडल को एक क्वेरी की दुर्भावनापूर्णता को "ग्रेड" करने के लिए प्रेरित किया जाता है, और इन NTs पर लॉजिट्स, मॉडल के आंतरिक सुरक्षा निर्णय के प्रत्यक्ष, उच्च-सिग्नल रीडआउट के रूप में कार्य करते हैं।

प्रमुख घटक (Key Components)

1. NT-आधारित लॉजिट निष्कर्षण (NT-Based Logits Extraction):

   • गार्डरेल मॉडल (जो स्वयं लक्षित LLM हो सकता है) को एक उपयोगकर्ता क्वेरी का मूल्यांकन करने के लिए प्रेरित किया जाता है।
   • पूरे वोकैबुलरी के बजाय, सिस्टम केवल एक पूर्व-निर्धारित सेट के लॉजिट्स निकालता है (जैसे "0" से "9" तक के इंडेक्स)।
   • यह एक बंद, अपरिवर्तनीय और कार्य-संरेखित संख्यात्मक स्थान (closed, invariant, and task-aligned numerical space) बनाता है, जो भाषाई अस्पष्टता और अस्थिरता से बचता है।

2. Dual-Perspective Logit (DPL) स्कोरिंग नियम:
   स्थिरता सुनिश्चित करने और फॉल्स पॉजिटिव को कम करने के लिए, SelfGrader दो दृष्टिकोणों से क्वेरी का मूल्यांकन करता है:

   • दुर्भावनापूर्ण दृष्टिकोण ($P^{(+)}_D$): मॉडल को दुर्भावनापूर्णता (0 = सुरक्षित, 9 = खतरनाक) की डिग्री का आकलन करने के लिए प्रेरित करता है।
   • निर्दोष दृष्टिकोण ($P^{(-)}_D$): मॉडल को निर्दोषता (0 = खतरनाक, 9 = सुरक्षित) की डिग्री का आकलन करने के लिए प्रेरित करता है।
   • स्कोरिंग: NTs के लॉजिट्स को नॉर्मलाइज़ (तापमान $\rho$ के साथ Softmax के माध्यम से) और औसत निकाला जाता है। अंतिम स्कोर एक भारित योग (weighted sum) है:
     $$s_{DPL} = \lambda s^{(+)} + (1-\lambda)(Q - s^{(-)} - 1)$$
     जहाँ $s^{(+)}$ दुर्भावनापूर्णता का स्कोर है, $s^{(-)}$ निर्दोषता का स्कोर है, और $\lambda$ दोनों दृष्टिकोणों को संतुलित करता है (डिफ़ॉल्ट 0.5)। यह दोहरा दृष्टिकोण प्रॉम्प्ट-विशिष्ट पूर्वाग्रह को कम करते हुए हानिकारकता की वास्तविक डिग्री को पकड़ता है।

3. मजबूती वृद्धि (Robustness Enhancements):

   • इन-कॉन्टेक्स्ट लर्निंग (ICL): प्रॉम्प्ट्स में क्वेरी-स्कोर पेयर्स के क्यूरेटेड उदाहरण शामिल होते हैं ताकि मॉडल के लॉजिट्स को दुर्भावनापूर्णता के मानवीय अंतर्ज्ञान के साथ संरेखित किया जा सके।
   • टेल ट्रिमिंग (Tail Trimming): लॉजिट डिस्ट्रीब्यूशन में कम-संभावित टोकन को हटा दिया जाता है (top-$k$ मास्क) ताकि शोर को हटाया जा सके जो स्कोर को अस्थिर कर सकता है।

4. निर्णय तंत्र (Decision Mechanism):
   अंतिम $s_{DPL}$ स्कोर की तुलना एक थ्रेशोल्ड $\tau_D$ से की जाती है। यदि स्कोर थ्रेशोल्ड से अधिक होता है, तो क्वेरी को ब्लॉक कर दिया जाता है (एक सुरक्षित फॉलबैक लौटाया जाता है); अन्यथा, इसे लक्षित LLM को अग्रेषित किया जाता है।

3. प्रमुख योगदान (Key Contributions)

• नया निरूपण (Novel Formulation): जेलब्रेक डिटेक्शन को टेक्स्ट-जनरेशन या क्लासिफिकेशन कार्य से बदलकर टोकन-लेवल लॉजिट्स का उपयोग करके एक संख्यात्मक ग्रेडिंग कार्य में बदल देता है, जिससे महंगे सुरक्षा क्लासिफायर प्रशिक्षण की आवश्यकता समाप्त हो जाती है।
• स्थिर संख्यात्मक स्थान (Stable Numerical Space): भाषाई अस्पष्टता, पैराफ्रेसिंग और टोकन सेगमेंटेशन हमलों (जैसे इमोजी हमले) के विरुद्ध मजबूत एक अपरिवर्तनीय मूल्यांकन स्थान बनाने के लिए संकुचित Numerical Tokens (NTs) पेश करता है।
• दोहरा-दृष्टिकोण स्कोरिंग (Dual-Perspective Scoring): DPL स्कोरिंग नियम प्रस्तावित करता है जो दुर्भावनापूर्णता और निर्दोषता दोनों को संयुक्त रूप से देखता है, जो उच्च डिटेक्शन सटीकता बनाए रखते हुए फॉल्स पॉजिटिव रेट (FPR) को काफी कम करता है।
• दक्षता (Efficiency): यह मौजूदा तरीकों की तुलना में बहुत कम कंप्यूटेशनल ओवरहेड के साथ अत्याधुनिक प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA-3-8B-Instruct, Qwen2.5-7B, Qwen3.5-9B, और Vicuna-13B पर विविध प्रकार के हमलों (Manual, GCG, AutoDAN, TAP, ActorAttack, आदि) के विरुद्ध SelfGrader का मूल्यांकन किया।

• अटैक सक्सेस रेट (ASR): SelfGrader ने बिना रक्षा वाले बेसलाइन की तुलना में LLaMA-3-8B पर 22.66% की कमी में ASR हासिल किया। इसने विविध हमलों के खिलाफ Llama Guard, Prompt Guard और SelfDefend जैसे बेसलाइन्स को लगातार पछाड़ा।
• फॉल्स पॉजिटिव रेट (FPR): SelfGrader ने बहुत कम FPR (जैसे LLaMA-3-8B पर 1.91%) बनाए रखा, जो GradientCuff और Token Highlighter जैसे तरीकों से काफी बेहतर है, जो निर्दोष कार्यों (गणित/कोडिंग) पर उच्च FPR से ग्रस्त थे।
• दक्षता (Efficiency):
  • विलंबता (Latency): SelfGrader जनरेशन-आधारित बेसलाइन्स (जैसे GuardReasoner) की तुलना में 26× तक तेज़ था।
  • मेमोरी: इसने पूर्ण प्रतिक्रिया जनरेशन या ग्रेडिएंट गणना की आवश्यकता वाले तरीकों की तुलना में मेमोरी ओवरहेड को 173× तक कम कर दिया।
• मजबूती (Robustness):
  • अनुकूलित हमले (Adaptive Attacks): अनुकूलित हमलों (TAP, LLM-Fuzzer, X-Teaming) के खिलाफ स्थिर प्रदर्शन किया।
  • टोकन सेगमेंटेशन: इमोजी हमलों (जो टोकनाइजेशन को बाधित करते हैं) के खिलाफ प्रतिरोध प्रदर्शित किया, जबकि जनरेशन-आधारित गार्ड इसमें विफल रहे।
  • निर्दोष उपयोगिता (Benign Utility): गणित (GSM8K) और कोडिंग (HumanEval) कार्यों पर प्रदर्शन में कोई गिरावट नहीं दिखाई, जो पुष्टि करता है कि यह सुरक्षित क्वेरी को अत्यधिक अस्वीकार (over-refuse) नहीं करता है।

5. महत्व (Significance)

SelfGrader LLM सुरक्षा रक्षा में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। "जनरेट-एंड-चेक" या "क्लासिफायर-ट्रेन" प्रतिमानों से हटकर, यह मॉडल के लॉजिट्स में पहले से मौजूद लेटेंट सेफ्टी सिग्नल्स का लाभ उठाता है।

• व्यावहारिकता: इसका कम विलंबता और मेमोरी फुटप्रिंट इसे उन प्रोडक्शन वातावरणों में वास्तविक समय में तैनाती के लिए व्यवहार्य बनाता है जहाँ संसाधन प्रतिबंध महत्वपूर्ण हैं।
• स्थिरता: इसका दोहरा-दृष्टिकोण डिज़ाइन "ओवर-रिफ्यूज़ल" की समस्या को संबोधित करता है जो सुरक्षा फिल्टरों में आम है, यह सुनिश्चित करता है कि उपयोगी क्षमताएं (जैसे कोडिंग या गणित) से समझौता न हो।
• सामान्यीकरण (Generalizability): यह विधि मॉडल-अग्नोस्टिक है (गार्डरेल के रूप में लक्षित LLM का उपयोग कर सकता है) और इसके लिए पुन: प्रशिक्षण की आवश्यकता नहीं है, जो इसे विविध LLM आर्किटेक्चर को सुरक्षित करने के लिए एक प्लग-एंड-प्ले समाधान बनाता है।

निष्कर्षतः, SelfGrader जेलब्रेक डिटेक्शन के लिए एक अत्यधिक कुशल, मजबूत और व्याख्या योग्य तंत्र प्रदान करता है, जो Large Language Models में सुरक्षा और उपयोगिता के बीच संतुलन को प्रभावी ढंग से बनाए रखता है।