तकनीकी सारांश: CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation)

1. समस्या विवरण (Problem Statement)

RLHF (Reinforcement Learning from Human Feedback) और SFT (Supervised Fine-Tuning) जैसी सुरक्षा संरेखण (safety alignment) तकनीकों में प्रगति के बावजूद, लार्ज लैंग्वेज मॉडल्स (LLMs) अनुकूलनशील ब्लैक-बॉक्स हमलों (adaptive black-box attacks) के प्रति संवेदनशील बने हुए हैं। वर्तमान रक्षा तंत्र अक्सर स्थिर निर्णय सीमाओं (static decision boundaries) पर निर्भर करते हैं जो पर्सोना मॉड्यूलेशन (persona modulation), काल्पनिक फ्रेमिंग (fictional framing), और अनुनय-आधारित पुनर्गठन (persuasion-based reformulation) जैसे विकसित होते प्रतिकूल रणनीतियों के विरुद्ध भंगुर (brittle) होती हैं।

मौजूदा रेड-टीमिंग और रक्षा ढांचे दो प्राथमिक सीमाओं से ग्रस्त हैं:

1. संकीर्ण हमला वितरण (Narrow Attack Distributions): कई विधियाँ निश्चित हमले के टेम्पलेट्स या इमिटेशन लर्निंग पर निर्भर करती हैं, जिससे खोजे गए हमले के रणनीतियों की विविधता और परिणामी रक्षा की सामान्यीकरण क्षमता (generalizability) सीमित हो जाती है।
2. अनुकूलन अंतराल (The Adaptive Gap): समय $t-1$ पर अनुकूलित रक्षाएं अक्सर समय $t$ पर उभरने वाले नवीन हमला वितरणों के विरुद्ध विफल हो जाती हैं। इसके अलावा, पूर्व सह-विकासवादी (co-evolutionary) दृष्टिकोण अक्सर निश्चित लक्ष्यों पर सुपरवाइज्ड लर्निंग के माध्यम से डिफेंडर को कठोर (harden) करते हैं, जिससे वे उन गुप्त हमला प्रिमिटिव्स (latent attack primitives) को पकड़ने में विफल रहते हैं जो यांत्रिक रूप से भिन्न हमला परिवारों में स्थानांतरित हो सकते हैं।

मुख्य शोध प्रश्न यह है कि क्या वर्तमान LLM सुरक्षा संरेखण की भंगुरता प्रशिक्षण के दौरान उपयोग किए गए हमलों के संकीर्ण वितरण से उत्पन्न होती है, और क्या रिवॉर्ड-संचालित प्रतिकूल खोज (reward-driven adversarial discovery) के माध्यम से इस वितरण को व्यापक बनाकर 'अनुकूलन अंतराल' को भरा जा सकता है।

2. कार्यप्रणाली (Methodology)

CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation) एक क्लोज्ड-लूप रेड-ब्लू टीमिंग ढांचा है जहाँ एक ब्लैक-बॉक्स हमलावर और एक सुरक्षा-संरेखित डिफेंडर, पूर्व-निर्धारित जेलब्रेक टेम्पलेट्स के संपर्क में आए बिना सह-विकसित (co-evolve) होते हैं।

2.1 हमलावर: टेम्पलेट-मुक्त RL अन्वेषण (The Attacker: Template-Free RL Exploration)

हमलावर ($A_\theta$) को एक बेस मॉडल (NousResearch Hermes 4) पर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके प्रशिक्षित किया जाता है।

• टेम्पलेट-मुक्त इनिशियलाइजेशन: हमलावर को कोई जेलब्रेक टेम्पलेट, क्यूरेटेड उदाहरण, या स्टाइल स्कैफोल्डिंग नहीं दी जाती है। इसे केवल मूल इरादे (seed intent) को सुरक्षित रखते हुए प्रॉम्प्ट को फिर से लिखने का निर्देश दिया जाता है। सभी प्रतिकूल फ्रेमिंग रणनीतियाँ (जैसे, काल्पनिक परिदृश्य, पर्सोना असाइनमेंट) शुद्ध रूप से रिवॉर्ड-संचालित अन्वेषण के माध्यम से उभरनी चाहिए।
• गुणात्मक रिवॉर्ड डिकंपोजिशन (Multiplicative Reward Decomposition): हमलावर को रिवॉर्ड हैकिंग (जैसे, इरादा बदलना या अत्यधिक स्वच्छता/over-sanitization) को रोकने के लिए एक गुणात्मक रिवॉर्ड फंक्शन का उपयोग करके अनुकूलित किया जाता है:
  $$R = S_{bypass} \times I_{intent}$$
  • $S_{bypass}$ (बायपास स्कोर): एक कंपोजिट मेट्रिक जो बाइनरी रिफ्यूज़ल गेट, हानिकारक जानकारी की विशिष्टता और बायपास की विश्वसनीयता को जोड़ता है।
  • $I_{intent}$ (इरादा निष्ठा/Intent Fidelity): एक स्वतंत्र जज मॉडल से प्राप्त स्कोर जो यह सुनिश्चित करता है कि पुनर्गठित प्रॉम्प्ट मूल हानिकारक इरादे को बनाए रखता है।
    यह फॉर्मूलेशन एक संयुक्त थ्रेशोल्ड लागू करता है: एक ऐसा पुनर्गठन जो बायपास तो करता है लेकिन इरादा खो देता है (या इसके विपरीत), उसे लगभग शून्य रिवॉर्ड मिलता है।

2.2 डिफेंडर: दो-चरणीय सुदृढ़ीकरण पाइपलाइन (The Defender: Two-Stage Hardening Pipeline)

डिफेंडर ($D_\gamma$), जो Llama-3.1-8B-Instruct पर आधारित है, को ऑन-पॉलिसी RL की विचरण (variance) और निरंतरता संबंधी समस्याओं को संबोधित करने के लिए दो चरणों वाली प्रक्रिया के माध्यम से सुदृढ़ किया जाता है।

1. GRPO अन्वेषण: डिफेंडर को हानिकारक प्रॉम्प्ट्स (मूल इरादों और हमलावर के पुनर्गठित प्रॉम्प्ट्स दोनों) पर पहले GRPO के माध्यम से प्रशिक्षित किया जाता है। रिवॉर्ड फंक्शन रिफ्यूज़ल (अस्वीकार करने) को अनुपालन (compliance) पर प्राथमिकता देता है, जिसमें उच्च-गुणवत्ता वाले शैक्षिक रिफ्यूज़ल के लिए बोनस दिया जाता है। यह चरण रिफ्यूज़ल परिदृश्य का अन्वेषण करता है लेकिन छिटपुट उच्च-गुणवत्ता वाले रिफ्यूज़ल ही उत्पन्न करता है।
2. रिजेक्शन-सैंपलड SFT (Rejection-Sampled SFT): इन छिटपुट रिफ्यूज़ल्स को निरंतर व्यवहार में बदलने के लिए, सिस्टम हाई टेम्परेचर पर कई कैंडिडेट रिस्पॉन्स जनरेट करता है। उच्चतम-गुणवत्ता वाले पुष्ट रिफ्यूज़ल्स को एक प्रशिक्षण डेटासेट बनाने के लिए हार्वेस्ट (harvest) किया जाता है। इस डेटासेट को निम्नलिखित के साथ संतुलित किया जाता है:
   • लेयर 2 रिफ्यूज़ल्स: प्रतिकूल पुनर्गठित प्रॉम्प्ट्स के प्रति उच्च-गुणवत्ता वाले रिफ्यूज़ल्स।
   • लेयर 1 रिफ्यूज़ल्स: मूल हानिकारक इरादों के प्रति रिफ्यूज़ल्स।
   • बेनाइन (Benign) रिस्पॉन्स: ओवर-रिफ्यूज़ल (गलत रिफusal) को रोकने के लिए मानक डेटासेट्स (जैसे, Stanford Alpaca) से सहायक रिस्पॉन्स।
     डिफेंडर को इस क्यूरेटेड डेटासेट पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से फिर से सुदृढ़ किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. टेम्पलेट-मुक्त सह-विकासवादी ढांचा: एक नवीन सेटअप जहाँ दोनों हमलावर और डिफेंडर को बिना जेलब्रेक टेम्पलेट्स के संपर्क में आए GRPO के माध्यम से प्रशिक्षित किया जाता है। हमलावर विशुद्ध रूप से रिवॉर्ड-संचालित अन्वेषण के माध्यम से प्रतिकूल फ्रेमिंग की खोज करता है, जिससे वह विशिष्ट परिवारों की नकल करने के बजाय 'लेटेंट अटैक प्रिमिटिव्स' पर अभिसरण (convergence) करता है।
2. गुणात्मक रिवॉर्ड डिकंपोजिशन: एक रिवॉर्ड संरचना ($R = S_{bypass} \times I_{intent}$) जो सिंगल-ऑब्जेक्टिव एडवरसैरियल ट्रेनिंग में होने वाली 'इरादा-ड्रिफ्ट' और 'ओवर-सैनिटाइजेशन' की समस्याओं को समाप्त करती है।
3. मजबूत क्रॉस-अटैक जनरलाइजेशन: केवल CHASE हमलावर आउटपुट्स पर प्रशिक्षित डिफेंडर पांच होल्ड-आउट, यांत्रिक रूप से भिन्न हमला परिवारों (PAIR, TAP, AutoDAN, PAP, Translation) के खिलाफ मजबूती प्रदर्शित करता है, जिनका उपयोग प्रशिक्षण के दौरान नहीं किया गया था।
4. व्याख्या योग्य लागत विश्लेषण: ढांचा सुरक्षा सुधार प्राप्त करते हुए बेनाइन प्रॉम्प्ट्स पर 0% फाल्स रिफ्यूज़ल दर बनाए रखता है, जिसमें किसी भी प्रदर्शन गिरावट को विशेष रूप से काल्पनिक और रोलप्ले फ्रेमिंग पर केंद्रित किया गया है—वही वे वेक्टर हैं जिनका सबसे अधिक शोषण जेलब्रेक्स द्वारा किया जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

BeaverTails और JailbreakBench पर पांच होल्ड-आउट हमला परिवारों के विरुद्ध मूल्यांकन किया गया:

• सुरक्षा सुधार: CHASE डिफेंडर ने सभी हमलों और डेटासेट्स में औसत StrongREJECT स्कोर को 43.2% कम कर दिया।
• शून्य फाल्स रिफ्यूज़ल: मॉडल ने Stanford Alpaca से 100 होल्ड-आउट बेनाइन प्रॉम्प्ट्स पर 0% फाल्स रिफ्यूज़ल प्राप्त किया।
• JailbreakBench प्रदर्शन: डिफेंडर ने डायरेक्ट मिसयूज़, PAIR ट्रांसफर और GCG ट्रांसफर मूल्यांकन पर 0% अटैक सक्सेस रेट (ASR) प्राप्त किया, जो सबसे मजबूत प्रकाशित परिणामों से मेल खाता है।
• एब्लेशन स्टडी (Ablation Study): जब CHASE हमलावर को एक निश्चित हमला परिवार (PAIR आर्टिफैक्ट्स) से बदल दिया गया, तो परिणामी डिफेंडर ने काफी कम जनरलाइजेशन दिखाया (−43.2% के मुकाबले −28.6% की कमी), जो पुष्टि करता है कि RL-डिस्कवर्ड डिस्ट्रीब्यूशन ही मजबूती का प्राथमिक चालक है।
• गुणवत्ता बनाम मात्रा: CHASE हमलावर अन्य बेसलाइन्स (जैसे PAIR या PAP) की तुलना में कम बायपास उत्पन्न करता है, लेकिन काफी उच्च विश्वसनीयता और विशिष्टता के साथ, जो उच्च-फिडेलिटी हमलों को दर्शाता है जो प्रस्तावित ढांचे के बिना बचाव करना कठिन है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि CHASE यह दर्शाता है कि LLM सुरक्षा सुदृढ़ीकरण (hardening) का एक ऐसा मार्ग है जो पिछले एडवरसैरियल ट्रेनिंग द्वारा प्राप्त संकीर्ण वितरणों से परे सामान्यीकरण करता है। टेम्पलेट स्कैफोल्डिंग को हटाकर, यह ढांचा लेटेंट अटैक प्रिमिटिव्स (Latent Attack Primitives)—पुन: प्रयोज्य फ्रेमिंग रणनीतियाँ जो अलग-अलग हमला तरीकों (जैसे, AutoDAN, TAP, PAP) में बार-बार आती हैं—को रिकवर करता है।

लेखक तर्क देते हैं कि इस सुदृढ़ीकरण की "लागत" व्याख्या योग्य और लक्षित है: डिफेंडर काल्पनिक परिदृश्यों, रोलप्ले और पर्सोना मॉड्यूलेशन से जुड़े प्रॉम्प्ट्स को अस्वीकार करना सीख जाता है। चूंकि ये फ्रेमिंग वास्तविक दुनिया में हमलों का प्रमुख हिस्सा हैं (जैसे, 9-8% इन-द-वाइल्ड जेलब्रेक्स "दिखावा करने" वाली रणनीतियों का उपयोग करते हैं), इसलिए परिणामी ओवर-रिफ्यूज़ल एक संरचनात्मक ह्यूरिस्टिक है न कि एक रैंडम विफलता मोड। यह सुझाव देता है कि टेम्पलेट-मुक्त RL अन्वेषण, फिक्स्ड अटैक टेम्पलेट्स पर निर्भर विधियों की तुलना में विकसित होते जेलब्रेक्स और स्थिर LLMs के बीच के अनुकूलन अंतराल को अधिक प्रभावी ढंग से भर सकता है।

सीमाएँ (Limitations): लेखक नोट करते हैं कि MT-Bench लागत (−1.92 अंक) गैर-मामूली है और रीजनिंग-हैवी श्रेणियों में केंद्रित है। इसके अतिरिक्त, डिफेंडर उपयोगकर्ता के इरादे के बजाय फ्रेमिंग फीचर्स के आधार पर वर्गीकरण करता है, जिससे बेनाइन काल्पनिक प्रश्नों पर उच्च रिफ्यूज़ल होता है। मूल्यांकन मानव एनोटेशन के बजाय LLM जजों पर निर्भर है, और अन्य मॉडल आर्किटेक्चर में इसका स्थानांतरण अभी तक अनटेस्टेड है।