तकनीकी सारांश: HARC – मजबूत सुरक्षा संरेखण (Safety Alignment) के लिए हानिकारकता और इनकार दिशाओं का युग्मन (Coupling)

1. समस्या विवरण

संरेखण (Alignment) प्रयासों के बावजूद, लार्ज लैंग्वेज मॉडल्स (LLMs) प्रतिकूल जेलब्रेक हमलों (जैसे, एडवर्सरियल सफिक्स, पर्सुएशन-आधारित रीराइट्स, ऑब्सफ्यूकेशन) के प्रति संवेदनशील बने रहते हैं। जबकि पूर्ववर्ती व्याख्यात्मकता (Interpretability) कार्यों ने यह स्थापित किया कि संरेखित LLMs प्रॉम्प्ट-साइड टोकन स्थितियों में 'हानकारिता' ($v_{harm}$) और 'इनकार' ($v_{ref}$) को रेसिडुअल स्ट्रीम में अलग-अलग रैखिक दिशाओं के रूप में एनकोड करते हैं, लेकिन विशिष्ट जेलब्रेक क्यों सफल होते हैं, इसके पीछे के आंतरिक तंत्र अभी भी अस्पष्ट हैं। इसके अलावा, मौजूदा सुरक्षा हस्तक्षेप अक्सर मजबूती (Robustness), सामान्य क्षमता और ओवर-रिफ्यूजल (अनपेक्षित रूप से सौहार्दपूर्ण अनुरोधों को अस्वीकार करना) के बीच एक समझौता (Trade-off) उत्पन्न करते हैं। संबोधित किया गया मुख्य मुद्दा मॉडल द्वारा हानिकारक सामग्री की पहचान करने और इनकार करने की उसकी प्रतिबद्धता के बीच का अलगाव है, जिसका हमलावर सुरक्षा फिल्टरों को बायपास करने के लिए फायदा उठाते हैं।

2. कार्यप्रणाली (Methodology)

2.1 आंतरिक प्रतिनिधित्व विश्लेषण (Internal Representation Analysis)

लेखक प्रॉम्प्ट-साइड विश्लेषण को रिस्पॉन्स-टोकन स्थितियों (जेनरेशन के दौरान) तक विस्तारित करते हैं। वे चार विशिष्ट दिशात्मक वेक्टर निकालते हैं:

1. प्रॉम्प्ट-साइड हानिकारकता ($v_{harm}$): अंतिम निर्देश टोकन ($t_{inst}$) पर निकाला गया।
2. प्रॉम्प्ट-साइड इनकार ($v_{ref}$): पोस्ट-इंस्ट्रक्शन टोकन ($t_{post-inst}$) पर निकाला गया।
3. रिस्पॉन्स-साइड हानिकारकता ($v^{resp}_{harm}$): पहले 32 रिस्पॉन्स टोकन के मीन-पूल वाले रेसिडुअल्स से निकाला गया।
4. रिस्पॉन्स-साइड इनकार ($v^{resp}_{ref}$): इसी तरह रिस्पॉन्स टोकन से निकाला गया।

प्रतिनिधित्व पर मुख्य निष्कर्ष:

• डिकपलिंग (Decoupling): मॉडल के अंतिम लेयर्स में, $v_{harm}$ और $v_{ref}$ लगभग ऑर्थोगोनल (Orthogonal) हो जाते हैं। यह मॉडल को एक अवधारणा को सक्रिय किए बिना दूसरी को सक्रिय करने की अनुमति देता है।
• हमला तंत्र (Attack Mechanisms): सफल जेलब्रेक प्रॉम्प्ट एनकोडिंग के दौरान विशिष्ट दिशाओं को दबाकर इस डिकपलिंग का फायदा उठाते हैं:
  • DAN (पर्सोना फ्रेमिंग): $v_{ref}$ को दबाता है जबकि $v_{harm}$ को सक्रिय रखता है।
  • PAIR (सिमेंटिक रीराइटिंग): $v_{harm}$ को दबाता है (इसे नेगेटिव बनाता है) जबकि $v_{ref}$ को सक्रिय रखता है।
  • CodeAttack (ऑब्सफ्यूकेशन): दोनों दिशाओं को दबा देता है, जिससे यह सौहार्दपूर्ण (Benign) प्रॉम्प्ट्स के साथ क्लस्टर हो जाता है।
• पहचान की निरंतरता (Persistence of Recognition): महत्वपूर्ण रूप से, भले ही प्रॉम्प्ट-साइड इनकार विफल हो जाए (जैसे, DAN या PAIR हमलों में), मॉडल जेनरेशन के दौरान अक्सर हानिकारक सामग्री को फिर से पहचान लेता है ($v^{resp}_{harm}$ सक्रिय होता है)। हालांकि, यह पहचान जेनरेशन प्रक्षेपवक्र (Trajectory) को बदलने के लिए बहुत देर से आती है, क्योंकि प्रॉम्प्ट-साइड इनकार सिग्नल पहले ही दबा दिया गया था।

2.2 HARC: हानिकारकता-और-इनकार का युग्मन (Harmfulness-And-Refusal Coupling)

इस तथ्य से प्रेरित होकर कि इनकार को दबाने के बावजूद हानिकारकता की पहचान बनी रहती है, लेखक लो-रैंक एडेप्टेशन (LoRA) का उपयोग करने वाली एक फाइन-ट्यूनिंग विधि HARC का प्रस्ताव करते हैं।

मुख्य तंत्र:
HARC दोनों प्रॉम्प्ट और रिस्पॉन्स स्थितियों पर हानिकारकता और इनकार की दिशाओं को युग्मित (Couple) करता है। इसका लक्ष्य यह सुनिश्चित करना है कि किसी भी दिशा में सक्रियण (Activation) विश्वसनीय रूप से इनकार को ट्रिगर करे, जिससे हमलावरों के लिए एक दिशा को दबाते हुए दूसरी को सक्रिय रखने की क्षमता को रोका जा सके।

लॉस फंक्शन (Loss Function):
कुल लॉस ($L_{total}$) चार पदों को जोड़ता है:

1. प्रॉम्प्ट-साइड कपलिंग ($L^{prompt}_{couple}$): प्रॉम्प्ट बाउंड्री पर $v_{harm}$ और $v_{ref}$ के कोसाइन प्रोजेक्शन पर एक एडिटिव मार्जिन हिंज लॉस (Additive margin hinge loss)। यह सुनिश्चित करता है कि हानिकारक इनपुट पर, दोनों दिशाओं को सक्रिय होना चाहिए (प्रोजेक्शन $\ge m$)।
2. रिस्पॉन्स-साइड कपलिंग ($L^{response}_{couple}$): पहले 32 रिस्पॉन्स टोकन के मीन-पूल किए गए रेसिडुअल्स पर लागू एक समान हिंज लॉस, जो $v^{resp}_{harm}$ और $v^{resp}_{ref}$ को युग्मित करता है।
3. KL डाइवर्जेंस ($L_{kl}$): सौहार्दपूर्ण इनपुट पर बेस डिस्ट्रीब्यूशन को बनाए रखने और सामान्य क्षमता को संरक्षित करने तथा ओवर-रिफ्यूजल को रोकने के लिए LoRA-ट्यून्ड मॉडल को बेस डिस्ट्रीब्यूशन से बांधता है।
4. क्रॉस-एंट्रॉपी ($L_{ce}$): हानिकारक इनपुट पर स्पष्ट इनकार टेक्स्ट (Explicit refusal text) को सुपरवाइज करता है।

ट्रेनिंग डायनेमिक्स:

• लेयर चयन: यह विधि उन लेयर्स को लक्षित करती है जहाँ चार-दिशा संरचना सबसे स्पष्ट होती है (प्रॉम्प्ट-साइड और रिस्पॉन्स-साइड दिशाएं डिकपल्ड हैं, लेकिन समान-कॉन्सेप्ट क्रॉस-पोजीशन जोड़े संरेखित हैं)। एक स्कोरिंग फंक्शन टॉप-$K$ लेयर्स का चयन करता है, जो पहले 1,000 स्टेप्स के दौरान $K$ को 2 से 4 तक बढ़ाता है।
• दिशा पुनर्गणना (Direction Recomputation): हर 200 स्टेप्स में, वर्तमान LoRA-एडेप्टेड मॉडल से दिशात्मक वेक्टर फिर से निकाले जाते हैं और विकसित होते रेसिडुअल ज्योमेट्री के अनुकूल होने के लिए एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से मिश्रित किए जाते हैं।

3. प्रमुख योगदान

1. रिस्पॉन्स-साइड प्रतिनिधित्व की खोज: पेपर यह प्रदर्शित करता है कि हानिकारकता और इनकार केवल प्रॉम्प्ट पोजीशन पर ही नहीं, बल्कि रिस्पॉन्स-टोकन पोजीशन पर भी अलग-अलग अवधारणाएं हैं। यह दिखाता है कि मॉडल जेनरेशन के दौरान हानिकारक सामग्री को पहचान लेता है भले ही प्रॉम्प्ट-साइड इनकार को बायपास कर दिया गया हो, जो एक "लेट-फायरिंग" (Late-firing) सुरक्षा सिग्नल को प्रकट करता है।
2. जेलब्रेक का यांत्रिक विश्लेषण: लेखक लक्षणित करते हैं कि कैसे विभिन्न हमले (DAN, PAIR, CodeAttack) प्रॉम्प्ट एनकोडिंग के दौरान विशिष्ट दिशाओं को दबाकर हानिकारकता-इनकार प्लेन में अलग-अलग क्षेत्रों को घेरते हैं।
3. HARC विधि: एक प्रतिनिधित्व-स्तर की फाइन-ट्यूनिंग विधि जो प्रॉम्प्ट और रिस्पॉन्स दोनों स्थितियों पर हानिकारकता और इनकार की दिशाओं को युग्मित करती है। व्यापक सुरक्षा हस्तक्षेपों के विपरीत, HARC अपना हस्तक्षेप केवल एक दो-आयामी सबस्पेस (Two-dimensional subspace) तक सीमित रखता है, जिससे रेसिडुअल स्ट्रीम का बाकी हिस्सा बरकरार रहता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन LLAMA-3.1-8B/70B और QWEN-2.5-7B/72B पर छह बेसलाइन्स (SFT, DPO, Circuit Breakers, RepBend, CAST, और Base) के विरुद्ध किया गया।

• मजबूती (Robustness): HARC, अटैक सक्सेस रेट (ASR) को काफी कम कर देता है।
  • LLAMA-3.1-8B पर, HARC ने बेस मॉडल की तुलना में ASR को 4.67× कम किया।
  • QWEN-2.5-7B पर, इसने ASR को 4.75× कम किया।
  • इसने सभी बेसलाइन्स में सबसे मजबूत मजबूती हासिल की, जिसमें "Ours+DPO" कॉन्फ़िगरेशन शामिल है जिसने 8B मॉडल के लिए PAIR, PAP और DeepInception पर लगभग शून्य ASR प्राप्त किया।
• क्षमता और ओवर-रिफ्यूजल:
  • HARC सामान्य क्षमता (MMLU, GSM8K, HumanEval, IFEval, MT-Bench) को बेस मॉडल से लगभग अपरिवर्तित रखता है।
  • यह ओवर-रिफ्यूजल (सौहार्दपूर्ण प्रॉम्प्ट्स को अस्वीकार करना) को न्यूनतम करता है, बेस मॉडल के बराबर या उससे कम दर प्राप्त करता है (जैसे, Llama-8B के लिए XSTest पर 0.035), जो RepBend जैसे तरीकों से बेहतर प्रदर्शन करता है जो भारी ओवर-रिफ्यूजल का कारण बनते हैं।
• स्केलेबिलिटी: विधि बिना आर्किटेक्चर-विशिष्ट ट्यूनिंग के बड़े मॉडल्स (70B/72B) में स्थानांतरित होती है, मजबूती और क्षमता बनाए रखती है।
• सीमाएं: CodeAttack सबसे लचीला हमला बना हुआ है, क्योंकि यह प्रॉम्प्ट बाउंड्री पर दोनों दिशाओं को दबा देता है, जिससे कपलिंग लॉस के लिए प्रवर्धित (Amplify) करने हेतु बहुत कम सिग्नल मिलता है। इसके अतिरिक्त, यदि हमलावर के पास वेट एक्सेस (Weight access) है, तो HARC एडवर्सरियल फाइन-ट्यूनिंग के प्रति संवेदनशील है, जो ~160 हानिकारक उदाहरणों के भीतर ढह सकता है।

5. महत्व और दावे

पेपर दावा करता है कि HARC वर्तमान सुरक्षा विधियों में सबसे मजबूत मजबूती-क्षमता-उपयोगिता (Robustness-capability-usability) ट्रेड-ऑफ प्राप्त करता है। हानिकारकता और इनकार की दिशाओं को प्रॉम्प्ट और रिस्पेंस दोनों स्थितियों पर युग्मित करके, विधि उस विशिष्ट भेद्यता को संबोधित करती है जहाँ जेलब्रेक जेनरेशन शुरू होने से पहले इनकार सिग्नल को दबा देते हैं।

लेखक इस बात पर जोर देते हैं कि चार-दिशा संरचना (प्रॉम्प्ट/रिस्पॉन्स पर harm/refusal) एक आर्किटेक्चरल आर्टिफैक्ट नहीं बल्कि संरेखित LLMs का एक गुण है, क्योंकि यह पांच अलग-अलग मॉडल परिवारों में दोहराई जाती है। वे तर्क देते हैं कि उनका हस्तक्षेप व्यापक फाइन-ट्यूनिंग विधियों के विपरीत "अलाइनमेंट टैक्स" (क्षमता में गिरावट) और ओवर-रफ्यूजल से बचता है क्योंकि यह सख्ती से एक लक्षित, निम्न-आयामी (Low-dimensional) सबस्पेस के भीतर काम करता है।

पेपर निष्कर्ष निकालता है कि जबकि HARC स्टैटिक जेलब्रेक के खिलाफ मजबूती में काफी सुधार करता है, रिस्पॉन्स-साइड अवलोकन बताता है कि अनुपालन जेनरेशन के दौरान भी हानिकारक पहचान बनी रहती है, जो सुरक्षा संरेखण के लिए एक नया सिग्नल प्रदान करता है। हालांकि, लेखक विनम्रतापूर्वक नोट करते हैं कि विधि यह मानती है कि बेस मॉडल में पहले से ही एक उपयोगी हानिकारकता सिग्नल मौजूद है और यह विशेष रूप से युग्मित दिशाओं को लक्षित करने के लिए डिज़ाइन किए गए अनुकूलित (Adaptive) हमलों के विरुद्ध मूल्यांकन नहीं करती है।