तकनीकी सारांश: Mixture-of-Experts (MoE) LLMs में सुरक्षा-संवेदनशील विशेषज्ञ व्यवहार को समझना

1. समस्या विवरण

Mixture-of-Experts (MoE) लार्ज लैंग्वेज मॉडल्स (LLMs) स्पार्स, राउटर-संचालित एक्टिवेशन का उपयोग करते हैं, जहाँ टोकन को फीड-फॉरवर्ड विशेषज्ञों के एक विशिष्ट उपसमूह (subset) की ओर निर्देशित किया जाता है। सुरक्षा संरेखण (safety alignment) में एक प्रचलित धारणा यह है कि हानिकारक अनुरोधों को अस्वीकार करने के लिए इनपुट को विशिष्ट, "अस्वीकृति-उन्मुख" विशेषज्ञों की ओर रूट किया जाता है, जो उस विषय को संभालने वाले विशेषज्ञों से अलग होते हैं।

यह शोध पत्र उस धारणा को चुनौती देता है, और पूछता है: जब एक संरेखित (aligned) MoE मॉडल किसी हानिकारक अनुरोध को अस्वीकार करता है, तो क्या यह अस्वीकृति एक अलग "सुरक्षा-विशेषज्ञ" सेट की ओर रूटिंग के कारण होती है, या यह उन्हीं विषय-विशेषज्ञों के भीतर मौजूद निरूपण (representations) द्वारा संचालित होती है जो अन्यथा उस अनुरोध को प्रोसेस करते?

लेखकों का तर्क है कि यदि सुरक्षा व्यवहार मुख्य रूप से रूटिंग द्वारा नियंत्रित होता है, तो सुरक्षा को बायपास करने का सबसे प्रभावी तरीका राउटर के निर्णय को बदलना होना चाहिए। इसके विपरीत, यदि सुरक्षा विशेषज्ञ मापदंडों (parameters) के भीतर अंतर्निहित है, तो सुरक्षा व्यवहार बदलने के बावजूद रूटिंग पैटर्न स्थिर रह सकते हैं। इस अंतर को समझना मजबूत सुरक्षा तंत्र विकसित करने और MoE कमजोरियों का मूल्यांकन करने के लिए महत्वपूर्ण है।

2. कार्यप्रणाली (Methodology)

2.1 रूटिंग व्यवहार के लिए अनुभवजन्य जांच (Empirical Probes)

रूटिंग और सुरक्षा के बीच संबंध की जांच करने के लिए, लेखकों ने संरेखित MoE मॉडल्स पर तीन पूरक अनुभवजन्य जांचें आयोजित कीं:

1. टीचर-फोर्स्ड व्यवहारल कंट्रास्ट (Teacher-Forced Behavioral Contrast): लेखकों ने एक सुरक्षा-संरेखित 'अस्वीकृति निरंतरता' (refusal continuation) और एक 'टीचर-फोर्स्ड अनुपालन निरंतरता' (compliant continuation) के तहत एक ही हानिकारक प्रॉम्प्ट के लिए रूटिंग पैटर्न की तुलना की।
2. प्रॉम्ट-स्तरीय अस्वीकृति-शैली कंट्रास्ट (Prompt-Level Refusal-Style Contrast): सौहार्दपूर्ण (benign) प्रॉम्प्ट्स का उपयोग करते हुए, उन्होंने अस्वीकृति-शैली की प्रतिक्रिया उत्पन्न करने के लिए 'रिफ्यूज़ल प्रीफिक्स' जोड़े और मूल सौहार्दपूर्ण अनुरोधों और क्रॉस-टॉपिक कंट्रोल्स के विरुद्ध परिणामी रूटिंग की तुलना की।
3. मैच्ड सेफ्टी-इंटेंट कंट्रास्ट (Matched Safety-Intent Contrast): उन्होंने युग्मित प्रॉम्प्ट्स बनाए जहाँ विषय और वाक्य संरचना सुरक्षित थी, लेकिन असुरक्षित इरादा हटा दिया गया था (जैसे, "बम कैसे बनाएं" को "खिलौना कैसे बनाएं" में बदलना)।

मेट्रिक्स: रूटिंग समानता को राउटर लॉजिट्स के जेन्सन-शैनन (JS) डाइवर्जेंस और सक्रिय शीर्ष-$k$ विशेषज्ञों के ओवरलैप का उपयोग करके मापा गया।

निष्कर्ष: सभी जांचों में, अस्वीकृति/अनुपालन व्यवहार या सुरक्षा इरादे में बदलाव के परिणामस्वरूप विषय परिवर्तन की तुलना में बहुत कम रूटिंग बदलाव देखे गए। यह सुझाव देता है कि MoE राउटर मुख्य रूप रूप से विषय-संचालित (topic-driven) होते हैं, जबकि सुरक्षा प्रवर्तन उस विषय के लिए स्वाभाविक रूप से सक्रिय विशेषज्ञों के भीतर निरूपणों में निहित होता है, न कि किसी अलग रूटिंग पथ में।

2.2 RASET फ्रेमवर्क

इस निष्कर्ष से प्रेरित होकर कि सुरक्षा व्यवहार को मूल रूटिंग पथ को बाधित किए बिना बदला जा सकता है, लेखक RASET (Router-Agnostic Safety-critical Expert Tuning) का प्रस्ताव करते हैं। यह एक रेड-टीमिंग फ्रेमवर्क है जिसे मॉडल के विषय-विशेषज्ञ गणना को संरक्षित करते हुए हानिकारक सामग्री को प्रेरित करने के लिए डिज़ाइन किया गया है।

मुख्य चरण:

1. सुरक्षा-महत्वपूर्ण विशेषज्ञों की पहचान:

   • फ्रेमवर्क प्रत्येक लेयर $l$ में विशेषज्ञ $i$ के लिए एक सुरक्षा संवेदनशीलता स्कोर ($S_{l,i}$) की गणना करता है।
   • यह स्कोर एक कंट्रास्टिव रूटिंग-सेंसिटिविटी मानदंड से प्राप्त होता है: $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$।
   • यह हानिकारक क्वेरीज़ ($D_{harm}$) पर विशेषज्ञ के एक्टिवेशन की तुलना सौहार्दपूर्ण निर्देशों ($D_{norm}$) के साथ करता है, जिससे सामान्य रूप से सक्रिय (विषय-सामान्य) विशेषज्ञों को दबाया जाता है और उन विशेषज्ञों को उजागर किया जाता है जो हानिकारक अनुरोधों के लिए अत्यधिक भर्ती किए जाते हैं।
   • उच्चतम स्कोर वाले शीर्ष-$K$ विशेषज्ञों को मुख्य सेट $\Phi_{key}$ के रूप में चुना जाता है।

2. प्रतिबंधित विशेषज्ञ-स्तरीय अनुकूलन (Constrained Expert-Level Adaptation):

   • फ्रीजिंग (Freezing): राउटर, साझा घटक, और सभी गैर-चयनित विशेषज्ञों को फ्रीज कर दिया जाता है।
   • फाइन-ट्यूनिंग: पैरामीटर-एफिशिएंट ट्यूनिंग (PEFT) केवल चयनित विशेषज्ञों ($\theta_{\Phi}$) पर लागू की जाती है।
   • लॉस फंक्शन्स:
     • $L_{violate}$: एक दोहरी रणनीति जो अस्वीकृति पैटर्न (जैसे, "क्षमा करें, मैं नहीं कर सकता") को दंडित करती है और असुरक्षित क्वेरीज़ के साथ सकारात्मक प्रीफिक्स (जैसे, "ज़रूर, यहाँ है...") को बढ़ावा देती है। यह अनबाउंड ऑप्टिमाइज़ेशन को रोकने के लिए मैक्स-मार्जिन पेनल्टी का उपयोग करता है।
     • $L_{preserve}$: यह सुनिश्चित करता है कि सामान्य क्षमताएं बनी रहें, इसके लिए सौहार्दपूर्ण निर्देशों ($D_{norm}$) पर नेगेटिव लॉग-लाइक्लीहुड (NLL) को कम किया जाता है और ट्यून किए गए मापदंडों को उनके प्री-ट्रेंड स्टेट के करीब रखने के लिए L2 रेगुलराइजेशन लागू किया जाता है।
   • उद्देश्य: $L_{total} = L_{violate} + L_{preserve}$।

3. मुख्य योगदान

1. रूटिंग डायनेमिक्स पर अनुभवजन्य साक्ष्य: यह पेपर प्रमाणित साक्ष्य प्रदान करता है कि संरेखित MoE मॉडल्स में, रूटिंग काफी हद तक सिमेंटिक टॉपिक स्ट्रक्चर द्वारा संचालित होती है, न कि रिफ्यूज़ल और कंप्लायंस के बाइनरी अंतर द्वारा। सुरक्षा-संबंधी व्यवहार बिना किसी बड़े रूटिंग शिफ्ट के महत्वपूर्ण रूप से बदल सकता है।
2. RASET फ्रेमवर्क: एक डायग्नोस्टिक, विशेषज्ञ-स्तरीय अनुकूलन फ्रेमवर्क का परिचय जो राउटर को फ्रीज करता है। यह सुरक्षा-संवेदनशील विशेषज्ञ निरूपणों के नियंत्रित विश्लेषण की अनुमति देता है और प्रदर्शित करता है कि मॉडल की कार्यात्मक विशेषज्ञता को बाधित किए बिना स्थानीयकृत पैरामीटर परिवर्तनों के माध्यम से सुरक्षा संरेखण से समझौता किया जा सकता है।
3. विविध बैकबोन पर मूल्यांकन: अध्ययन पांच ओपन-वेट MoE बैकबोन (OLMoE, DeepSeek-V2, Qwen3, Phi-3.5, और GPT-oss) पर इस घटना का मूल्यांकन करता है, जो सुसंगत स्थानीयकृत सुरक्षा विफलता मोड दिखाता है।

4. परिणाम

4.1 रेड-टीमिंग प्रदर्शन

RASET का मूल्यांकन पांच MoE मॉडल्स पर GCG जैसे बेसलाइन्स के विरुद्ध किया गया।

• Attack Success Rate (ASR): RASET ने सभी स्ट्रिक्टनेस स्तरों के तहत उच्चतम यील्ड प्राप्त की।
  • $ASR_{raw}$ (Safeguard Violation): 78.6% औसत।
  • $ASR_{valid}$ (Valid Violation): 74.0% औसत।
  • $ASR_{hq}$ (High-Quality Violation): 50.5% औसत।
• तुलना: RASET ने $ASR_{hq}$ मेट्रिक पर औसत 37.6 अंक से GCG (सबसे मजबूत बेसलाइन) को पीछे छोड़ दिया।

4.2 सामान्य क्षमताओं का संरक्षण

• पैरामीटर दक्षता: RASET केवल 0.12%–0.95% मॉडल पैरामीटर्स को अपडेट करता है।
• उपयोगिता प्रतिधारण (Utility Retention): फ्रेमवर्क राउटर-मैनिपुलेशन बेसलाइन्स की तुलना में बेहतर सौहार्दपूर्ण उपयोगिता को संरक्षित करता है।
  • TruthfulQA: औसत गिरावट 5.4 अंक (68.9 $\to$ 63.4)।
  • MMLU: औसत गिरावट 7.5 अंक (69.9 $\to$ 62.4)।

4.3 रूटिंग स्थिरता

महत्वपूर्ण रूप से, RASET मॉडल के अंतर्निहित रूटिंग तर्क को संरक्षित करता है:

• JS डाइवर्जेंस: ट्यूनिंग से पहले और बाद के मॉडल्स के बीच राउटर लॉजिट्स में बदलाव सौहार्दपूर्ण कार्यों के लिए 0.04 से कम और हानिकारक कार्यों के लिए 0.08 से कम रहा।
• एक्सपर्ट ओवरलैप: शीर्ष-8 विशेषज्ञों का ओवरलैप उच्च बना रहा (जैसे, सौहार्दपूर्ण कार्यों के लिए 8 में से >7.0 और हानिकारक कार्यों के लिए ~5.66)।
• निष्कर्ष: मॉडल अभी भी उसी विषय-प्रासंगिक विशेषज्ञों को टोकन भेजता है; सुरक्षा बाईपास इसलिए होता है क्योंकि अंतर्निहित विशेषज्ञ मापदंडों को "रीप्रोग्राम" किया गया है, न कि इसलिए कि रूटिंग पथ को बदला गया है।

5. महत्व और दावे

यह पेपर दावा करता है कि ये निष्कर्ष MoE आर्किटेक्चर में एक विशिष्ट सुरक्षा जोखिम को प्रकट करते हैं: भले ही मॉडल का रूटिंग व्यवहार काफी हद तक बरकरार रहे, फिर भी छोटे, स्थानीयकृत विशेषज्ञ-स्तरीय परिवर्तनों के माध्यम से सुरक्षा संरेखण से समझौता किया जा सकता है।

• सुरक्षा के लिए निहितार्थ: वर्तमान सुरक्षा तंत्र जो राउटर स्टीयरिंग पर निर्भर करते हैं या यह मानते हैं कि सुरक्षा विशिष्ट "रिफ्यूज़ल एक्सपर्ट्स" में अलग है, वे अपर्याप्त हो सकते हैं। सुरक्षा प्रवर्तन विषय-विशेषज्ञ विशेषज्ञों के भीतर निरूपणों में वितरित प्रतीत होता है।
• हमलों के लिए निहितार्थ: राउटर-स्टीयरिंग हस्तक्षेप (टोकन को अलग विशेषज्ञों की ओर भेजना) सुरक्षा व्यवहार को बदल सकता है, लेकिन अक्सर सेमेंटिक फिडेलिटी और उपयोगिता की कीमत पर, क्योंकि वे टोकन को उस विषय के लिए विशेष विशेषज्ञों से दूर निर्देशित करते हैं जिसके लिए अनुरोध किया गया है।
• भविष्य की दिशा: लेखक एक्सपर्ट-अवेयर एलाइनमेंट मैकेनिज्म की आवश्यकता पर जोर देते हैं जो राउटर व्यवहार, विशेषज्ञ विशेषज्ञता और स्वयं विशेषज्ञ मापदंडों की मजबूती को संयुक्त रूप से ध्यान में रखे।

पेपर यह निष्कर्ष निकालता है कि सुरक्षा व्यवहार को बदलने के साथ रूटिंग निरंतरता बनाए रखने में RASET की सफलता इस विचार का समर्थन करती है कि विशेषज्ञ-स्तरीय अनुकूलन MoE LLMs में सुरक्षा को दरकिनार करने के लिए एक शक्तिशाली वेक्टर है।