Dialectics of Alignment: Harnessing Unsafe Knowledge for Dynamic Safety Routing

तकनीकी सारांश: संरेखण का द्वंद्वात्मकता (Dialectics of Alignment): गतिशील सुरक्षा रूटिंग के लिए असुरक्षित ज्ञान का दोहन

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) संरेखण (alignment) का प्रचलित प्रतिमान "विलुप्ति-द्वारा-सुरक्षा" (safety-by-erasure) पर आधारित है, जहाँ असुरक्षित डेटा को हटा दिया जाता है या मॉडल को हानिकारक प्रॉम्प्ट्स को सख्ती से अस्वीकार करने के लिए प्रशिक्षित किया जाता है। जबकि यह तत्काल विषाक्तता को कम करता है, लेखक तर्क देते हैं कि यह मौलिक रूप से मॉडल के ज्ञान संबंधी दायरे को संकुचित करता है। यह दृष्टिकोण अक्सर "अति-सतर्क" प्रणालियों की ओर ले जाता है जो संवेदनशील लेकिन सौम्य प्रश्नों पर भी सूचनाहीन व्यापक इनकार (जैसे, "क्षमा करें, मैं आपकी सहायता नहीं कर सकता") जारी करते हैं। ऐसे इनकार उपयोगकर्ता अनुभव को खराब करते हैं और मनोवैज्ञानिक संकट जैसे महत्वपूर्ण संदर्भों में, अनजाने में उपयोगकर्ताओं को प्रतिकूल परिहार (adversarial circumvention) या अनमॉडरेटेड प्लेटफॉर्म की ओर धकेल सकते हैं।

इसके अलावा, डेटा उपलब्धता में एक महत्वपूर्ण विषमता है: उच्च-गुणवत्ता वाले, सुरक्षित-सूचनात्मक डेटासेट को क्यूरेट करना श्रम-गहन फ़िल्टरिंग और लेबलिंग के कारण अत्यधिक महंगा है, जबकि असुरक्षित डेटा (जो समृद्ध, डोमेन-विशिष्ट ज्ञान को एनकोड करता है) प्रचुर मात्रा में उपलब्ध और आसानी से प्राप्त होने योग्य है। मूल शोध प्रश्न यह है कि क्या मॉडल सुरक्षित और सूचनात्मक आउटपुट उत्पन्न करने के लिए इन प्रचुर असुरक्षित प्रतिक्रियाओं का लाभ उठा सकते हैं, बजाय इसके कि वे केवल व्यापक इनकार का सहारा लें।

2. कार्यप्रणाली: SafeMoE

यह शोध पत्र SafeMoE का प्रस्ताव करता है, जो एक मिश्रण-विशेषज्ञ (Mixture-of-Experts - MoE) ढांचा है जिसे "द्वंद्वात्मक दृष्टिकोण" (dialectical approach) को क्रियान्वित करने के लिए डिज़ाइन किया गया है। मुख्य अंतर्दृष्टि यह है कि वास्तविक सुरक्षा असुरक्षित ज्ञान को छिपाने में नहीं, बल्कि इसके नियंत्रित एकीकरण में निहित है। यह ढांचा दो अलग-अलग चरणों से बना है:

2.1 आर्किटेक्चर

• असुरक्षित विशेषज्ञ (ज्ञान की बॉटलिंग/Knowledge Bottling): मॉडल डोमेन-विशिष्ट लो-रैंक एडेप्टर्स (LoRA) की एक लाइब्रेरी का उपयोग करता है। प्रत्येक LoRA विशेषज्ञ को विशेष रूप से एक विशिष्ट डोमेन (जैसे, ड्रग्स, साइबर अपराध, मनोविज्ञान) के लिए असुरक्षित प्रतिक्रियाओं के एक बड़े संग्रह पर प्रशिक्षित किया जाता है। ये विशेषज्ञ हानिकारक पैटर्न को सीधे बेस मॉडल में आत्मसात किए बिना, हानिकारक डेटा में पाए जाने वाले समृद्ध, डोमेन-विशिष्ट प्रिमिटिव्स (primitives) और तथ्यात्मक गहराई को समाहित करते हैं।
• द राउटर (ज्ञान क्यूरेशन): एक हल्का गेटिंग नेटवर्क (gating network) एक न्यूनतम, अत्यधिक क्यूरेटेड सुरक्षित-सूचनात्मक प्रतिक्रियाओं (सीमित विषयों पर 800 नमूनों के रूप में कम से कम) पर प्रशिक्षित किया जाता है। यह राउटर एक क्यूरेटर के रूप में कार्य करता है, जो अनुमान (inference) के दौरान शीर्ष-$k$ असुरक्षित विशेषज्ञों को गतिशील रूप से चुनने और संयोजित करने का कार्य करता है।

2.2 प्रशिक्षण प्रक्रिया

प्रशिक्षण दो चरणों वाली प्रक्रिया का पालन करता है:

1. विशेषज्ञ प्रशिक्षण: असुरक्षित प्रतिक्रिया डेटा $\{D_i^{us}\}$ के एक बड़े सेट का उपयोग करके, मानक सुपरवाइज्ड फाइन-ट्यूनिंग उद्देश्यों का उपयोग करके प्रत्येक डोमेन के लिए अलग-अलग LoRA विशेषज्ञ प्रशिक्षित किए जाते हैं। बेस मॉडल के वेट्स (weights) फ्रीज रहते हैं।
2. राउटर प्रशिक्षण: सुरक्षित-सूचनात्मक प्रतिक्रियाओं $\{D_i^s\}$ के एक छोटे सेट का उपयोग करके (जहाँ $|D_i^s| \ll |D_j^{us}|$ है), राउटर मापदंडों को क्रॉस-एन्ट्रॉपी लॉस के माध्यम से ट्यून किया जाता है। राउटर फ्रीज किए गए असुरक्षित विशेषज्ञों के एक उपसमुच्चय को चुनने के लिए सीखता है ताकि अंतिम आउटपुट सुरक्षित और सूचनात्मक दोनों हो। इस चरण के दौरान, विशेषज्ञ फ्रीज होते हैं, और केवल राउटर ही ट्रेन करने योग्य होता है।

2.3 अनुमान (Inference)

अनुमान के दौरान, राउटर प्रति-टोकन आधार पर असुरक्षित विशेषज्ञों के सक्रियण (activation) को गतिशील रूप से संचालित करता है। विशिष्ट विशेषज्ञों का चयन करके, मॉडल उन प्रतिक्रियाओं का संश्लेषण करता है जो "असुरक्षित" प्रिमिटिव्स के गहरे डोमेन ज्ञान का लाभ उठाते हुए, राउटर के सुरक्षित उदाहरणों पर प्रशिक्षण द्वारा लागू सख्त सुरक्षा बाधाओं का पालन करते हैं।

3. प्रमुख योगदान

• प्रतिमान परिवर्तन: इस धारणा को चुनौती देता है कि असुरक्षित डेटा को त्याग दिया जाना चाहिए, यह प्रस्तावित करता है कि इसमें सूक्ष्म पीढ़ी (generation) के लिए महत्वपूर्ण ज्ञान होता है।
• SafeMoE ढांचा: हानिकारक कॉर्पस पर प्रशिक्षित LoRA-आधारित विशेषज्ञों के साथ एक नवीन आर्किटेक्चर पेश करता है, जिसमें न्यूनतम सुरक्षित डेटा का उपयोग करके एक राउटर को प्रशिक्षित किया जाता है।
• डेटा दक्षता: यह प्रदर्शित करता है कि उच्च-गुणवत्ता वाला सुरक्षा संरेखण, असुरक्षित डेटा का लाभ उठाकर, सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के लिए आवश्यक सुरक्षित डेटा के एक अंश के साथ भी प्राप्त किया जा सकता है।
• गतिशील रूटिंग: दिखाता है कि हानिकारक मैनिफोल्ड्स (manifolds) से पीढ़ी को मोड़ने के लिए गतिशील, प्रति-टोकन रूटिंग महत्वपूर्ण है, जबकि स्थिर या अंतिम-टोकन रूटिंग विफल रहती है।

4. प्रयोगात्मक परिणाम

लेखकों ने कई सुरक्षा बेंचमार्क (AdvBench, HarmBench, BeaverTails, HarmfulQA, PKU-SafeRLHF) पर SafeMoE का मूल्यांकन किया और मानक संरेखित मॉडलों (Mistral-7B, Qwen-3B), SFT वेरिएंट और अन्य सुरक्षा-ट्यूनिंग विधियों (SafeLoRA, SN-Tune) सहित बेसलाइनों के साथ तुलना की।

• सुरक्षा और सूचनात्मकता: SafeMoE वेरिएंट्स (विशेष रूप से 18 विशेषज्ञों के साथ SafeMoE-XL) ने सुरक्षित प्रतिक्रिया दरों में 20% से अधिक सापेक्ष सुधार (जैसे, बेसलाइन Mistral-7B के 17.4% के मुकाबले 90.8%) और काफी उच्च सूचनात्मकता स्कोर (8.1 बनाम 5.6) प्राप्त किया।
• डेटा दक्षता: राउटर ने मजबूत फ्यू-शॉट दक्षता प्रदर्शित की। सुरक्षा प्रदर्शन ने प्रति श्रेणी केवल 20 सुरक्षित नमूनों के साथ मजबूत बेसलाइनों के बराबर प्रदर्शन किया, और सूचनात्मकता 100 नमूनों के साथ चरम पर पहुँची, जो घटते प्रतिफल (diminishing returns) के साथ लॉग-लीनियर स्केलिंग दिखाती है।
• सामान्यीकरण (Generalization): मॉडल ने बिना डोमेन-विशिष्ट पर्यवेक्षण के अनदेखे डोमेन और व्यापक सुरक्षा कार्यों के लिए मजबूत ज़ीरो-शॉट सामान्यीकरण प्रदर्शित किया।
• प्रतिकूल मजबूती (Adversarial Robustness): SafeMoE-XL ने HarmBench पर लगभग इष्टतम 1% अटैक सक्सेस रेट (ASR) प्राप्त किया, जो बेसलाइन से 41% का पूर्ण सुधार है, और पुनरावृत्ति परिशोधन हमलों (iterative refinement attacks) के विरुद्ध मजबूती दिखाई।
• उपयोगिता (Utility): विधि ने मौलिक ज्ञान को बनाए रखा, जिससे TruthfulQA सटीकता (0.37 से 0.55) और AlpacaEval जीत दर में सुधार हुआ, हालांकि जटिल तर्क कार्यों जैसे MMLU और GSM8K पर कुछ समझौते देखे गए।
• अति-इनकार (Over-Refusal): मॉडल ने "कठिन" सुरक्षित प्रॉम्प्ट्स पर अति-इनकार को प्रभावी ढंग से कम किया, जबकि विषाक्त प्रॉम्प्ट्स पर उच्च सुरक्षा बनाए रखी, जिसने OrBench मूल्यांकन में बेसलाइनों को पछाड़ दिया।

5. महत्व और दावे

यह शोध पत्र LLM संरेखण में एक प्रतिमान परिवर्तन का दावा करता है: वास्तविक सुरक्षा के लिए असुरक्षित ज्ञान के विलोपन की नहीं, बल्कि इसके नियंत्रित एकीकरण की आवश्यकता है।

लेखक तर्क देते हैं कि असुरक्षित ज्ञान को विशिष्ट घटकों में अलग करके और मॉडल को निर्देशित करने के लिए न्यूनतम संरेखित उदाहरणों का उपयोग करके, हानिकारक कॉर्पस के सूचनात्मक मूल्य का लाभ उठाया जा सकता है। यह दृष्टिकोण "विलुप्ति-द्वारा-सुरक्षा" की सीमा को संबोधित करता है, जो ऐसे मॉडल प्रदान करता है जो न केवल सुरक्षित हैं (हानिकारक विवरणों के प्रदर्शन से बचते हैं) बल्कि काफी अधिक सूचनात्मक भी हैं, जो अनुपयोगी इनकार को रचनात्मक संवाद से बदलते हैं। यह कार्य सुझाव देता है कि प्रचुर असुरक्षित डेटा का लाभ उठाना मजबूत सुरक्षा और उपयोगिता प्राप्त करने के लिए एक व्यवहार्य और कुशल रणनीति है, विशेष रूप से उन डेटा-दुर्लभ व्यवस्थाओं में जहाँ उच्च-गुणवत्ता वाले सुरक्षित पर्यवेक्षण की कमी है।