तकनीकी सारांश: सुरक्षा एंकर (Safety Anchor): ज्यामितीय बाधाओं (Geometric Bottlenecks) के माध्यम से हानिकारक फाइन-ट्यूनिंग का बचाव

1. समस्या विवरण

मानव फीडबैक से सुदृढीकरण शिक्षण (RLHF) के माध्यम से संरेखित (aligned) बड़े भाषा मॉडल (LLMs) हानिकारक फाइन-ट्यूनिंग (Harmful Fine-tuning - HFT) के प्रति संवेदनशील बने रहते हैं। इस थ्रेट मॉडल में, हमलावर एक सुरक्षा-संरेखित मॉडल को दुर्भावनापूर्ण निर्देशों (जैसे, जेलब्रेक उदाहरण) वाले डेटासेट पर फाइन-ट्यून करते हैं, जिसमें सौहार्दपूर्ण (benign) कार्यों का मिश्रण होता है। हानिकारक डेटा का एक छोटा सा अनुपात भी सुरक्षा गार्डरेल्स को हटा सकता है, जिससे मॉडल की हानिकारक सामग्री उत्पन्न करने की क्षमता बहाल हो जाती है और साथ ही सौहार्दपूर्ण डाउनस्ट्रीम कार्यों पर प्रदर्शन भी बना रहता है।

मौजूदा रक्षा तंत्र फाइन-ट्यूनिंग के दौरान मॉडल की आंतरिक अवस्थाओं (internal states) को बाधित करने का प्रयास करते हैं, जो तीन श्रेणियों में आते हैं:

1. पैरामीटर-आधारित (Parameter-based): बेस मॉडल से भार विचलन (weight deviations) को प्रतिबंधित करना (जैसे, LISA, EWC)।
2. ग्रेडिएंट-आधारित (Gradient-based): विशिष्ट हानिकारक ग्रेडिएंट दिशाओं की पहचान करना और उन्हें रोकना (जैसे, Booster, Gradient Route)।
3. प्रतिनिधित्व-आधारित (Representation-based): आंतरिक छिपी हुई अवस्थाओं (hidden representations) के विचलन को नियंत्रित करना (जैसे, Vaccine, T-Vaccine)।

यह शोध पत्र तर्क देता है कि ये रक्षा तंत्र निरंतर HFT (persistent HFT) के तहत लगातार विफल होते हैं। लेखक इस विफलता का कारण उच्च-आयामी पैरामीटर स्पेस की अंतर्निहित अतिरेक (inherent redundancy) को बताते हैं। हमलावर उन अनुकूलन प्रक्षेप पथों (optimization trajectories) का लाभ उठा सकते हैं जो इन रक्षा तंत्रों द्वारा लगाए गए विशिष्ट प्रतिबंधों के लंबवत (orthogonal) होते हैं, जिससे वे सुरक्षा बाधाओं को सफलतापूर्वक बायपास कर देते हैं और लागू प्रतिबंधों का पालन भी करते हैं।

2. कार्यप्रणाली: सुरक्षा बाधा नियमितीकरण (Safety Bottleneck Regularization - SBR)

अनंत रेडंडेंट पैरामीटर स्पेस को नियंत्रित करने की सीमाओं को संबोधित करने के लिए, लेखक सुरक्षा बाधा नियमितीकरण (SBR) का प्रस्ताव करते हैं। यह विधि रक्षात्मक ध्यान को आंतरिक मापदंडों से हटाकर अनएम्बेडिंग लेयर (unembedding layer) पर केंद्रित करती है, जिसे लेखक एक "ज्यामितीय बाधा" (geometric bottleneck) के रूप में पहचानते हैं।

मुख्य अवधारणा

एक ट्रांसफार्मर-आधारित LLM में, एक टोकन $t$ उत्पन्न करने की संभावना अंतिम छिपी हुई अवस्था (final hidden state) $h_{final}$ के टोकन के एम्बेडिंग वेक्टर $w_t$ पर लीनियर प्रोजेक्शन द्वारा निर्धारित होती है:
$$\text{Score}(t) = h_{final}^\top w_t$$
लेखक तर्क देते हैं कि जबकि आंतरिक पैरामीटर अनंत रेडंडेंट प्रक्षेप पथों के साथ विकसित हो सकते हैं, एक विशिष्ट टोकन का उत्पादन करने के लिए अनिवार्य रूप से अंतिम छिपी हुई अवस्था को उस टोकन के एम्बेडिंग दिशा के साथ संरेखित होना आवश्यक है। इसलिए, अंतिम छिपी हुई अवस्था को नियंत्रित करना एक नियतात्मक बाधा (deterministic bottleneck) के रूप में कार्य करता है।

एल्गोरिदम

SBR दो चरणों में कार्य करता है:

1. ऑफलाइन एंकर अधिग्रहण (Offline Anchor Acquisition): फाइन-ट्यूनिंग से पहले, डिफेंडर एक उच्च-जोखिम वाले प्रश्नों ($X_{anchor}$, जैसे, "बम कैसे बनाएं?") के सेट के लिए अंतिम छिपी हुई अवस्थाओं ($h_{ref}$) को फ्रीज किए गए, सुरक्षा-संरेखित बेस मॉडल का उपयोग करके निकालता है। ये अवस्थाएं सुरक्षा एंकर (Safety Anchors) के रूप में कार्य करती हैं।
2. डायनेमिक रेगुलराइजेशन (Dynamic Regularization): उपयोगकर्ता के डेटासेट ($D_{train}$) पर फाइन-ट्यूनिंग के दौरान, मॉडल मानक क्रॉस-एन्ट्रॉपी लॉस ($L_{CE}$) को अनुकूलित करता है और साथ ही एंकर प्रश्नों के लिए वर्तमान मॉडल की अंतिम छिपी हुई अवस्थाओं और कैश किए गए एंकर्स के बीच मीन स्क्वेर्ड एरर (MSE) को कम करता है:
   $$L_{safe}(\theta) = \frac{1}{|X_{anchor}|} \sum_{x' \in X_{anchor}} \| h_\theta(x') - h_{ref}(x') \|_2^2$$
   कुल उद्देश्य (Total objective) है:
   $$L_{total}(\theta) = L_{CE}(D_{train}; \theta) + \lambda \cdot L_{safe}(\theta)$$

सैद्धांतिक औचित्य

यह शोध पत्र (परिशिष्ट E) में सैद्धांतिक विश्लेषण प्रदान करता है जो दर्शाता है कि:

• लंबवतता (Orthogonality): यादृच्छिक रूप से नमूना लिए गए हमले के उपस्थान (subspaces) उच्च आयामों में एक दूसरे के ज्यामितीय रूप से लंबवत होते हैं।
• व्यवहार्यता (Feasibility): एक यादृच्छिक रूप से चुना गया उपस्थान लगभग निश्चित रूप से हानिकारक उद्देश्य के लिए एक वैध डिसेंट दिशा (descent direction) रखता है, जिससे हमलावर विशिष्ट ग्रेडिएंट या पैरामीटर बाधाओं को बायपास कर सकते हैं।
• बाधा की आवश्यकता (Bottleneck Necessity): चूंकि किसी हानिकारक टोकन को उत्पन्न करने के लिए अंतिम छिपी हुई अवस्था को विशिष्ट एम्बेडिंग वेक्टर्स पर प्रोजेक्ट होना ही चाहिए, इसलिए इस अवस्था को एंकर करने से यह सुनिश्चित होता है कि आंतरिक पैरामीटर कैसे भी विकसित हों, हानिकारक क्षमताओं की बहाली नहीं होगी।

3. प्रमुख योगदान

1. रक्षा विफलता का अनुभवजन्य और सैद्धांतिक विश्लेषण: लेखक प्रदर्शित करते हैं कि मौजूदा रक्षा तंत्र निरंतर HFT के तहत विफल हो जाते हैं क्योंकि वे पैरामीटर रेडंडेंसी को ध्यान में रखने में विफल रहते हैं। वे दिखाते हैं कि हमलावर ऐसे लंबवत अनुकूलन पथ खोज सकते हैं जो रक्षा बाधाओं (जैसे, पैरामीटर दूरी सीमा) को संतुष्ट करते हुए भी हानिकारक क्षमताओं को सफलतापूर्वक बहाल करते हैं।
2. SBR का प्रस्ताव: एक अभिनव रक्षा तंत्र जो अनएम्बेडिंग लेयर को एक ज्यामितीय बाधा के रूप में उपयोग करते हुए, उच्च-जोखिम वाले प्रश्नों की अंतिम छिपी हुई अवस्थाओं को सुरक्षा-संरेखित मॉडल के साथ एंकर करता है।
3. उच्च दक्षता और मजबूती: यह शोध पत्र प्रदर्शित करता है कि SBR को मजबूत सुरक्षा बनाए रखने के लिए न्यूनतम संसाधनों (एकल सुरक्षा एंकर के रूप में कम से कम) की आवश्यकता होती है, जो सौहार्दपूर्ण कार्यों पर उपयोगिता बनाए रखते हुए अत्याधुनिक रक्षाओं से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

Llama3.1-8B, Qwen2.5-7B, और Gemma1.1-7B पर BeaverTails (हानिकारक) और SST-2/AGNEWS/GSM8K/AlpacaEval (सौहार्दपूर्ण) जैसे डेटासेट्स का उपयोग करके प्रयोग किए गए।

• सुरक्षा प्रदर्शन: निरंतर HFT (50 एपोच तक) के तहत, मौजूदा रक्षा तंत्र (LISA, Vaccine, Booster) विफल हो गए, जिसमें हानिकारक स्कोर (HS) बढ़कर 50-60 से ऊपर चला गया। इसके विपरीत, SBR ने औसत HS 5.68 बनाए रखा (SFT के 70.7 के बेसलाइन से काफी कम)।
• उपयोगिता संरक्षण (Utility Preservation): SBR ने अनियंत्रित फाइन-ट्यूनिंग (जैसे, SST-2 पर 94.15%) के समान कार्यात्मक सटीकता (FA) को संरक्षित किया, जबकि कुछ प्रतिस्पर्धी विधियों (जैसे, DeepAlign) को वर्गीकरण कार्यों पर प्रदर्शन में गिरावट का सामना करना पड़ा।

• पॉइजन रेश्यो के प्रति मजबूती: SBR तब भी प्रभावी रहा जब प्रशिक्षण सेट में हानिकारक डेटा का अनुपात बढ़कर 30% ($p=0.3$) हो गया, सभी मॉडल आर्किटेक्चर में HS < 10 बनाए रखा।

• बैकडोर रक्षा: SBR ने विशिष्ट सफिक्स (suffixes) द्वारा ट्रिगर किए गए गुप्त बैकडोर जेलब्रेक हमलों के खिलाफ बेहतर मजबूती प्रदर्शित की, अन्य रक्षाओं के >16 की तुलना में 4.7 का HS प्राप्त किया।
• एंकर दक्षता: विधि एंकर सामग्री के विशिष्ट होने के प्रति उदासीन है; एकल एंकर ($|X_{anchor}|=1$) HS को ~68 से ~6 तक कम करने के लिए पर्याप्त था।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि SBR सुरक्षा संरेखण में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है, जो विशाल, रेडंडेंट आंतरिक पैरामीटर स्पेस को बाधित करने के बजाय अनएम्बेडिंग लेयर के नियतात्मक ज्यामितीय बाधा (deterministic geometric bottleneck) पर बाधाएं लागू करता है।

• मौलिक तंत्र: लेखक तर्क देते हैं कि सुरक्षा पतन केवल पैरामीटर ड्रिफ्ट का परिणाम नहीं है बल्कि अंतिम आउटपुट लेयर पर एक ज्यामितीय गलत संरेखण (misalignment) है। इस लेयर को एंकर करके, SBR एक "स्थानीय स्थिरता क्षेत्र" (local stability field) बनाता है जो विशिष्ट उदाहरणों पर ओवरफिटिंग किए बिना दुर्भावनापूर्ण इरादों के अर्थ संबंधी पड़ोस (semantic neighborhood) को कवर करता है।
• अस्वीकार की लंबवतता (Orthogonality of Refusal): यह विधि इस निष्कर्ष पर निर्भर करती है कि इनकार व्यवहार (refusal behaviors) उन उपस्थानों द्वारा संचालित होते हैं जो सौहार्दपूर्ण तर्क के काफी हद तक लंबवत होते हैं। फलस्वरूप, सुरक्षा अवस्थाओं को एंकर करने से डाउनस्ट्रीम सौहार्द्य कार्यों के लिए आवश्यक मापदंडों में न्यूनतम हस्तक्षेप होता है।
• सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि SBR बेस मॉडल के प्रारंभिक सुरक्षा संरेखण पर निर्भर करता है और इसे गैर-संरेखित मॉडलों में सुरक्षा उत्पन्न करने के बजाय मौजूदा सीमाओं को एंकर करने के लिए डिज़ाइन किया गया है। इसके अलावा, यह उन इन्फरेंस-टाइम जेलब्रेक हमलों को सीधे कम नहीं करता है जिनमें पैरामीटर अपडेट शामिल नहीं होते हैं।

कार्य यह निष्कर्ष निकालता है कि ज्यामितीय बाधा पर बचाव करना फाइन-ट्यूनिंग के दौरान सुरक्षा संरेखण को हटाने को रोकने के लिए एक आवश्यक और प्रभावी रणनीति है, जो स्पष्ट और गुप्त दोनों प्रकार के हानिकारक फाइन-ट्यूनिंग हमलों के विरुद्ध एक मजबूत समाधान प्रदान करता है।