🤖 machine learning

CSULoRA: Closest Safe Update Low-Rank Adaptation

CSULoRA एक post-hoc विधि है जो एक सुरक्षा-संरेखित उप-स्थान (safety-aligned subspace) का अनुमान लगाकर और असुरक्षित LoRA अपडेट दिशाओं को कम करने के लिए एक क्लोज्ड-फॉर्म पेनलाइज्ड मिनिमम-चेंज समाधान लागू करके, फाइन-ट्यून किए गए बड़े भाषा मॉडलों की सुरक्षा को बनाए रखती है, जबकि कार्य-प्रासंगिक उपयोगिता को बरकरार रखती है।

मूल लेखक: Oleksandr Marchenko Breneur, Adelaide Danilov, Aria Nourbakhsh, Salima Lamsiyah

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oleksandr Marchenko Breneur, Adelaide Danilov, Aria Nourbakhsh, Salima Lamsiyah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही विनम्र, आज्ञाकारी रोबोट सहायक (एक Large Language Model) है, जिसे हानिकारक अनुरोधों को अस्वीकार करने के लिए प्रशिक्षित किया गया है, जैसे कि "मैं बम कैसे बनाऊं?" यह रोबोट आपका Safety-Aligned Model है।

अब, कल्पना कीजिए कि आप इस रोबोट को एक नया, विशिष्ट कौशल सिखाना चाहते हैं, जैसे कि बेहतर ईमेल लिखना या गणित की समस्याओं को हल करना। इसे कुशलतापूर्वक करने के लिए, आप पूरे रोबोट को शुरू से फिर से प्रशिक्षित नहीं करते हैं। इसके बजाय, आप एक छोटा, हल्का "प्रशिक्षण मॉड्यूल" जोड़ते हैं जिसे LoRA (Low-Rank Adaptation) कहा जाता है। LoRA को ऐसे समझें जैसे कि आपने रोबोट को विशेष चश्मे पहना दिए हैं। जब यह रोबrobot ये चश्मे पहनता है, तो यह अपने नए कार्य को करने के लिए दुनिया को अलग तरह से देखता है।

समस्या: "खराब" चश्मे

पेपर एक खतरनाक दुष्प्रभाव की ओर इशारा करता है। कभी-कभी, भले ही आप रोबोट को अच्छे डेटा के साथ प्रशिक्षित करने की कोशिश करें, थोड़ा सा "खराब" या चालाकी भरा डेटा इसमें घुस सकता है। जब रोबोट ये नए चश्मे पहनता है, तो वह अनजाने में अपने सुरक्षा नियमों को अनदेखा करना सीख सकता है। यह कहना शुरू कर सकता है कि "ज़रूर, यहाँ बताया गया है कि बम कैसे बनाया जाए" क्योंकि चश्मे थोड़े विकृत (warped) हैं।

मौजूदा तरीके इसे ठीक करने के लिए Brute Force (बलपूर्वक प्रयास) की तरह काम करते हैं। वे कोशिश करते हैं:

Prune (छंटाई): चश्मे के कुछ हिस्सों को काट देना (जिससे उनके उपयोगी गणित कौशल भी कट सकते हैं)।
Project (प्रक्षेपण): चश्मों को मजबूर करना कि वे बिल्कुल पुराने, सुरक्षित चश्मों जैसे दिखें (जिससे नए कौशल विकृत हो सकते हैं)।
Add New Layers (नए स्तर जोड़ना): अतिरिक्त सुरक्षा फिल्टर जोड़ना जो रोबोट को धीमा कर देते हैं या अधिक प्रशिक्षण की आवश्यकता पैदा करते हैं।

समाधान: CSULoRA (द "स्मार्ट फिल्टर")

लेखक CSULoRA पेश करते हैं, जिसे वे "Closest Safe Update" (निकटतम सुरक्षित अपडेट) के रूप में वर्णित करते हैं। चश्मों को तोड़ने या फेंकने के बजाय, CSULoRA एक स्मार्ट, कोमल फिल्टर की तरह कार्य करता है जो रोबोट पर लगे होने के बाद लेंसों को समायोजित करता है।

यह इस तरह काम करता है, एक सरल उपमा का उपयोग करते हुए:

"सुरक्षित" दिशा का मानचित्रण करना:
सबसे पहले, यह विधि रोबोट के मूल "सुरक्षित" मस्तिष्क और उसके "बेस" मस्तिष्क (विनम्र बनने से पहले वाला) के बीच के अंतर को देखती है। यह अंतर एक मानचित्र बनाता है कि रोबोट के मन में "सुरक्षा" कैसी दिखती है। आइए इसे Safety Compass (सुरक्षा दिशा-सूचक) कहें।
नए चश्मों का विश्लेषण करना:
जब रोबोट नए LoRA चश्मे पहनता है, तो यह विधि चश्मों के अंदर के निर्देशों को चार भागों में विभाजित करती है:

The Safe Part (सुरक्षित हिस्सा): निर्देश जो Safety Compass के साथ पूरी तरह मेल खाते हैं।
The Mixed Parts (मिश्रित हिस्से): निर्देश जो आधे सुरक्षित और आधे असुरक्षित हैं।
The Unsafe Part (असुरक्षित हिस्सा): निर्देश जो Safety Compass के बिल्कुल विपरीत जाते हैं।

कोमल समायोजन:
"असुरक्षित हिस्से" को फेंकने के बजाय (जिससे गलती से नए गणित कौशल भी डिलीट हो सकते हैं), CSULoRA एक गणितीय पहेली को हल करता है। यह Safe Part को बिल्कुल वैसा ही रखता है जैसा वह है। फिर, यह Mixed और Unsafe हिस्सों की आवाज़ (volume) को धीरे से कम कर देता है।

यदि कोई हिस्सा केवल थोड़ा असुरक्षित है, तो उसे थोड़ा धुंधला (dimmer) कर दिया जाता है।
यदि कोई हिस्सा बहुत असुरक्षित है, तो उसे बहुत अधिक धुंधला कर दिया जाता है।
महत्वपूर्ण बात यह है कि यह सुरक्षित हिस्से की तुलना में उस हिस्से की "ऊर्जा" (महत्व) के आधार पर किया जाता है।

परिणाम:
रोबोट को नए चश्मे मिलते हैं। वह अभी भी बेहतरीन ईमेल लिखना जानता है (उपयोगिता बनी रहती है), लेकिन खतरनाक "बम कैसे बनाएं" वाले निर्देश को धीरे से म्यूट कर दिया गया है ताकि वे अब काम न कर सकें।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने दो अलग-अलग रोबोट मॉडल (Llama और Gemma) पर परीक्षण किया, जिसमें उन्होंने सुरक्षा को तोड़ने के लिए जानबूझकर कुछ "खराब" डेटा मिलाया।

Standard LoRA: रोबोट ने नया कार्य अच्छी तरह से सीखा लेकिन बहुत खतरनाक हो गया (उच्च "Attack Success Rate")।
पुराने सुरक्षा तरीके: कुछ ने रोबोट को सुरक्षित रखा लेकिन उसे नया कार्य करने से रोक दिया। अन्य ने कार्य को बनाए रखा लेकिन खतरे को नहीं रोका।
CSULoRA: यह विजेता था। इसने रोबोट के नए कौशल को खतरनाक संस्करण जितना अच्छा बनाए रखा, लेकिन इसने खतरे को नाटकीय रूप से कम कर दिया।
- एक मॉडल पर, इसने खतरे की दर को 60% से घटाकर 1.7% कर दिया।
- दूसरे पर, इसने इसे 48% से घटाकर 1.3% कर दिया।
- इस बीच, निर्देशों का पालन करने की रोबोट की क्षमता बहुत उच्च बनी रही।

मुख्य निष्कर्ष

CSULoRA रोबोट के प्रशिक्षण चश्मों के लिए एक "पोस्ट-सर्जरी रिपेयर" की तरह है। इसके लिए पूरे रोबोट को फिर से प्रशिक्षित करने या नए भारी हिस्से जोड़ने की आवश्यकता नहीं है। यह केवल नए निर्देशों को देखता है, खतरनाक हिस्सों की पहचान करता है, और मददगार हिस्सों को तेज रखते हुए खतरनाक हिस्सों को कोमलता से सुचारू (smooth) कर देता है।

महत्वपूर्ण नोट: लेखक सावधानी बरतते हुए कहते हैं कि यह एक पूर्ण, अटूट ढाल नहीं है। यह एक "मानचित्र" पर निर्भर करता है जो सुरक्षा का एक अनुमान है, गारंटी नहीं। हालाँकि, उनके परीक्षणों में, इसने सुरक्षा समस्याओं को ठीक करने के मौजूदा "हार्ड" तरीकों की तुलना में बहुत बेहतर काम किया।

तकनीकी सारांश: CSULoRA

समस्या विवरण (Problem Statement)

लो-रैंक एडेप्टेशन (LoRA), लार्ज लैंग्वेज मॉडल्स (LLMs) के पैरामीटर-कुशल फाइन-ट्यूनिंग के लिए एक मानक तकनीक है। हालांकि, हालिया शोध संकेत देते हैं कि असुरक्षित या प्रतिकूल (adversarial) फाइन-ट्यूनिंग डेटा की थोड़ी सी मात्रा भी संरेखित (aligned) मॉडल्स के सुरक्षा व्यवहार को काफी कमजोर कर सकती है, जिससे हानिकारक प्रॉम्प्ट्स के प्रति उनकी अनुपालन क्षमता बढ़ जाती है (Yang et al., 2023; Qi et al., 2024; Bianchi et al., 2024)।

LoRA फाइन-ट्यूनिंग के दौरान सुरक्षा बनाए रखने या पोस्ट-हॉक (post-hoc) इसे बहाल करने के मौजूदा तरीके अक्सर "हार्ड" हस्तक्षेपों (interventions) पर निर्भर करते हैं। इनमें सुरक्षा उप-स्थानों (subspaces) पर प्रोजेक्शन, विशिष्ट परतों की छंटनी (pruning), थ्रेशोल्डिंग, या अतिरिक्त प्रशिक्षण उद्देश्यों और सुरक्षा मॉड्यूल का परिचय शामिल है (Hsu et al., 2024; Ao et al., 2025; Li et al., 2025)। हालांकि ये कुछ संदर्भों में प्रभावी हैं, लेकिन इन दृष्टिकोणों में कार्य-प्रासंगिक जानकारी खोने का जोखिम होता है, अतिरिक्त ट्यूनिंग या हाइपरपैरामीटर चयन की आवश्यकता होती है, या बाहरी सुरक्षा-वेक्टर निर्माण की आवश्यकता होती है। एक ऐसे तरीके की आवश्यकता है जो पूरे मॉडल को पुन: प्रशिक्षित किए बिना, उपयोगिता (utility) को त्याग दिए बिना, या एडेप्टर के संरचनात्मक रैंक को बदले बिना, प्रशिक्षित LoRA एडेप्टर्स को सुधारकर सुरक्षा को पुनः प्राप्त कर सके।

कार्यप्रणाली (Methodology): CSULoRA

लेखक CSULoRA (Closest Safe Update Low-Rank Adaptation) प्रस्तावित करते हैं, जो क्लोजेस्ट सेफ अपडेट अनुमान के माध्यम से प्रशिक्षित LoRA एडेप्टर्स को सुधारने के लिए एक पोस्ट-हॉक विधि है। यह विधि अतिरिक्त प्रशिक्षण या सत्यापन-आधारित थ्रेशोल्ड चयन की आवश्यकता के बिना, एक प्रशिक्षित एडेप्टर पर नियत रूप से (deterministically) कार्य करती है।

1. सुरक्षा-संरेखित उप-स्थान का अनुमान (Estimating the Safety-Aligned Subspace)

CSULoRA एक सुरक्षा-संरेखित उप-स्थान का अनुमान लगाने के लिए एक सुरक्षा-संरेखित मॉडल चेकपॉइंट ( $W_{aligned}$ ) और उसके संगत प्री-अलाइनमेंट बेस चेकपॉइंट ( $W_{base}$ ) के बीच वेट डिस्प्लेसमेंट (weight displacement) का विश्लेषण करता है:
$V = W_{aligned} - W_{base}$
यह डिस्प्लेसमेंट $V$ संरेखण-प्रासंगिक दिशाओं के लिए एक प्रॉक्सी के रूप में कार्य करता है। विधि $V$ के प्रमुख कॉलम और रो स्पेस के आधार पर क्रमशः लेफ्ट ( $P_L$ ) और राइट ( $P_R$ ) ऑर्थोगोनल प्रोजेक्टरों का निर्माण करती है। गणनात्मक दक्षता सुनिश्चित करने के लिए, इन उप-स्थानों को पावर इटरेशन के साथ एक रैंडमाइज्ड लो-रैंक रेंज फाइंडर का उपयोग करके अनुमानित किया जाता है, जो 95% अलाइनमेंट-डिस्प्लेसमेंट ऊर्जा को समझाने के लिए पर्याप्त सिंगुलर-वैल्यू ऊर्जा को बनाए रखता है।

2. LoRA अपडेट का अपघटन (Decomposition of LoRA Updates)

एक प्रशिक्षित LoRA अपडेट $\Delta W_0 = BA$ के लिए, CSULoRA प्रोजेक्टर $P_L$ और $P_R$ के आधार पर अपडेट को चार ब्लॉक्स में विभाजित करता है:

पूर्णतः संरेखित ( $\Delta W_{LR}$ ): दोनों संरेखित इनपुट और आउटपुट उप-स्थानों में स्थित है।
आंशिक रूप से संरेखित ( $\Delta W_{L\bar{R}}$ और $\Delta W_{\bar{L}R}$ ): केवल दो में से एक संरेखित उप-स्थान में स्थित है।
ऑफ-सबस्पेस ( $\Delta W_{\bar{L}\bar{R}}$ ): दोनों संरेखित उप-स्थानों से बाहर स्थित है।

3. दंडित न्यूनतम-परिवर्तन अनुकूलन (Penalized Minimum-Change Optimization)

हार्ड प्रोजेक्शन विधियों के विपरीत जो ऑफ-सबस्पेस घटकों को त्याग देती हैं, CSULoRA एक दंडित न्यूनतम-परिवर्तन अनुकूलन समस्या को हल करता है। लक्ष्य एक अपडेटेड मैट्रिक्स $\Delta W^*$ खोजना है जो मूल अपडेट के करीब रहे और आंशिक रूप से संरेखित और ऑफ-सबस्पेस ब्लॉक्स में ऊर्जा को दंडित करे:
$\Delta W^* = \arg \min_{\Delta W} \frac{1}{2} \|\Delta W - \Delta W_0\|_F^2 + \frac{1}{2} \sum_{b \in \mathcal{B} \setminus \{LR\}} \lambda_b \|\Pi_b(\Delta W)\|_F^2$
जहाँ $\Pi_b$ ब्लॉक $b$ पर प्रोजेक्ट करता है। पूर्णतः संरेखित ब्लॉक को दंडित नहीं किया जाता है।

इसका समाधान एक क्लोज्ड फॉर्म प्रदान करता है:
$\Delta W^* = \Delta W_{LR} + \sum_{b \in \mathcal{B} \setminus \{LR\}} \gamma_b \Delta W_b$
जहाँ $\gamma_b = (1 + \lambda_b)^{-1}$ है।

4. एडेप्टिव पेनल्टी और रिकंस्ट्रक्शन (Adaptive Penalty and Reconstruction)

ट्यूनेबल हाइपरपैरामीटर्स से बचने के लिए, ब्लॉक्स की सापेक्ष फ्रोबेनियस ऊर्जा (Frobenius energy) के आधार पर पेनल्टी टर्म $\lambda_b$ की गणना एडेप्टिव रूप से की जाती है। एक ब्लॉक $b$ के लिए पेनल्टी इसकी ऊर्जा और एक संदर्भ ऊर्जा ( $E_{ref}$ ) के अनुपात के रूप में परिभाषित की जाती है, जिसमें पूर्णतः संरेखित ब्लॉक की ऊर्जा और एक स्मूथिंग टर्म शामिल है ताकि संरेखित घटक छोटा होने पर अत्यधिक संकुचन (shrinkage) को रोका जा सके। यह सुनिश्चित करता है कि क्षीणन (attenuation) स्केल-इनवेरिएंट है और एक लेयर के भीतर घटकों की सापेक्ष ऊर्जा पर निर्भर है।

अंत में, सुधारा गया अपडेट $\Delta W^*$ ट्रंकेटेड सिंगुलर वैल्यू डीकंपोजिशन (SVD) का उपयोग करके मूल रैंक- $r$ LoRA संरचना ( $B^*A^*$ ) में वापस अनुमानित किया जाता है, जिससे एडेप्टर का रैंक और इन्फरेंस-टाइम संरचना सुरक्षित रहती है।

मुख्य योगदान (Key Contributions)

CSULoRA एल्गोरिदम: प्रशिक्षित LoRA एडेप्टर्स को ठीक करने के लिए एक पोस्ट-हॉक, नियत विधि जो अपडेट को अलाइनमेंट-कंसिस्टेंट और इनकंसिस्टेंट घटकों में विभाजित करती है।
सॉफ्ट एटेनुएशन मैकेनिज्म: हार्ड प्रोजेक्शन या प्रूनिंग के बजाय, यह विधि उन घटकों के लिए एक क्लोज्ड-फॉर्म, सॉफ्ट एटेनुएशन नियम लागू करती है जो कम अलाइनमेंट-कंसिस्टेंट हैं, जिससे पूर्णतः संरेखित घटकों को सटीक रूप से संरक्षित किया जाता है और कम सुसंगत दिशाओं की तीव्रता को उनकी सापेक्ष ऊर्जा के आधार पर सुचारू रूप से कम किया जाता है।
पैरामीटर-मुक्त सुधार: इस विधि के लिए कोई पुन: प्रशिक्षण, कोई अतिरिक्त सीखने योग्य पैरामीटर, और कोई बाहरी सुरक्षा-वेक्टर निर्माण या सत्यापन-आधारित थ्रेशोल्ड चयन की आवश्यकता नहीं है।
संरचनात्मक संरक्षण: सुधारा गया अपडेट मूल LoRA मैट्रिसेस में पुनर्गठित किया जाता है, जो इन्फरेंस के लिए एडेप्टर के रैंक और संरचना को बनाए रखता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Llama-3.2-3B-Instruct और Gemma-3-4B-it पर एक प्रतिकूल फाइन-ट्यूनिंग सेटअप का उपयोग करके CSULoRA का मूल्यांकन किया, जहाँ प्रशिक्षण डेटा का 5% हिस्सा BeaverTails डेटासेट के असुरक्षित उदाहरणों से बना था जिसे बेनाइन (benign) इंस्ट्रक्शन-फॉलोइंग डेटा के साथ मिलाया गया था।

प्रदर्शन मेट्रिक्स:

उपयोगिता (Utility): IFEval (प्रतिबंधित निर्देश पालन) के माध्यम से मापा गया।
सुरक्षा (Safety): AdvBench पर अटैक सक्सेस रेट (ASR) के माध्यम से मापा गया।
सामान्य क्षमता (General Capability): ARC-Challenge के माध्यम से मापा गया।
सेफ्टी-यूटिलिटी ट्रेड-ऑफ (SUT): एक संयुक्त मेट्रिक $SUT = \text{AvgUtil} \times (1 - \text{ASR}/100)$ ।

निष्कर्ष:

Llama-3.2-3B-Instruct: मानक LoRA ने उपयोगिता (IFEval) को 73.57% से बढ़ाकर 82.96% कर दिया लेकिन ASR को 2.69% से बढ़ाकर 60.58% कर दिया। CSULoRA ने ASR को घटाकर 1.73% (बेस मॉडल से भी कम) कर दिया जबकि 79.20% की औसत उपयोगिता बनाए रखी (मानक LoRA से केवल 3.76 अंक की गिरावट)। इसने सभी विधियों में उच्चतम SUT स्कोर (77.83) प्राप्त किया।
Gemma-3-4B-it: मानक LoRA ने ASR को बढ़ाकर 48.85% कर दिया। CSULoRA ने ASR को घटाकर 1.35% कर दिया और औसत उपयोगिता को बढ़ाकर 85.78% कर दिया, जो सुरक्षा और उपयोगिता संरक्षण दोनों में सभी बेसलाइन्स से बेहतर रहा। इसने उच्चतम SUT स्कोर (84.62) और उच्चतम सामान्य क्षमता स्कोर (ARC-Challenge पर 77.30%) प्राप्त किया।
तुलना: CSULoRA ने लगातार SafeLoRA (हार्ड प्रोजेक्शन), SPLoRA (प्रूनिंग), और RESTA (टास्क अरिथमेटिक) जैसे बेसलाइन्स को पछाड़ दिया, जो या तो ASR को पर्याप्त रूप से कम करने में विफल रहे या महत्वपूर्ण उपयोगिता हानि हुई।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CSULoका यह प्रदर्शित करता है कि सुरक्षा-उपयोगिता ट्रेड-ऑफ को बनाए रखने के लिए कम अलाइनमेंट-कंसिस्टेंट LoRA अपडेट घटकों का सॉफ्ट एटेनुएशन (soft attenuation), हार्ड प्रोजेक्शन, प्रूनिंग या स्ट्रॉन्ग एडेप्टर रिप्लेसमेंट की तुलना में अधिक विश्वसनीय रणनीति है।

लेखक CSULoRA को एक व्यावहारिक पैरामीटर-स्पेस करेक्शन विधि के रूप में प्रस्तुत करते हैं जो:

प्रतिकूल फाइन-ट्यूनिंग परिदृश्यों में अटैक सक्सेस रेट को काफी कम करती है।
मानक LoRA फाइन-ट्यूनिंग से प्राप्त अधिकांश उपयोगिता लाभों को सुरक्षित रखती है।
पुन: प्रशिक्षण या एडेप्टर संरचना को बदले बिना सामान्य मॉडल क्षमताओं को बनाए रखती है।

पेपर सीमाओं को स्वीकार करता है, यह नोट करते हुए कि सुरक्षा-संरेखित उप-स्थान एक प्रॉक्सी है जो वेट डिस्प्लेसमेंट से प्राप्त होता है और शोर युक्त या अधूरा हो सकता है। इसके अलावा, मूल्यांकन विशिष्ट मॉडल्स और बेंचमार्क्स तक सीमित है, और regex-आधारित ASR मेट्रिक रिस्पॉन्स की हानिकारक प्रकृति की सभी बारीकियों को कैप्चर नहीं करता है। लेखक निष्कर्ष निकालते हैं कि हालांकि CSULoRA सुरक्षित व्यवहार की औपचारिक गारंटी नहीं है, फिर भी यह LoRA अपडेट के पोस्ट-हॉक ज्यामितीय सुधार के लिए एक आशाजनक दिशा का प्रतिनिधित्व करता है।