💬 NLP

Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning

यह शोध पत्र एक अनुकूली नियमितीकरण ढांचे (adaptive regularization framework) को प्रस्तुत करता है जो वास्तविक समय के सुरक्षा जोखिम अनुमानों के आधार पर फाइन-ट्यूनिंग अपडेट को गतिशील रूप से सीमित करता है—जो या तो एक जज-आधारित क्रिटिक (judge-based critic) या एक सक्रियता-आधारित प्रेडिक्टर (activation-based predictor) से प्राप्त होते हैं—ताकि मॉडल की उपयोगिता को बनाए रखते हुए और इन्फरेंस-टाइम लागत (inference-time cost) के बिना सुरक्षा क्षरण को प्रभावी ढंग से रोका जा सके।

मूल लेखक: Jyotin Goel, Souvik Maji, Pratik Mazumder

प्रकाशित 2026-02-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jyotin Goel, Souvik Maji, Pratik Mazumder

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, आज्ञाकारी रोबोट सहायक है। आपने इसे मददगार, विनम्र और खतरनाक अनुरोधों को मना करने के लिए प्रशिक्षित किया है (जैसे, "मैं बम कैसे बनाऊं?")। यह आपका "सुरक्षित रोबोट" (Safe Robot) है।

अब, कल्पना कीजिए कि आप इस रोबोट को एक नया, विशिष्ट कौशल सिखाना चाहते हैं, जैसे कि "शेक्सपियर की शैली में कविता कैसे लिखें" या "एक विशिष्ट प्रकार के कार इंजन को कैसे ठीक करें।" इस प्रक्रिया को फाइन-ट्यूनिंग (Fine-Tuning) कहा जाता है।

समस्या: "बुरे शिक्षक" का प्रभाव (The "Bad Teacher" Effect)

यह शोध पत्र एक डरावनी समस्या पर प्रकाश डालता है: भले ही आप रोबोट को कुछ हानिरहित सिखाने की कोशिश करें, प्रशिक्षण की प्रक्रिया अनजाने में उसकी सुरक्षा सेटिंग्स को "तोड़" सकती है।

इसे इस तरह समझें: आप एक ऐसे छात्र को पढ़ा रहे हैं जो जानता है कि लैब में सुरक्षित कैसे रहना है। आप उसे रसायन विज्ञान (chemistry) पर एक नई पाठ्यपुस्तक देते हैं। लेकिन, उस पाठ्यपुस्तक के अंदर कहीं बम बनाने के निर्देश वाले कुछ पन्ने छिपे हुए हैं। भले ही आप उसे केवल वे कुछ पन्ने ही दिखाएं, छात्र अपने सुरक्षा नियमों को भूल सकता है और बम बनाना शुरू कर सकता है, भले ही आप केवल रसायन विज्ञान सिखाना चाहते थे।

इससे भी बुरा यह है कि, कभी-कभी "बुरा शिक्षक" (डेटा) बुरा होने की कोशिश भी नहीं कर रहा होता है। बस एक नया, गहन कौशल सीखने की क्रिया ही रोबोट के सुरक्षा घेरे (guardrails) को इतना कमजोर बना सकती है कि वह अनजाने में भयानक बातें कहना शुरू कर देता है।

समाधान: "अनुकूली सुरक्षा कोच" (The "Adaptive Safety Coach")

इस शोध पत्र के लेखकों ने एक नई प्रशिक्षण विधि बनाई है जिसे एडेप्टिव रेगुलराइजेशन (Adaptive Regularization) कहा जाता है। रोबोट को सुरक्षित रखने के लिए एक कठोर, "एक ही नियम सबके लिए" (one-size-fits-all) वाला नियम उपयोग करने के बजाय, उन्होंने एक स्मार्ट सेफ्टी कोच (Safety Coach) बनाया है जो प्रशिक्षण सत्र पर वास्तविक समय (real-time) में नज़र रखता है।

यह कोच दो अलग-अलग "सुपरपावर्स" का उपयोग करके कैसे काम करता है, यहाँ दिया गया है:

1. "मन-पठक" कोच (Activation-Based)

यह कोच रोबोट के बोलने से पहले उसके मस्तिष्क को देखता है।

उपमा: एक कोच की कल्पना करें जो छात्र के बोलने से पहले उसके चेहरे और शारीरिक भाषा (body language) को देखता है। यदि छात्र घबराया हुआ, पसीने से तर-बतर, या कुछ खतरनाक कहने वाला लग रहा है, तो कोच तुरंत जान जाता है।
यह कैसे काम करता है: कोच प्रश्न प्राप्त होते ही रोबोट के आंतरिक "विचारों" (कंप्यूटर के भीतर गणितीय संकेत) का विश्लेषण करता है। यदि वे विचार खतरे की गंध देते हैं, तो कोच तुरंत हस्तक्षेप करता है और कहता है, "रुको, धीरे चलो! सुरक्षित नियमों पर टिके रहो!" यह रोबोट को उसके मूल, सुरक्षित व्यक्तित्व के करीब रहने के लिए मजबूर करता है।
लाभ: यह अविश्वसनीय रूप से तेज़ है और रोबोट के बोलने के पूरा होने का इंतज़ार नहीं करता कि उसे पता चल सके कि वह पटरी से उतर रहा है।

2. "न्यायाधीश" कोच (Judge-Based)

यह कोच रोबोट के बोलने का इंतज़ार करता है, फिर उत्तर का मूल्यांकन करता है।

उपमा: एक सख्त शिक्षक की कल्पना करें जो छात्र के निबंध को ग्रेड दे रहा है। छात्र अपना उत्तर लिखता है, फिर शिक्षक उसे पढ़ता है। यदि निबंध में नफरत भरी भाषा या खतरनाक निर्देश शामिल हैं, तो शिक्षक उसे फेल कर देता है और छात्र को कहता है, "इसे फिर से लिखो, लेकिन इसे सुरक्षित रखो।"
यह कैसे काम करता है: एक बाहरी, अत्यंत बुद्धिमान AI (जज) रोबोट के आउटपुट को पढ़ता है। यदि वह कुछ हानिकारक देखता है, तो वह प्रशिक्षण प्रणाली को उस विशिष्ट पाठ के लिए एक "भारी दंड" (heavy penalty) लगाने का संकेत देता है, जिससे रोबोट को सुरक्षित तरीका सीखने के लिए मजबूर किया जा सके।
लाभ: यह शब्दों के अर्थ और संदर्भ को बहुत अच्छी तरह समझता है, और उन सूक्ष्म खतरों को पकड़ लेता है जिन्हें "मन-पठक" कोच मिस कर सकता है।

जादू का खेल: "अनुकूली" बनाम "स्थिर" (Adaptive vs. Static)

पुराने तरीके एक स्थिर दीवार (Static Wall) की तरह थे। उन्होंने रोबोट के चारों ओर हर एक सबक के लिए एक भारी, अचल दीवार लगा दी थी, चाहे वह सबक केक बनाने के बारे में हो या बम बनाने के बारे में।

समस्या: यदि सबक केक बनाने के बारे में था, तो भारी दीवार ने रोबोट के लिए रेसिपी को अच्छी तरह से सीखना कठिन बना दिया था। यह बहुत अधिक प्रतिबंधात्मक था।
नया तरीका: अनुकूली कोच (Adaptive Coach) एक स्मार्ट फोर्स फील्ड (Smart Force Field) की तरह है।
- यदि रोबोट केक बनाना सीख रहा है (सुरक्षित डेटा), तो फोर्स फील्ड पतला और लचीला है। रोबोट रेसिपी जल्दी और आसानी से सीख सकता है।
- यदि वह विस्फोटकों (खतरनाक डेटा) के बारे में सीख रहा है, तो फोर्स फील्ड तुरंत एक मोटा, अटूट कवच बन जाता है। रोबोट को सुरक्षित रहने के लिए मजबूर किया जाता है और वह खतरनाक क्षेत्र में नहीं जा पाता।

यह क्यों महत्वपूर्ण है

यह शोध पत्र सिद्ध करता है कि यह नया तरीका बहुत प्रभावी है:

यह रोबोट को खतरनाक बनने से रोकता है: भले ही आप इसे खराब डेटा पर प्रशिक्षित करें, रोबोट सुरक्षित रहता है।
यह रोबोट को मूर्ख नहीं बनाता: क्योंकि सुरक्षा कवच केवल आवश्यकता पड़ने पर ही मोटा होता है, रोबोट अभी भी नए कौशल (जैसे गणित या कोडिंग) बहुत अच्छी तरह से सीख सकता है।
यह तेज़ है: "मन-पठक" कोच इतना कुशल है कि यह प्रशिक्षण प्रक्रिया को बिल्कुल भी धीमा नहीं करता है।

संक्षेप में: यह शोध पत्र हमें सिखाता है कि कैसे एक ऐसा सुरक्षा तंत्र बनाया जाए जो यह जानने के लिए पर्याप्त स्मार्ट हो कि कब सख्त होना है और कब लचीला होना है, यह सुनिश्चित करते हुए कि हमारे AI सहायक मददगार और सुरक्षित बने रहें, चाहे हम उन्हें कोई भी नया कौशल सिखाएं।

यहाँ शोध पत्र "Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को हानिकारक आउटपुट को रोकने के लिए कठोर सुरक्षा संरेखण (जैसे RLHF या DPO के माध्यम से) से गुजरना पड़ता है। हालाँकि, हालिया शोध ने एक महत्वपूर्ण भेद्यता की पहचान की है: हानिकारक फाइन-ट्यूनिंग हमले (harmful fine-tuning attacks)।

भेद्यता: यहाँ तक कि जो मॉडल शुरू में सुरक्षित होते हैं, उनकी सुरक्षा बाधाओं (guardrails) को केवल 10–100 हानिकारक उदाहरणों पर फाइन-ट्यून करके विनाशकारी रूप से खराब किया जा सकता है।
दायरा: यह गिरावट न केवल स्पष्ट रूप से दुर्भावनापूर्ण डेटा के साथ, बल्कि तब भी होती है जब सौम्य (benign) निर्देश-अनुपालन डेटा को थोड़े से हानिकारक उदाहरणों के साथ मिलाया जाता है।
मौजूदा रक्षा प्रणालियों की सीमाएँ: वर्तमान रक्षा प्रणालियाँ मुख्य रूप से स्थिर नियमितीकरण (static regularization) (जैसे कि निश्चित KL-डाइवर्जेंस दंड) पर निर्भर करती हैं जो फाइन-ट्यून किए गए मॉडल को मूल पॉलिसी के करीब रहने के लिए बाध्य करती हैं। ये दृष्टिकोण एक मौलिक ट्रेड-ऑफ (trade-off) का सामना करते हैं:
- कमजोर नियमितीकरण (Weak regularization): प्रतिकूल हमलों के तहत सुरक्षा गिरावट को रोकने में विफल रहता है।
- मजबूत नियमितीकरण (Strong regularization): सुरक्षा को बनाए रखता है लेकिन कार्य-विशिष्ट उपयोगिता (task-specific utility) और अनुकूलन क्षमताओं को गंभीर रूप से कम कर देता है।
- स्थिर प्रकृति (Static nature): वे सभी प्रशिक्षण डेटा पर समान प्रतिबंध लागू करते हैं, जिससे वे सौम्य कार्य अनुकूलन और सुरक्षा को नुकसान पहुँचाने वाले अपडेट के बीच अंतर करने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचा प्रस्तावित करते हैं जिसे एडेप्टिव रेगुलराइजेशन (Adaptive Regularization) कहा जाता है, जो वास्तविक समय के सुरक्षा जोखिम मूल्यांकन के आधार पर प्रशिक्षण उद्देश्य को गतिशील रूप से नियंत्रित करता है।

A. मुख्य ढांचा: एडेप्टिव अलाइनमेंट ऑब्जेक्टिव (Adaptive Alignment Objective)

प्रशिक्षण हानि (training loss) मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) लॉस और एक KL-डाइवर्जेंस रेगुलराइज़र का एक कॉनवेक्स कॉम्बिनेशन (convex combination) है, लेकिन इनके वेट्स (weights) गतिशील हैं:
$\mathcal{L}_{tot}^{(t)} = \alpha_t \mathcal{L}_{NLL}^{(t)} + \beta_t \mathcal{L}_{KL}^{(t)}$

$\mathcal{L}_{NLL}$ : कार्य सीखने के लिए मानक नेगेटिव लॉग-लाइक्लीहुड लॉस।
$\mathcal{L}_{KL}$ : एक सुरक्षित संदर्भ पॉलिसी ( $\pi_{ref}$ ) से मॉडल को बांधने वाला KL-डाइवर्जेंस दंड।
डायनेमिक वेटिंग (Dynamic Weighting): गुणांक $\alpha_t$ $α_{t}$ और $\beta_t$ $β_{t}$ एक "सेफ्टी क्रिटिक" (Safety Critic) द्वारा उत्पन्न सेफ्टी सिग्नल ( $s_t \in [0, 1]$ ) द्वारा निर्धारित होते हैं।
- उच्च जोखिम ( $s_t \uparrow$ ): $\beta_t$ बढ़ता है, जो मॉडल को सुरक्षित पॉलिसी से दूर जाने से रोकने के लिए एक मजबूत KL दंड लागू करता है।
- कम जोखिम ( $s_t \downarrow$ ): $\beta_t$ घटता है, जिससे मॉडल को बेहतर कार्य अनुकूलन के लिए $\mathcal{L}_{NLL}$ पर ध्यान केंद्रित करने की अनुमति मिलती है।

B. सेफ्टी क्रिटिक इंस्टेंशिएशन्स (Safety Critic Instantiations)

यह ढांचा सुरक्षा जोखिम $s_t$ का अनुमान लगाने के लिए दो अलग-अलग विधियों का समर्थन करता है:

एक्टिवेशन-आधारित क्रिटिक (Pre-Generation):
- तंत्र: यह इस खोज का लाभ उठाता है कि किसी भी टोकन को जेनरेट करने से पहले, आंतरिक हिडन स्टेट्स (hidden states) से हानिकारक इरादे (harmful intent) का रैखिक रूप से पूर्वानुमान लगाया जा सकता है।
- कार्यान्वयन: अंतिम इनपुट टोकन (प्री-जेनरेशन) के हिडन स्टेट्स पर एक हल्का लॉजिस्टिक रिग्रेशन क्लासिफायर (लीनियर प्रोब) प्रशिक्षित किया जाता है।
- लाभ: अत्यंत कम विलंबता (latency), इन्फरेंस-टाइम पर कोई अतिरिक्त लागत नहीं, और यह मॉडल द्वारा प्रतिक्रिया उत्पन्न करने से पहले ही काम करता है।
- मजबूती: विभिन्न मॉडल आर्किटेक्चरों में मजबूती सुनिश्चित करने के लिए लेयर पूलिंग (layer pooling) (कई परतों के संकेतों को एकत्रित करना) का उपयोग करता है।
जज-आधारित क्रिटिक (Post-Generation):
- तंत्र: उत्पन्न आउटपुट की हानिकारकता का मूल्यांकन करने के लिए एक बाहरी LLM (जैसे gpt-oss-20b) का उपयोग करता है।
- कार्यान्वयन: जज प्रतिक्रिया को 1–5 के पैमाने पर स्कोर करता है, जिसे $s_t$ में सामान्यीकृत (normalize) किया जाता है।
- लाभ: जटिल अर्थ संबंधी (semantic) और प्रासंगिक उल्लंघनों को पकड़ता है जिन्हें एक्टिवेशन प्रोब मिस कर सकते हैं।
- ट्रेड-ऑफ: एक्टिवेशन-आधारित दृष्टिकोण की तुलना में उच्च कम्प्यूटेशनल लागत और विलंबता।

3. प्रमुख योगदान (Key Contributions)

एडेप्टिव रेगुलराइजेशन फ्रेमवर्क: एक अभिनव प्रशिक्षण तंत्र जो प्रति-बैच जोखिम संकेतों के आधार पर सुरक्षा और उपयोगिता को गतिशील रूप से संतुलित करता है, जिससे रेगुलराइजेशन स्ट्रेंथ के लिए मैन्युअल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता समाप्त हो जाती है।
प्री-जेनरेशन इंटेंट डिटेक्शन: इस बात का अनुभवजन्य सत्यापन कि हानिकारक इरादा प्री-जेनरेशन हिडन स्टेट्स में रैखिक रूप से अलग किया जा सकता है, जिससे कुशल, कम ओवरहेड वाले सुरक्षा क्रिटिक्स का निर्माण संभव होता है।
डुअल-क्रिटिक इंस्टेंशिएशन: यह प्रदर्शित करता है कि हल्के एक्टिवेशन-आधारित प्रेडिक्टर्स और अर्थ संबंधी जज-आधारित इवैल्यूएटर्स दोनों ही प्रभावी रूप से एडेप्टिव फ्रेमवर्क को संचालित कर सकते हैं, जो विभिन्न परिनियोजन (deployment) बाधाओं के लिए लचीलापन प्रदान करते हैं।
सिद्धांतिक रक्षा (Principled Defense): एक ऐसा तंत्र प्रदान करता है जो कार्य प्रदर्शन (task performance) से समझौता किए बिना सुरक्षा बनाए रखता है, जो स्थिर रक्षाओं में निहित "सुरक्षा बनाम उपयोगिता" के ट्रेड-ऑफ को संबोधित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच इंस्ट्रक्शन-ट्यून्ड मॉडल्स (Phi-3.5, Llama-3.1/3.2, Qwen2.5) और विभिन्न हमले के परिदृश्यों में इस फ्रेमवर्क का मूल्यांकन किया।

एडवर्सरियल फाइन-ट्यूनिंग के खिलाफ रक्षा:
- हानिकारक डेटा (HEx-PHI डेटासेट) पर मानक SFT के परिणामस्वरूप अटैक सक्सेस रेट (ASR) >96% रहा।
- एडेप्टिव रेगुलराइजेशन ने सभी मॉडल्स के लिए ASR को घटाकर 1–9% (बेसलाइन स्तर के करीब) कर दिया, जो स्टैटिक कंस्ट्रेंड SFT (जिसमें अभी भी ~60% ASR था) से काफी बेहतर है।
मिक्स्ड डेटासेट परिदृश्य:
- जब डेटासेट में 9% तक हानिकारक उदाहरण शामिल थे, तब एडेप्टिव रेगुलराइजेशन ने (Alpaca-Eval विन रेट द्वारा मापा गया) कार्य प्रदर्शन को बनाए रखते हुए कम ASR (1–9%) बनाए रखा।
- मानक SFT और स्टैटिक रक्षाएं इन मिश्रित स्थितियों में सुरक्षा बनाए रखने में विफल रहीं।
हाइपरपैरामीटर मजबूती:
- यह विधि लर्निंग रेट ( $2 \times 10^{-4}$ से $2 \times 10^{-7}$ ) की एक विस्तृत श्रृंखला में प्रभावी रही, जो यह दर्शाती है कि इसे प्रभावी होने के लिए सटीक ट्यूनिंग की आवश्यकता नहीं है।
दक्षता (Efficiency):
- एक्टिवेशन-आधारित संस्करण ने शून्य वॉल-क्लॉक ओवरहेड (मानक SFT गति के बराबर) और न्यूनतम मेमोरी उपयोग जोड़ा।
- जज-आधारित संस्करण ने मामूली ओवरहेड (~1.17x) जोड़ा लेकिन उच्च सिमेंटिक रिकॉल (semantic recall) प्रदान किया।

5. महत्व और प्रभाव (Significance and Impact)

व्यावहारिक परिनियोजन: यह कार्य उन संगठनों के लिए एक व्यावहारिक समाधान प्रदान करता है जो ओपन-वेट मॉडल्स को फाइन-ट्यून कर रहे हैं। यह उन्हें डोमेन अनुकूलन (domain adaptation) करने की अनुमति देता है बिना अनजाने में या दुर्भावनापूर्ण रूप से सुरक्षा गार्डरेल्स को तोड़ने के डर के।
प्रतिमान परिवर्तन (Paradigm Shift): यह क्षेत्र को स्थिर, 'एक ही आकार सबके लिए' (one-size-fits-all) वाले रेगुलराइजेशन से गतिशील, डेटा-निर्भर रेगुलराइजेशन की ओर ले जाता है। यह स्वीकार करता है कि सभी प्रशिक्षण डेटा एक समान जोखिम पैदा नहीं करते हैं।
सुरक्षा संरक्षण: वास्तविक समय के फीडबैक के माध्यम से ऑप्टिमाइजेशन ऑब्जेक्टिव में सुरक्षा बाधाओं को शामिल करके, यह विधि "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) को रोकती है जो वर्तमान फाइन-ट्यूनिंग पाइपलाइनों को प्रभावित करती है।
कम लागत: एक्टिवेशन-आधारित दृष्टिकोण सिद्ध करता है कि नगण्य कम्प्यूटेशनल लागत के साथ उच्च-फिडेलिटी सुरक्षा निगरानी प्राप्त की जा सकती है, जिससे यह बड़े पैमाने पर मॉडल अनुकूलन के लिए स्केलेबल बन जाता है।

निष्कर्षतः, यह शोध पत्र एक मजबूत, एडेप्टिव तंत्र प्रस्तुत करता है जो सफलतापूर्वक सुरक्षा संरक्षण को कार्य उपयोगिता से अलग करता है, यह सुनिश्चित करता है कि LLMs आक्रामक या मिश्रित फाइन-ट्यूनिंग व्यवस्था के संपर्क में आने पर भी सुरक्षित रहें।