💬 NLP

Test-Time Safety Alignment

यह शोध पत्र प्रदर्शित करता है कि इनपुट वर्ड एम्बेडिंग्स (input word embeddings) को ज़ीरो-ऑर्डर ग्रेडिएंट एस्टीमेशन (zeroth-order gradient estimation) के माध्यम से अनुकूलित किया जा सकता है ताकि संरेखित भाषा मॉडलों (aligned language models) को हानिकारक इनकार या असुरक्षित आउटपुट से दूर ले जाया जा सके, जिससे मानक बेंचमार्क पर सुरक्षा-फ्लैग की गई प्रतिक्रियाओं को प्रभावी ढंग से निष्प्रभावी किया जा सके।

मूल लेखक: Baturay Saglam, Dionysis Kalogerias

प्रकाशित 2026-04-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Baturay Saglam, Dionysis Kalogerias

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, अच्छी तरह से प्रशिक्षित रोबोट सहायक है। आपने उसे विनम्र, मददगार और सुरक्षित रहना सिखाया है। वह जानता है कि आपको बम बनाने का निर्देश कैसे दिया जाए या नफरत फैलाने वाली बातें कैसे लिखी जाएं, यह नहीं बताना है। हालाँकि, चतुर ठगों ने इस रोबोट को "जेलब्रेक" करने के तरीके खोज लिए हैं। वे आपके खतरनाक अनुरोधों को फैंसी पोशाकों में लपेट देते हैं—जैसे रोबोट से "एक फिल्म के विलेन होने का नाटक करने" या "एक बुरे आदमी के बारे में कहानी लिखने" के लिए कहना—ताकि रोबोट को अपनी सुरक्षा नियमों को भूलने और हानिकारक सामग्री उगलने के लिए मजबूर किया जा सके।

यह शोध पत्र इस बात का परिचय देता है कि रोबोट को इन चालों में फंसने से रोकने का एक नया तरीका क्या है, लेकिन इसके लिए रोबोट को फिर से प्रशिक्षित करने या एक नया सुरक्षा गार्ड जोड़ने के बजाय, वे रोबोट के "मस्तिष्क" में जवाब देने से ठीक पहले थोड़ा बदलाव करते हैं।

यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:

समस्या: रोबोट का "सेफ्टी स्विच" नाजुक है

आमतौर पर, जब रोबोट से कोई प्रश्न पूछा जाता है, तो वह आपके द्वारा टाइप किए गए शब्दों को देखता है और अपनी शब्दावली सूची से अगला शब्द चुनता है। यदि आप एक चालाकी भरा प्रश्न पूछते हैं, तो रोबोट भ्रमित हो सकता है और एक "गलत" शब्द चुन सकता है।

वर्तमान सुरक्षा विधियाँ इसे ठीक करने की कोशिश करती हैं, जैसे:

आपके प्रश्न को फिर से लिखना (जैसे एक मानव संपादक आपके शब्दों को बदल देता है)।
एक सुरक्षा गार्ड जोड़ना (एक अलग AI जो आपके प्रश्न को पढ़ता है और उसे रोकता है)।
रोबोट के आंतरिक गियर में बदलाव करना (यह बदलना कि वह कैसे सोचता है)।

लेखक कहते हैं कि ये विधियाँ थोड़ी बोझिल हैं। वे एक ऐसा तरीका चाहते हैं जिससे वे आपके शब्दों को बदले बिना, और किसी अलग सुरक्षा गार्ड की आवश्यकता के बिना, रोबोट के उत्तर को ठीक कर सकें।

समाधान: "सब-लेक्सिकल" ट्यूनिंग (अदृश्य डायल)

लेखकों ने महसूस किया कि रोबोट आपके शब्दों को पढ़ने से पहले, वास्तव में उन्हें संख्याओं की एक लंबी सूची (जिसे एम्बेडिंग्स/embeddings कहा जाता है) में बदल देता है। इन संख्याओं को रोबोट के लिए प्रत्येक शब्द के "आंतरिक निर्देशांक (coordinates)" के रूप में समझें।

आमतौर पर, "बिल्ली" (Cat) शब्द का एक विशिष्ट सेट के निर्देशांक होते हैं। लेकिन लेखकों ने पाया कि आप उन निर्देशांकों को बहुत मामूली, अदृश्य मात्रा में थोड़ा सा हिला सकते हैं—इतना कम कि यदि आप उन नंबरों को वापस शब्दों में बदलें, तो यह अभी भी "बिल्ली" ही कहेगा।

उपमा: कल्पना कीजिए कि रोबोट का मस्तिष्क एक विशाल मानचित्र है। "बिल्ली" शब्द उस मानचित्र पर एक विशिष्ट शहर है।

सामान्य संचालन: आप ठीक शहर के केंद्र की ओर इशारा करते हैं।
हमला: एक ठग रोबोट को शहर के ठीक बाहर एक "खतरा क्षेत्र" की ओर इशारा करता है, जिससे वह यह सोचने के लिए भ्रमित हो जाता है कि "बिल्ली" का अर्थ कुछ खतरनाक है।
समाधान: लेखक उस "बिल्ली" के निर्देशांकों को शहर की सीमाओं के भीतर ही, लेकिन थोड़े अलग दिशा में धीरे से धकेलते हैं। यह रेडियो पर एक डायल घुमाने जैसा है। आप अभी भी उसी स्टेशन ("बिल्ली") को सुन रहे हैं, लेकिन आपने फ्रीक्वेंसी को इतना एडजस्ट कर दिया है कि शोर (static) साफ हो जाए और बुरा सिग्नल रुक जाए।

वे इसे कैसे करते हैं: "ब्लाइंड टेस्ट ऑफ फ्लेवर" (अंधा स्वाद परीक्षण)

रोबोट एक "ब्लैक बॉक्स" है, जिसका अर्थ है कि शोधकर्ता उसके कोड के अंदर नहीं देख सकते कि उसे सीधे कैसे ठीक किया जाए। इसलिए, वे एक चतुर 'ट्रायल-एंड-एरर' विधि का उपयोग करते हैं:

ओरेकल (स्वाद चखने वाला): वे एक सार्वजनिक सुरक्षा उपकरण (जैसे कंटेंट फिल्टर) का उपयोग करते हैं जो एक "स्वाद चखने वाले" की तरह कार्य करता है। यह रोबोट के उत्तर को देखता है और उसे एक "हार्म स्कोर" (हानि स्कोर) देता है। उच्च स्कोर = बुरा; कम स्कोर = सुरक्षित।
अनुमान और जांच: शोधकर्ता रोबोट के इनपुट को लेते हैं, उसमें थोड़ा सा रैंडम "शोर" (जैसे पासा फेंकना) जोड़ते हैं, और रोबोट से पूछते हैं कि वह क्या सोचता है। वे हार्म स्कोर की जांच करते हैं।
नज (धकेलना): यदि उत्तर अभी भी थोड़ा जोखिम भरा है, तो वे गणित का उपयोग करके यह पता लगाते हैं कि हार्म स्कोर को कम करने के लिए अदृश्य निर्देशांकों को किस दिशा में धकेलना है।
दोहराना: वे इसे कुछ बार करते हैं (आमतौर पर केवल 1 या 2 स्टेप)। यह गिटार के तार को ट्यून करने जैसा है: आप उसे बजाते हैं, सुनते हैं, उसे थोड़ा सा कसते हैं, और फिर से सुनते हैं जब तक कि वह एकदम सही न हो जाए।

परिणाम: जादू, लेकिन वास्तविक

इस शोध पत्र ने कई अलग-अलग रोबोट मॉडलों (छोटे से लेकर बहुत बड़े तक) पर परीक्षण किया और पाया:

यह काम करता है: इसने लगभग हर मामले में रोबोट को हानिकारक उत्तर देने से रोकने में सफलता प्राप्त की, भले ही ठगों ने बहुत चतुर वेशभूषा का उपयोग किया हो।
यह अदृश्य है: रोबोट अभी भी सामान्य रूप से प्रश्न का उत्तर देता है। यदि आपने पूछा, "मैं केक कैसे बनाऊं?" तो यह अभी भी आपको बताएगा कि केक कैसे बनाया जाए। यह बस आपको बम बनाने का तरीका बताने से मना कर देगा, भले ही आपने इसे चालाकी से पूछा हो।
यह तेज़ है: इसे प्रति प्रश्न केवल कुछ सेकंड लगते हैं।
यह अच्छे उत्तरों को खराब नहीं करता: यदि आपने कोई सुरक्षित प्रश्न पूछा था, तो रोबोट का उत्तर बदतर नहीं हुआ। यह केवल सुरक्षित रहने के लिए सुरक्षित प्रश्नों को उत्तर देने से मना नहीं करने लगा।

मुख्य निष्कर्ष

यह शोध पत्र दिखाता है कि रोबोट का "मस्तिष्क" (इसका इनपुट नंबर) हमारी सोच से कहीं अधिक संवेदनशील है। आपको रोबोट के व्यवहार को बदलने के लिए उन शब्दों को बदलने की आवश्यकता नहीं है जिन्हें एक इंसान पढ़ता है। आपको बस शब्दों के नीचे के अदृश्य डायल को घुमाने की आवश्यकता है।

यह एक ऐसी कार की तरह है जो खुद को सुरक्षित रूप से चलाती है। यदि कोई कार को खाई में जाने के लिए धोखा देने की कोशिश करता है, तो आपको कार को फिर से बनाने या नया ड्राइवर रखने की आवश्यकता नहीं है। आपको बस कार के आंतरिक सेंसर के स्टीयरिंग व्हील में एक सूक्ष्म समायोजन करने की आवश्यकता है, और कार स्वाभाविक रूप से खुद को वापस सुरक्षा की ओर मोड़ लेती है।

यहाँ बतूरय साग्लम और डायोनिसिस कालागेरियास के शोध पत्र "Test-Time Safety Alignment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) हानिकारक अनुरोधों को अस्वीकार करने के लिए सुरक्षा प्रशिक्षण (जैसे RLHF, DPO) से गुजरते हैं। हालाँकि, एडवरसेरियल प्रॉम्प्ट्स (जेलब्रेक) इन सुरक्षा उपायों को बायपास कर सकते हैं, क्योंकि वे मॉडल के प्रशिक्षण वितरण (training distribution) और असीमित इनपुट स्पेस के बीच के अंतर का फायदा उठाते हैं। ये प्रॉम्प्ट्स अक्सर हानिकारक सामग्री उत्पन्न करने के लिए स्ट्रक्चरल फ्रेमिंग (रोलप्ले, अस्पष्टता) का उपयोग करते हैं।

मौजूदा टेस्ट-टाइम डिफेंस में संरचनात्मक सीमाएँ हैं:

प्रॉम्प्ट-स्तरीय रणनीतियाँ (Prompt-level strategies): ये डिस्क्रीट टोकन (discrete tokens) में हेरफेर करती हैं, जो सिमेंटिक हमलों के विरुद्ध नाजुक होती हैं।
एक्टिवेशन स्टीयरिंग (Activation steering): इसके लिए हिडन स्टेट्स तक पहुँच की आवश्यकता होती है और यह अक्सर फिक्स्ड कैलिब्रेशन सेट्स पर निर्भर करती है जो सामान्यीकरण (generalize) नहीं कर पाते।
गार्ड मॉडल्स (Guard models): इनके लिए अलग इन्फरेंस की आवश्यकता होती है और ये अक्सर "डिटेक्ट-देन-फिल्टर" प्रतिमान (paradigm) का पालन करते हैं, न कि जनरेशन को निर्देशित करने का।

मूल प्रश्न: क्या इनपुट वर्ड एम्बेडिंग्स को एक सब-लेक्सिकल (sub-lexical) तरीके से अनुकूलित किया जा सकता है (दृश्यमान टोकन को बदले बिना निरंतर वेक्टर प्रतिनिधित्व को संशोधित करके) ताकि संरेखित (aligned) मॉडल्स को सुरक्षित आउटपुट की ओर निर्देशित किया जा सके, भले ही मॉडल एक सुचारू निरंतरता के बजाय एक द्वि-मोडल (bimodal) "अस्वीकार-या-अनुपालन" वितरण प्रदर्शित करता हो?

2. कार्यप्रणाली: टेस्ट-टाइम सेफ्टी अलाइनमेंट (TSA)

प्रस्तावित विधि, TSA, पूरी तरह से टेस्ट टाइम पर कार्य करती है जिसमें मॉडल वेट्स को बदलने की आवश्यकता नहीं होती, कोई अतिरिक्त प्रशिक्षण नहीं चाहिए, और यह LLM को एक ब्लैक-बॉक्स के रूप में मानती है। यह सीधे प्रॉम्प्ट के एम्बेडिंग मैट्रिक्स को अनुकूलित करती है।

A. ऑब्जेक्टिव फंक्शन (Objective Function)

लक्ष्य जनित टेक्स्ट $y = f(X)$ की हानिकारकता को कम करना है, जहाँ $f$ LLM है और $X$ प्रॉम्प्ट एम्बेडिंग मैट्रिक्स है।

हार्मफुलनेस ऑरेकल (Harmfulness Oracle - $h$ ): यह विधि OpenAI Moderation API का उपयोग एक ब्लैक-बॉक्स ऑरेकल के रूप में करती है। यह 13 हानिकारक श्रेणियों (जैसे हिंसा, आत्म-हानि, घृणा) में आउटपुट को स्कोर करती है।
लॉस फंक्शन (Loss Function): $\Phi(X) = \max_{c} s_c(f(X))$ , जहाँ $s_c$ श्रेणी $c$ के लिए स्कोर है। उद्देश्य इस अधिकतम स्कोर को कम करना है, जिससे यह सुनिश्चित हो सके कि प्रतिक्रिया सभी आयामों में सुरक्षित है।

B. ज़ीरोथ-ऑर्डर ग्रेडिएंट एस्टीमेशन (Zeroth-Order Gradient Estimation)

चूँकि LLM ( $f$ ) और मॉडेशन API ( $h$ ) दोनों ब्लैक बॉक्स हैं, इसलिए बैकप्रोपैगेशन संभव नहीं है। TSA ज़ीरोथ-ऑर्डर ग्रेडिएंट एस्टीमेशन का उपयोग करता है:

परटर्बेशन (Perturbation): प्रत्येक इटरेशन $k$ पर, वर्तमान एम्बेडिंग मैट्रिक्स $X_k$ को $\mu$ द्वारा स्केल किए गए गाऊसी शोर (Gaussian noise) $U$ जोड़कर परटर्ब किया जाता है: $X_k + \mu U$ ।
फाइनाइट डिफरेंस (Finite Difference): ग्रेडिएंट का अनुमान आधारभूत इनपुट के विरुद्ध परटर्ब किए गए इनपुट के लॉस की तुलना करके लगाया जाता है:
$g_k \approx \frac{1}{N} \sum_{i=1}^{N} \frac{\Phi(X_k + \mu U_i) - \Phi(X_k)}{\mu} U_i$
जहाँ $N$ मोंटे कार्लो सैंपल्स की संख्या है।
अपडेट (Update): एम्बेडिंग्स को ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है: $X_{k+1} \leftarrow X_k - \eta g_k$ ।

C. रेगुलराइजेशन (Regularization)

यह सुनिश्चित करने के लिए कि अनुकूलित एम्बेडिंग्स वैध रहें और लेटेंट स्पेस के अप्राशिक्षित क्षेत्रों में न भटकें:

ग्रेडिएंट नॉर्मलाइजेशन (Gradient Normalization): अपडेट स्टेप मूल एम्बेडिंग $X_0$ के चारों ओर एक कोसाइन बॉल पर अपडेटेड एम्बेडिंग को प्रोजेक्ट करने के लिए ग्रेडिएंट दिशा ( $g_k / \|g_k\|_2$ ) का उपयोग करता है यदि समानता $\kappa$ थ्रेशोल्ड से नीचे गिर जाती है। यह सुनिश्चित करता है कि परटर्बेशन सब-लेक्सिकल (sub-lexical) है: अनुकूलित वेक्टर उसी टोकन के भीतर के निरंतर प्रतिनिधित्व को बदल देता है, लेकिन मूल टोकन को नहीं बदलता।

3. मुख्य योगदान (Key Contributions)

संरेखित मॉडल्स तक विस्तार: यह सिद्ध करता है कि एम्बेडिंग-स्तर का नियंत्रण, जो पहले बेस मॉडल्स के डिटॉक्सिफिकेशन के लिए दिखाया गया था, प्रभावी रूप से सेफ्टी-अलाइन्ड इंस्ट्रक्शन-ट्यून्ड मॉडल्स पर भी काम करता है, जिनका मौलिक रूप से भिन्न (बाइमोडल) आउटपुट वितरण होता है।
सब-लेक्सिकल कंट्रोल: यह प्रमाणित करता है कि एक टोकन के निकटतम-पड़ोसी सेल के भीतर निरंतर एम्बेडिंग वेक्टर को अनुकूलित करना (बिना टोकन बदले) मॉडल के व्यवहार को हानिकारक से सुरक्षित की ओर मोड़ने के लिए पर्याप्त है। यह एम्बेडिंग्स को केवल डिस्क्रीट लुकअप मानने वाली धारणा को चुनौती देता है।
ब्लैक-बॉक्स ऑप्टिमाइजेशन: इस विधि के लिए मॉडल इंटरनल (ग्रेडिएंट्स, हिडन स्टेट्स, या लॉजिट्स) तक पहुँच की आवश्यकता नहीं है। इसे केवल इनपुट एम्बेडिंग्स और एक ब्लैक-बॉक्स मॉडरेशन API की आवश्यकता है।
अनकंडीशनल एप्लीकेशन: यह विधि इरादे (intent) के संबंध में सभी प्रॉम्प्ट्स पर लागू होती है। यह केवल इनकार (refusal) को मजबूर नहीं करती; बल्कि यह मॉडल को एक सुरक्षित, सारगर्भित प्रतिक्रिया उत्पन्न करने के लिए निर्देशित करती है, या यदि आवश्यक हो तो एक सुरक्षित इनकार के लिए।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन दो बेंचमार्क पर पाँच इंस्ट्रक्शन-ट्यून्ड मॉडल्स (1B से 20B पैरामीटर्स तक: Gemma 3, Phi-3.5, Llama 3.1, Qwen3, GPT-OSS) पर किया गया:

WildJailbreak: एडवरसेरियल प्रॉम्प्ट्स (हानिकारक और सौम्य)।
HarmBench: प्रत्यक्ष हानिकारक क्वेरीज़।

मुख्य निष्कर्ष:

सुरक्षा उन्मूलन (Safety Elimination): TSA ने अधिकांश मॉडल्स के लिए मानक बेंचमार्क्स पर फ्लैग किए गए (हानिकारक) रिस्पॉन्स की संख्या को शून्य तक कम कर दिया। उदाहरण के लिए, Llama 3.1-8B पर, इसने फ्लैग किए गए हानिकारक प्रॉम्प्ट्स को 218 से घटाकर 0 कर दिया।
अभिसरण (Convergence): ऑप्टिमाइजेशन आमतौर पर 1 से 2 ग्रेडिएंट स्टेप्स के भीतर अभिसरित (converge) हो जाता है।
सौम्य संरक्षण (Benign Preservation): एडवरसेरियल सौम्य प्रॉम्प्ट्स पर, TSA ने मॉडरेशन स्कोर में वृद्धि नहीं की, जो पुष्टि करता है कि यह "ब्लैंकेट रिफ्यूजल" बायस पैदा नहीं करता या हेल्पफुलनेस को कम नहीं करता।
बेसलाइन के साथ तुलना: TSA ने SmoothLLM (रैंडम टोकन परटर्बेशन), AdaSteer (एक्टिवेशन स्टीयरिंग), और RESTA (एम्बेडिंग नॉइज़) जैसे बेसलाइन्स को काफी पीछे छोड़ दिया। बेसलाइन्स अक्सर सिमेंटिक जेलब्रेक पर विफल रहे या प्रत्यक्ष हानिकारक क्वेरीज़ पर फ्लैग रेट बढ़ा दिया।
दक्षता (Efficiency): प्राथमिक लेटेंसी लागत मॉडेल इन्फरेंस नहीं, बल्कि मॉडरेशन ऑरेकल को API कॉल है।

5. महत्व और निहितार्थ (Significance and Implications)

नया कंट्रोल सरफेस: यह शोध पत्र प्रकट करता है कि एम्बेडिंग लेयर पहले की तुलना में अधिक समृद्ध कंट्रोल सरफेस प्रदान करती है। छोटे, सब-लेक्सिकल परटर्बेशन संरेखित मॉडल्स की जटिल सुरक्षा सीमाओं को नेविगेट कर सकते हैं।
डिप्लॉयमेंट व्यवहार्यता (Deployment Viability): एक "ड्रॉप-इन" सुरक्षा परत के रूप में, TSA के लिए किसी मॉडल रिट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता नहीं है। इसे किसी भी मॉडल पर तैनात किया जा सकता है जहाँ इनपुट एम्बेडिंग्स सुलभ हों (जैसे ओपन-वेट मॉडल्स) और साथ में एक सार्वजनिक मॉडरेशन API हो।
सीमाएँ (Limitations):
- लेटेंसी (Latency): इटरेटिव ऑप्टिमाइजेशन प्रति-प्रॉम्प्ट लेटेंसी (सेकंड्स) जोड़ता है, हालांकि यह मुख्य रूप से API राउंड-ट्रिप्स द्वारा संचालित है।
- मॉडल निर्भरता: प्रभावशीलता मॉडल के मौजूदा सुरक्षा प्रशिक्षण की गुणवत्ता के साथ स्केल करती है। कम अलाइनमेंट वाले मॉडल्स (जैसे Gemma 3-1B) में सफलता दर कम देखी गई, क्योंकि ऑप्टिमाइज़र पास का सुरक्षित दिशा नहीं खोज सका।
- API एक्सेस: इसके लिए इनपुट एम्बेडिंग्स (जो पूरी तरह से API-गेटेड क्लोज्ड मॉडल्स के लिए उपलब्ध नहीं हैं) और एक मॉडरेशन API तक पहुँच की आवश्यकता है।

निष्कर्षतः, Test-Time Safety Alignment एक एडवरसेरियल हमले को बेअसर करने के लिए एक मजबूत, मॉडल-एग्नोस्टिक तंत्र प्रदान करता है, जो निरंतर इनपुट प्रतिनिधित्व को अनुकूलित करके, रिट्रेनिंग के बिना सैद्धांतिक सुरक्षा और व्यावहारिक तैनाती के बीच के अंतर को पाटता है।