💬 NLP

Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

यह शोध पत्र LANCE का प्रस्ताव करता है, जो सूक्ष्म-स्तरीय रिजेक्शन वितरण (fine-grained rejection distributions) की भविष्यवाणी करने के लिए लेबल एन्हांसमेंट हेतु वेरिएशनल इन्फरेंस (variational inference) का उपयोग करने वाली एक विधि है, जिससे बड़े भाषा मॉडल (Large Language Models) को उच्च सुरक्षा मानकों को बनाए रखते हुए कठोर रिजेक्शन से बचने वाले सुरक्षित और स्वाभाविक उत्तर उत्पन्न करने में सक्षम बनाया जा सके।

मूल लेखक: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक रोबोट असिस्टेंट है। आप उससे एक ऐसा सवाल पूछते हैं जो लगभग सुरक्षित है, लेकिन शायद किसी संवेदनशील विषय को छू रहा है। एक चेतावनी के साथ मददगार जवाब देने के बजाय, रोबोट घबरा जाता है और हर बार वही रोबोटिक वाक्यांश कहता है: "मैं इस अनुरोध को पूरा नहीं कर सकता।"

यह वह है जिसे पेपर "रिजिड रिजेक्शन" (rigid rejection) कहता है। यह एक क्लब के बाउंसर की तरह है जो सबको सिर्फ इसलिए बाहर निकाल देता है क्योंकि उन्होंने थोड़ा जोखिम भरा हैट पहना हुआ है, भले ही वे सिर्फ नाचने आए हों। रोबोट गलती करने से इतना डर जाता है कि वह मददगार होना बंद कर देता है।

लेखकों ने इस समस्या को ठीक करने के लिए LANCE नामक एक नया सिस्टम बनाया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "सब-या-कुछ-नहीं" वाला स्विच (The "All-or-Nothing" Switch)

वर्तमान में, अधिकांश सुरक्षा प्रणालियाँ एक साधारण लाइट स्विच की तरह काम करती हैं: ON (सुरक्षित) या OFF (असुरक्षित)।

यदि सिस्टम को कोई जोखिम भरा शब्द दिखता है, तो वह स्विच को "OFF" पर डाल देता है और बातचीत को बंद कर देता है।
समस्या यह है कि कई सवाल पूरी तरह से "बुरे" नहीं होते। वे एक हानिरहित विचार और एक जोखिम भरे विवरण का मिश्रण हो सकते हैं। वर्तमान प्रणाली सूक्ष्मता (nuance) को नहीं देख सकती, इसलिए वह सब कुछ ब्लॉक कर देती है।

2. समाधान: LANCE (द "डिमर स्विच")

LANCE उस साधारण लाइट स्विच की जगह एक डिमर स्विच या वॉल्यूम नॉब की तरह काम करता है। केवल "बुरा" या "अच्छा" कहने के बजाय, यह पूछता है: "यह कितना जोखिम भरा है, और वास्तव में कौन सा हिस्सा जोखिम भरा है?"

लेबल एन्हांसमेंट (जासूस): LANCE एक विशेष टूल (जिसे वैरायशनल इन्फरेंस कहा जाता है) का उपयोग करता है ताकि वह एक सवाल को देख सके और उसे तोड़ सके। एक साधारण "हाँ/ना" लेबल के बजाय, यह जोखिम का एक निरंतर मानचित्र (continuous map of risk) बनाता है।
- उपमा: मौसम के पूर्वानुमान की कल्पना करें। पुराने सिस्टम केवल कहते थे "बारिश" या "कोई बारिश नहीं।" LANCE कहता है, "उत्तर में हल्की बूंदाबांदी की 20% संभावना है, लेकिन दक्षिण में धूप खिली है।" यह जानता है कि खतरा कहाँ है और खतरे की मात्रा कितनी है।

3. प्रक्रिया: "सर्जिकल एडिटर" (The "Surgical Editor")

एक बार जब LANCE जान लेता है कि जोखिम कहाँ है और कितना बड़ा है, तो यह पूरी बातचीत को डिलीट नहीं करता है। यह एक सर्जिकल एडिटर की तरह काम करता है।

ग्रेडिएंट गाइड (The Gradient Guide): LANCE जोखिम मानचित्र के आधार पर रोबोट को निर्देशों का एक सेट देता है।
- यदि जोखिम बहुत कम है (जैसे हल्की बूंदाबांदी), तो यह रोबोट को वाक्य में एक छोटा, विनम्र बदलाव करने के लिए कहता है।
- यदि जोखिम बहुत बड़ा है (जैसे तूफान), तो यह रोबोट को बड़ा बदलाव करने के लिए कहता है।
परिणाम: रोबोट उपयोगकर्ता के सवाल को इतना ही फिर से लिखता है जिससे वह सुरक्षित हो जाए, लेकिन मूल अर्थ और लहजा बना रहे।
- पुराना तरीका: यूजर पूछता है, "मैं अपने पड़ोसी का वाई-फाई कैसे हैक करूँ?" -> रोबोट: "मैं इस अनुरोध को पूरा नहीं कर सकता।"
- LANCE का तरीका: रोबोट समझ जाता है कि "हैकिंग" वाला हिस्सा जोखिम भरा है लेकिन "पड़ोसी का वाई-फाई" वाला हिस्सा सिर्फ एक जिज्ञासा है। यह विचार को इस तरह से फिर से लिखता है: "मैं हैकिंग में मदद नहीं कर सकता, लेकिन मैं समझा सकता हूँ कि वाई-फाई सुरक्षा कैसे काम करती है ताकि आप अपने नेटवर्क की रक्षा कर सकें।"

4. परिणाम: सुरक्षित लेकिन स्वाभाविक

इस पेपर ने इस सिस्टम का अन्य सुरक्षा विधियों के विरुद्ध परीक्षण किया और पाया कि LANCE दो चीजों में बहुत बेहतर है:

सुरक्षा (Safety): यह अभी भी वास्तव में खतरनाक चीजों को रोकता है (यह सख्त रोबोट्स जितना ही सुरक्षित है)।
मददगार और स्वाभाविक (Helpfulness & Naturalness): यह रोबोट को एक टूटे हुए रिकॉर्ड की तरह व्यवहार करने से रोकता है। बातचीत अधिक मानवीय लगती है क्योंकि रोबोट केवल "ना" कहने के बजाय मदद करने की कोशिश करता है।

सारांश

LANCE को एक रोबोट को बाउंसर के बजाय एक डिप्लोमैट (राजदूत) सिखाने के रूप में समझें।

बाउंसर (पुराना सिस्टम) एक जोखिम भरे हैट को देखता है और कहता है, "अंदर आना मना है!"
डिप्लोमैट (LANCE) एक जोखिम भरा हैट देखता है, कहता है, "यह हैट इस पार्टी के लिए थोड़ा जोखिम भरा है, लेकिन आइए इसे एक सुरक्षित वाले से बदल लेते हैं ताकि आप अभी भी अंदर आकर नाच सकें।"

पेपर का दावा है कि यह विधि AI को सुरक्षित बनाती है बिना उसे परेशान या अनुपयोगी बनाए, जिससे उन रोबोटों की समस्या हल होती है जो हमसे बात करने से बहुत डरते हैं।

तकनीकी सारांश: "मैं इस अनुरोध को पूरा नहीं कर सकता" से परे: लेबल संवर्धन (Label Enhancement) के माध्यम से LLMs में कठोर अस्वीकृति को कम करना

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) हानिकारक अनुरोधों को अस्वीकार करने और सुरक्षित अनुरोधों का उत्तर देने के लिए सुरक्षा संरेखण (safety alignment) पर निर्भर करते हैं। हालाँकि, वर्तमान तंत्र अक्सर "कठोर अस्वीकृति" (rigid refusal) से ग्रस्त होते हैं, जो दो प्राथमिक सीमाओं द्वारा चिह्नित है: (1) अति-रक्षात्मक अस्वीकृति (Over-defensive rejection), जहाँ संवेदनशील विषयों से संबंधित निर्दोष, शैक्षणिक या शैक्षिक प्रश्नों को भी अंधाधुंध ब्लॉक कर दिया जाता है; और (2) यांत्रिक प्रतिक्रिया टेम्प्लेट (Mechanistic response templates), जहाँ मॉडल जोखिम के स्तर या संदर्भ की परवाह किए बिना जेनेरिक, रोबोटिक अस्वीकृतियाँ (जैसे, "मैं इस अनुरोध को पूरा नहीं कर सकता") आउटपुट करता है। यह कठोरता मौजूदा संरेखण रणनीतियों से उत्पन्न होती है जो मोटे तौर पर बाइनरी सुरक्षा लेबल या असतत स्केलर पुरस्कारों (discrete scalar rewards) पर निर्भर करती हैं। ये संकेत व्याख्यात्मकता और दिशात्मक मार्गदर्शन की कमी रखते हैं, जिससे मॉडल जोखिम वाले घटकों की सटीक पहचान करने या हानिकारक तत्वों को परिष्कृत करने में असमर्थ हो जाते हैं, जिससे मानव-AI संवाद की स्वाभाविकता और उपयोगिता से समझौता होता है।

कार्यप्रणाली: LANCE फ्रेमवर्क
यह शोध पत्र LANCE (Llm rejection via lAbel eNhanCemery) प्रस्तावित करता है, जो एक ऐसा फ्रेमवर्क है जिसे लेबल संवर्धन (Label Enhancement) के माध्यम से कठोर बाइनरी निर्णयों को लचीली, प्राकृतिक प्रतिक्रियाओं से बदलने के लिए डिज़ाइन किया गया है। कार्यप्रणाली के दो मुख्य घटक हैं:

वेरिएशनल इन्फरेंस (Variational Inference) के माध्यम से लेबल संवर्धन:
बाइनरी लेबल ($0 $या$ 1$) के उपयोग के बजाय, LANCE एक वेरिएशनल इन्फरेंस नेटवर्क का उपयोग करता है जो मोटे सुरक्षा लेबल को कई अस्वीकृति श्रेणियों में एक निरंतर, विसंयोजित जोखिम वितरण (continuous, disentangled risk distribution) ( $d \in [0, 1]^c$ ) में परिवर्तित करता है।
- आर्किटेक्चर: सिस्टम प्रॉम्प्ट-रिस्पॉन्स पेयर्स से संदर्भ विशेषताओं (context features) को निकालने के लिए एक साझा RoBERTa-आधारित एनकोडर का उपयोग करता है। इन विशेषताओं को दो समानांतर लेटेंट स्पेस में प्रोजेक्ट किया जाता है: एक सिमेंटिक स्पेस ( $z$ , जिसे गॉसियन के रूप में मॉडल किया गया है) और एक रिस्क स्पेस ( $d$ , जिसे बीटा वितरण के रूप la मॉडल किया गया है)।
- विसंयोजन (Disentanglement): पोस्टीरियर में सिमेंटिक सामग्री और सुरक्षा बाधाओं के बीच सांख्यिकीय स्वतंत्रता को मानते हुए, मॉडल अंतर्निहित भाषाई अर्थ को बदले बिना जोखिम की तीव्रता को अलग करना सीखता है।
- प्रशिक्षण उद्देश्य: मॉडल साक्ष्य निम्नतम सीमा (Evidence Lower Bound - ELBO) को अधिकतम करने के लिए प्रशिक्षित किया जाता है, जो प्रायर डिस्ट्रीब्यूशन को लागू करने के लिए KL डाइवर्जेंस रेगुलराइजेशन के साथ मिलकर सिमेंटिक फीचर्स और बाइनरी रिस्क लेबल दोनों के लिए रिकंस्ट्रक्शन लॉस को कम करता है। एक सहायक रेगुलराइजेशन टर्म यह सुनिश्चित करता है कि इन्फर्ड निरंतर वितरण ग्राउंड-ट्रुथ बाइनरी सुपरविजन के साथ संरेखित रहे।
सूक्ष्म-स्तरीय जोखिम-निर्देशित प्रॉम्प्ट परिशोधन (Fine-Grained Risk-Guided Prompt Refinement):
निरंतर जोखिम वितरण $d$ एक परिशोधन मॉडल (जैसे, Qwen2.5-1.5B) के लिए एक नैदानिक संकेत (diagnostic signal) के रूप में कार्य करता है।
- थ्रेशोल्डिंग (Thresholding): सिस्टम जोखिम स्तरों को "मामूली" (Minor), "हल्का" (Mild), या "गंभीर" (Critical) के रूप में वर्गीकृत करने के लिए थ्रेशोल्ड ( $\tau, \tau_{low}, \tau_{high}$ ) निर्धारित करता है।
- टेक्स्टुअल ग्रेडिएंट्स (Textual Gradients): जोखिम श्रेणी और तीव्रता के आधार पर, सिस्टम एक टेम्पलेट $T(y_j, d_j, e_j)$ का उपयोग करके विशिष्ट टेक्स्टुअल ग्रेडिएंट्स (जैसे, "इस अनुभाग को कम आक्रामक बनाने के लिए इसे फिर से लिखें") उत्पन्न करता है।
- पुनरावृत्ति अनुकूलन (Iterative Optimization): एक TextGrad-आधारित दृष्टिकोण का उपयोग करते हुए, परिशोधन मॉडल उपयोगकर्ता के प्रॉम्प्ट को बार-बार लिखता है। यह खतरनाक तत्वों को सर्जिकल सटीकता के साथ निष्प्रभावी करता है जबकि मूल सिमेंटिक इरादे को सुरक्षित रखता है, जिससे असुरक्षित इनपुट को सुरक्षित, सहायक और प्राकृतिक प्रश्नों में बदल दिया जाता है, जिससे हार्ड रिफ्यूसल (hard refusal) से बचा जा सके।

प्रमुख योगदान

नया फ्रेमवर्क: LANCE का परिचय, जो सुरक्षा संरेखण को सरल बाइनरी निर्णयों से बदलकर कई अस्वीकृति श्रेणियों में निरंतर वितरण की ओर ले जाता है।
लेबल संवर्धन: बाइनरी रिजेक्शन लेबल को विस्तृत, सूक्ष्म-स्तरीय वितरण में बदलने का एक तंत्र, जो विशिष्ट खतरनाक सिमेंटिक घटकों की पहचान और उनके सटीक सुधार को सक्षम बनाता है।
परिशोधन मॉडल (Refinement Model): एक ग्रेडिएंट-संचालित परिशोधन प्रक्रिया का कार्यान्वयन जो इन वितरणों का उपयोग केवल खतरनाक तत्वों को साफ करने के लिए करता है, जिससे LLMs को रोबोटिक टेम्प्लेट से बचते हुए सुरक्षित प्रतिक्रियाएं उत्पन्न करने की अनुमति मिलती है और संवाद की स्वाभाविकता बनी रहती है।

प्रायोगिक परिणाम
लेखकों ने LANCE का मूल्यांकन BeaverTails डेटासेट (14 असुरक्षित श्रेणियाँ) पर तीन एब्लेटेड बैकबोन (Llama3-8B, Llama3.1-8B, Qwen2.5-7B) का उपयोग करके किया और इसकी तुलना पांच बेसलाइन के विरुद्ध की: वैनिला (unaligned), RepE (latent steering), SysPrompt (in-context safety), SelfRefine (iterative critique), और ऑफिशियल इंस्ट्रक्ट मॉडल्स (RLHF-aligned)।

सुरक्षा बनाम उपयोगिता ट्रेड-ऑफ: जबकि ऑफिशियल इंस्ट्रक्ट मॉडल्स ने उच्च सुरक्षा स्कोर (जैसे, Llama-3 के लिए 9.55) प्राप्त किया, उनकी हेल्पफुलनेस (उपयोगिता) स्कोर तेजी से गिरकर 3.41 रह गई, जो गंभीर कठोर अस्वीकृति को दर्शाता है। LANCE ने तुलनीय सुरक्षा (9.23) हासिल की जबकि उपयोगिता (7.89) और स्वाभाविकता (8.69) को महत्वपूर्ण रूप से बहाल किया।
व्यावसायिक मॉडलों के साथ तुलना: शीर्ष-स्तरीय व्यावसायिक मॉडलों (GPT-4o, Gemini 2.5-Pro) के विरुद्ध तुलना करने पर, LANCE ने प्रतिस्पर्धी सुरक्षा (9.55) बनाए रखते हुए श्रेष्ठ उपयोगिता (GPT-4o के 3.58 के मुकाबले 7.89) प्रदर्शित की, जिससे सिद्ध होता है कि प्रभावी संरेखण के लिए स्केल (scale) एकमात्र पूर्व शर्त नहीं है।
एब्लेशन अध्ययन: परिशोधन लूप को हटाने (LANCE-NR) के परिणामस्वरूप खराब सुरक्षा (4.57) हुई। सूक्ष्म-स्तरीय मार्गदर्शन को हटाने (LANCE-NF) से सुरक्षा में सुधार हुआ लेकिन वह पूर्ण विधि की उपयोगिता और स्वाभाविकता से मेल खाने में विफल रहा, जिससे पुष्टि होती है कि कठोर अस्वीकृति से बचने के लिए निरंतर जोखिम वितरण आवश्यक है।

महत्व और दावे
शोध पत्र का दावा है कि कठोर अस्वीकृति सुरक्षा संरेखण का अपरिहार्य परिणाम नहीं है। विसंयोजित लेटेंट वेरिएबल्स के माध्यम से सुरक्षा उद्देश्यों को सामान्य निर्देश पालन से अलग करके, LANCE एक मजबूत समाधान प्रदान करता है जो मॉडल की उपयोगिता और स्वाभाविकता को बहाल करता है। यह फ्रेमवर्क प्रदर्शित करता है कि मोटे रिजेक्शन फिल्टर के स्थान पर एक सटीक, जोखिम-निर्देशित पुनरावृत्ति अनुकूलन प्रक्रिया को अपनाने से मॉडल सुरक्षा सीमाओं को बुद्धिमानी से पार कर सकते हैं, जिससे ऐसी सूक्ष्म प्रतिक्रियाएं उत्पन्न होती हैं जो हानिरहित और रचनात्मक दोनों हैं। लेखक इस कार्य को एक ऐसे कदम के रूप में देखते हैं जो उस "एलाइनमेंट टैक्स" (alignment tax) को कम करता है जो वर्तमान में सुरक्षा-ट्यून किए गए मॉडलों के प्रदर्शन को कम करता है।

1. समस्या: "सब-या-कुछ-नहीं" वाला स्विच (The "All-or-Nothing" Switch)

2. समाधान: LANCE (द "डिमर स्विच")

3. प्रक्रिया: "सर्जिकल एडिटर" (The "Surgical Editor")

4. परिणाम: सुरक्षित लेकिन स्वाभाविक

सारांश

इसी तरह के और पेपर