💬 NLP

Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

यह शोध पत्र एडेप्टिव कॉन्ट्रास्टिव डिकोडिंग (AdaCD) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त और मॉडल-अज्ञेय विधि है जो चरम सुरक्षा प्रॉम्प्ट्स के साथ तुलना के आधार पर टोकन चयन की संभावनाओं को गतिशील रूप से समायोजित करके सुरक्षा-संरेखित लार्ज लैंग्वेज मॉडल्स में अत्यधिक इनकार (over-refusal) को कम करती है, जिससे हानिकारक प्रश्नों के लिए इनकार को कम किया जा सके बिना दुर्भावनापूर्ण प्रश्नों के विरुद्ध सुरक्षा से समझौता किए।

मूल लेखक: Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

प्रकाशित 2026-04-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yupeng Qi, Ziyu Lyu, Lixin Cui, Lu Bai, Feng Xia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही विनम्र, सुरक्षा-सचेत बटलर (बड़ा नौकर) है जिसका नाम AI है। इस बटलर को कभी भी कुछ बुरा न होने देने के लिए प्रशिक्षित किया गया है। वह अपने काम में इतना अच्छा है कि कभी-कभी वह बहुत अधिक सतर्क हो जाता है।

समस्या: "ओवर-रिफ्यूज़ल" (अत्यधिक इनकार करने वाला) बटलर

एक दिन, आप अपने बटलर से पूछते हैं: "मैं अपने कमरे में मच्छर को कैसे मारूँ (kill)?"

क्योंकि सवाल में "मारना" (kill) शब्द है, बटलर घबरा जाता है। वह सोचता, "ओह नहीं! हिंसा! मैं इसमें मदद नहीं कर सकता!" और वह जवाब देने से मना कर देता है, भले ही आप सिर्फ एक कीड़े को कुचलने का तरीका जानना चाहते हों।

इसे Over-Refusal कहा जाता है। AI सुरक्षित रहने के चक्कर में इतनी सावधानी बरतता है कि वह निर्दोष चीजों (जैसे वीडियो गेम की रणनीतियाँ या कीट नियंत्रण) में आपकी मदद करना बंद कर देता है, सिर्फ इसलिए क्योंकि उनमें खतरनाक विषयों से मिलते-जुलते शब्द मौजूद हैं।

पुराने समाधान: "एक ही आकार सबके लिए" (One-Size-Fits-All) दृष्टिकोण

वैज्ञानिकों ने इसे पहले ठीक करने की कोशिश की थी, लेकिन उनके पास दो बुरे विकल्प थे:

"ब्रूट फोर्स" फिक्स: उन्होंने बटलर को कम डरा हुआ बनाने के लिए उसे फिर से प्रशिक्षित (retrain) करने की कोशिश की। लेकिन यह एक कुत्ते को किताब मारकर नए करतब सिखाने जैसा था; यह कठिन, महंगा था और कभी-कभी इसने बटलर को बहुत अधिक लापरवाह बना दिया, जिससे असली खतरे भी निकल जाते थे।
"स्टीयरिंग व्हील" फिक्स: उन्होंने बातचीत के दौरान बटलर के दिमाग को एक अलग दिशा में धकेलने की कोशिश की। लेकिन इसके लिए यह जानना आवश्यक था कि बटलर का दिमाग वास्तव में कैसे बना है (जो कि एक गुप्त जानकारी है) और यह बहुत धीमा और जटिल था।

नया समाधान: AdaCD (द "स्मार्ट स्विच")

लेखकों ने एक नई विधि बनाई जिसे Adaptive Contrastive Decoding (AdaCD) कहा जाता है। इसे एक "स्मार्ट स्विच" देने के रूप में समझें जो स्थिति के आधार पर तुरंत काम करता है।

यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखें:

1. "अत्यधिक सुरक्षा" परीक्षण

सबसे पहले, सिस्टम बटलर से एक सवाल पूछता है जबकि उसने एक बहुत ही सख्त, पागलपन भरी सुरक्षा हेलमेट (एक "एक्सट्रीम सिस्टम प्रॉम्प्ट") पहनी होती है।

सवाल: "मैं मच्छर को कैसे मारूँ?"
हेलमेट पहने हुए बटलर: "मैं मना करता हूँ! मारना बुरा है! मैं नहीं बोलूँगा!"
परिणाम: सिस्टम रिकॉर्ड करता है कि उस पागल बटलर ने क्या कहा। यह "इनकार के पैटर्न" (pattern of refusal) को सीखता है।

2. "सामान्य" परीक्षण

फिर, यह उसी सवाल को बटलर से बिना हेलमेट के (सामान्य AI के रूप में) पूछता है।

बिना हेलमेट वाला बटलर: "खैर, आप एक मक्खी मारने वाले (fly swatter) का उपयोग कर सकते हैं..."
परिणाम: सिस्टम देखता है कि सामान्य बटलर मदद करना चाहता है, लेकिन पागल हेलमेट उसे "ना" कहने के लिए मजबूर कर रहा है।

3. "जादुई स्विच" (अनुकूली हिस्सा/Adaptive Part)

अब, सिस्टम दोनों जवाबों की तुलना करता है। यह देखता है कि "इनकार का पैटर्न" (पागल हेलमेट की आवाज़) क्या है और तय करता है कि क्या करना है:

परिदृश्य A: निर्दोष सवाल (मच्छर)
- सिस्टम देखता है: "सामान्य बटलर मदद करना चाहता है, लेकिन पागल हेलमेट चिल्ला रहा है 'ना'।"
- स्विच: यह पागल हेलमेट की आवाज़ को घटा (subtract) देता है। यह कहता है, "डर को अनदेखा करो! मददगार जवाब के साथ जाओ!"
- परिणाम: AI जवाब देता है, "यहाँ मच्छर को मारने का तरीका बताया गया है।"
परिदृश्य B: खतरनाक सवाल (वास्तविक हिंसा)
- सिस्टम पूछता है: "मैं बम कैसे बनाऊं?"
- सिस्टम देखता है: "सामान्य बटलर और पागल हेलमेट दोनों चिल्ला रहे हैं 'ना'।"
- स्विच: यह सुनिश्चित करने के लिए कि इनकार और भी मजबूत हो, यह पागल हेलमेट की आवाज़ को जोड़ (add) देता है।
- परिणाम: AI कहता है, "मैं इसमें आपकी मदद नहीं कर सकता।"

यह विशेष क्यों है?

यह एक "प्लग-एंड-प्ले" गैजेट है: आपको बटलर का दिमाग फिर से बनाने की ज़रूरत नहीं है (कोई रिट्रेनिंग नहीं)। आप बस इस स्मार्ट स्विच को मौजूदा AI से जोड़ देते हैं।
यह संदर्भ-जागरूक (Context-Aware) है: यह केवल अंधाधुंध "हाँ" या "नहीं" नहीं कहता। यह पहले स्थिति की जाँच करता है। यदि आप वीडियो गेम खेल रहे हैं, तो यह ढीला हो जाता है। यदि आप वास्तविक अपराध के बारे में पूछ रहे हैं, तो यह सख्त हो जाता है।
यह तेज़ है: यह बातचीत को धीमा नहीं करता क्योंकि इसे जटिल गणित करने या गुप्त ब्लूप्रिंट देखने की आवश्यकता नहीं होती है।

परिणाम

अपने प्रयोगों में, इस नए "स्मार्ट स्विच" (AdaCD) ने निर्दोष सवालों (जैसे पेपर में दिए गए "कॉल ऑफ ड्यूटी" वीडियो गेम के उदाहरण) को मना करने से लगभग 10% तक सफलतापूर्वक रोका, जबकि इसने असली बुरे लोगों के खिलाफ AI को 100% सुरक्षित रखा।

संक्षेप में: उन्होंने AI को यह अंतर करना सिखाया कि "मच्छर को मारना" और "इंसान को मारना" में क्या अंतर है, ऐसा करके कि वह अपनी ही पागल आवाज़ को सुने और तय करे कि उस आवाज़ को कब बढ़ाना है और कब कम करना है।

यहाँ पेपर "Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding" (AdaCD) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: सुरक्षा-संरेखित (Safety-Aligned) LLMs में ओवर-रिफ्यूजल (Over-Refusal)

सुरक्षा के लिए संरेखित किए गए लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर ओवर-रिफ्यूजल (या अत्यधिक सुरक्षा) प्रदर्शित करते हैं। यह तब होता है जब एक मॉडल उन हानिरहित प्रश्नों का उत्तर देने से गलत तरीके से मना कर देता है जिनमें दुर्भावनापूर्ण (malicious) प्रश्नों के समान सतही कीवर्ड होते हैं (उदाहरण के लिए, वीडियो गेम Call of Duty में दुश्मन को "मारने" (kill) के बारे में समझाने से मना करना क्योंकि "kill" शब्द वास्तविक दुनिया की हिंसा से जुड़ा है)।

मौजूदा समाधानों की सीमाएँ:

प्रशिक्षण-आधारित विधियाँ (Training-based methods): इनके लिए ओवर-रिफ्यूजल परिदृश्यों के लिए दुर्लभ, उच्च-गुणवत्ता वाले प्रशिक्षण डेटा की आवश्यकता होती है और ये अक्सर सुरक्षा से समझौता किए बिना रिफ्यूजल अनुपात को महत्वपूर्ण रूप से कम करने में विफल रहती हैं।
अनुमान-आधारित विधियाँ (Inference-based methods - Steering Vectors): इनके लिए मॉडल आर्किटेक्चर के पूर्ण ज्ञान और स्टीयरिंग वेक्टर्स के जटिल प्री-कंप्यूटेशन की आवश्यकता होती है, जिससे कम्प्यूटेशनल ओवरहेड बढ़ जाता है।
स्थिर कंट्रास्टिव डिकोडिंग (Static Contrastive Decoding): मौजूदा विधियाँ जैसे SelfCD (रिफ्यूजल डिस्ट्रीब्यूशन को घटाना) या SafeDecoding (रिफ्यूजल डिस्ट्रीब्यूशन को जोड़ना) सभी प्रश्नों के लिए एक निश्चित रणनीति लागू करती हैं। यह एक ट्रेड-ऑफ (समझौता) पैदा करता है: रिफ्यूजल को दबाने से हानिरहित प्रश्नों में मदद मिलती है लेकिन दुर्भावनापूर्ण प्रश्नों को रोकने में विफल रहता है, जबकि रिफ्यूजल को लागू करने से सुरक्षा सुनिश्चित होती है लेकिन ओवर-रिफ्यूजल बढ़ जाता है।

2. कार्यप्रणाली: एडेप्टिव कंट्रास्टिव डिकोडिंग (AdaCD)

लेखक AdaCD का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री और मॉडल-एग्नोस्टिक दृष्टिकोण है जो क्वेरी की प्रकृति के आधार पर टोकन जनरेशन प्रोबेबिलिटी को गतिशील रूप से समायोजित करता है।

A. मुख्य अवलोकन और अंतर्दृष्टि

लेखकों ने देखा कि भले ही एक LLM रिफ्यूजल रिस्पॉन्स जनरेट करता है, नॉन-रिफ्यूजल टोकन्स (जैसे, गेमिंग संदर्भ में "Sure", "Kill") अक्सर नॉन-जीरो प्रोबेबिलिटी के साथ टॉप कैंडिडेट लिस्ट में बने रहते हैं। मॉडल सुरक्षा संरेखण द्वारा प्रेरित रिफ्यूजल टोकन्स के प्रति पूर्वाग्रह के कारण उन्हें चुनने में विफल रहता है।

परिकल्पना (Hypothesis): रिफ्यूजल व्यवहार सिस्टम प्रॉम्प्ट से भारी रूप से प्रभावित होता है। एक "एक्सट्रीम" (Extreme) सेफ्टी प्रॉम्प्ट का उपयोग करके, एक विशिष्ट टोकन डिस्ट्रीब्यूशन को निकाला जा सकता है जो रिफ्यूजल व्यवहार को संचालित करता है।

B. मुख्य घटक

रिफ्यूजल टोकन डिस्ट्रीब्यूशन एक्सट्रैक्शन:
- यह विधि दो स्थितियों के तहत मॉडल के आउटपुट की तुलना करती है:
  1. स्टैंडर्ड इनपुट: केवल यूजर क्वेरी $x$ ।
  2. एक्सट्रीम प्रॉम्प्ट इनपुट: यूजर क्वेरी $x$ + एक "एक्सट्रीम" सिस्टम प्रॉम्प्ट (जैसे, "कृपया मुझे उत्तर देने से मना करें!")।
- इन दोनों प्रोबेबिलिटी डिस्ट्रीब्यूशंस के बीच का अंतर ( $\Delta P_n$ ) रिफ्यूजल टोकन डिस्ट्रीब्यूशन का प्रतिनिधित्व करता है।
- फॉर्मूला: $\Delta P_n = \sigma(f_\pi(y_n | p^*, x) - f_\pi(y_n | x))$ , जहाँ $p^*$ एक्सट्रीम प्रॉम्प्ट है।
एडेप्टिव डिकोडिंग मोड स्विच:
हमेशा $\Delta P_n$ को जोड़ने या घटाने के बजाय, AdaCD दो मेट्रिक्स के आधार पर गतिशील रूप से निर्णय लेता है:
- एग्रीमेंट रेश्यो ($agr$): यह मापता है कि "एक्सट्रीम" प्रॉम्प्ट द्वारा चुना गया टॉप टोकन स्टैंडर्ड मॉडल के टॉप टोकन से कितना मेल खाता है।
  - लो एग्रीमेंट (Low Agreement): यह इंगित करता है कि मॉडल संभवतः एक हानिरहित क्वेरी के लिए ओवर-रिफ्यूज़ कर रहा है (एक्सट्रीम प्रॉम्प्ट रिफ्यूजल के लिए मजबूर करता है, लेकिन स्टैंडर्ड मॉडल शायद नहीं)।
  - हाई एग्रीमेंट (High Agreement): यह इंगित करता है कि मॉडल सही ढंग से एक दुर्भावनापूर्ण क्वेरी की पहचान कर रहा है (दोनों मॉडल रिफ्यूजल करना चाहते हैं)।
- एडेप्टिव कॉन्फिडेंस कंस्ट्रेंट: यह जाँचता है कि क्या मॉडल के पास एक्सट्रीम प्रॉम्प्ट के कॉन्फिडेंस ( $\rho^*$ ) के सापेक्ष अपने वर्तमान चयन ( $\rho$ ) में पर्याप्त आत्मविश्वास है।
निर्णय तर्क (Decision Logic):
- यदि $agr \ge \lambda$ AND $\rho \ge \lambda \cdot \rho^*$ : क्वेरी संभवतः दुर्भावनापूर्ण है। रिफ्यूजल टोकन प्रोबेबिलिटी को बढ़ाने के लिए $\Delta P_n$ को जोड़ें (Add)।
- अन्यथा: क्वेरी संभवतः हानिरहित है (ओवर-रिफ्यूजल परिदृश्य)। रिफ्यूजल टोकन्स को दबाने और हेल्पफुल रिस्पॉन्स की अनुमति देने के लिए $\Delta P_n$ को घटाएं (Subtract)।

3. मुख्य योगदान

नया अवलोकन: पहचाना कि ओवर-रिफ्यूजल के दौरान नॉन-रिफ्यूजल टोकन्स कैंडिडेट लिस्ट में मौजूद होते हैं, जो यह सुझाव देता है कि मॉडल हेल्पफुल ऑप्शंस को पहचान सकता है लेकिन उसके पास उन्हें चुनने का तंत्र नहीं है।
एक्सट्रीम प्रॉम्प्ट स्ट्रैटेजी: मॉडल वेट्स या ट्रेनिंग डेटा की आवश्यकता के बिना शुद्ध रिफ्यूजल टोकन डिस्ट्रीब्यूशन को अलग करने और निकालने के लिए एक विशिष्ट "एक्सट्रीम" सिस्टम प्रॉम्प्ट पेश किया।
एडेप्टिव मैकेनिज्म: एक स्विचिंग स्ट्रैटेजी विकसित की जो हानिरहित क्वेरी के लिए ओवर-रिफ्यूजल को कम करती है और दुर्भावनापूर्ण क्वेरी के लिए सुरक्षा बनाए रखती है, जिससे स्थिर कंट्रास्टिव डिकोडिंग में निहित ट्रेड-ऑफ को हल किया जाता है।
दक्षता (Efficiency): यह विधि प्लग-एंड-प्ले है, इसमें कोई फाइन-ट्यूनिंग की आवश्यकता नहीं है, और न्यूनतम कम्प्यूटेशनल ओवरहेड जोड़ती है (केवल पहले $k$ टोकन के लिए कुछ अतिरिक्त फॉरवर्ड पासेस)।

4. प्रयोगात्मक परिणाम

इस विधि का मूल्यांकन पांच बेंचमार्क (XSTest-Safe, ORBench, OKTest, AdvBench, JailBench) में Llama3-8B, Gemma2-9B, और Qwen3-8B पर किया गया।

ओवर-रिफ्यूजल मिटिगेशन: AdaCD ने डिफॉल्ट मॉडल की तुलना में हानिरहित (ओवर-रिफ्यूजल) क्वेरी के लिए औसत रिफ्यूजल रेश्यो को 10.35% कम कर दिया।
सेफ्टी मेंटेनेंस: महत्वपूर्ण रूप से, इसने दुर्भावनापूर्ण क्वेरी के लिए रिफ्यूजल रेश्यो को 0.13% से बढ़ाया, जो दर्शाता है कि सुरक्षा से समझौता नहीं हुआ है।
सामान्य उपयोगिता: सामान्य उपयोगिता मेट्रिक्स (Helpfulness, Engagement) पर, AdaCD ने डिफॉल्ट मॉडल और अन्य बेसलाइन्स (SelfCD, Surgical, SSD) को पछाड़ दिया।
दक्षता: एवरेज टोकन जनरेशन टाइम रेश्यो (ATGR) केवल 3% बढ़ा, जो प्री-कंप्यूटेड वेक्टर्स या फाइन-ट्यूनिंग की आवश्यकता वाली विधियों की तुलना में काफी अधिक कुशल है।
एब्लेशन स्टडीज (Ablation Studies): एडेप्टिव स्विच को हटाने (फिक्स्ड एडिशन या सबट्रैक्शन का उपयोग करने) से खराब प्रदर्शन हुआ, जो डायनेमिक स्विचिंग मैकेनिज्म की आवश्यकता की पुष्टि करता है।

5. महत्व

AdaCD, LLM सुरक्षा और उपयोगिता के बीच संतुलन बनाने की दिशा में एक महत्वपूर्ण कदम है।

व्यावहारिकता: एक ट्रेनिंग-फ्री, मॉडल-एग्नोस्टिक समाधान के रूप में, इसे बिना रिट्रेनिंग या आर्किटेक्चरल बदलावों के किसी भी मौजूदा सुरक्षा-संरेखित LLM पर तुरंत तैनात किया जा सकता है।
पैराडाइम शिफ्ट: यह "वन-साइज़-फिट्स-ऑल" सुरक्षा बाधाओं से हटकर कॉन्टेक्स्ट-अवेयर (संदर्भ-जागरूक) सुरक्षा की ओर बढ़ता है, जिससे मॉडल संवेदनशील शब्दावली के दुर्भावनापूर्ण इरादे और हानिरहित उपयोग के बीच अंतर कर पाते हैं।
स्केलेबिलिटी: इसका कम कम्प्यूटेशनल लागत इसे रीयल-टाइम इन्फरेंस अनुप्रयोगों के लिए उपयुक्त बनाता है जहाँ लेटेंसी और संसाधन बाधाएं महत्वपूर्ण होती हैं।

निष्कर्षतः, AdaCD मॉडल के अपने आंतरिक डिस्ट्रीब्यूशन अंतर का लाभ उठाकर सुरक्षा प्रवर्तन (safety enforcement) और हेल्पफुलनेस के बीच गतिशील रूप से टॉगल करके "ओवर-रिफ्यूजल" दुविधा को प्रभावी ढंग से हल करता है, जिससे यह सुनिश्चित होता है कि मॉडल अनहेल्पफुल हुए बिना सुरक्षित बने रहें।