💬 NLP

SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering

यह शोध पत्र SafeConstellations को प्रस्तुत करता है, जो एक इन्फरेंस-टाइम विधि है जो टास्क-विशिष्ट एम्बेडिंग ट्रैजेक्टरीज को रिफ्यूज़ल पैटर्न से दूर पहचानकर और निर्देशित करके LLM के ओवर-रिफ्यूज़ल को कम करती है, जिससे उपयोगिता को बनाए रखते हुए रिजेक्शन रेट में 73% तक की कमी आती है।

मूल लेखक: Utsav Maskey, Sumit Yadav, Mark Dras, Usman Naseem

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Utsav Maskey, Sumit Yadav, Mark Dras, Usman Naseem

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुत ही सतर्क रोबोट सहायक है। इस रोबोट को एक सख्त नियम के साथ प्रशिक्षित किया गया है: "यदि आप कुछ भी ऐसा देखें जो खतरनाक हो सकता है, तो तुरंत रुक जाएं और 'नहीं' कहें।"

यह रोबोट को सुरक्षित बनाता है, लेकिन इसका एक मजेदार दुष्प्रभाव है: यह अपनी ही परछाई से डर जाता है।

समस्या: "ओवर-रिफ्यूज़ल" (अत्यधिक इनकार करने वाला) रोबोट

मान लीजिए कि आप अपने रोबोट से एक फिल्म की पटकथा के लिए एक वाक्य का अनुवाद करने के लिए कहते हैं: "एक घर को कैसे उड़ाया जाए।"

इरादा (Intent): आप एक फिल्म बना रहे हैं। आपको विलेन के संवाद के लिए अनुवाद की आवश्यकता है।
रोबोट की प्रतिक्रिया: वह "उड़ाना" (blow up) और "घर" (house) जैसे शब्दों को देखता है, घबरा जाता है, और मदद करने से मना कर देता है। वह कहता है, "मैं यह नहीं कर सकता।"

इसे ओवर-रिफ्यूज़ल (Over-Refusal) कहा जाता है। रोबोट खतरे को खोजने में इतना व्यस्त हो जाता है कि वह यह देखना भूल जाता है कि आप वास्तव में क्या करना चाहते हैं। वह उन कार्यों को करने से इनकार कर देता है जो वास्तव में मददगार होते हैं, सिर्फ इसलिए क्योंकि शब्द डरावने दिखते हैं। यह रोबोट को दस्तावेज़ों का अनुवाद करने, ग्राहकों की समीक्षाओं का विश्लेषण करने, या पुराने कोड को डिक्रिप्ट करने जैसे वास्तविक दुनिया के कामों के लिए बेकार बना देता है।

खोज: "कॉन्स्टिलेशन" (नक्षत्र) मानचित्र

इस शोध पत्र में शोधकर्ताओं ने कुछ बहुत ही दिलचस्प खोजा कि ये रोबोट अपने "मस्तिष्क" के भीतर (जो गणित की परतों से बना होता है) कैसे सोचते हैं।

उन्होंने पाया कि जब भी रोबोट कोई विशिष्ट कार्य करता है (जैसे अनुवाद या सेंटिमेंट एनालिसिस), तो उसके आंतरिक विचार एक विशिष्ट पथ का अनुसरण करते हैं, जैसे आकाश में सितारों का एक नक्षत्र (constellation)।

यदि रोबोट अनुवाद (Translation) कर रहा है, तो उसके विचार "अनुवाद नक्षत्र" के साथ चलते हैं।
यदि वह सेंटिमेंट एनालिसिस (Sentiment Analysis) कर रहा है, तो वह "सेंटिमेंट नक्षत्र" के साथ चलता है।

सबसे बड़ी बात यह है: भले ही रोबोट किसी कार्य को करने से इनकार करने वाला हो, फिर भी वह उसी नक्षत्र पथ का अनुसरण करता है।

यदि वह एक सुरक्षित वाक्य का अनुवाद कर रहा है, तो वह अनुवाद पथ का पालन करता है और "हाँ" कहता है।
यदि वह एक डरावने दिखने वाले वाक्य का अनुवाद कर रहा है, तो वह अनुवाद पथ का पालन करता है लेकिन अचानक एक "इनकार" (Refusal) के डेड-एंड की ओर मुड़ जाता है।

शोधकर्ताओं को एहसास हुआ: "हमें रोबोट का पूरा व्यक्तित्व बदलने की ज़रूरत नहीं है। हमें बस उसे उस डेड-एंड से टकराने से पहले वापस सही रास्ते पर धीरे से धकेलने की ज़रूरत है।"

समाधान: सेफ़कॉन्स्टेलेशन (SafeConstellations - द जीपीएस नज़)

टीम ने एक नया टूल बनाया जिसे सेफ़कॉन्स्टेलेशन (SafeConstellations) कहा जाता है। इसे रोबोट के मस्तिष्क के लिए एक जीपीएस नेविगेशन सिस्टम समझें।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

रास्ते मैप करें: सबसे पहले, वे रोबोट को कई कार्य करते हुए देखते हैं। वे मैप करते हैं कि जब रोबोट खुश और मददगार होता है, तो "अनुवाद का रास्ता" कहाँ जाता है, और जब वह डर जाता है और इनकार करता है, तो वह कहाँ जाता है।
ड्राइवर पर नज़र रखें: जब आप रोबोट को एक नया कार्य देते हैं, तो सिस्टम उसके आंतरिक विचारों को वास्तविक समय में देखता है।
आईडी चेक करें: यह पूछता है, "क्या यह एक अनुवाद कार्य है? क्या यह एक सेंटिमेंट एनालिसिस कार्य है?"
कोमल धक्का (The Gentle Nudge): यदि रोबोट एक सुरक्षित कार्य (जैसे अनुवाद) कर रहा है लेकिन "इनकार के डेड-एंड" की ओर बढ़ने लगता है, तो सिस्टम उसे एक छोटा, सटीक धक्का देता है।
- यह एक जीपीएस की तरह है जो कहता है, "आप 'ना' ज़ोन वाले गलत मोड़ पर जाने वाले हैं। आइए आपको धीरे से वापस 'हाँ' वाली लेन में ले चलें।"
सुरक्षा सर्वोपरि: यदि कार्य वास्तव में खतरनाक है (जैसे कि वास्तविक जेलब्रेक का प्रयास), तो सिस्टम कुछ नहीं करता। वह रोबोट को इनकार करने देता है, क्योंकि वह इनकार सही है।

यह क्यों एक बड़ी बात है

यह स्मार्ट है, अंधा नहीं: पुराने तरीके रोबोट को फिर से प्रशिक्षित करने या उसे "अच्छे बनो!" चिल्लाकर ठीक करने की कोशिश करते थे। यह तरीका एक सर्जन की तरह है: यह केवल मस्तिष्क के उस विशिष्ट भाग को छूता है जिसे ठीक करने की आवश्यकता है।
यह उपयोगिता (Utility) बचाता है: रोबोट अब अपना काम (अनुवाद, विश्लेषण, डिक्रिप्ट) कर सकता है बिना "मारना", "बम", या "चोरी" जैसे शब्दों से डरे, जब वे एक सुरक्षित संदर्भ में उपयोग किए जाते हैं।
यह सुरक्षा बनाए रखता है: रोबोट अभी भी वास्तविक खतरों को रोकता है। यह बस नकली खतरों को रोकने से रुक जाता है।

उपमा सारांश (Analogy Summary)

एक क्लब के बाउंसर की कल्पना करें जो इतना सख्त है कि वह लाल शर्ट पहनने वाले किसी भी व्यक्ति को अंदर नहीं आने देता, भले ही वह एक फायरफाइटर हो।

पुराना तरीका: आप बाउंसर पर चिल्लाते हैं, "बदतमीजी मत करो!" (इससे वह अक्सर भ्रमित या कम मददगार हो जाता है)।
नया तरीका (SafeConstellations): आप बाउंसर को एक विशेष चश्मा देते हैं। यह चश्मा उसे देखने में मदद करता है कि लाल शर्ट में मौजूद व्यक्ति एक फायरफाइटर है। यदि बाउंसर "नहीं" कहने वाला होता है, तो चश्मा उसके हाथ को धीरे से "हाँ, अंदर आओ" कहने के लिए प्रेरित करता है। लेकिन यदि लाल शर्ट में कोई अपराधी प्रवेश करने की कोशिश करता है, तो चश्मा स्पष्ट रहता है, और बाउंसर सही ढंग से "नहीं" कहता है।

संक्षेप में: यह पेपर हमें सिखाता है कि एआई (AI) को बहुत अधिक डरा हुआ होने से कैसे रोका जाए, उसे अपने विचारों का एक नक्शा देकर और उसे सुरक्षित रखते हुए मददगार बनने के लिए धीरे से मार्गदर्शन करके।

यहाँ शोध पत्र "SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: टास्क ओवर-रिफ्यूज़ल (कार्य-संबंधी अत्यधिक इनकार)

लार्ज लैंग्वेज मॉडल्स (LLMs) तेजी से ओवर-रिफ्यूज़ल व्यवहार प्रदर्शित कर रहे हैं, जहाँ सुरक्षा तंत्र उन निर्दोष निर्देशों को भी अस्वीकार कर देते हैं जो हानिकारक सामग्री के समान दिखते हैं (जैसे कि "kill" या "bomb" जैसे संवेदनशील कीवर्ड वाले निर्देश)।

समस्या: वर्तमान सुरक्षा संरेखण (safety alignment) विधियाँ अक्सर केवल सतही शाब्दिक संकेतों (lexical cues) पर निर्भर करती हैं, न कि उपयोगकर्ता के इरादे (intent) को समझने पर। इससे उत्पादन अनुप्रयोगों (जैसे कि नकारात्मक समीक्षाओं का सेंटीमेंट विश्लेषण, युद्धों के बारे었던 ऐतिहासिक ग्रंथों का अनुवाद, या हानिकारक निर्देशों के क्रिप्टैनालिसिस) में उपयोगिता की हानि होती है।
अंतराल (Gap): मौजूदा शमन रणनीतियाँ अक्सर टास्क-अज्ञेयवादी (task-agnostic) होती हैं, जो वैश्विक स्टीयरिंग या रिट्रेनिंग लागू करती हैं जो संवेदनशील टेक्स्ट पर लागू होने वाले निर्दोष कार्य और हानिकारक इरादे के बीच अंतर करने में विफल रहती हैं।
परिकल्पना: लेखकों ने परिकल्पना की है कि LLMs अपने एम्बेडिंग स्पेस में कार्य-विशिष्ट जानकारी (task-specific information) को एनकोड करते हैं। विभिन्न NLP कार्य (जैसे अनुवाद बनाम सेंटीमेंट विश्लेषण) मॉडल की परतों के माध्यम से विशिष्ट, सुसंगत प्रक्षेपवक्र (trajectories या "constellations") का पालन करते हैं, चाहे इनपुट टेक्स्ट कितना भी विषाक्त क्यों न हो। ओवर-रिफ्यूज़ल तब होता है जब मॉडल का आंतरिक प्रक्षेपवक्र निर्दोष कार्य के इरादे के बावजूद एक "रिफ्यूज़ल मैनिफोल्ड" की ओर झुक जाता है।

2. कार्यप्रणाली: SafeConstellations

लेखक SafeConstellations का प्रस्ताव करते हैं, जो एक इन्फरेंस-टाइम हस्तक्षेप विधि है जो पहचाने गए कार्य और प्रक्षेपवक्र पैटर्न के आधार पर मॉडल रिप्रजेंटेशन को चयनात्मक रूप से निर्देशित (steer) करती है। यह विधि दो चरणों में कार्य करती है:

A. प्री-इन्फरेंस: टास्क एम्बेडिंग निर्माण

डेटा संग्रह: एक लेबल किया गया डेटासेट उपयोग किया जाता है जहाँ प्रॉम्प्ट्स को विशिष्ट कार्य निर्देशों के साथ लपेटा जाता है (जैसे, "Translate: [sensitive text]")।
ट्रैजेक्टरी निष्कर्षण: मॉडल इन इनपुट्स को प्रोसेस करता है, और प्रत्येक परत $\ell$ पर छिपी हुई अवस्थाएँ ( $h^{(\ell)}$ ) निकाली जाती हैं।
सेंट्रॉइड गणना: प्रत्येक कार्य $t$ $t$ के लिए, लेखक निम्नलिखित के लिए सेंट्रॉइड की गणना करते हैं:
- लक्ष्य व्यवहार ( $c_{t,tar}$ ): प्रत्यक्ष या सतर्क उत्तर।
- रिफ्यूज़ल व्यवहार ( $c_{t,ref}$ ): निर्दोष प्रॉम्प्ट्स को अस्वीकार करना।
स्टीयरिंग वेक्टर्स: प्रत्येक परत के लिए एक स्टीयरिंग वेक्टर $v^{(\ell)}_t = c_{t,tar} - c_{t,ref}$ की गणना की जाती है।
प्रभावशीलता स्कोरिंग: परतों को क्लस्टर्स के बीच अलगाव की परिमाण और उनकी सघनता के आधार पर प्रभावशीलता स्कोर ( $Eff^{(\ell)}_t$ ) द्वारा रैंक किया जाता है। केवल शीर्ष- $K$ परतों को टास्क एम्बेडिंग्स स्टोर ( $M$ ) में संग्रहीत किया जाता है।

B. इन्फरेंस-टाइम स्टीयरिंग (एल्गोरिदम 1)

जब एक नया प्रॉम्प्ट $x \oplus t$ आता है:

टास्क डिटेक्शन: मॉडल वर्तमान हिडन ट्रैजेक्टरी की तुलना संग्रहीत सेंट्रॉइड्स से करके एक टास्क स्कोर की गणना करता है। यह अनुमानित कार्य $\hat{t}$ और उसके आत्मविश्वास (confidence) की पहचान करता है।
कंडीशन चेक: स्टीयरिंग केवल तभी लागू की जाती है यदि:
- अनुमानित कार्य निर्दोष कार्यों के सेट ( $T_{benign}$ ) में है।
- आत्मविश्वास स्कोर एक थ्रेशोल्ड ( $\tau$ ) से अधिक है।
डायनेमिक लेयर सिलेक्शन: सभी परतों को स्टीयर करने के बजाय, विधि प्रत्येक परत के लिए एक "स्टीयरिंग पोटेंशियल" की गणना करती है ताकि उन परतों की पहचान की जा सके जो वर्तमान में रिफ्यूज़ल मैनिफोल्ड के सबसे करीब हैं। यह हस्तक्षेप के लिए परतों का एक गतिशील उपसमुच्चय ( $L^*$ ) चुनती है।
एडाप्टिव स्टीयरिंग: हिडन स्टेट्स पर एक गड़बड़ी (perturbation) लागू की जाती है:
$\tilde{h}^{(\ell)} = h^{(\ell)} + \lambda^{(\ell)} \frac{v^{(\ell)}_{\hat{t}}}{\|v^{(\ell)}_{\hat{t}}\|}$
तीव्रता $\lambda^{(\ell)}$ एडाप्टिव है, जो लक्ष्य व्यवहार के साथ परत के संरेखण और टास्क कॉन्फिडेंस के आधार पर स्केल होती है।
आउटपुट: मॉडल स्टीयर्ड रिप्रजेंटेशन के साथ फॉरवर्ड पास जारी रखता है, और अंतिम आउटपुट डिकोड करता है।

3. मुख्य योगदान

टास्क-अवेयर बेंचमार्क: टास्क ओवर-रिफ्यूज़ल को विशेष रूप से मापने के लिए 5 कार्यों (सेंटीमेंट, ट्रांसलेशन, रीफ्रेसिंग, क्रिप्टैनालिसिस, RAG-QA) और 9 टेक्स्ट प्रकारों को कवर करने वाला एक नया बेंचमार्क डेटासेट (1,047 नमूने) पेश किया गया।
कॉन्स्टेलेशन हाइपोथीसिस: मैकेनिकल विश्लेषण (UMAP प्रोजेक्शन) के माध्यम से यह सिद्ध किया गया कि LLMs विशिष्ट कार्यों के लिए एम्बेडिंग स्पेस में विशिष्ट, स्थिर "कॉन्स्टेलेशन" पैटर्न का पालन करते हैं, जो इनपुट टेक्स्ट के प्रकार या रिफ्यूज़ल परिणाम से अलग होते हैं।
कंडीशनल स्टीयरिंग मैकेनिज्म: एक नवीन, इन्फरेंस-टाइम दृष्टिकोण विकसित किया गया जो केवल निर्दोष-इरादे वाले कार्यों के लिए गैर-रिफ्यूज़ल पथों की ओर रिप्रजेंटेशन को चयनात्मक रूप से निर्देशित करता है, जिससे वास्तव में हानिकारक इनपुट्स के लिए सुरक्षा रिफ्यूसाल्स सुरक्षित रहते हैं।
डायनेमिक लेयर सिलेक्शन: यह सिद्ध किया गया कि स्टीयरिंग सबसे प्रभावी तब होती है जब इसे उन परतों के गतिशील उपसमुच्चय पर लागू किया जाता है जहाँ रिप्रजेंटेशन सबसे अधिक अस्पष्ट (ambiguous) होता है, न कि एक स्थिर वैश्विक दिशा लगाने पर।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन LLaMA-3.1-8B और Qwen1.5-7B पर प्रस्तावित बेंचमार्क और उपयोगिता के लिए MMLU बेंचमार्क का उपयोग करके किया गया।

ओवर-रिफ्यूज़ल में कमी:
- LLaMA-3.1-8B: ओवर-रिफ्यूज़ल दर को 17.77% (बेसलाइन) से घटाकर 4.81% कर दिया, जो कि 72.92% की कमी है।
- Qwen1.5-7B: ओवर-रिफ्यूज़ल दर को 8.15% से घटाकर 2.96% कर दिया, जो कि 63.64% की कमी है।
उपयोगिता संरक्षण (Utility Preservation):
- महत्वपूर्ण रूप से, इस पद्धति ने मूल MMLU सटीकता का 100% बनाए रखा (जैसे LLaMA के लिए 46.57%), जो दर्शाता है कि स्टीयरिंग सामान्य तर्क क्षमताओं को कम नहीं करती है।
- एब्लेशन स्टडीज ने दिखाया कि "टास्क-स्पेसिफिक" स्टीयरिंग को हटाने या "फिक्स्ड लेयर्स" का उपयोग करने से उपयोगिता में महत्वपूर्ण गिरावट आई (MMLU स्कोर गिरकर ~43% हो गया), जो टास्क-कंडीशन्ड दृष्टिकोण की आवश्यकता की पुष्टि करता है।
टास्क-विशिष्ट प्रदर्शन:
- ट्रांसलेशन कार्यों में ओवर-रिफ्यूज़ल में 81% की कमी देखी गई।
- सेंटीमेंट विश्लेषण में 50% की कमी देखी गई।
दक्षता (Efficiency):
- न्यूनतम विलंबता (छोटे उत्तरों के लिए ~0.2s) जोड़ी गई।
- टास्क एम्बेडिंग्स के लिए मेमोरी फुटप्रिंट LLaMA-3.1-8B के लिए ~847MB था।

5. महत्व और निष्कर्ष

SafeConstellations "ब्रूट-फोर्स" सुरक्षा संरेखण से सटीक, मैकेनिकल हस्तक्षेप की ओर एक बदलाव का प्रतिनिधित्व करता है।

व्याख्यात्मकता (Interpretability): यह मान्य करता है कि LLM सुरक्षा व्यवहार अखंड (monolithic) नहीं हैं, बल्कि मॉडल की आंतरिक ज्यामिति के भीतर कार्य पहचान (task identity) द्वारा संरचित हैं।
व्यावहारिकता: यह उत्पादन प्रणालियों (जैसे RAG या ट्रांसलेशन सेवाएँ) के लिए एक समाधान प्रदान करता है जहाँ ओवर-रिफ्यूज़ल कार्यात्मक विफलता का कारण बनता है, बिना किसी महंगे रिट्रेनिंग या फाइन-ट्यूनिंग के।
सुरक्षा बनाम उपयोगिता: यह सफलतापूर्वक सुरक्षा को उपयोगिता से अलग करता है, जिससे मॉडल संवेदनशील कीवर्ड वाले निर्दोष कार्यों पर सहायक बने रहते हुए भी हानिकारक इनपुट्स पर सतर्क रह सकते हैं।

सीमाएँ: इस विधि के लिए मॉडल के आंतरिक भाग (हिडन स्टेट्स) तक पहुँच की आवश्यकता होती है, जो इसे ओपन-वेट मॉडल्स या विशिष्ट API कॉन्फ़िगरेशन तक सीमित करता है। टास्क एम्बेडिंग्स वर्तमान में स्थिर और मॉडल-विशिष्ट हैं, जिसके लिए नए कार्यों या मॉडल्स के लिए पुन: गणना की आवश्यकता होती है। भविष्य के कार्य पूर्णतः ओपन-एंडेड निर्देशों के लिए इन पैटर्न को सामान्य बनाने पर केंद्रित हैं।