📊 statistics

Mitigating Over-Refusal in Aligned Large Language Models via Inference-Time Activation Energy

यह शोध पत्र एनर्जी लैंडस्केप स्टीयरिंग (ELS) को प्रस्तुत करता है, जो एक फाइन-ट्यूनिंग-मुक्त, इन्फरेंस-टाइम फ्रेमवर्क है जो एक हल्के एनर्जी-बेस्ड मॉडल का उपयोग करके लार्ज लैंग्वेज मॉडल एक्टिवेशन्स को गतिशील रूप से निर्देशित करता है, जिससे हानिकारक प्रॉम्प्ट्स के विरुद्ध मजबूत सुरक्षा बनाए रखते हुए निर्दोष अनुरोधों के अत्यधिक इनकार (over-refusal) को प्रभावी रूप से कम किया जा सके।

मूल लेखक: Eric Hanchen Jiang, Weixuan Ou, Run Liu, Shengyuan Pang, Guancheng Wan, Ranjie Duan, Wei Dong, Kai-Wei Chang, XiaoFeng Wang, Ying Nian Wu, Xinfeng Li

प्रकाशित 2026-03-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Hanchen Jiang, Weixuan Ou, Run Liu, Shengyuan Pang, Guancheng Wan, Ranjie Duan, Wei Dong, Kai-Wei Chang, XiaoFeng Wang, Ying Nian Wu, Xinfeng Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, नेक दिल वाला रोबोट सहायक है। आपने इसे सुरक्षित रहने के लिए प्रशिक्षित किया है, इसलिए यह बम बनाने या बैंक हैक करने के निर्देश देने जैसे बुरे काम करने से मना कर देता है। यह बहुत अच्छा है!

लेकिन एक समस्या है: रोबोट बहुत अधिक सतर्क हो गया है। यह एक ऐसे सुरक्षा गार्ड की तरह है जो अपराधी को अंदर आने से रोकने के चक्कर में डाकिया, पिज्जा डिलीवरी करने वाले और आपकी दादी को भी अंदर आने से रोक देता है।

यदि आप पूछते हैं, "मैं जलने पर क्या उपचार करूँ?" तो रोबमा कह सकता है, "मैं इसमें मदद नहीं कर सकता, यह खतरनाक लग रहा है!" भले ही आप केवल चिकित्सा सलाह चाहते हों। इसे "ओवर-रिफ्यूज़ल" (Over-Refusal) कहा जाता है। यह रोबोट को सामान्य, मददगार कार्यों के लिए बेकार बना देता है।

वर्तमान समाधानों के साथ समस्या

वैज्ञानिकों ने इसे ठीक करने के दो मुख्य तरीकों से कोशिश की है, लेकिन दोनों में खामियां हैं:

"री-ट्रेनिंग" (Re-Training) विधि: वे रोबोट को फिर से शून्य से सिखाने की कोशिश करते हैं। यह रोबोट को पूरे एक साल के लिए वापस स्कूल भेजने जैसा है। यह महंगा है, इसमें बहुत समय लगता है, और कभी-कभी रोबोट अपना पुराना ज्ञान भूल जाता है या भ्रमित हो जाता है।
"ब्रूट फोर्स" (Brute Force) विधि: वे रोबोट के दिमाग के भीतर विशिष्ट "बुरे" विचारों को मैन्युअल रूप से ब्लॉक करने की कोशिश करते हैं। यह कार को पहिए में डंडा फंसाकर रोकने जैसा है। यह अनाड़ी तरीका है, अक्सर बुरी चीजों को पकड़ने में चूक जाता है, और कार की सामान्य रूप से चलने की क्षमता को खराब कर सकता है।

नया समाधान: एनर्जी लैंडस्केप स्टीयरिंग (ELS)

शोधकर्ताओं ने एक चतुर, हल्का तरीका निकाला जिसे एनर्जी लैंडस्केप स्टीयरिंग (ELS) कहा जाता है। रोबोट को फिर से प्रशिक्षित करने या उसके गियर जाम करने के बजाय, वे रोबोट के सोचने के दौरान उसके विचारों के लिए एक जीपीएस नेविगेटर की तरह काम करते हैं।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. एनर्जी लैंडस्केप (भू-दृश्य)

कल्पना कीजिए कि रोबोट का मन एक विशाल, पहाड़ी परिदृश्य है।

निचली घाटियाँ (कम ऊर्जा): ये सुरक्षित, मददगार और सही स्थान हैं। (जैसे, "जलने पर उपचार कैसे करें।")
ऊंचे पर्वत (उच्च ऊर्जा): ये खतरनाक या गलत स्थान हैं। (जैसे, "बम कैसे बनाएं" या "मैं जलने के बारे में आपकी मदद नहीं कर सकता" जब वास्तव में आपको मदद की आवश्यकता हो)।

वर्तमान में, रोबोट कभी-कभी रास्ता भटक जाता है और गलत पहाड़ पर चढ़ जाता है (मददगार अनुरोध को मना कर देता है)।

2. स्मार्ट गाइड (EBM)

शोधकर्ताओं ने एक छोटा, सुपर-फास्ट "गाइड" (एक एनर्जी-बेस्ड मॉडल) प्रशिक्षित किया है। यह गाइड कहानियाँ लिखना या गणित हल करना नहीं जानता; यह केवल एक चीज़ जानता है: "क्या यह विचार एक अच्छी घाटी है या एक बुरा पहाड़?"

यदि रोबically एक मददगार उत्तर के बारे में सोच रहा है, तो गाइड कहता है, "बहुत बढ़िया! वह एक निचली घाटी है।"
यदि वह एक हानिरहित प्रश्न पर "मैं आपकी मदद नहीं कर सकता" कहने ही वाला होता है, तो गाइड कहता है, "रुको! यह एक ऊँचा पहाड़ है! वहां मत जाओ!"

3. रियल-टाइम नज़ (Gradient Steering)

हर बार जब रोबोट अगला शब्द बोलने वाला होता है, गाइड रोबोट के वर्तमान विचार की जांच करता है।

यदि रोबोट एक सुरक्षित पथ पर है, तो गाइड कुछ नहीं करता। रोबोट सामान्य रूप से बात करता रहता है।
यदि रोबोट एक "फॉल्स रिफ्यूज़ल" (झूठे इनकार) के पहाड़ की ओर बढ़ने लगता है, तो गाइड उसे एक छोटा, कोमल नज़ (धक्का) देता है ताकि वह वापस "हेल्पफुल वैली" (मददगार घाटी) में फिसल सके।

यह एक सेल्फ-ड्राइविंग कार की तरह है जो केवल तब स्टीयरिंग व्हील को केंद्र में वापस लाने के लिए धीरे से मोड़ती है जब वह अपनी लेन से भटकने लगती है, बजाय इसके कि वह स्टीयरिंग व्हील को लॉक कर दे या पूरी कार को ही दोबारा बनाए।

यह एक बड़ी बात क्यों है

यह तेज़ है: इसे रोबोट को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह बस रोबोट के बोलते समय एक छोटा सा धक्का जोड़ता है।
यह सटीक है: यह एक वास्तविक खतरे (जैसे बम) और एक नकली खतरे (जैसे जलना) के बीच अंतर जानता है। यह रोबोट को "खुशी छीनने वाला" (killjoy) बनने से रोकता है बिना उसे खतरनाक बनाए।
यह हर जगह काम करता है: उन्होंने विभिन्न रोबोट्स (Llama, Qwen, आदि) पर इसका परीक्षण किया और यह बहुत अच्छा काम करता है।

परिणाम

इस नई पद्धति के साथ:

रोबोट ने मददगार सवालों (जैसे सिंक ठीक करने या जलने का उपचार करने के बारे में) को मना करना 25% अधिक कम कर दिया।
इसने खतरनाक सवालों (जैसे हथियार बनाना) को अभी भी मना कर दिया।
इसने अन्य कार्यों में धीमा या कम बुद्धिमान होने का अनुभव नहीं किया।

संक्षेप में: उन्होंने रोबोट को एक "कॉमन सेंस" जीपीएस दिया जो उसे अत्यधिक सतर्क होने से दूर रहने के लिए धीरे से दिशा देता है, जिससे वह असुरक्षित बने बिना फिर से मददगार बन जाता है।

यहाँ शोध पत्र "Mitigating Over-Refusal in Aligned Large Language Models via Inference-Time Activation Energy" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सुरक्षा के लिए संरेखित (aligned) किए गए बड़े भाषा मॉडल (LLMs) अक्सर ओवर-रिफ्यूज़ल (over-refusal) या 'फॉल्स रिफ्यूज़ल' (false refusals) से ग्रस्त होते हैं, जहाँ मॉडल अत्यधिक सावधानी के कारण वैध अनुरोधों को भी गलत तरीके से अस्वीकार कर देता है।

ट्रेड-ऑफ (Trade-off): मौजूदा संरेखण तकनीकें (जैसे SFT, RLHF) सुरक्षा को प्राथमिकता देती हैं, लेकिन अक्सर वैध प्रश्नों को ब्लॉक करके उपयोगिता (utility) को कम कर देती हैं (उदाहरण के लिए, "मैं जलने का उपचार कैसे करूँ?" या "साहित्य में आत्महत्या की व्याख्या करें")।
वर्तमान समाधानों की सीमाएँ:
- फाइन-ट्यूनिंग विधियाँ: ये गणनात्मक रूप से महंगी, समय लेने वाली हैं और बिना पुन: प्रशिक्षण के विविध संदर्भों में सामान्यीकरण करने में संघर्ष करती हैं।
- फाइन-ट्यूनिंग-मुक्त विधियाँ (जैसे वेक्टर एब्लेशन, प्रॉम्प्ट इंजीनियरिंग): इनमें अक्सर न्यायसंगत इनकार (harmful prompts) और अन्यायगत इनकार (benign prompts) के बीच अंतर करने की सूक्ष्मता का अभाव होता है। वे आमतौर पर मोटे तौर पर आधारित स्थिर हस्तक्षेपों (static interventions) पर निर्भर करती हैं जो मॉडल की आंतरिक स्थिति की बारीकियों को पकड़ने में विफल रहती हैं।

2. कार्यप्रणाली: एनर्जी लैंडस्केप स्टीयरिंग (Methodology: Energy Landscape Steering - ELS)

लेखक एनर्जी लैंडस्केप स्टीयरिंग (ELS) का प्रस्ताव करते हैं, जो एक नया, फाइन-ट्यूनिंग-मुक्त ढांचा है जो सुरक्षा-उपयोगिता (safety-helpfulness) के ट्रेड-ऑफ को हल करने के लिए इन्फरेंस के दौरान LLM के आंतरिक सक्रियणों (internal activations) को गतिशील रूप से निर्देशित करता है।

मुख्य अवधारणा (Core Concept)

यह विधि LLM के हिडन स्टेट स्पेस (hidden state space) को एक एनर्जी लैंडस्केप (Energy Landscape) के रूप में व्याख्यायित करती है।

लो एनर्जी (Low Energy): वांछनीय अवस्थाओं के अनुरूप है (सौम्य प्रॉम्प्ट के लिए सहायक प्रतिक्रियाएं, हानिकारक प्रॉम्प्ट के लिए सुरक्षित इनकार)।
हाई एनर्जी (High Energy): अवांछनीय अवस्थाओं के अनुरूप है (सौम्य प्रॉम्प्ट के लिए गलत इनकार/False Refusal, हानिकारक प्रॉम्प्ट के लिए जेलब्रेक/अनुपालन)।

तीन-चरणीय ढांचा (Three-Phase Framework)

चरण 1: एक्टिवेशन डेटा संग्रह (Activation Data Collection)
- एक फ्रीज्ड बेस LLM एक विविध कॉर्पस के प्रॉम्प्ट्स (दोनों सौम्य और हानिकारक) के प्रति प्रतिक्रिया उत्पन्न करता है।
- एक ह्यूरिस्टिक क्लासिफायर संदर्भ के आधार पर व्यवहार को Compliant (वांछनीय) या Refusal (अवांछनीय) के रूप में लेबल करता है:
  - वांछनीय: सौम्य प्रॉम्प्ट $\to$ Compliant प्रतिक्रिया; हानिकारक प्रॉम्प्ट $\to$ Refusal।
  - अवांछनीय: सौम्य प्रॉम्प्ट $\to$ Refusal (False Refusal); हानिकारक प्रॉम्प्ट $\to$ Compliant (Jailbreak)।
- दोनों श्रेणियों के लिए विशिष्ट परतों (layers) से हिडन स्टेट्स ( $h_t$ ) निकाले जाते हैं, जिससे $\mathcal{D}_{good}$ और $\mathcal{D}_{bad}$ डेटासेट बनते हैं।
चरण 2: एनर्जी-बेस्ड मॉडल (EBM) प्रशिक्षण
- एक हल्का, बाहरी एनर्जी-बेस्ड मॉडल (EBM) (जिसे मल्टी-लेयर परसेप्ट्रॉन के रूप में लागू किया गया है) प्रशिक्षित किया जाता है जो हिडन स्टेट्स को स्केलर ऊर्जा मानों (scalar energy values) से मैप करता है।
- उद्देश्य: $\mathcal{D}_{good}$ के लिए ऊर्जा को कम करना और $\mathcal{D}_{bad}$ के लिए ऊर्जा को अधिकतम करना।
- लॉस फंक्शन: एक गैर-रेखीय ऊर्जा परिदृश्य (non-linear energy landscape) सीखने के लिए InfoNCE कंट्रास्टिव लॉस का उपयोग करता है जो वांछनीय और अवांछनीय प्रक्षेप पथों (trajectories) को अलग करता है।
- EBM को LLM की कई परतों के लिए स्वतंत्र रूप से प्रशिक्षित किया जाता है ताकि सूक्ष्म प्रतिनिधित्व पैटर्न (representational patterns) पकड़े जा सकें।
चरण 3: रियल-टाइम ग्रेडिएंट-बेस्ड स्टीयरिंग (Real-Time Gradient-Based Steering)
- इन्फरेंस के दौरान, प्रत्येक जेनरेटेड टोकन के लिए, EBM वर्तमान हिडन स्टेट के सापेक्ष ऊर्जा ग्रेडिएंट $\nabla_h E_\theta(h)$ की गणना करता है।
- हिडन स्टेट को एक सिंगल ग्रेडिएंट डिसेंट स्टेप के माध्यम से अपडेट किया जाता है ताकि इसे लो-एनर्जी क्षेत्र की ओर ले जाया जा सके:
  $h'_t = h_t - \eta \cdot \nabla_h E_\theta(h_t)$
- इस स्टीयर्ड स्टेट $h'_t$ को फिर अगला टोकन उत्पन्न करने के लिए लैंग्वेज मॉडलिंग हेड को पास किया जाता है।
- मुख्य लाभ: यह प्रक्रिया गतिशील और संदर्भ-जागरूक (context-aware) है। यदि मॉडल पहले से ही एक लो-एनर्जी (सुरक्षित/सहायक) क्षेत्र में है, तो व्यवधान (perturbation) नगण्य होगा। यदि यह एक हाई-एनर्जी (फॉल्स रिफ्यूज़ल) क्षेत्र की ओर बढ़ता है, तो ग्रेडिएंट इसे वापस मोड़ देगा।

3. प्रमुख योगदान (Key Contributions)

नया ढांचा (ELS): एक फाइन-ट्यूनिंग-मुक्त दृष्टिकोण पेश किया जो कोर मॉडल नॉलेज को अलग करते हुए, एक बाहरी EBM का उपयोग करके डायनेमिक एनर्जी लैंडस्केप बनाता है।
बेहतर विभेदन शक्ति (Superior Discriminative Power): लीनियर वेक्टर एब्लेशन विधियों के विपरीत, EBM एक जटिल, गैर-रेखीय निर्णय सीमा (energy landscape) सीखता है जो न्यायसंगत और अन्यायगत इनकार के बीच सटीक रूप से अंतर कर सकता है।
सैद्धांतिक औचित्य (Theoretical Justification): औपचारिक प्रमाण प्रदान किए जो दिखाते हैं कि ग्रेडिएंट-आधारित स्टीयरिंग ऊर्जा को कम करता है और मैक्सिमम ए पोस्टेरिओरी (MAP) इन्फरेंस के अनुरूप है, जो सैद्धांतिक रूप से प्रक्षेप पथों को फॉल्स रिफ्यूज़ल से दूर करने की गारंटी देता है।
व्यापक अनुभवजन्य सत्यापन (Extensive Empirical Validation): विभिन्न मॉडल परिवारों (Llama-2, Llama-3.1, Qwen3) और बेंचमार्क पर प्रभावशीलता प्रदर्शित की।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सुरक्षा, फॉल्स रिफ्यूज़ल और सामान्य क्षमता बेंचमार्क पर ELS का मूल्यांकन किया।

फॉल्स रिफ्यूज़ल शमन (False Refusal Mitigation):
- ORB-H बेंचमार्क (Over-Refusal) पर, ELS ने Llama-3.1-8B के लिए कंप्लायंस रेट (CR) को 57.3% से बढ़ाकर 82.6% (+25.3 पॉइंट्स) कर दिया, जो सभी अन्य फाइन-ट्यूनिंग-मुक्त विधियों (जैसे Surgical, CAST, AdaSteer) से बेहतर प्रदर्शन करता है।
- XSTest-S और OKTest पर भी महत्वपूर्ण लाभ देखे गए।
सुरक्षा संरक्षण (Safety Preservation):
- अन्य विधियों के विपरीत जो उपयोगिता सुधारने के लिए सुरक्षा को कम करती हैं, ELS ने सुरक्षा प्रदर्शन को बनाए रखा या थोड़ा सुधारा।
- JailbreakBench (JBB) और HarmBench पर, ELS ने कम अटैक सक्सेस रेट (ASR) प्राप्त किया, जो बेसलाइन के तुलनीय या उससे बेहतर है, और उन फाइन-ट्यूनिंग विधियों से काफी बेहतर है जो अक्सर क्षमता के लिए सुरक्षा का त्याग करती हैं।
सामान्य क्षमता (General Capability):
- ELS ने सामान्य ज्ञान क्षमताओं (MMLU, ARC-C, MATH) को संरक्षित किया, जो बेसलाइन की तुलना में सटीकता में नगण्य गिरावट दिखाता है, जबकि फाइन-ट्यूनिंग विधियों के कारण अक्सर महत्वपूर्ण क्षमता ह्रास होता है।
मजबूती (Robustness):
- ELS ने मल्टी-टर्न जेलब्रेक हमलों (X-Teaming, SafeDialBench) के खिलाफ बेहतर लचीलापन दिखाया, अपने स्टेट-अवेयर, स्टेप-बाय-स्टेप स्टीयरिंग तंत्र के कारण बेसलाइन की तुलना में कम ASR बनाए रखा।
दक्षता (Efficiency):
- यह विधि न्यूनतम कंप्यूटेशनल ओवरहेड जोड़ती है। इन्फरेंस समय केवल मामूली रूप से बढ़ा (जैसे, Llama-3.1-8B के लिए प्रति प्रॉम्प्ट 1.60s से 1.65s), जो अन्य हस्तक्षेप विधियों जैसे Surgical या AlphaSteer की तुलना में काफी तेज़ है।

5. महत्व और प्रभाव (Significance and Impact)

सुरक्षा-उपयोगिता ट्रेड-ऑफ को हल करना: ELS सिद्ध करता है कि मॉडल को पुन: प्रशिक्षित किए बिना उच्च सुरक्षा और निम्न फॉल्स रिफ्यूज़ल दर दोनों प्राप्त करना संभव है, जो स्वास्थ्य सेवा और शिक्षा जैसे संवेदनशील क्षेत्रों में LLMs को तैनात करने में एक महत्वपूर्ण बाधा को संबोधित करता है।
परिनियोजन लचीलापन (Deployment Flexibility): एक फाइन-ट्यूनिंग-मुक्त विधि के रूप में, ELS को SFT या RLHF से जुड़ी भारी कंप्यूट लागत के बिना किसी भी प्री-ट्रेंड LLM पर लागू किया जा सकता है।
सटीक नियंत्रण (Precision Control): एनर्जी लैंडस्केप दृष्टिकोण पिछले एक्टिवेशन स्टीयरिंग तकनीकों की कठोर, लीनियर सीमाओं की तुलना में अधिक सूक्ष्म, गैर-रेखीय नियंत्रण तंत्र प्रदान करता है।
व्यावहारिकता: कम लेटेंसी और मेमोरी फुटप्रिंट के कारण, ELS उन वास्तविक उत्पादन वातावरणों के लिए एक व्यवहार्य समाधान है जहाँ मॉडल वेट्स (weights) को संशोधित नहीं किया जा सकता है।

निष्कर्षतः, यह शोध पत्र एनर्जी लैंडस्केप स्टीयरिंग को इन्फरेंस के दौरान मॉडल के आंतरिक ऊर्जा परिदृश्य को गतिशील रूप से नेविगेट करके मजबूत, सहायक और सुरक्षित LLM बनाने के लिए एक आशाजनक प्रतिमान (paradigm) के रूप में स्थापित करता है।