Addressing Over-Refusal in LLMs with Competing Rewards

तकनीकी सारांश: प्रतिस्पर्धी पुरस्कारों के साथ LLMs में ओवर-रिफ्यूज़ल (Over-Refusal) को संबोधित करना

समस्या विवरण

Large Language Models (LLMs) की सुरक्षा प्रशिक्षण (Safety training) अक्सर ओवर-रिफ्यूज़ल (over-refusal) को प्रेरित करती है, जो एक ऐसी घटना है जहाँ मॉडल हानिकारक आउटपुट को कम करने के प्रयास में हानिरहित या संदिग्ध प्रॉम्प्ट्स को भी अत्यधिक सावधानी बरतते हुए अस्वीकार कर देते हैं। जबकि स्पष्ट तर्क (explicit reasoning) को प्रोत्साहित करने वाले Reinforcement Learning (RL) दृष्टिकोण प्रस्तावित किए गए हैं ताकि मॉडल हानिकारक और निर्दोष इरादों के बीच अंतर कर सकें, वर्तमान विधियाँ इस ट्रेड-ऑफ को पूरी तरह से हल करने में विफल रहती हैं।

लेखक मौजूदा सुरक्षा-प्रशिक्षित मॉडलों में एक महत्वपूर्ण सीमा की पहचान करते हैं: तर्क अक्सर वास्तविक अस्पष्टता समाधान के बजाय एक पूर्व-निर्धारित इनकार के लिए एक "रबर स्टैम्प" (rubber stamp) के रूप में कार्य करता है। ये मॉडल दो भंगुर व्यवहार प्रदर्शित करते हैं:

1. वे असुरक्षित व्याख्याओं से पूरी तरह बचते हैं और डिफ़ॉल्ट रूप से इनकार (refusal) पर उतर आते हैं।
2. वे असुरक्षित संभावनाओं का अन्वेषण तो करते हैं लेकिन सुरक्षित अंतिम उत्तर तक वापस लौटने में विफल रहते हैं, जिससे असुरक्षित अनुपालन (unsafe compliance) होता है।

गणितीय तर्क (mathematical reasoning) के विपरीत, जहाँ मॉडल गलत पथों का अन्वेषण कर सकते हैं और स्वयं को सुधार सकते हैं, वर्तमान मॉडलों में नियंत्रित तरीके से संभावित रूप से हानिकारक व्याख्याओं का अन्वेषण करने और फिर एक सुरक्षित प्रतिक्रिया की ओर "वापस पलटने" (flip back) की क्षमता का अभाव है।

कार्यप्रणाली: SEAR और प्रतिस्पर्धी पुरस्कार (Competing Rewards)

यह शोध पत्र SEAR (Safety Exploration through Adversarial Reasoning) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो एक ही मॉडल को एक खोजपूर्ण संकेत (exploratory signal) के रूप में हानिकारक तर्क में संलग्न होने के लिए प्रशिक्षित करता है, जबकि यह सुनिश्चित करता है कि अंतिम आउटपुट सुरक्षित रहे। यह एक एकल चेन-ऑफ-थॉट (chain-of-thought) के भीतर एक एडवरसेरियल ऑप्टिमाइज़ेशन समस्या के माध्यम से प्राप्त किया जाता है।

मुख्य तंत्र: प्रतिस्पर्धी पुरस्कार (Competing Rewards)

लेखक एक प्रशिक्षण उद्देश्य पेश करते हैं जो मॉडल के जनरेशन ट्रेस के विभिन्न खंडों को अलग-अलग, प्रतिस्पर्धी पुरस्कार आवंटित करता है:

• तर्क खंड ($z$): इसे हानिरहितता ($r_h$) के लिए पुरस्कृत किया जाता है। मॉडल को असुरक्षित व्याख्याओं और तर्क रणनीतियों का अन्वेषण करने के लिए प्रोत्साहित किया जाता है।
• उत्तर खंड ($y$): इसे सुरक्षा ($r_s$) के लिए पुरस्कृत किया जाता है। मॉडल को पिछले (संभावित रूप से हानिकारक) तर्क के आधार पर एक सुरक्षित अंतिम प्रतिक्रिया उत्पन्न करने के लिए प्रोत्साहित किया जाता है।

हानिरहित प्रॉम्प्ट्स ($D_h$) के लिए ऑब्जेक्टिव फंक्शन है:
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
हानिरहित प्रॉम्प्ट्स ($D_i$) के लिए, मॉडल को उपयोगिता ($r_i$) के लिए अनुकूलित किया जाता है। प्रशिक्षण में एक KL-डाइवर्जेंस रेगुलराइज़र का उपयोग किया जाता है ताकि पॉलिसी को बेस मॉडल के करीब रखा जा सके।

मुख्य तकनीकी अंतर्दृष्टि: प्रोसेस रिवार्ड्स (Process Rewards)

शोध पत्र यह प्रदर्शित करता है कि मानक सघन परिणाम-आधारित पुरस्कार (एक पूरे प्रक्षेपवक्र (trajectory) को एकल स्केलर पुरस्कार देना) इस कार्य के लिए अपर्याप्त हैं। वे ऑप्टिमाइज़ेशन अस्थिरता की ओर ले जाते हैं जहाँ मॉडल या तो हानिकारक तर्क का अन्वेषण करने में विफल रहता है या प्रतिस्पर्धी उद्देश्यों के बीच अभिसरण (convergence) दरों के बेमेल होने के कारण हानिरहित कार्यों पर प्रदर्शन में गिरावट आती है।

इसे हल करने के लिए, लेखक प्रोसेस-आधारित पुरस्कारों (process-based rewards) को लागू करते हैं। पूरे रोलआउट के लिए एक एकल पुरस्कार देने के बजाय, पुरस्कार विशिष्ट खंडों के लिए टोकन-स्तर पर दिए जाते हैं:

• तर्क खंड के टोकन तर्क पुरस्कार ($r_h$) प्राप्त करते हैं।
• उत्तर खंड के टोकन उत्तर पुरस्कार ($r_s$) प्राप्त करते हैं।

यह "प्रोसेस रिवार्ड" फॉर्मूलेशन सटीक क्रेडिट असाइनमेंट की अनुमति देता है, जिससे मॉडल एक ही प्रक्षेपवक्र के भीतर हानिकारक पथों के अन्वेषण और सुरक्षित उत्तर की ओर वापस लौटने के युग्मित व्यवहार को सीखने में सक्षम होता है।

मुख्य योगदान

1. सुरक्षा तर्क का पुनर्गठन (Reframing Safety Reasoning): लेखक प्रस्तावित करते हैं कि असुरक्षित तर्क को पूर्व-खाली तौर पर नहीं रोका जाना चाहिए, बल्कि अस्पष्टता को हल करने के लिए एक उपयोगी खोजपूर्ण संकेत के रूप में प्रोत्साहित किया जाना चाहिए, बशर्ते मॉडल विश्वसनीय रूप से सुरक्षित उत्तर की ओर लौट सके।
2. प्रतिस्पर्धी पुरस्कार ढांचा: वे एक एकल चेन-ऑफ-थॉट के भीतर विरोधी उद्देश्यों (हानिकारक अन्वेषण बनाम सुरक्षित आउटपुट) के साथ एक एकल मॉडल को प्रशिक्षित करने की एक विधि पेश करते हैं, जो वर्तमान मॉडलों के "रबर स्टैम्प" व्यवहार से आगे बढ़ती है।
3. स्थिरता के लिए प्रोसेस रिवार्ड्स: शोध पत्र पहचान करता है कि सघन परिणाम-स्तर के पुरस्कार प्रतिस्पर्धी उद्देश्यों को स्थिर करने में विफल रहते हैं और यह प्रदर्शित करता है कि खंड-स्तरीय प्रोसेस रिवार्ड्स सफल ऑप्टिमाइज़ेशन के लिए महत्वपूर्ण हैं।
4. SEAR-1.5B मॉडल: वे एक 1.5B पैरामीटर मॉडल (SEAR-1.5B) को प्रशिक्षित करते हैं जो स्पष्ट रूप से हानिकारक तर्क से सुरक्षित उत्तर की ओर "वापस पलटने" (flip back) को सीखता है।

परिणाम

लेखक SEAR-1.5B का विभिन्न बेसलाइन्स के विरुद्ध मूल्यांकन करते हैं, जिसमें मानक आउटकम-बेस्ड RL, डेंस आउटकम-बेस्ड RL, SFT बेसलाइन्स और फ्रंटियर ओपन-सोर्स मॉडल्स (जैसे TARS, Qwen3) शामिल हैं।

• सुरक्षा-अस्वीकृति ट्रेड-ऑफ (Safety-Refusal Trade-off): SEAR-1.5B सुरक्षा और अनुपालन के पारेटो फ्रंटियर (Pareto frontier) पर सर्वश्रेष्ठ प्रदर्शन (क्वाड्रेटिक मीन स्कोर 0.930) प्राप्त करता है, जो TARS-7B (0.909) और अन्य RL बेसलाइन्स से बेहतर है। यह उच्च डिफेंस सक्सेस रेट (HarmBench) बनाए रखते हुए संदिग्ध प्रॉम्प्ट्स (XSTest, Fortress, False-Reject) पर काफी कम ओवर-रिफ्यूज़ल प्रदर्शित करता है।
• अन्वेषण और रिकवरी (Exploration and Recovery): तर्क ट्रेसेस (reasoning traces) का विश्लेषण दिखाता है कि SEAR अन्य मॉडलों की तुलना में हानिकारक तर्क की उच्च आवृत्ति उत्पन्न करता है लेकिन सफलतापूर्वक सुरक्षित उत्तरों की ओर लौट आता है। इसके विपरीत, अन्य मॉडल या तो हानिकारक तर्क का पूरी तरह से बचाव करते हैं या यदि वे अन्वेषण करते हैं तो सुरक्षित उत्तर तक वापस लौटने में विफल रहते हैं।
• प्री-फिल हमलों के प्रति मजबूती (Robustness to Pre-fill Attacks): SEAR-1.5B उन हमलों के खिलाफ बेहतर मजबूती प्रदर्शित करता है जो मॉडल के कॉन्टेक्स्ट को हानिकारक तर्क के साथ प्री-फिल करते हैं (जैसे, एक हानिकारक श्रृंखला की शुरुआत उत्पन्न करने के लिए एब्लिटरेटेड मॉडल का उपयोग करना)। SEAR आउटकम-बेस्ड RL मॉडल्स और बड़े Qwen3 वेरिएंट की तुलना में उच्च उत्तर सुरक्षा स्कोर बनाए रखता है, जो हानिकारक तर्क अवस्था में डाले जाने पर भी "वापस पलटने" की इसकी क्षमता को दर्शाता है।
• सामान्यीकरण (Generalization): मॉडल गणित और तर्क बेंचमार्क (GSM8K, MATH-500, GPQA) पर मजबूत आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण बनाए रखता है, जो आउटकम-बेस्ड बेसलाइन्स के बराबर या उससे बेहतर है।

महत्व और दावे

शोध पत्र का दावा है कि सुरक्षा-अस्वीकृति ट्रेड-ऑफ केवल इस बारे में निर्णय नहीं है कि क्या इनकार करना है, बल्कि यह कैसे अस्पष्टता को हल करने की क्षमता है। असुरक्षित संभावनाओं के माध्यम से तर्क करना सीखकर, बिना उन संभावनाओं को अंतिम प्रतिक्रिया निर्धारित करने देने के, मॉडल सुरक्षा से समझौता किए बिना हानिरहित प्रॉम्प्ट्स पर सहायक बने रह सकते हैं।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

• मॉडल को पूर्व-खाली दमन के बजाय वास्तविक अन्वेषण के माध्यम से हानिकारक और हानिरहित इरादों के बीच अंतर करने में सक्षम बनाकर ओवर-रिफ्यूज़ल को कम करता है।
• मॉडल को हानिकारक संदर्भों से उबरने के लिए प्रशिक्षित करके तर्क-निर्देशित हमलों (जैसे प्री-फिलिंग) के खिलाफ रक्षा प्रदान करता है।
• यह स्थापित करता है कि प्रोसेस-आधारित पुरस्कार सुरक्षा के लिए RL में प्रतिस्पर्धी उद्देश्यों को अनुकूलित करने के लिए एक आवश्यक घटक हैं, एक ऐसा निष्कर्ष जो अन्य मल्टी-ऑब्जेक्टिव RL कार्यों में सामान्य हो सकता है।

यह कार्य सुरक्षा संरेखण (safety alignment) में एक अनुसंधान योगदान के रूप में प्रस्तुत किया गया है, जिसमें उल्लेख किया गया है कि मॉडल और कार्यप्रणाली को LLMs की मजबूती और उपयोगिता में सुधार के लिए अनुसंधान उद्देश्यों के लिए डिज़ाइन किया गया है।