💬 NLP

Mitigating the Safety-utility Trade-off in LLM Alignment via Adaptive Safe Context Learning

यह शोध पत्र एडेप्टिव सेफ कॉन्टेक्स्ट लर्निंग (ASCL) फ्रेमवर्क का प्रस्ताव करता है, जो सुरक्षा को एक मल्टी-टर्न टूल-यूज़ प्रक्रिया के रूप में स्वरूपित करके और तर्क क्षमताओं को संरक्षित करते हुए स्वायत्त नियम परामर्श को सक्षम करने के लिए इनवर्स फ्रीक्वेंसी पॉलिसी ऑप्टिमाइज़ेशन (IFPO) को पेश करके LLM अलाइनमेंट में सुरक्षा-उपयोगिता ट्रेड-ऑफ को कम करता है।

मूल लेखक: Yanbo Wang, Minzheng Wang, Jian Liang, Lu Wang, Yongcan Yu, Ran He

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yanbo Wang, Minzheng Wang, Jian Liang, Lu Wang, Yongcan Yu, Ran He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Mitigating the Safety–Utility Trade-off in LLM Alignment via Adaptive Safe Context Learning" शोध पत्र का सरल भाषा और उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "अति-सुरक्षात्मक बॉडीगार्ड" (The Over-Protective Bodyguard)

कल्पना कीजिए कि आपने जटिल कार्यों, जैसे गणित की समस्याओं को हल करने या कोड लिखने में मदद करने के लिए एक अत्यंत बुद्धिमान बॉडीगार्ड (AI) को काम पर रखा है। आप चाहते हैं कि वे सुरक्षित रहें, इसलिए आप उन्हें सुरक्षा नियमों की एक मोटी रूलबुक देते हैं।

वर्तमान समस्या:
अभी, अधिकांश AI सुरक्षा प्रणालियाँ एक ऐसे बॉडीगार्ड की तरह काम करती हैं जिसने नियम पुस्तिका को इतनी सख्ती से रट लिया है कि वे हर उस चीज़ को मना कर देते हैं जो थोड़ी भी संदिग्ध दिखती है।

परिदृश्य: आप पूछते हैं, "मैं अपनी पत्नी को चेकर्स (checkers) के खेल में कैसे हराऊं?"
पुराना AI: तुरंत घबरा जाता है। "पत्नी? चेकर्स? यह तो घरेलू हिंसा जैसा लग रहा है! मैं उत्तर नहीं दे सकता!" वह मदद करने से इनकार कर देता है, भले ही आपका मतलब सिर्फ एक हानिरहित बोर्ड गेम से था।
परिणाम: AI बहुत सुरक्षित है, लेकिन वह बहुत कष्टप्रद और अनुपयोगी भी है। यह "ओवर-रिफ्यूजिंग" (ज़रूरत से ज़्यादा मना करना) कर रहा है।

यह शोध पत्र तर्क देता है कि AI को प्रशिक्षित करने का वर्तमान तरीका (उन्हें उनके मस्तिष्क के भीतर सुरक्षा नियमों को याद करने के लिए मजबूर करना) एक 'ट्रेड-ऑफ' पैदा करता है: उन्हें जितना सुरक्षित बनाएंगे, वे उतने ही कम बुद्धिमान होते जाएंगे; उन्हें जितना स्मार्ट बनाएंगे, वे उतने ही जोखिम भरे होते जाएंगे।

समाधान: "अनुकूली लाइब्रेरियन" (The Adaptive Librarian)

लेखकों ने ASCL (Adaptive Safe Context Learning) नामक एक नया ढांचा प्रस्तावित किया है। AI को नियम पुस्तिका रटने के लिए मजबूर करने के बजाय, वे AI को एक उपकरण (tool) देते हैं जिससे वह केवल आवश्यकता पड़ने पर नियमों को देख सके।

AI को एक ऐसे बॉडीगार्ड के रूप में न देखें जिसने नियमों की सूची रट ली है, बल्कि एक स्मार्ट लाइब्रेरियन के रूप में देखें।

सामान्य दिन: यदि आप कोई रेसिपी या गणित की समस्या पूछते हैं, तो लाइब्रेरियन बिना किसी बाधा के तुरंत आपकी मदद करता है। नियम पुस्तिका चेक करने की कोई आवश्यकता नहीं है।
संदिग्ध दिन: यदि आप कुछ पेचीदा पूछते हैं (जैसे "बम कैसे बनाएं?"), तो लाइब्रेरियन रुक जाता है। वह कहता है, "रुको, पहले मुझे सुरक्षा मैनुअल देखने दो।" वह विशिष्ट नियम निकालता है, उसे पढ़ता है, और फिर निर्णय लेता है: "ठीक है, यह नियम कहता है कि मैं बमों के संबंध में मदद नहीं कर सकता। मुझे मना करना चाहिए।"
"गलत अलार्म" वाला दिन: यदि आप पूछते हैं, "मैं अपनी पत्नी को चेकर्स में कैसे हराऊं?", तो लाइब्रेरियन रुकता है, मैनुअल चेक करता है, देखता है कि "किसी को खेल में हराना" वास्तव में सुरक्षा उल्लंघन नहीं है, और कहता है, "आह, यह तो बस एक खेल है! यहाँ कुछ टिप्स दिए गए हैं।"

मुख्य नवाचार: AI यह निर्णय लेना सीखता है कि नियमों को कब देखना है। वह केवल अंधाधुंध उनका पालन नहीं करता; वह तर्क करता है कि क्या नियम वास्तव में लागू होते हैं या नहीं।

प्रशिक्षण प्रक्रिया: लाइब्रेरियन को सिखाना

शोध पत्र इस व्यवहार को सिखाने के लिए दो-चरणीय प्रशिक्षण प्रक्रिया का वर्णन करता है:

बिहेवियर क्लोनिंग (The "Shadowing" Phase):
शोधकर्ताओं ने पहले AI को दिखाया कि एक आदर्श लाइब्रेरियन कैसे व्यवहार करता है। वे उसे ऐसे उदाहरण दिखाते हैं जहाँ उसे नियम देखना चाहिए और ऐसे मामले भी जहाँ उसे नहीं देखना चाहिए। AI इस व्यवहार की नकल करता है, यह सीखते हुए कि कभी-कभी उसे रुककर जांच करनी होती है और कभी-कभी वह सीधे उत्तर दे सकता है।
IFPO के साथ सुदृढीकरण सीखना (The "Tuning" Phase):
यहीं पर शोध पत्र एक चतुर नया एल्गोरिदम पेश करता है जिसे IFPO (Inverse Frequency Policy Optimization) कहा जाता है।

समस्या: प्रशिक्षण के दौरान, AI ने देखा कि "नियम पुस्तिका देखना" एक सुरक्षित विकल्प था। इसलिए, उसने हर चीज़ के लिए नियम पुस्तिका चेक करना शुरू कर दिया, यहाँ तक कि साधारण सवालों के लिए भी जैसे "मौसम कैसा है?" इससे AI धीमा और अत्यधिक सतर्क हो गया।
समाधान (IFPO): कल्पना कीजिए कि एक कोच नोटिस करता है कि एक खिलाड़ी एक ही चाल बार-बार चल रहा है। केवल "रुक जाओ" कहने के बजाय, कोच स्कोरिंग सिस्टम को बदल देता है।
- यदि AI एक साधारण प्रश्न के लिए नियम पुस्तिका चेक करता है (जो अक्सर होता है), तो कोच कहता है, "इसके लिए आपको कम अंक मिलेंगे।"
- यदि AI एक दुर्लभ, खतरनाक प्रश्न के लिए नियम पुस्तिका चेक करता है (जो बहुत कम होता है), तो कोच कहता है, "इसके लिए आपको बोनस अंक मिलेंगे!"
परिणाम: यह AI को नियम पुस्तिका का अत्यधिक उपयोग करने से रोकता है। यह "अनुकूली" (adaptive) बनना सीख जाता है—उपकरण का उपयोग केवल तभी करता है जब वास्तव में आवश्यक हो।

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

शोध पत्र ने विभिन्न आकार के AI मॉडल (4B, 8B, और 14B पैरामीटर्स) पर इसका परीक्षण किया और अन्य तरीकों से तुलना की।

सुरक्षा (Safety): नया तरीका हानिकारक अनुरोधों को रोकने में पुराने तरीकों के समान ही प्रभावी था।
उपयोगिता (Helpfulness): यह उन हानिरहित प्रश्नों का उत्तर देने में बहुत बेहतर था जिन्हें पुराने तरीके खारिज कर देते थे (जैसे चेकर्स वाला उदाहरण)।
तर्क (Reasoning): AI ने गणित या कोडिंग करने की अपनी क्षमता नहीं खोई। वास्तव में, अनावश्यक नियम-जांच में न फंसने के कारण, वह अधिक सटीक बना रहा।

सारांश उपमा (Summary Analogy)

पुराना तरीका: एक सुरक्षा गार्ड जो हर आने वाले व्यक्ति को रोकता है और उनसे फॉर्म भरवाता है, भले ही वे सिर्फ सोडा खरीदने आए हों। (उच्च सुरक्षा, कम उपयोगिता)।
नया तरीका (ASCL + IFPO): एक सुरक्षा गार्ड जो लोगों को स्वतंत्र रूप से अंदर आने देता है, लेकिन उसके पास एक वॉकी-टॉकी है। यदि वह कुछ संदिग्ध देखता है, तो वह नियमों को चेक करने के लिए मैनेजर को कॉल करता है। यदि वह सिर्फ सोडा है, तो वह उन्हें जाने देता है। मैनेजर (IFPO) यह सुनिश्चित करता है कि गार्ड हर सोडा के लिए मैनेजर को कॉल न करे, ताकि लाइन चलती रहे।

शोध पत्र निष्कर्ष निकालता है कि AI को सुरक्षा को केवल याद करने के बजाय सुरक्षा के बारे में सोचने की अनुमति देकर, हम एक ऐसा AI प्राप्त कर सकते हैं जो सुरक्षित भी है और वास्तव में उपयोगी भी।

तकनीकी सारांश: अनुकूली सुरक्षित संदर्भ शिक्षण (Adaptive Safe Context Learning) के माध्यम से LLM संरेखण में सुरक्षा-उपयोगिता व्यापार-संतुलन को कम करना

समस्या विवरण

लार्ज रीजनिंग मॉडल्स (LRMs) की तीव्र प्रगति ने गणित और कोडिंग जैसे जटिल कार्यों में क्षमताओं को बढ़ाया है, लेकिन इसने साथ ही सुरक्षा जोखिमों को भी बढ़ा दिया है। सुरक्षा संरेखण (safety alignment) में मुख्य चुनौती सुरक्षा (हानिकारक आउटपुट को रोकना) और उपयोगिता (सौम्य लेकिन संवेदनशील प्रश्नों पर अत्यधिक इनकार/over-refusal से बचना) के बीच निहित व्यापार-संतुलन (trade-off) है।

प्रचलित संरेखण रणनीतियाँ आमतौर पर संदर्भ आसवन (context distillation) पर निर्भर करती हैं, जहाँ स्पष्ट सुरक्षा नियमों को सीधे चेन-ऑफ-थॉट (CoT) प्रशिक्षण डेटा में एम्बेड किया जाता है। जबकि यह सुरक्षा दिशानिर्देशों को आंतरिक रूपत: आत्मसात करता है, यह शोधपत्र तर्क देता है कि यह नियम स्मृति (rule memorization) और इनकार के बीच एक कठोर संबंध बनाता है। फलस्वरूप, मॉडल उन निर्दोष प्रॉम्प्ट्स को भी अस्वीकार करने लगते हैं जो सतही तौर पर सुरक्षा शब्दों से मेल खाते हैं, जिससे वे यह आकलन करने में विफल रहते हैं कि क्या कोई विशिष्ट प्रश्न वास्तव में इनकार की मांग करता है। यह "पैटर्न-मैचिंग" व्यवहार मॉडल की तर्क क्षमता और उपयोगिता से समझौता करता है।

कार्यप्रणाली

लेखक अनुकूली सुरक्षित संदर्भ शिक्षण (Adaptive-Safe Context Learning - ASCL) फ्रेमवर्क का प्रस्ताव करते हैं, जो सुरक्षा नियमों को मॉडल की तर्क प्रक्रिया से अलग (decouple) करता है। तर्क श्रृंखला (reasoning chain) के भीतर नियमों को याद रखने के बजाय, ASCL सुरक्षा संरेखण को एक बहु-चरणीय, एजेंट-जैसे टूल-यूज़ (tool-use) प्रक्रिया के रूप में मानता है।

1. अनुकूली सुरक्षित संदर्भ शिक्षण (ASCL)

तंत्र: मॉडल को एक रिट्रीवल टूल (जिसे ReAct-शैली के लूप के भीतर एक MCP टूल के रूप में मॉडल किया गया है) से लैस किया गया है जो 21 श्रेणियों में 107 विशिष्ट सुरक्षा शब्दों वाले एक बाहरी, सीखने योग्य सुरक्षा दस्तावेज़ तक पहुँच सकता है।
प्रक्रिया: किसी क्वेरी का सामना करने पर, मॉडल स्वायत्त रूप से यह तय करता है कि क्या उसे रिट्रीवल टूल को कॉल करना चाहिए।
- यदि क्वेरी संदिग्ध या संभावित रूप से जोखिम भरी है, तो मॉडल प्रासंगिक नीतियों को पुनः प्राप्त (retrieve) करता है, उनका विश्लेषण करता है, और फिर एक प्रतिक्रिया उत्पन्न करता है।
- यदि क्वेरी सौम्य है, तो मॉडल रिट्रीवल को छोड़ देता है और सीधे उत्तर देता है।
लक्ष्य: प्रतिमान को कठोर नियम स्मृति से बदलकर अनुकूली तर्क (adaptive reasoning) की ओर ले जाना, जहाँ मॉडल जोखिमों पर विचार करता है और केवल आवश्यकता होने पर ही चुनिंदा रूप से संदर्भ का आह्वान करता है।

2. पोस्ट-ट्रेनिंग पाइपलाइन

मॉडल के निर्णय लेने की क्षमता को परिष्कृत करने के लिए, लेखक दो-चरणीय पोस्ट-ट्रेनिंग दृष्टिकोण का उपयोग करते हैं:

व्यवहार क्लोनिंग (Behavior Cloning - BC): मॉडल को एक बड़े विशेषज्ञ मॉडल (Qwen3-235B-A22B) द्वारा जनरेट किए गए क्यूरेटेड डेटासेट पर सुपरवाइज किया जाता है। इस डेटासेट में शामिल हैं:
- हानिकारक क्वेरी जिनमें नियम रिट्रीवल और इनकार की आवश्यकता होती है।
- संवेदनशील (सौम्य) क्वेरी जहाँ मॉडल सही ढंग से नियमों को रिट्रीव करता है लेकिन यह निर्धारित करता है कि कोई उल्लंघन नहीं हुआ है, या बिना रिट्रीवल के उत्तर देता है।
- डेटा शुद्धिकरण (data purification) मतिभ्रम (hallucinations) और अनावश्यक तर्क को हटा देता है।
सुदृढीकरण शिक्षण (Reinforcement Learning - RL): मॉडल को एक रिवॉर्ड फंक्शन का उपयोग करके और अधिक अनुकूलित किया जाता है जो सुरक्षा, अनुपालन (अत्यधिक इनकार से बचना), और मतिभ्रम या फॉर्मेटिंग त्रुटियों के लिए दंड के बीच संतुलन बनाता है।

3. इनवर्स फ्रीक्वेंसी पॉलिसी ऑप्टिमाइज़ेशन (IFPO)

RL के दौरान देखी गई एक महत्वपूर्ण सीमा अत्यधिक नियम परामर्श (मॉडल का टूल पर अत्यधिक निर्भर होना) की ओर झुकाव थी। मानक पॉलिसी ग्रेडिएंट्स रोलआउट बैच में उनकी आवृत्ति (frequency) के आधार पर क्रियाओं को सुदृढ़ करते हैं, जिससे एक विकृत वितरण होता है जहाँ रिट्रीवल डिफ़ॉल्ट व्यवहार बन जाता है।

इसे काउंटर करने के लिए, लेखक IFPO पेश करते हैं:

अवधारणा: IFPO एक रोलआउट समूह के भीतर क्रियाओं की सैंपलिंग फ्रीक्वेंसी के आधार पर उनके एडवांटेज एस्टीमेट्स को गतिशील रूप से पुन: भारित (reweight) करता है।
कार्यान्वयन: यह कम प्रतिनिधित्व वाली क्रियाओं (जैसे, प्रत्यक्ष प्रतिक्रियाएं) के एडवांटेज को बढ़ाता है और अत्यधिक प्रतिनिधित्व वाली क्रियाओं (जैसे, टूल कॉल्स) के एडवाटेज को कम करता है।
सूत्र: समूह $G$ के भीतर क्रिया प्रकार ( $N_{m_i}$ ) की इनवर्स फ्रीक्वेंसी के आधार पर नमूना $i$ के लिए भार $w_i$ की गणना की जाती है, जिसे नॉर्मलाइज़ और क्लिप किया जाता है।
$w_i = \text{clip}\left( \frac{(|G|/N_{m_i})^\tau}{\sum_j (|G|/N_{m_j})^\tau}, w_{\min}, w_{\max} \right)$
प्रभाव: यह पॉलिसी अपडेट के परिमाण को सैंपलिंग फ्रीक्वेंसी से अलग करता है, जिससे पॉलिसी को उच्च-आवृत्ति पैटर्न में ढलने से रोका जा सके और एक संतुलित रणनीति को प्रोत्साहित किया जा सके।

प्रमुख योगदान

ASCL फ्रेमवर्क: एक अभिनव दृष्टिकोण जो सुरक्षा नियमों को तर्क से अलग करता है, जिससे मॉडल जोखिमों पर गतिशील रूप से विचार करने और कठोर इनकार पैटर्न को याद करने के बजाय चुनिकी रूप से बाहरी दिशानिर्देशों को रिट्रीव करने में सक्षम होता है।
संदर्भ शिक्षण का अनुभवजन्य सत्यापन: व्यवस्थित प्रयोग दर्शाते हैं कि ASCL प्रॉम्प्ट इंजीनियरिंग बेसलाइन की तुलना में ज़ीरो-शॉट सेटिंग्स में बेहतर सुरक्षा-उपयोगिता व्यापार-संतुलन प्राप्त करता है, और यह भी उजागर करता है कि विस्तृत नियमों को सीधे प्रशिक्षण डेटा में एम्बेड करने की उपयोगिता कम है।
IFPO एल्गोरिदम: एक सुदृढीकरण शिक्षण अनुकूलन तकनीक जो प्रशिक्षण के दौरान नियम रिट्रीवल की अंतर्निहित पूर्वाग्रह को कम करती है, जिससे मानक GRPO की तुलना में सुरक्षा और सहायकता के बीच बेहतर संतुलन प्राप्त होता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन सुरक्षा बेंचमार्क (जैसे, WildJailbreak, StrongReject) और ओवर-रिफ्यूजल बेंचमार्क (जैसे, XSTest, OR-Bench-Hard) पर Qwen3 मॉडल्स (4B, 8B, और 14B) पर किया गया।

सुरक्षा-उपयोगिता व्यापार-संतुलन: IFPO के साथ ASCL फ्रेमवर्क ने अग्रणी प्रदर्शन हासिल किया, जो SafeChain, STAR-1 और मानक प्रॉम्प्ट इंजीनियरिंग वेरिएंट जैसे बेसलाइन से काफी बेहतर रहा।
- सुरक्षा: हानिकारक प्रॉम्प्ट के खिलाफ लगभग पूर्ण रक्षा दर (जैसे, 4B मॉडल के लिए औसतन ~98.87%) प्राप्त की।
- उपयोगिता: BC-only और RL बेसलाइन की तुलना में ओवर-रिफ्यूजल दर को काफी कम कर दिया, जिससे संवेदनशील प्रॉम्प्ट पर अनुपालन दर "प्योर" (अन-अलाइन्ड) मॉडल के प्रदर्शन के करीब आ गई।
सामान्य तर्क (General Reasoning): सामान्य तर्क कार्यों (MATH-500, GSM8K, GPQA-Diamond, आदि) पर प्रयोगों ने दिखाया कि ASCL फ्रेमवर्क ने सामान्य तर्क क्षमताओं को महत्वपूर्ण रूप से कम नहीं किया, हालांकि इसने इन कार्यों में जनरलाइजेशन बूस्ट भी प्रदर्शित नहीं किया। लेखक एक मामूली प्रदर्शन भिन्नता देखते हैं, जो संभवतः संरचित सुरक्षा प्रशिक्षण डेटा और सामान्य तर्क कार्यों के बीच वितरण अंतराल (distribution gap) के कारण है।
एब्लेशन स्टडीज (Ablation Studies):
- ASCL को "सरोगेट" CoT डेटासेट (वास्तविक टूल उपयोग के बिना रिट्रीवल का अनुकरण करने वाला) से बदलने के परिणामस्वरूप खराब सुरक्षा प्रदर्शन और घटित तर्क क्षमताएं हुईं, जो पृथक टूल-यूज़ तंत्र की आवश्यकता की पुष्टि करती हैं।
- सरल रिवॉर्ड पेनल्टी (नियम उपयोग के लिए) की तुलना में IFPO ने दिखाया कि पेनल्टी से नियम रिट्रीवल का पूर्ण बचाव होता था, जबकि IFPO ने परामर्श दर को एक इष्टतम स्तर पर स्थिर करने में सफलता प्राप्त की।

महत्व और दावे

यह शोधपत्र दावा करता है कि प्रभावी सुरक्षा संरेखण तब उभरता है जब मॉडल मुख्य तर्क क्षमताओं पर ध्यान केंद्रित करते हैं और चुनिंदा रूप से उपयुक्त सुरक्षा संदर्भ को बुलाना सीखते हैं, बजाय इसके कि वे अंधाधुंध कठोर नियमों को याद करें।

सुरक्षा संरेखण को एक गतिशील, बहु-चरणीय तर्क प्रक्रिया के रूप में मानकर जहाँ नियम आंतरिक बाधाओं के बजाय बाहरी उपकरण हैं, लेखक यह प्रदर्शित करते हैं कि सुरक्षा-उपयोगिता व्यापार-संतुलन को तोड़ना संभव है। यह कार्य सुझाव देता है कि सुरक्षा संरेखण में "तर्क क्षमता" को सिद्धांतों के परामर्श करने और उल्लंघनों का विश्लेषण करने की क्षमता के रूप में परिभाषित किया जाना चाहिए, न कि यांत्रिक रूप से रूढ़िबद्ध इनकार पैटर्न को मिलाने के रूप में। लेखक इस दृष्टिकोण को अधिक विश्वसनीय और उपयोगी लार्ज रीजनिंग मॉडल्स की ओर एक कदम के रूप में देखते हैं।