🤖 AI

Internalizing Safety Understanding in Large Reasoning Models via Verification

यह शोध पत्र सेफ्टी इंटरनल (SInternal) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो बड़े रीजनिंग मॉडल्स (Large Reasoning Models) की जेलब्रिक्स (jailbreaks) के विरुद्ध मजबूती को बढ़ाता है, उन्हें आत्म-सत्यापन कार्यों के माध्यम से सुरक्षा समझ को आंतरिक रूप से आत्मसात करने के लिए प्रशिक्षित करके, जिससे संरेखण (alignment) केवल व्यवहार संबंधी अनुपालन से बदलकर आंतरिक सुरक्षा मूल्यांकन में परिवर्तित हो जाता है।

मूल लेखक: Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Internalizing Safety Understanding in Large Reasoning Models via Verification" पेपर का सरल भाषा और उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य समस्या: "अच्छा अभिनेता" बनाम "सुरक्षा निरीक्षक"

कल्पना कीजिए कि आपने एक नाटक करने के लिए एक प्रतिभाशाली अभिनेता (एक Large Reasoning Model) को काम पर रखा है। आपका लक्ष्य यह सुनिश्चित करना है कि वे मंच पर कभी भी कुछ खतरनाक या हानिकारक न बोलें।

पुराना तरीका (उत्तर-केंद्रित संरेखण - Answer-Centric Alignment):
वर्तमान में, हम इन अभिनेताओं को उन स्क्रिप्ट्स दिखाकर प्रशिक्षित करते हैं जहाँ वे "सही" बातें कहते हैं। हम उनसे कहते हैं, "यदि कोई बम बनाने की रेसिपी पूछे, तो कहें 'मैं यह नहीं कर सकता'।"

खामी: अभिनेता इस इनकार (refusal) की नकल करना सीख जाता है। वे स्क्रिप्ट रट लेते हैं। लेकिन वे वास्तव में यह नहीं समझते कि बम बनाना क्यों बुरा है। यदि कोई चतुर खलनायक (एक "एडवर्सरियल जेलब्रेक") अभिनेता को यह विश्वास दिलाने के लिए चकमा देता है कि नाटक एक "विज्ञान प्रयोग" या "फिल्म का दृश्य" है, तो अभिनेता अपना बचाव छोड़ सकता है और वह खतरनाक चीज़ कह सकता है। वे नियमों का पालन तो कर रहे हैं, लेकिन उनके पास आंतरिक सुरक्षा अलार्म नहीं है।

नया विचार (SInternal):
इस पेपर के लेखक एक अलग दृष्टिकोण प्रस्तावित करते हैं। केवल यह सिखाने के बजाय कि अभिनेता को "ना" कैसे कहना है, वे अभिनेता को अपना स्वयं का सुरक्षा निरीक्षक (Safety Inspector) बनने के लिए प्रशिक्षित करते हैं।

समाधान: मॉडल को "अपना काम खुद चेक करना" सिखाना

यह पेपर SInternal (सेफ्टी इंटरनल) नामक एक फ्रेमवर्क पेश करता है। यह इस प्रकार काम करता है, चरण-दर-चरण:

मॉडल को पहले बोलने दें: केवल सुरक्षित उत्तर दिखाने के बजाय, हम मॉडल को विभिन्न प्रश्नों के उत्तर खुद जेनरेट करने देते हैं, जिनमें वे प्रश्न भी शामिल हैं जहाँ वह अनजाने में कुछ असुरक्षित कह सकता है।
विशेषज्ञ समीक्षा (The Expert Review): हम एक "सुपर-एक्सपर्ट" (एक अन्य AI या मानव) को मॉडल के उत्तर को देखने के लिए लाते हैं। विशेषज्ञ केवल यह नहीं कहता कि "सुरक्षित" या "असुरक्षित"। वे एक विस्तृत रिपोर्ट लिखते हैं जिसमें यह समझाया जाता है कि उत्तर क्यों खतरनाक है।
- उपमा: कल्पना कीजिए कि एक छात्र एक निबंध लिखता है। केवल ग्रेड देने के बजाय, एक शिक्षक मार्जिन में नोट लिखता है: "यह पैराग्राफ खतरनाक है क्योंकि यह आत्म-हानि को बढ़ावा देता है, भले ही यह एक कहानी जैसा लग रहा हो।"
सत्यापन (Verification) सीखना: मॉडल को फिर इन विशेषज्ञ रिपोर्टों को पढ़ने और उन्हें खुद लिखने के लिए प्रशिक्षित किया जाता है। लक्ष्य "सुरक्षित" उत्तर को रटना नहीं है; लक्ष्य यह सीखना है कि उत्तर की आलोचना (critique) कैसे की जाए और खुद से पूछना कि, "रुको, क्या यह वास्तव में सुरक्षित है? क्यों या क्यों नहीं?"

जादुई परिणाम: "आंतरिक सुरक्षा समझ" (Internalizing Safety)

अपने काम को सत्यापित करना सीखकर, मॉडल एक अंतर्निहित सुरक्षा समझ (intrinsic safety understanding) विकसित करता है।

पहले: मॉडल एक रोबोट की तरह था जो "क्या करें और क्या न करें" की सूची का पालन कर रहा था। यदि सूची को चकमा दिया गया, तो रोबोट टूट जाता था।
अब: मॉडल एक ऐसे व्यक्ति की तरह है जो खतरे की अवधारणा को वास्तव में समझता है। भले ही कोई धोखेबाज किसी खतरनाक अनुरोध को दूसरे शब्दों में कहने की कोशिश करे, मॉडल का आंतरिक "सुरक्षा निरीक्षक" सक्रिय हो जाता है, कहता है, "ठहरिए, यह वास्तव रूप से हानिकारक है," और प्रक्रिया को रोक देता है।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने कई शक्तिशाली AI मॉडलों पर इसका परीक्षण किया और पाया:

चालाकी के खिलाफ बेहतर बचाव: नया तरीका पुराने तरीकों की तुलना में "जेलब्रेक्स" (सुरक्षा नियमों को बायपास करने के लिए डिज़ाइन किए गए छल) का विरोध करने में बहुत बेहतर था। उन्होंने केवल इनकार को याद नहीं किया; उन्होंने सुरक्षा के सिद्धांतों को समझा।
"सत्यापन" कौशल का हस्तांतरण: भले ही उन्हें केवल उत्तरों को चेक करने के लिए प्रशिक्षित किया गया था (जरूरी नहीं कि उत्तर जेनरेट करने के लिए), वे सुरक्षित उत्तर जेनरेट करने में भी बहुत बेहतर हो गए। यह एक फुटबॉल कोच की तरह है जो खराब खेल को पहचानने में माहिर है; एक बार जब वे खुद खेलने लगते हैं, तो वे स्वाभाविक रूप से उन खराब खेलों को करने से बचते हैं।
सुदृढीकरण सीखने (Reinforcement Learning) के लिए एक मजबूत आधार: जब उन्होंने इस नई विधि को उन्नत प्रशिक्षण तकनीकों (Reinforcement Learning) के साथ जोड़ा, तो परिणाम और भी बेहतर रहे। ऐसा लगता है कि जिस मॉडल के पास सुरक्षा की समझ होती है, उसे लंबे समय तक सुरक्षित बनाए रखने के लिए प्रशिक्षित करना बहुत आसान हो जाता है।
"ओवर-रिफ्यूज़ल" (ज़रूरत से ज़्यादा इनकार) नहीं: कभी-कभी, सुरक्षा प्रशिक्षण मॉडलों को इतना डरा देता है कि वे किसी भी चीज़ का उत्तर देने से डरने लगते हैं (यहाँ तक कि हानिरहित प्रश्नों का भी)। इस नई विधि ने मॉडलों को स्मार्ट और मददगार बनाए रखा, वे केवल तभी मना करते थे जब वे पूरी तरह आश्वस्त होते थे कि कुछ असुरक्षित है।

निचोड़ (The Bottom Line)

यह पेपर तर्क देता है कि हमें केवल AI मॉडलों को सुरक्षित दिखने (नकल करने) के लिए नहीं सिखाना चाहिए। हमें उन्हें सुरक्षा के बारे में सोचने (समझने) के लिए सिखाना चाहिए।

इन मॉडलों को अपने स्वयं के आलोचक के रूप में कार्य करने और अपने उत्तरों को सत्यापित करने के लिए प्रशिक्षित करके, हम उन्हें एक "सुरक्षा विवेक" (safety conscience) देते हैं। इससे उन्हें धोखा देना बहुत कठिन हो जाता है और वे वास्तविक दुनिया में अधिक विश्वसनीय हो जाते हैं, बिना उनकी बुद्धिमत्ता या उपयोगिता को कम किए।

तकनीकी सारांश: सत्यापन के माध्यम से लार्ज रीजनिंग मॉडल्स में सुरक्षा समझ का आंतरिककरण (Internalizing Safety Understanding in Large Reasoning Models via Verification)

1. समस्या विवरण (Problem Statement)

लार्ज रीजनिंग मॉडल्स (LRMs) अपनी तर्क क्षमता को बढ़ाने के लिए स्पष्ट चेन-ऑफ-थॉट (CoT) का लाभ उठाते हैं, लेकिन अंतिम उत्तरों के साथ तर्क का यह जुड़ाव वास्तविक दुनिया के सुरक्षा जोखिमों की संभावना को बढ़ा देता है। वर्तमान अलाइनमेंट प्रतिमान (paradigms) मुख्य रूप से उत्तर-केंद्रित (answer-centric) हैं, जो विशेषज्ञ-क्यूरेटेड सुरक्षित प्रक्षेप पथों (trajectories) पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या सत्यापन योग्य सुरक्षा पुरस्कारों (verifiable safety rewards) के साथ सुदृढीकरण शिक्षण (RL) पर निर्भर करते हैं। ये विधियाँ मॉडलों को यह सुनिश्चित करने के लिए अनुकूलित करती हैं कि अंतिम उत्तर बाहरी सुरक्षा विशिष्टताओं का अनुपालन करें।

हालाँकि, लेखक तर्क देते हैं कि यह दृष्टिकोण काफी हद तक व्यवहारगत (behavioral) और सतही है। यह केवल अनुपालन के लिए अनुकूलित करता है, बिना मॉडल की आंतरिक सुरक्षा समझ (intrinsic safety understanding) को आकार दिए। फलस्वरूप, स्पष्ट रूप से अलाइन्ड (aligned) मॉडल अक्सर यह सत्यापित करने की क्षमता में विफल रहते हैं कि कोई आउटपुट सुरक्षा विशिष्टताओं को कैसे और क्यों संतुष्ट करता है। यह अंतराल दो महत्वपूर्ण विफलताओं के रूप में प्रकट होता है:

भेद्यता (Vulnerability): मॉडलों को एडवर्सरियल जेलब्रेक्स (adversarial jailbreaks) द्वारा हाईजैक किया जा सकता है जो अनुपालन-प्रेरित CoT को प्रेरित करते हैं, जिससे मॉडल किसी प्रॉम्प्ट को "सुरक्षित" के रूप में लेबल करने के लिए प्रेरित होता है जबकि वह हानिकारक उत्तर उत्पन्न करता है।
खराब सामान्यीकरण (Poor Generalization): मॉडल केवल सुरक्षित व्यवहारों की नकल करते हैं, सुरक्षा की अंतर्निहित अवधारणा को सीखे बिना, जिससे आउट-ऑफ-डोमेन (OOD) और रीजनिंग-विशिष्ट जेलब्रेक के विरुद्ध कमजोर रक्षा प्रणाली बनती है।

अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि मानक अलाइनमेंट विश्वसनीय रूप से सत्यापन कौशल (verification skills) प्रदान नहीं करता है; कुछ मामलों में, अलाइन्ड मॉडल बाइनरी सुरक्षा सत्यापन कार्यों पर रैंडम बेसलाइन्स से भी खराब प्रदर्शन करते हैं।

2. कार्यप्रणाली: सेफ्टी इंटरनल (SInternal)

सुरक्षा पीढ़ी (generation) और सुरक्षा समझ के बीच के अलगाव को संबोधित करने के लिए, लेखक सेफ्टी इंटरनल (SInternal) प्रस्तावित करते हैं, जो एक ढांचा है जिसे विशेष रूप से सुरक्षा सत्यापन कार्यों पर LRMs को प्रशिक्षित करके सुरक्षा विशिष्टताओं को आंतरिक बनाने के लिए डिज़ाइन किया गया है।

मूल दर्शन (Core Philosophy)

मॉडल को यह सिखाने के बजाय कि क्या आउटपुट करना है (सुरक्षित प्रक्षेप पथों की नकल करना), SInternal मॉडलों को अपने स्वयं के आउटपुट का मूल्यांकन कैसे करें यह सिखाता है। केंद्रीय परिकल्पना यह है कि सत्यापन सीखना प्रतिक्रिया सुरक्षा के लिए एक मजबूत सामान्यीकरण को प्रेरित करता है, जो केवल व्यवहारगत नकल की तुलना में अधिक मजबूत आधार बनाता है।

फ्रेमवर्क के घटक (Framework Components)

कार्यप्रणाली में दो प्राथमिक चरण शामिल हैं:

A. सत्यापन प्रशिक्षण के माध्यम से सुरक्षा आंतरिककरण (Safety Internalization via Verification Training)

स्व-प्रतिक्रिया पीढ़ी (Self-Response Generation): प्रत्येक सुरक्षा-संबंधित प्रॉम्प्ट $x$ के लिए, पॉलिसी मॉडल $\pi_\theta$ अपनी स्वयं की प्रतिक्रियाएं (संभावित रूप से असुरक्षित प्रतिक्रियाओं सहित) सैंपल करता है ताकि मॉडल अपने वास्तविक आउटपुट वितरण से संबंधित सुरक्षा सीमाओं को सीख सके।
विशेषज्ञ सत्यापन प्रक्षेप पथ निर्माण (Expert Verification Trajectory Construction): एक विशेषज्ञ मॉडल (जैसे, Claude-4-Sonnet) सुरक्षा विशिष्टताओं $S$ $S$ के विरुद्ध सैंपल की गई प्रतिक्रियाओं का मूल्यांकन करता है। यह एक सत्यापन प्रक्षेप पथ $c_k$ $c_{k}$ तैयार करता है जिसमें शामिल है:
- क्रिटीक रीजनिंग ( $z_{ver,k}$ ): संभावित सुरक्षा उल्लंघनों का विस्तृत विश्लेषण।
- बाइनरी जजमेंट ( $v_k$ ): एक अंतिम सुरक्षा लेबल (सुरक्षित/असुरक्षित)।
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): पॉलिसी मॉडल को इन विशेषज्ञ सत्यापन प्रक्षेप पथों पर सुपरवाइज्ड लर्निंग के माध्यम से प्रशिक्षित किया जाता है। इसका उद्देश्य प्रॉम्प्ट, मॉडल की अपनी प्रतिक्रिया और सुरक्षा विशिष्टताओं की स्थिति में सत्यापन तर्क और निर्णय की संभावना (likelihood) को अधिकतम करना है:
$L_{SInternal} = -E_{(x,y,c) \sim D_{ver}} [\log \pi_\theta(c | S, x, y)]$
यह मॉडल को यह समझने के लिए मजबूर करता है कि कोई उत्तर असुरक्षित क्यों है।

B. सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (RLVR)

SInternal इनिशियलाइजेशन पर निर्माण करते हुए, यह ढांचा ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके मॉडल को और अधिक अनुकूलित करता है।

रिवॉर्ड डिज़ाइन: मॉडल प्रतिक्रियाओं का एक समूह उत्पन्न करता है। एक बाहरी सत्यापनकर्ता इस आधार पर बाइनरी रिवॉर्ड प्रदान करता है कि प्रतिक्रिया सुरक्षित ( $V_{safe}$ ) है या इनकार ( $V_{refuse}$ ) है।
उद्देश्य: मॉडल अपेक्षित ग्रुप-रिलेटिव रिवॉर्ड को अधिकतम करता है, जो रिवॉर्ड संकेतों को अधिक सुसंगत रूप से व्याख्या करने और उच्च अलाइनमेंट सीलिंग प्राप्त करने के लिए आंतरिक सुरक्षा समझ का लाभ उठाता है।

3. प्रमुख योगदान (Key Contributions)

सत्यापन अंतराल की पहचान (Identification of the Verification Gap): पेपर प्रमाण देता है कि उत्तर-केंद्रित अलाइनमेंट आंतरिक सुरक्षा सत्यापन क्षमताओं में सुधार करने में विफल रहता है, जिससे मॉडल अक्सर अपने द्वारा उत्पन्न असुरक्षित आउटपुट को पहचानने में असमर्थ रह जाते हैं।
SInternal फ्रेमवर्क: एक नवीन प्रशिक्षण प्रतिमान जो ध्यान सुरक्षात्मक उत्तर उत्पन्न करने से हटाकर उन्हें सत्यापित करने पर केंद्रित करता है। मॉडल के अपने जनरेशन से प्राप्त सत्यापन प्रक्षेप पथों पर विशेष रूप से प्रशिक्षण देकर, यह विधि सुरक्षा विशिष्टताओं को एक आंतरिक तर्क क्षमता के रूप में आंतरिक बनाती है।
RL के लिए बेहतर इनिशियलाइजेशन: अध्ययन दर्शाता है कि SInternal, मानक SFT की तुलना में सुदृढीकरण शिक्षण (RL) के लिए एक बेहतर इनिशियलाइजेशन के रूप में कार्य करता है। SInternal के साथ इनिशियलाइज किए गए मॉडल RL अनुकूलन के बाद एडवर्सरियल हमलों के खिलाफ काफी अधिक मजबूती प्राप्त करते हैं।
मैकेनिज्म विश्लेषण: लेखक दिखाते हैं कि SInternal रीजनिंग प्रक्रिया के दौरान सक्रिय सत्यापन (proactive verification) को ट्रिगर करता है। मॉडल अंतिम उत्तर देने से पहले अपने संभावित व्यवहारों की सुरक्षा की जांच स्वतः ही शुरू कर देता है, जिससे गहरा अलाइनमेंट होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग तीन ओपन-सोर्स LRMs (DeepSeek-R1-Distill-Qwen-7B/14B और DeepSeek-R1-Distill-Llama-8B) पर सुरक्षा, ओवर-रिफ्यूजल और सामान्य रीजनिंग बेंचमार्क पर किए गए।

जेलब्रेक्स के विरुद्ध मजबूती: SOut-of-distribution (OOD) और रीजनिंग-विशिष्ट जेलब्रेक बेंचमार्क (जैसे, WildJailbreak, Fortress, HCoT) पर SInternal, बेसलाइन्स (SafeChain, STAR-1) से काफी बेहतर प्रदर्शन करता है। विशेष रूप से, SInternal के साथ RL एकमात्र ऐसा तरीका है जो HCoT (Hijacking CoT) के खिलाफ प्रभावी ढंग से बचाव करता है, जो कि रीजनिंग ट्रेसेस का लाभ उठाने वाला एक अत्याधुनिक जेलब्रेक है।
सत्यापन क्षमता: SInternal के साथ प्रशिक्षित मॉडल सुरक्षा सत्यापन F1 स्कोर में पर्याप्त वृद्धि दिखाते हैं (जैसे, DS-7B पर ~48% से बढ़कर ~86%), जबकि उत्तर-केंद्रित बेसलाइन्स बहुत कम या कोई सुधार नहीं दिखाते हैं।
सामान्यीकरण (Generalization): यह विधि अनदेखे जेलब्रेक्स के प्रति मजबूत सामान्यीकरण प्रदर्शित करती है, जो सुझाव देती है कि सुरक्षा सत्यापन के सिद्धांतों को सीखना, इनकार पैटर्न को याद करने की तुलना में अधिक प्रभावी है।
उपयोगिता का संरक्षण (Preservation of Utility): SInternal सामान्य रीजनिंग बेंचमार्क (MATH, AIME) पर प्रतिस्पर्धी प्रदर्शन बनाए रखता है और अत्यधिक ओवर-रिफ्यूजल (XSTest द्वारा मापा गया) से बचता है, जिससे सुरक्षा और उपयोगिता के बीच संतुलन बना रहता है।
डेटा दक्षता: SInternal, SFT बेसलाइन्स द्वारा आवश्यक प्रशिक्षण डेटा के केवल 50% के साथ उच्च सुरक्षा प्रदर्शन प्राप्त करता है, जो इंगित करता है कि आउटपुट की नकल करने की तुलना में तर्क के तर्क (logic) को आंतरिक बनाना अधिक डेटा-कुशल है।

5. महत्व और दावे (Significance and Claims)

पेपर AI सुरक्षा अलाइनमेंट में एक प्रतिमान परिवर्तन (paradigm shift) का दावा करता है: उत्तर-केंद्रित अलाइनमेंट (सुरक्षित व्यवहारों की नकल करना) से आंतरिक सुरक्षा समझ (सुरक्षा सिद्धांतों के बारे में स्पष्ट रूप से तर्क करना) की ओर बढ़ना।

मौलिक मजबूती (Foundational Robustness): लेखक तर्क देते हैं कि सुरक्षा समझ को आंतरिक बनाना केवल सुरक्षित व्यवहारों की नकल करने की तुलना में अलाइनमेंट के लिए अधिक मजबूत आधार बनाता है। यह मॉडल की रीजनिंग के दौरान स्वतः सत्यापन को ट्रिगर करने की क्षमता और एडवर्सरियल CoT हाइजैकिंग के खिलाफ इसकी श्रेष्ठ प्रतिरोधक क्षमता से सिद्ध होता है।
जेनरेशन और वेरिफिकेशन का अलगाव: कार्य रेखांकित करता है कि सुरक्षित जेनरेशन स्वाभाविक रूप से सुरक्षा समझ की ओर नहीं ले जाता है। इसलिए, इस अंतर को पाटने के लिए सत्यापन पर स्पष्ट प्रशिक्षण आवश्यक है।
भविष्य की दिशा: हालांकि वर्तमान ढांचा पोस्ट-जेनरेशन सत्यापन पर केंद्रित है, लेखक सुझाव देते हैं कि इस क्षमता को रीजनिंग के दौरान गतिशील स्व-सत्यापन (dynamic self-verification) तक विस्तारित करना एक महत्वपूर्ण भविष्य की दिशा है। वे इस बात पर जोर देते हैं कि जैसे-जैसे मॉडल गहरी आंतरिक सुरक्षा समझ विकसित करेंगे, यह सुनिश्चित करना कि उनका आंतरिक सत्यापन तर्क मानवीय मूल्यों के साथ संरेखित रहे, जिम्मेदार शासन के लिए सर्वोपरि है।

पेपर निष्कर्ष निकालता है कि LRMs को उनके द्वारा उत्पन्न उत्तरों की सुरक्षा की जांच करने की क्षमता से लैस करना आंतरिक सुरक्षा प्राप्त करने की दिशा में एक सार्थक कदम है, विशेष रूप से उन उच्च-जोखिम वाले वातावरणों में जहाँ मजबूती (robustness) गैर-परक्राम्य है।