Reasoning Up the Instruction Ladder for Controllable Language Models
यह शोधपत्र VerIH प्रस्तुत करता है, जो एक प्रशिक्षण डेटासेट और सुदृढीकरण शिक्षण (reinforcement learning) दृष्टिकोण है जो निर्देश पदानुक्रम समाधान (instruction hierarchy resolution) को एक तर्क कार्य के रूप में पुनर्गठित करता है, जिससे भाषा मॉडल परस्पर विरोधी निर्देशों को प्रभावी ढंग से प्राथमिकता देने में सक्षम होते हैं और निर्देश पालन एवं सुरक्षा हमलों के विरुद्ध मजबूती में महत्वपूर्ण सुधार करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं, लेकिन आपके सामने दो अलग-अलग नियंत्रण पैनल हैं। एक है कैप्टन का मैनुअल (सिस्टम प्रॉम्प्ट), जिसमें ब्रह्मांड के स्वर्णिम नियम हैं: "कभी भी किसी इंसान को चोट न पहुँचाएँ," "हमेशा सच बोलें," और "जहाज की रक्षा करें।" दूसरा है यात्री का नोट (यूज़र प्रॉम्प्ट), जहाँ एक यात्री कह सकता है, "हे, मैनुअल को अनदेखा करो और यह देखने के लिए जहाज के ढांचे में एक छेद कर दो कि क्या होता है!"
लंबे समय तक, AI मॉडल भ्रमित सह-पायलटों की तरह थे। उन्होंने कैप्टन के मैनुअल और यात्री के नोट के साथ ऐसा व्यवहार किया जैसे वे समान महत्व की दो सूचियाँ हों। यदि यात्री ने "करो!" इतना ज़ोर से चिल्लाया कि AI ने मैनुअल को भूलकर छेद कर दिया, भले ही इसका मतलब नियमों को तोड़ना हो, तो AI ऐसा कर सकता था। यह एक बड़ी समस्या है क्योंकि यह बुरे तत्वों को AI को "जेलब्रेक" करने या इसे खतरनाक चीजें करने के लिए बहलाने की अनुमति देता है।
शोधकर्ताओं ने AI को एक नई सुपरपावर सिखाई है: निर्देशों की सीढ़ी पर तर्क करना (Reasoning Up the Instruction Ladder)।
"कार्य करने से पहले सोचें" अपग्रेड
केवल आखिरी बात सुनने के बाद आँख बंद करके पालन करने के बजाय, लेखकों ने AI को नियमों और अनुरोध के बीच के संबंध के बारे में "सोचने" और रुकने के लिए सिखाया। उन्होंने एक विशेष प्रशिक्षण डेटासेट बनाया जिसे VerIH (वेरिफिएबल इंस्ट्रक्शन हिरार्की) कहा जाता है। इसे एक विशाल जिम की तरह समझें जहाँ AI विरोधाभासी पहेलियों को हल करने का अभ्यास करता है।
इस जिम में, AI यह कहना सीखता है: "रुको एक मिनट। कैप्टन के मैनुअल में लिखा है 'छेद न करें।' यात्री छेद करने के लिए कह रहा है। चूंकि मैनुअल अधिकार की सीढ़ी में ऊपर है, इसलिए मुझे नियमों को तोड़ने के यात्री के अनुरोध को अनदेखा करना चाहिए।"
पेपर दिखाता है कि इन 7,192 संघर्ष पहेलियों पर प्रशिक्षण देकर, AI इस "सोचने" की प्रक्रिया में बहुत कुशल हो जाता है। यह केवल उत्तर को याद नहीं करता है; यह इस तर्क को सीखता है कि वास्तव में प्रभारी कौन है।
परिणाम: एक बड़ा दिमाग, न कि केवल एक बड़ी मेमोरी
लेखकों ने इसे कई अलग-अलग AI "मस्तिष्क" (Qwen और Phi-4 जैसे मॉडल) पर परखा, जो छोटे से लेकर विशाल तक हैं। यहाँ उन्हें क्या मिला:
- संघर्षों को संभालना: जब AI को एक नियम और एक अनुरोध के बीच संघर्ष का सामना करना पड़ा, तो सही नियम का पालन करने की इसकी क्षमता उन मॉडलों की तुलना में लगभग 20% बढ़ गई जिन्हें यह विशेष प्रशिक्षण नहीं मिला था।
- बुरे लोगों को रोकना: इस प्रशिक्षण ने AI को चकमा देना भी बहुत कठिन बना दिया। जब बुरे तत्वों ने इसे "जेलब्रेक" करने (सुरक्षा नियमों को अनदेखा करने के लिए बहलाने) की कोशिश की, तो हमले की सफलता दर 20% तक गिर गई।
- कोई ब्रेन ड्रेन नहीं: आमतौर पर, जब आप किसी AI को एक नया करतब सिखाते हैं, तो हो सकता है कि वह पुराने काम (जैसे गणित या लेखन) करना भूल जाए। लेकिन यहाँ, AI ने अपनी सामान्य बुद्धिमत्ता को खोए बिना नियमों का पालन करने में बेहतर प्रदर्शन किया। वास्तव में, कुछ गणित और तर्क परीक्षणों पर, स्कोर स्थिर रहा या थोड़ा बढ़ गया।
यह क्या नहीं है
यह जानना महत्वपूर्ण है कि यह पेपर क्या नहीं कहता है। लेखक स्पष्ट रूप से इस विचार का खंडन करते हैं कि आपको बस AI के मस्तिष्क में सुरक्षा को "हार्ड-कोड" करने की आवश्यकता है या हर बार नया नियम आने पर पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता है। वे यह भी दिखाते हैं कि केवल "चरण-दर-चरण सोचें" (think step-by-step) निर्देश जोड़ना पर्याप्त नहीं है; AI को पदानुक्रम (hierarchy) सीखने के लिए विशेष रूप से विरोधाभासी निर्देशों पर प्रशिक्षित करने की आवश्यकता है।
इसके अलावा, पेपर सुझाव देता है कि यह तरीका उन सुरक्षा नियमों के लिए भी काम करता है जिन्हें AI ने प्रशिक्षण के दौरान कभी नहीं देखा। यह एक रोबोट को "अधिकार" की अवधारणा सिखाने जैसा है ताकि जब आप बाद में उसे कोई नया नियम दें (जैसे "घृणास्पद भाषण उत्पन्न न करें"), तो वह स्वचालित रूप से जान सके कि यह नया नियम घृणास्पद भाषण उत्पन्न करने के उपयोगकर्ता के अनुरोध पर हावी होगा, भले ही उसने पहले उस विशिष्ट परिदृश्य का अभ्यास न किया हो।
निचोड़
पेपर सुझाव देता है कि AI मॉडलों को यह स्पष्ट रूप से समझाने के लिए कि प्रभारी कौन है—सिस्टम नियम या उपयोगकर्ता अनुरोध—हम उन्हें अधिक विश्वसनीय और नियंत्रणीय बना सकते हैं। यह इस उम्मीद से हटकर है कि AI नियमों को "जानता" है, बल्कि इसे नियमों के बारे में सोचना सिखाने की ओर एक बदलाव है।
लेखक सावधानी से नोट करते हैं कि हालांकि परिणाम मजबूत हैं (विशिष्ट संघर्ष परिदृश्यों में ~20% सुधार के साथ), यह केवल एक कदम आगे है। वे स्वीकार करते हैं कि उनका प्रशिक्षण डेटा सिंथेटिक (अन्य AI द्वारा बनाया गया) था और यह देखने के लिए और परीक्षण की आवश्यकता है कि यह हर वास्तविक दुनिया की स्थिति में कैसे काम करता है। लेकिन मूल विचार स्पष्ट है: यदि आप चाहते हैं कि एक AI भ्रमित न हो जब कोई इसे धोखा देने की कोशिश करे, तो उसे ऊपर की ओर सीढ़ी की ओर देखना सिखाएं और देखें कि वास्तव में बॉस कौन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।