Asymmetric Collapse in Model Merging: When Refusal Over- writes Recognition
यह शोधपत्र यह प्रदर्शित करता है कि मानक मॉडल विलय (merging) तकनीकें अक्सर एक असममित पतन (asymmetric collapse) का कारण बनती हैं जहाँ सुरक्षा पहचान क्षमताएं लुप्त हो जाती हैं जबकि व्यापक इनकार व्यवहार (refusal behaviors) सुरक्षित रहते हैं, मुख्य रूप से इसलिए क्योंकि इनकार फाइन-ट्यूनिंग (refusal fine-tune) काफी बड़े टास्क-वेक्टर परिमाण उत्पन्न करती है जो लगभग लंबवत (orthogonal) होने के बावजूद विलय प्रक्रिया पर हावी हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो नए करतब सीख सकता है। कभी-कभी, आप उसे एक विशिष्ट चीज़ सिखाना चाहते हैं, जैसे कि नकली समाचार की हेडलाइन को पहचानना। अन्य समय में, आप उसे एक अलग करतब सिखाना चाहते हैं, जैसे कि खतरनाक अनुरोधों को "ना" कहना। लेकिन क्या होगा अगर आप चाहते हैं कि रोबट एक ही समय में ये दोनों काम करे? आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक चतुर शॉर्टकट है जिसे "मॉडल मर्जिंग" (model merging) कहा जाता है। दो अलग-अलग वर्जन वाले रोबोट को शुरू से फिर से प्रशिक्षित करने के बजाय, वैज्ञानिक दो अलग-अलग वर्जन के रोबोट—एक जो करतब A के लिए प्रशिक्षित है और दूसरा जो करतब B के लिए प्रशिक्षित है—के दिमागों को गणितीय रूप से आपस में मिला देते हैं। यह दो अलग-अलग स्वादों वाली आइसक्रीम को मिलाकर एक नया, परफेक्ट स्व्र्ल (swirl) बनाने जैसा है। बड़ा सवाल यह है कि जब आप इन दो अलग-अलग "स्वादों" की सुरक्षा ट्रेनिंग को मिलाते हैं, तो क्या आपको एक ऐसा रोबोट मिलता है जो दोनों में अच्छा हो, या एक स्वाद दूसरे को पूरी तरह से दबा देता है? यही वह रहस्य है जिसे एक नया अध्ययन हल करने की कोशिश कर रहा है, जो यह देख रहा है कि क्या हम रोबोट की खतरे को समझने की क्षमता को बनाए रखते हुए भी खतरे को अस्वीकार करने की उसकी क्षमता को बरकरार रख सकते हैं।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिसे COLM 2026 कॉन्फ्रेंस में प्रकाशित किया गया है, इसे Gemma-3-1B-IT नामक एक विशिष्ट रोबोट मॉडल के साथ परीक्षण करने का निर्णय लिया। उन्होंने इस रोबोट के दो विशेष संस्करण बनाए। पहला संस्करण, मान लीजिए "डिटेक्टिव" (Detective), को मेडिकल प्रश्नों के एक विशाल डेटासेट पर प्रशिक्षित किया गया था ताकि वह यह पहचानने में विशेषज्ञ बन सके कि कोई प्रॉम्प्ट कितना हानिकारक है। उसने एक श्रेणीबद्ध उत्तर देना सीखा, जैसे कि यह कहना, "यह थोड़ा जोखिम भरा है," या "यह बहुत खतरनाक है।" दूसरा संस्करण, "गार्जियन" (Guardian), को चुनौतीपूर्ण, एडवर्सरियल प्रॉम्प्ट्स के एक बड़े संग्रह पर प्रशिक्षित किया गया था जिन्हें रोबोट के नियमों को तोड़ने के लिए डिज़ाइन किया गया था। गार्जियन ने एक सरल, सीधा सबक सीखा: यदि यह खतरनाक दिखता है, तो बस "ना" कहें और बिना किसी सवाल के जवाब देने से मना कर दें।
टीम ने फिर इन दो विशेषज्ञों को एक ही रोबोट में वापस मिलाने के लिए चार अलग-अलग गणितीय सम्मिश्रण विधियों का उपयोग किया। उन्हें उम्मीद थी कि परिणाम एक ऐसा रोबोट होगा जो खतरे के स्तर को भी पहचान सके और बुरी चीजों को अस्वीकार भी कर सके। लेकिन इसके बजाय, उन्हें एक अजीब और एकतरफा परिणाम मिला। हर एक मामले में, "गार्जियन" व्यवहार पूरी तरह से हावी हो गया। मर्ज किए गए रोबोट बुरे प्रॉम्प्ट्स को अस्वीकार करने में उत्कृष्ट हो गए, जिससे उनकी रिफ्यूज़ल दर (refusal rate) 81% और 85% के बीच ऊंची बनी रही। हालांकि, "डिटेक्टिव" कौशल लगभग पूरी तरह से गायब हो गए। रोबोटों ने खतरे को ग्रेड देने की क्षमता खो दी; उनकी प्रॉम्प्ट की गंभीरता को वर्गीकृत करने की क्षमता घटकर लगभग शून्य (0.6% से 12.9% तक गिर गई) हो गई। यह ऐसा था जैसे रोबोट ने सब कुछ देखने के लिए दरवाजे के छेद से झांकना भूलकर, दरवाजा पूरी तरह से बंद कर दिया हो।
ऐसा क्यों हुआ? वैज्ञानिकों ने अपराधी को खोजने के लिए दोनों रोबोटों के "DNA" को करीब से देखा। उन्होंने पाया कि ऐसा इसलिए नहीं था क्योंकि दोनों रोबोट आपस में लड़ रहे थे या विपरीत दिशाओं में जा रहे थे। वास्तव में, उनके दिमाग एक-दूसरे के लगभग समकोण (right angles) पर थे, जिसका अर्थ है कि वे बिना टकराए पूरी तरह से अलग चीजें करने की कोशिश कर रहे थे। असली समस्या वॉल्यूम (volume) की थी। "गार्जियन" रोबोट को "डिटेक्टिव" के डेटासेट की तुलना में लगभग 29 गुना बड़े डेटासेट पर प्रशिक्षित किया गया था। इस कारण से, गार्जियन के मस्तिष्क में किए गए बदलाव बहुत अधिक "तेज" और शक्तिशाली थे। जब वैज्ञानिकों ने दिमागों को मिलाया, तो उनके द्वारा उपयोग किए गए गणितीय उपकरण एक वॉल्यूम नॉब की तरह थे जिसने तेज सिग्नल को बढ़ा दिया और शांत सिग्नल को कम कर दिया। गार्जियन के बड़े, दमदार "ना!" ने डिटेक्टिव के सूक्ष्म, बारीकी वाले "शायद" को दबा दिया।
यहाँ तक कि जब शोधकर्ताओं ने गार्जियन के प्रशिक्षण डेटा को डिटेक्टिव के आकार के बराबर छोटा करके इसे ठीक करने की कोशिश की, तब भी सभी मर्जिंग विधियों के लिए समस्या पूरी तरह से हल नहीं हुई। यह सुझाव देता है कि जबकि डेटा का आकार एक प्रमुख कारक था, इन "तेज" बनाम "शांत" अपडेट्स को संभालने का तरीका मर्जिंग एल्गोरिदम का असली मुख्य बिंदु है। अध्ययन बताता है कि वर्तमान मानक मर्जिंग टूल्स इन बड़े, सीधे व्यवहारों (जैसे सब कुछ अस्वीकार करना) को रखने के लिए पक्षपाती हैं, जबकि अनजाने में बारीक, विस्तृत कौशल (जैसे कि कुछ बुरा क्यों है, यह समझना) को मिटा देते हैं।
तो, भविष्य के लिए इसका क्या अर्थ है? पेपर सुझाव देता है कि यदि हम एक सुरक्षित AI बनाना चाहते हैं जो बुरी चीजों को अस्वीकार भी कर सके और सुरक्षा की बारीकियों को समझ भी सके, तो हम वर्तमान मानक उपकरणों का उपयोग करके केवल मॉडल्स को मिला और मिला नहीं सकते। हम "गार्जियन" के अंदर मौजूद "डिटेक्टिव" को खो सकते हैं। शोधकर्ता निष्कर्ष निकालते हैं कि भविष्य के तरीकों को सीखने के इन विभिन्न "वॉल्यूम" को संतुलित करने के बारे में अधिक स्मार्ट होने की आवश्यकता है, यह सुनिश्चित करते हुए कि रोबोट केवल हर चीज़ को "ना" कहना न सीख जाए, बल्कि यह भी सीखे कि एक छोटी चेतावनी और एक बड़े खतरे के बीच का अंतर क्या है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।