ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models
यह शोध पत्र ASRU का प्रस्ताव करता है, जो एक नियंत्रणीय मल्टीमॉडल अनलर्निंग फ्रेमवर्क है जो संवेदनशील क्रॉस-मोडल जानकारी को प्रभावी ढंग से हटाने के साथ-साथ जनरेशन की गुणवत्ता में उल्लेखनीय सुधार करने और मॉडल उपयोगिता को बनाए रखने के लिए एक्टिवेशन स्टीयरिंग को सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) के साथ जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, अत्यंत सूक्ष्म अवलोकन करने वाला रोबोट सहायक (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल) है जिसने लाखों किताबें पढ़ी हैं और अरबों तस्वीरों को देखा है। क्योंकि इसने बहुत अधिक डेटा से सीखा है, यह कभी-कभी ऐसी चीजें याद रख लेता है जो उसे नहीं रखनी चाहिए, जैसे किसी व्यक्ति के निजी शौक या किसी सेलिब्रिटी का गुप्त पता।
इस शोध पत्र का लक्ष्य रोबोट को इन विशिष्ट रहस्यों को भूलने के लिए सिखाना है, बिना उसे एक भ्रमित, टूटा हुआ या झूठ बोलने वाली मशीन बनाए।
यहाँ लेखक, गुआंग और ज़ु, अपने नए तरीके ASRU का उपयोग करके इस समस्या को कैसे हल करते हैं, यह बताया गया है।
समस्या: "टूटा हुआ रोबोट" दुविधा
कल्पना कीजिए कि आप रोबोट को कोई रहस्य भूलने के लिए चिल्लाकर कहते हैं, "उसे भूल जाओ!" (यह वही है जो पुराने तरीके करते हैं)।
- परिणाम: रोबोट भ्रमित हो जाता है। वह कल्पना (hallucination) करने लग सकता है (अजीबोगरीब झूठ गढ़ना), कठोर, रोबोटिक उत्तर देने लग सकता है जैसे "मैं इसका उत्तर नहीं दे सकता," या अनजाने में वह रहस्य फिर भी उगल सकता है।
- उपमा: यह एक किताब से एक विशिष्ट वाक्य को मिटाने के लिए पूरे पन्ने को जलाने जैसा है। आप वाक्य तो खो देते हैं, लेकिन आप बाकी की कहानी भी खराब कर देते हैं, जिससे किताब अपठनीय हो जाती है।
लेखकों ने देखा कि मौजूदा तरीके केवल इस पर ध्यान केंद्रित करते हैं कि क्या उसने भुला दिया? लेकिन इस बात को अनदेखा करते हैं कि क्या वह अभी भी समझदार है?
समाधान: ASRU (एक्टिवेशन स्टीयरिंग + रीइन्फोर्समेंट अनलर्निंग)
लेखक रोबोट को ठीक करने के लिए दो चरणों वाली "सौम्य सर्जरी" का प्रस्ताव देते हैं।
चरण 1: "धक्का" (एक्टिवेशन स्टीयरिंग)
सबसे पहले, वे रोबोट को एक हल्का सा धक्का देते हैं ताकि जब वह गुप्त जानकारी देखे, तो उसका आंतरिक "मूड" बदल जाए।
- उपमा: कल्पना कीजिए कि रोबोट का मस्तिष्क एक विशाल पुस्तकालय है। जब कोई रहस्य के बारे में पूछता है, तो रोबोट आमतौर पर "गुप्त शेल्फ" की ओर दौड़ता है। लेखक उस शेल्फ को हटाते नहीं हैं; इसके बजाय, वे रोबोट के रास्ते पर एक साइन बोर्ड लगा देते हैं जो कहता है, "हे, अगर तुम इस व्यक्ति को देखो, तो 'गुप्त' शेल्फ के बजाय 'मुझे नहीं पता' वाली गली की ओर मुड़ जाओ।"
- यह कैसे काम करता है: वे रोबट के मस्तिष्क के केवल एक बहुत छोटे हिस्से (एक एकल गणितीय मैट्रिक्स) को बदलते हैं ताकि एक "अस्वीकृति दिशा" (refusal direction) बन सके। यह रोबोट को यह सिखाता है कि वह स्वाभाविक रूप से "मैं इसका उत्तर नहीं दे सकता" कहे, न कि मनगढ़ंत बातें बनाए।
चरण 2: "कोच" (रीइन्फोर्समेंट अनलर्निंग)
अब जब रोबोट जानता है कि "मुझे नहीं पता" कैसे कहना है, तो उसे यह सीखने की आवश्यकता है कि इसे कब कहना है। उसे हर चीज़ का उत्तर देने से मना नहीं करना चाहिए, केवल विशिष्ट रहस्यों के लिए।
- उपमा: कल्पना कीजिए कि एक कोच एक एथलीट को प्रशिक्षित कर रहा है। कोच एथलीट को दो परिदृश्य दिखाता है:
- परिदृश्य A (रहस्य): "यहाँ उस व्यक्ति की तस्वीर है जिसके पास रहस्य है। यदि तुम उत्तर देते हो, तो तुम अंक खो दोगे। यदि तुम कहते हो 'मुझे नहीं पता,' तो तुम्हें एक गोल्ड स्टार मिलेगा।"
- परिदृश्य B (सीमा): "यहाँ एक बहुत मिलते-जुलते व्यक्ति की तस्वीर है जिसके पास वह रहस्य नहीं है। यदि तुम कहते हो 'मुझे नहीं पता,' तो तुम अंक खो दोगे। यदि तुम सही उत्तर देते हो, तो तुम्हें एक गोल्ड स्टार मिलेगा।"
- यह कैसे काम करता है: GRPO (रीइन्फोर्समेंट लर्निंग का एक प्रकार) नामक तकनीक का उपयोग करते हुए, रोबोट इन परिदृश्यों का बार-बार अभ्यास करता है। वह "इस रहस्य को मुझे भूल जाना चाहिए" और "यह समान है, लेकिन मैं इसके बारे में बात कर सकता हूँ" के बीच की महीन रेखा को सीख जाता है।
परिणाम: यह बेहतर क्यों है
पत्र का परीक्षण Qwen3-VL नामक मॉडल पर किया गया। यहाँ क्या हुआ:
- बेहतर भूलना: रोबोट ने पहले की तुलना में रहस्यों को बहुत बेहतर तरीके से भुला दिया (लगभग 24% बेहतर)।
- बेहतर व्यवहार: यह सबसे बड़ी जीत है। रोबोट के उत्तर 5.8 गुना अधिक स्वाभाविक हो गए। कल्पना करने या टूटे हुए व्यवहार के बजाय, वह विनम्रता से कहता है, "मैं उस छवि से इसका अनुमान नहीं लगा सकता," जो बिल्कुल वही है जो एक सहायक इंसान कहेगा जब उसे कुछ पता न हो।
- अपनी बुद्धिमत्ता बनाए रखी: रोबोट ने अन्य प्रश्नों के उत्तर देने की अपनी क्षमता नहीं खोई। वह उन विशिष्ट रहस्यों को छोड़कर बाकी सब चीजों के लिए स्मार्ट और उपयोगी बना रहा जिन्हें उसे भूलने के लिए कहा गया था।
सारांश
ASRU को एक स्मार्ट शिक्षक के रूप में सोचें जो केवल छात्र को "उस तथ्य को याद रखना बंद करो" नहीं कहता। इसके बजाय, शिक्षक:
- छात्र की सोचने की प्रक्रिया को धक्का (Nudge) देता है ताकि वे उस विशिष्ट विषय के लिए स्वाभाविक रूप से "मुझे नहीं पता" कहने की ओर झुकें।
- छात्र को अभ्यास परीक्षणों के साथ प्रशिक्षित (Train) करता है ताकि वह ठीक से सीख सके कि कब "मुझे नहीं पता" कहना है और कब सामान्य रूप से उत्तर देना जारी रखना है।
परिणामस्वरूप, एक ऐसा रोबोट प्राप्त होता है जिसने सफलतापूर्वक अपने रहस्य भुला दिए हैं लेकिन वह अभी भी विनम्र, सुसंगत और उपयोगी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।