Stochastic Meta-Unlearning: Bridging Language Backbone and Multimodal Unlearning
यह शोध पत्र स्टोकैस्टिक मेटा-अनलर्निंग (SMU) का प्रस्ताव करता है, जो एक बाइलेवल फ्रेमवर्क है जो लैंग्वेज बैकबोन अनलर्निंग को अनुकूलित करने के लिए VLM-स्तरीय फीडबैक का लाभ उठाता है, जो प्रभावी रूप से उस समस्या का समाधान करता है जहाँ विजन-लैंग्वेज मॉडल्स में टेक्स्ट-ओनली फीडबैक टारगेट रिकवरी को रोकने में विफल रहता है और साथ ही बेहतर फॉरगेट-रिटेन ट्रेड-ऑफ और ट्रांसफ़रेबिलिटी प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो किताबें पढ़ सकता है और तस्वीरें देख सकता है। यह रोबोट दो मुख्य हिस्सों से बना है: एक "दिमाग" जो भाषा को समझता है (एक बहुत ही उन्नत टेक्स्ट रीडर की तरह) और एक "कैमरा" जो दुनिया को देखता है। साथ मिलकर, उन्हें विजन-लैंग्वेज मॉडल (VLM) कहा जाता है। वे हमारी मदद करने में अद्भुत हैं, लेकिन कभी-कभी, हमें उन्हें कुछ विशिष्ट चीजें भुलाने की आवश्यकता होती—शायद कोई निजी रहस्य, कोई हानिकारक विचार, या कोई ऐसी गलती जो उन्होंने सीखी हो। इस प्रक्रिया को "मशीन अनलर्निंग" (machine unlearning) कहा जाता है।
मशीन अनलर्निंग को अपने दोस्त के दिमाग से एक विशिष्ट स्मृति को मिटाने की कोशिश करने जैसा समझें, बिना उसकी पूरी शख्सियत को हटाए या उसे बोलना या देखना भुलाए। यदि आप रोबोट को केवल कहते हैं, "वह कहानी भूल जाओ," तो यह ठीक से काम कर सकता है जब आप उससे बात करते हैं। लेकिन यहाँ एक पेचीदा हिस्सा है: यदि आप रोबोट को उस कहानी से संबंधित एक तस्वीर दिखाते हैं, तो हो सकता है कि वह अचानक उस कहानी को याद कर ले जिसे आपने शब्दों के माध्यम से मिटाने की कोशिश की थी! ऐसा इसलिए होता है क्योंकि रोबोट का "दिमाग" और "कैमरा" एक-दूसरे से इतने मजबूती से जुड़े हुए हैं कि तस्वीर उस स्मृति को फिर से सक्रिय कर सकती है जिसे टेक्स्ट ने मिटाने की कोशिश की थी। वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि कैसे वे रोबोट को यह सुनिश्चित करने के लिए प्रशिक्षित करें कि वह बुरी चीजों को भूल जाए, चाहे आप उसे शब्दों, तस्वीरों, या दोनों के माध्यम से कैसे भी पूछें।
यह शोध पत्र ठीक इसी पहेली को सुलझाता है। शोधकर्ताओं ने एक आश्चर्यजनक गड़बड़ी देखी: यदि आप केवल टेक्स्ट का उपयोग करके रोबोट को कुछ भूलने की कोशिश करते हैं, तो अक्सर तब यह विफल हो जाता है जब आप बाद में उसे एक तस्वीर दिखाते हैं। केवल टेक्स्ट वाला "भूलना" इतना मजबूत नहीं था कि तस्वीर द्वारा स्मृति को वापस लाने से रोक सके। इसे ठीक करने के लिए, उन्होंने एक चतुर नई प्रशिक्षण विधि बनाई जिसे स्टोकेस्टिक मेटा-अनलर्निंंग (SMU) कहा जाता है।
केवल टेक्स्ट के आधार पर रोबोट को भूलने के लिए सिखाने के बजाय, SMU एक सख्त कोच की तरह काम करता है जो पूरी टीम को देखता है। यह कैसे काम करता है: कोच पहले "भाषा मस्तिष्क" को केवल टेक्स्ट का उपयोग करके एक विशिष्ट चीज़ को भूलने के लिए कहता है (इनर लूप)। लेकिन फिर, केवल यह जाँचने के बजाय कि क्या टेक्स्ट चला गया है, कोच तुरंत रोबोट को एक तस्वीर दिखाता है और पूछता है, "क्या तुम्हें अब भी याद है?" (आउटर लूप)। यदि रोबोट तस्वीर के कारण उस बुरी चीज़ को याद रखता है, तो कोच तुरंत प्रशिक्षण के शुरुआती बिंदु को बदल देता है ताकि अगली बार जब मस्तिष्क भूलने की कोशिश करे, तो वह बेहतर तरीके से स्मृति को ब्लॉक कर सके, भले ही इसमें तस्वीरों का उपयोग किया गया हो।
पेपर सुझाव देता है कि यह "दो-चरणीय" दृष्टिकोण पिछले तरीकों की तुलना में बहुत बेहतर है। जब उन्होंने वास्तविक रोबोट दिमागों (Qwen और InternVL जैसे मॉडलों का उपयोग करके) और मीम्स के डेटासेट (जैसे "हेटफुल मीम्स" और "कोविड मीम्स") पर इसका परीक्षण किया, तो परिणाम प्रभावशाली थे। मौजूदा सर्वोत्तम तरीकों की तुलना में, SMU ने रोबोट की भूली हुई लक्षित चीज़ को याद करने की क्षमता को औसतन 10.52 अंक कम कर दिया (भूलने के लिए कम होना बेहतर है)। साथ ही, इसने रोबोट के सामान्य ज्ञान को बहुत मजबूत बनाए रखा, अन्य चीजों को याद रखने की इसकी क्षमता में 20.10 अंक का सुधार किया और इसके सामान्य टेस्ट स्कोर में 17.01 अंक का सुधार किया।
इससे भी अधिक रोमांचक बात यह है कि शोधकर्ताओं ने पाया कि यह विधि लचीली है। यह केवल उन विशिष्ट बुरी यादों के लिए काम नहीं करती जिन्हें उन्होंने प्रशिक्षित किया था; यह उन नई बुरी यादों को भी संभाल सकती है जिन्हें उसने पहले कभी नहीं देखा था। यह तब भी काम करता है जब वे रोबोट को भूलने के लिए सिखाने के लिए उपयोग किए जाने वाले विशिष्ट नियमों को बदलते हैं। यह सुझाव देता है कि रोबोट के दिमाग को "पूरी टीम" (टेक्स्ट और इमेज) को ध्यान में रखकर प्रशिक्षित करके, उन्होंने एक अधिक विश्वसनीय और अनुकूलनीय तरीका बनाया है जिससे AI उस चीज़ को भूल सके जिसे उसे नहीं जानना चाहिए, बिना बाकी सब कुछ खराब किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।