Divergence Decoding: Inference-Time Unlearning via Auxiliary Models
यह शोध पत्र डाइवर्जेंस डिकोडिंग (Divergence Decoding) को प्रस्तुत करता है, जो एक इन्फरेंस-टाइम अनलर्निंग विधि है जो बड़े भाषा मॉडल के लॉजिट्स (logits) को संवेदनशील डेटा से दूर ले जाने के लिए छोटे सहायक मॉडलों का लाभ उठाती है, जिससे न्यूनतम उपयोगिता हानि के साथ गोपनीयता और कॉपीराइट जोखिमों को प्रभावी ढंग से कम किया जा सकता है और साथ ही टेक्स्ट और इमेज दोनों डोमेन के लिए लागू होने वाला एक सामान्य समाधान भी प्रदान किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "डाइवर्जेंस डिकोडिंग" (Divergence Decoding) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।
समस्या: "अन-फॉरगेटेबल" (भूल न पाने वाला) मस्तिष्क
कल्पना कीजिए कि आपके पास एक सुपर-इंटेलिजेंट लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल) है जिसने दुनिया की हर किताब पढ़ रखी है। कभी-कभी, यह लाइब्रेरियन कुछ विशिष्ट, संवेदनशील विवरण याद कर लेता है—जैसे कि किसी की निजी डायरी का अंश या कोई कॉपीराइट वाली कहानी—जो उसे साझा नहीं करने चाहिए।
आमतौर पर, यदि आप चाहते हैं कि लाइब्रेरियन इस विशिष्ट गुप्त जानकारी को "भूल" जाए, तो आपके पास दो बुरे विकल्प होते हैं:
- फिर से शुरुआत करना: उस एक किताब के बिना लाइब्रेरी को फिर से बनाने के लिए पूरी लाइब्रेरी को जला देना। इसमें लाखों डॉलर और वर्षों का काम लगता है।
- ब्रेन सर्जरी: लाइब्रेरियन के दिमाग से उस याद को सर्जिकल तरीके से निकालने की कोशिश करना। यह जोखिम भरा है; अक्सर, आप अनजाने में उसकी अन्य चीजें करने की क्षमता को नुकसान पहुँचा देते हैं, जैसे कविता लिखना या गणित के सवाल हल करना (इसे "कैटास्ट्रोफिक फॉरगेटिंग" कहा जाता है)।
समाधान: "गाइड डॉग" (मार्गदर्शक कुत्ते) सिस्टम
इस पेपर के लेखक एक चतुर नया तरीका प्रस्तावित करते हैं जिसे डाइवर्जेंस डिकोडिंग (DD) कहा जाता है। लाइब्रेरियन के दिमाग को बदलने के बजाय, वे लाइब्रेरियन को वैसा ही रहने देते हैं जैसा वह है और बातचीत के दौरान उन्हें सही दिशा देने के लिए दो छोटे, विशिष्ट "गाइड डॉग्स" (मार्गदर्शक कुत्ते) जोड़ देते हैं।
यह सिस्टम कैसे काम करता है, यहाँ बताया गया है:
- लाइब्रेरियन (बड़ा मॉडल): यह मुख्य AI है जिसका हम उपयोग करते हैं। इसे सब कुछ पता है, जिसमें वे रहस्य भी शामिल हैं जिन्हें हम चाहते हैं कि वह भूल जाए।
- गाइड डॉग A (द "फॉरगेट" मॉडल): यह एक छोटा, सस्ता AI है जिसे केवल उस गुप्त जानकारी पर प्रशिक्षित किया गया है जिसे हम हटाना चाहते हैं। यह उस विशिष्ट डेटा के प्रति जुनूनी है।
- गाइड डॉग B (द "रिमेम्बर" मॉडल): यह एक दूसरा छोटा AI है जिसे केवल सुरक्षित, सार्वजनिक जानकारी पर प्रशिक्षित किया गया है। यह सब कुछ जानता है सिवाय उस गुप्त जानकारी के।
यह कैसे काम करता है: "स्टीयरिंग व्हील"
जब आप लाइब्रेरियन से कोई सवाल पूछते हैं, तो सिस्टम केवल लाइब्रेरियन को जवाब देने नहीं देता। यह दोनों गाइड डॉग्स से पूछता है कि उन्हें क्या लगता है कि जवाब क्या होना चाहिए।
- तर्क: सिस्टम इस बात को देखता है कि गाइड डॉग A (गुप्त जानकारी के प्रति जुनूनी वाला) क्या कहना चाहता है और गाइड डॉग B (सुरक्षित वाला) क्या कहना चाहता है।
- स्टीयरिंग: यदि गाइड डॉग A चिल्ला रहा है, "रहस्य बताओ!", और गाइड डॉग B कह रहा है, "नहीं, ऐसा मत कहो!", तो सिस्टम लाइब्रेरियन के जवाब को गुप्त जानकारी से दूर और सुरक्षित संस्करण की ओर मोड़ने के लिए उस अंतर का उपयोग करता है।
इसे कार चलाने की तरह समझें। लाइब्रेरियन कार है। गाइड डॉग्स बगल वाली सीट पर बैठे दो लोग हैं। एक व्यक्ति खाई (रहस्य) की ओर इशारा कर रहा है, और दूसरा सड़क (सुरक्षित उत्तर) की ओर इशारा कर रहा है। ड्राइवर (सिस्टम) बस कार को सड़क की दिशा में मोड़ देता है, खाई को अनदेखा करता है, बिना कार के इंजन को दोबारा बनाए।
यह बेहतर क्यों है
- कोई ब्रेन सर्जरी नहीं: मुख्य लाइब्रेरियन का मस्तिष्क अछूता रहता है। इसका मतलब है कि वे अन्य कार्य करने की अपनी क्षमता नहीं खोते हैं।
- सस्ता और तेज़: दो छोटे गाइड डॉग्स को प्रशिक्षित करना एक पिल्ले को प्रशिक्षित करने जैसा है—यह पूरी लाइब्रेरी को फिर से बनाने की तुलना में बहुत तेज़ और सस्ता है।
- कठिन सवालों पर काम करता है: पिछले तरीके वाक्य दर वाक्य शब्द-दर-शब्द बोलने से रोकने में अच्छे थे, लेकिन वे तब विफल हो जाते थे जब AI जटिल सवालों के बारे में उस रहस्य का उत्तर देने की कोशिश करता था। यह तरीका उन जटिल तरीकों में भी AI को रहस्य के बारे में सोचने से रोकने के लिए गाइड डॉग्स के "तर्क" का उपयोग करता है।
"स्थायी समाधान" (डिस्टिलेशन)
पेपर नोट करता है कि एक साथ तीन मॉडल (लाइब्रेरियन + दो डॉग्स) चलाने के लिए थोड़ी अतिरिक्त कंप्यूटर शक्ति की आवश्यकता होती है। यदि आप एक स्थायी समाधान चाहते हैं जहाँ आप बाद में केवल एक ही मॉडल चलाते हैं, तो आप डिस्टिलेशन (Distillation) नामक प्रक्रिया का उपयोग कर सकते हैं।
कल्पना कीजिए कि लाइब्रेरियन, गाइड डॉग्स के मार्गदर्शन में, बिना रहस्यों के सवालों के जवाब देने का एक आदर्श "चीट शीट" (शॉर्टकट नोट्स) लिखता है। फिर आप एक नए, एकल लाइब्रेरियन को इस चीट शीट को याद करने के लिए सिखाते हैं। अब आपके पास एक एकल, साफ मॉडल है जिसने रहस्यों को भूलना "सीख" लिया है, बिना उन डॉग्स की आवश्यकता के।
क्या यह काम करता है?
लेखकों ने दो प्रमुख बेंचमार्क (TOFU और MUSE) पर इसका परीक्षण किया, जो "भूलने" के लिए मानकीकृत परीक्षणों की तरह हैं।
- परिणाम: उनके तरीके ने सभी पिछले "स्टेट-ऑफ-द-आर्ट" तरीकों को पछाड़ दिया। यह AI को स्मार्ट बनाए रखते हुए रहस्यों को हटाने में बेहतर था।
- टेक्स्ट से परे: उन्होंने इमेज जनरेशन (चित्र बनाना) पर भी इसे आजमाया। उन्होंने AI को विशिष्ट प्रकार के कुत्तों को बनाना "भूलने" के लिए प्रशिक्षित किया। यह तरीका वहां भी काम आया, सफलतापूर्वक AI को उन कुत्तों को बनाने से रोकने में, बिना अन्य चीजों को बनाने की उसकी क्षमता को बिगाड़े।
सारांश
एक विशाल, जटिल मस्तिष्क से याददाश्त मिटाने के बजाय (जो कठिन और खतरनाक है), यह पेपर सुझाव देता है कि मस्तिष्क को वैसा ही रहने दें और दो छोटे, स्मार्ट सहायकों का उपयोग करके बातचीत को वर्जित विषयों से धीरे से दूर ले जाएं। यह "भूलने के बजाय सीखने" का एक दृष्टिकोण है जो पिछले तरीकों की तुलना में सस्ता, सुरक्षित और अधिक प्रभावी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।