कल्पना कीजिए कि आप एक विशाल, हलचल भरी लाइब्रेरी में घूम रहे हैं जहाँ हर किताब लोगों की पसंद के बारे में जानकारी का एक टुकड़ा है। लाइब्रेरियन (एल्गोरिदम) ने हर एक किताब को पढ़कर यह सीखने में सालों बिता दिए हैं कि आपको आगे क्या पसंद आ सकता है। वे इतने कुशल हैं कि वे आपके अगले पसंदीदा गाने या फिल्म की डरावनी सटीकता के साथ भविष्यवाणी कर सकते हैं। लेकिन यहाँ एक पेंच है: कभी-कभी, आप चाहते हैं कि लाइब्रेरियन आपकी किसी पुरानी ली गई किताब को भूल जाए। शायद आपने उसे गलती से क्लिक कर दिया था, या शायद आप अपना मन बदल चुके हैं। वास्तविक दुनिया में, "भूल जाने के अधिकार" (Right to be Forgotten) जैसे कानून कहते हैं कि यदि आप उनसे भूलने के लिए कहते हैं, तो उन्हें ऐसा करना ही होगा।

समस्या यह है कि इन लाइब्रेरियन ने इतनी सारी किताबें पढ़ी हैं कि हर एक किताब दूसरी किताब के साथ उलझी हुई है। केवल एक किताब को भूलने के लिए, पुराने तरीके से काम करने का मतलब था कि पूरी लाइब्रेरी को फेंक देना, शून्य से शुरुआत करना और बाकी बची हुई हर एक किताब को फिर से पढ़ना। यह एक धूल भरी किताब को हटाने के लिए पूरी लाइब्रेरी को जला देने जैसा है; इसमें अनंत समय लगता है और बहुत बड़ी कीमत चुकानी पड़ती है। वैज्ञानिक एक "जादुई इरेज़र" (magic eraser) खोजने की कोशिश कर रहे थे जो मस्तिष्क के बाकी हिस्सों को नष्ट किए बिना केवल एक स्मृति को मिटा सके, लेकिन पिछले प्रयास या तो बहुत धीमे थे, या बहुत अव्यवस्थित थे, या फिर उन्होंने लाइब्रेरियन को बहुत अधिक चीज़ें भुला दिया, जिससे उनकी अच्छी सिफारिश करने की क्षमता भी खराब हो गई।

यहीं पर एक नया तरीका आता है जिसे Obliviate कहा जाता है। एक प्रसिद्ध जादूगरों की श्रृंखला से ली गई एक स्पेल (मंत्र) के नाम पर आधारित, यह शोध एक चतुर दो-चरणीय तकनीक प्रस्तावित करता है जिससे रिकमेंडेशन सिस्टम विशिष्ट उपयोगकर्ता डेटा को तेज़ी से और सफाई से भूल सकें, बिना पूरे मॉडल को शून्य से फिर से प्रशिक्षित (retrain) किए।

समस्या: "री-रीड" (पुनः पढ़ने) का जाल

रिकमेंडेशन सिस्टम (जैसे YouTube या Amazon) की दुनिया में, मॉडल उपयोगकर्ताओं और वस्तुओं के बीच लाखों इंटरैक्शन को देखकर सीखते हैं। जब कोई उपयोगकर्ता कहता है, "कृपया मेरा अकाउंट और मेरा सारा डेटा डिलीट कर दें," तो सिस्टम को उस उपयोगकर्ता के इतिहास के प्रभाव को हटाना होता है। इसे करने का सबसे विश्वसनीय तरीका डेटा को हटाना और मॉडल को शून्य से फिर से प्रशिक्षित करना है। हालाँकि, विशाल प्रणालियों के लिए, पुन: प्रशिक्षण (retraining) में दिन या सप्ताह लग जाते हैं और बहुत अधिक पैसा खर्च होता है।

मौजूदा तरीकों ने तेज़ होने की कोशिश की। कुछ ने लाइब्रेरी को छोटे कमरों (shards) में विभाजित किया और केवल उन्हीं कमरों को फिर से पढ़ा जहाँ डेटा हटाया गया था, लेकिन यह अक्सर लाइब्रेरी के विभिन्न हिस्सों के बीच के कनेक्शन को तोड़ देता है। अन्य ने गणित का उपयोग करके यह अनुमान लगाने की कोशिश की कि एक उपयोगकर्ता के कारण मॉडल कितना बदला और फिर उसे उलटने का प्रयास किया। लेकिन ये "रिवर्स मैथ" वाली तरकीबें अक्सर बहुत जटिल गणनाओं के कारण बहुत धीमी थीं, या वे इतनी आक्रामक थीं कि उन्होंने दूसरों के लिए सिफारिश करने की मॉडल की क्षमता को बिगाड़ दिया।

समाधान: एक दो-चरणीय जादुई ट्रिक

इस शोध के लेखक Obliviate का सुझाव देते हैं, जो एक विधि है जो एक हथौड़े के बजाय एक सर्जिकल इरेज़र की तरह काम करती है। यह डिलीट किए गए डेटा की "स्मृति" को हटाने के लिए दो स्पष्ट चरणों में काम करती है, जबकि मॉडल के सामान्य ज्ञान को बरकरार रखती है।

चरण 1: "लो-रैंक अनलर्निंग अडैप्टर" (LUA)
रिकमेंडेशन मॉडल को एक विशाल, जटिल मशीन के रूप में सोचें जिसमें लाखों गियर हैं। जब एक उपयोगकर्ता को हटाया जाता है, तो ऐसा नहीं है कि हर एक गियर को हिलने की ज़रूरत है; केवल उस उपयोगकर्ता के इतिहास से संबंधित कुछ विशिष्ट गियर्स को थोड़ा खिसकने की आवश्यकता है।

Obliviate का पहला चरण एक चतुर शॉर्टकट का उपयोग करता है। पूरे मशीन के हर एक गियर की स्थिति की पुनर्गणना करने के बजाय (जो कि धीमा है), यह एक "कर्वेचर प्रॉक्सी" (curvature proxy) का उपयोग करता है। कल्पना कीजिए कि यह एक मानचित्र है जो सिस्टम को ठीक से बताता है कि डिलीट किए गए उपयोगकर्ता के प्रभाव को उलटने के लिए गियर्स को किस दिशा में हिलना चाहिए, बिना भारी काम किए।

महत्वपूर्ण बात यह है कि यह चरण पूरी मशीन को नहीं छूता है। यह एक छोटा, हल्का "अडैप्टर" (एक लो-रैंक मॉड्यूल) बनाता है जो मौजूदा मॉडल पर फिट बैठता है। यह अडैप्टर मौजूदा मशीन के उन विशिष्ट हिस्सों को बदलने वाले नए गियर्स के एक छोटे से पैच की तरह है जो प्रभावित हुए हैं। यह प्रभावी रूप से मॉडल को उस स्थान पर वापस धकेलता है जहाँ वह उस विशिष्ट उपयोगकर्ता का डेटा जोड़ने से पहले था, लेकिन यह ऐसा केवल एक बहुत छोटे, कम-आयामी (low-dimensional) हिस्से के मापदंडों को समायोजित करके करता है। यह प्रक्रिया को अविश्वसनीय रूप से तेज़ बनाता है।

चरण 2: "लोकैलिटी-अवेयर कैलिब्रेशन" (LAC)
यहाँ पेचीदा हिस्सा है: कभी-कभी, जब आप किसी स्मृति को मिटाने की कोशिश करते हैं, तो आप अनजाने में लाइब्रेरियन को थोड़ा अनाड़ी बना देते हैं। पहला चरण बुरी स्मृति को हटा सकता है लेकिन साथ ही अन्य लोगों के लिए सिफारिश करने की मॉडल की क्षमता को भी थोड़ा कमजोर कर सकता है।

इसे ठीक करने के लिए, दूसरा चरण एक सौम्य ट्यूनिंग सत्र की तरह कार्य करता है। यह नए "अडैप्टर" के साथ मॉडल लेता है और एक बहुत छोटा, केंद्रित प्रशिक्षण सत्र चलाता है। लेकिन यह पूरी लाइब्रेरी का फिर से उपयोग नहीं करता है। इसके बजाय, यह एक बहुत छोटे "विटनेस सेट" (witness set) का उपयोग करता है, जिसमें उदाहरणों का एक छोटा समूह शामिल है:

1. डिलीट किया गया डेटा (यह सुनिश्चित करने के लिए कि इसे वास्तव में भुला दिया गया है)।
2. कुछ "हार्ड नेगेटिव्स" (ऐसी वस्तुएं जिन्हें उपयोगकर्ता निश्चित रूप से पसंद नहीं करता था, ताकि रैंकिंग लॉजिक सटीक बना रहे)।
3. सुरक्षित, रखे गए डेटा का एक छोटा बफर (मॉडल को यह याद दिलाने के लिए कि सभी के लिए सिफारिशें कैसे की जाती हैं)।

इस चरण के दौरान, मॉडल को डिलीट की गई वस्तुओं को सूची में नीचे धकेलने के लिए सिखाया जाता है (उन्हें अदृश्य बनाने के लिए) और "डिस्टिलेशन" (distillation) नामक तकनीक का उपयोग करके मूल मॉडल की अच्छी आदतों को कॉपी करने के लिए प्रशिक्षित किया जाता है। यह सुनिश्चित करता है कि मॉडल विशिष्ट उपयोगकर्ता को भूल जाए लेकिन सभी के लिए एक अच्छा रिकमेंडर बने रहने की याद रखता है।

उन्होंने क्या पाया

शोधकर्ताओं ने MovieLens (फिल्में), Amazon (शॉपिंग), और Yelp (स्थानीय व्यवसाय) सहित कई वास्तविक दुनिया के डेटासेट्स पर Obliviate का परीक्षण किया। उन्होंने एक परिदृश्य का अनुकरण किया जहाँ हमने सिस्टम से 20% उपयोगकर्ताओं का डेटा भूलने के लिए कहा, जो कि पिछले परीक्षणों की तुलना में बहुत अधिक है जहाँ आमतौर पर केवल 1% या 5% डेटा हटाया जाता था।

परिणाम प्रभावशाली थे:

• गति: Obliviate मॉडल को शून्य से फिर से प्रशिक्षित करने वाले तरीकों की तुलना में 3 गुना तक तेज़ था। कुछ मामलों में, यह पुराने "शार्डिंग" तरीकों की तुलना में सैकड़ों गुना तेज़ था। उदाहरण के लिए, एक डेटासेट पर, पुन: प्रशिक्षण में 1,900 सेकंड से अधिक समय लगा, जबकि Obliviate ने यह काम लगभग 57 सेकंड में कर दिया।
• गुणवत्ता: मॉडल ने केवल डेटा को नहीं भुलाया; यह अपने काम में भी अच्छा बना रहा। वास्तव में, कुछ डेटासेट्स पर, अनलर्न किया गया (unlearned) मॉडल मूल मॉडल से भी बेहतर प्रदर्शन करता है, जिससे पता चलता है कि डिलीट किए गए डेटा के "शोर" (noise) को हटाने से वास्तव में सिफारिशें बेहतर हुईं।
• पूर्णता: उन्होंने एक "डिमोशन रेट" (Demotion Rate) को मापा, जो यह जाँचता है कि क्या डिलीट की गई वस्तुएं अब रैंडम वस्तुओं की तुलना में नीचे रैंक की गई हैं। Obliviate ने अन्य तरीकों की तुलना में डिलीट की गई वस्तुओं को काफी नीचे धकेल दिया, जिससे साबित हुआ कि स्मृति वास्तव में मिटा दी गई थी।

निष्कर्ष

यह शोध बताता है कि हमें एक किताब हटाने के लिए लाइब्रेरी को जलाने की आवश्यकता नहीं है। एक स्मार्ट, दो-चरणीय दृष्टिकोण का उपयोग करके—पहले गियर्स को एक त्वरित, लक्षित समायोजन करना, और फिर उदाहरणों के एक छोटे सेट के साथ सिस्टम को धीरे से ट्यून करना—हम रिकमेंडेशन सिस्टम को विशिष्ट उपयोगकर्ता डेटा को कुशलतापूर्वक भूलने के लिए बना सकते हैं। यह सिस्टम को तेज़, सस्ता और गोपनीयता कानूनों के अनुरूप बनाए रखता है, जबकि यह भी सुनिश्चित करता है कि वह अगली शानदार फिल्म या उत्पाद की सिफारिश करना जानता है। लेखक नोट करते हैं कि हालांकि उनकी विधि इस बात की कुछ गणितीय धारणाओं पर निर्भर करती है कि मॉडल कैसे व्यवहार करता है, उनके प्रयोगों से पता चलता है कि यह व्यवहार में बहुत अच्छा काम करता है, जो बिग डेटा के युग में गोपनीयता के लिए एक व्यावहारिक मार्ग प्रदान करता है।