RePAIR: Interactive Machine Unlearning through Prompt-Aware Model Repair
यह शोध पत्र RePAIR को प्रस्तुत करता है, जो एक प्रॉम्प्ट-अवेयर फ्रेमवर्क है जो एक ट्रेनिंग-फ्री एक्टिवेशन मैनिपुलेशन तकनीक (STAMP) का उपयोग करके इंटरैक्टिव, ऑन-डिवाइस मशीन अनलर्निंग को सक्षम बनाता है, जिससे उपयोगकर्ता प्राकृतिक भाषा के माध्यम से बड़े भाषा मॉडलों को विशिष्ट ज्ञान को भूलने का निर्देश दे सकते हैं, जो मॉडल की उपयोगिता को बनाए रखते हुए लगभग पूर्ण ज्ञान निष्कासन प्राप्त करता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान मित्र है (आइए उसे The Model कहें)। इस मित्र ने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। इस कारण, वह बहुत सी अच्छी चीजें जानता है, लेकिन उसने अनजाने में कुछ शर्मनाक रहस्य, खतरनाक निर्देश और सरासर झूठ भी याद कर लिए हैं।
आमतौर पर, यदि आप अपने मित्र को कुछ विशिष्ट "भूलने" के लिए कहना चाहते हैं—जैसे कि कोई रहस्य जो आपने उसे बताया था या कोई झूठ जिसे आप सुधारना चाहते हैं—तो आप फंस जाते हैं। आप उसे बस यह नहीं कह सकते, "हे, इसे भूल जाओ।" वह एक स्थिर किताब की तरह है; आप पूरी लाइब्रेरी को फिर से लिखे बिना उसका कोई पन्ना नहीं मिटा सकते। वर्तमान में, केवल वही व्यक्ति जो उस लाइब्रेरी को बनाता है (The Model Service Provider), उसे ठीक करने की कोशिश कर सकता है, और इसमें महीनों का समय और भारी खर्च लगता है।
RePAIR एक नया आविष्कार है जो नियमों को बदल देता है। यह आपको (उपयोगकर्ता को) मॉडल को कुछ भूलने के लिए तुरंत कहने की अनुमति देता है, ठीक उसी समय जब आप उससे बात कर रहे होते हैं, बिना मूल निर्माता की मदद के।
यह कैसे काम करता है, इसे सरल उपमाओं में तोड़कर यहाँ समझाया गया है:
1. समस्या: "मिटाया न जा सकने वाला" नोटबुक
AI को तथ्यों से भरी एक नोटबुक के रूप में सोचें। यदि आप इसमें कोई गलती लिखते हैं, तो आप इरेज़र (रबड़) का उपयोग नहीं कर सकते। पुराने दौर में, गलती को ठीक करने के लिए, आपको पूरी नोटबुक लेनी पड़ती थी, उसके हर पन्ने को फाड़ना पड़ता था और पूरी किताब को शुरू से फिर से लिखना पड़ता था। यह बहुत धीमा और महंगा है।
2. समाधान: "सर्जिकल रिपेयर" टीम (RePAIR)
लेखकों ने एक प्रणाली बनाई है जिसे RePAIR (इंटरैक्टिव मशीन अनलर्निंग थ्रू प्रॉम्प्ट-अवेयर मॉडल रिपेयर) कहा जाता है। इसे वास्तविक समय में AI पर ऑपरेशन करने वाली एक तीन-सदस्यीय मेडिकल टीम के रूप में कल्पना करें:
- द वॉचडॉग (जासूस): यह एक छोटा AI है जो आपकी बातचीत को सुनता है। यदि आप कहते हैं, "मैं चाहता हूँ कि तुम मेरा घर का पता भूल जाओ," तो वॉचडॉग उस इरादे को पकड़ लेता है। यह एक सुरक्षा गार्ड की तरह कार्य करता है जो "प्रवेश निषेध" का संकेत देखता है और टीम को सचेत करता है।
- द सर्जन (वास्तुकार): जैसे ही वॉचडॉग उस अनुरोध को पहचानता है, सर्जन हस्तक्षेप करता है। यह पूरे मॉडल को फिर से प्रशिक्षित (retrain) नहीं करता है। इसके बजाय, यह कोड का एक छोटा, सटीक हिस्सा लिखता है—एक "सर्जिकल निर्देश"—जो मॉडल को बताता है कि उस एक विशिष्ट चीज़ को भूलने के लिए अपने मस्तिष्क को ठीक से कैसे बदलना है।
- द पेशेंट (मॉडल): यह मुख्य AI है जिससे आप बात कर रहे हैं। यह सर्जन के निर्देश प्राप्त करता है और तुरंत उस विशिष्ट जानकारी को भूलने के लिए अपने आंतरिक वायरिंग को संशोधित करता है।
3. जादू का खेल: STAMP ("स्टीयरिंग व्हील")
सर्जन वास्तव में मॉडल को फिर से प्रशिक्षित किए बिना कैसे भुला देता है? वे STAMP नामक एक विधि का उपयोग करते हैं।
AI के मस्तिष्क को लाखों लेन (न्यूरल पाथवे) वाले एक विशाल हाईवे के रूप में सोचें। जब AI "मेरा घर का पता" के बारे में सोचता है, तो वह एक विशिष्ट लेन में गाड़ी चलाता है।
- पुराना तरीका: कार को उस लेन में जाने से रोकने के लिए, आपको पूरा हाईवे सिस्टम फिर से बनाना पड़ता (retraining)।
- STAMP का तरीका: STAMP एक स्मार्ट स्टीयरिंग व्हील की तरह है। यह एक सटीक गणितीय धक्का (nudge) की गणना करता है। यह सड़क का पुनर्निर्माण नहीं करता; यह बस "घर के पते" के विचार के स्टीयरिंग व्हील को धीरे से मोड़ देता है ताकि "उत्तर" वाले एग्जिट के बजाय, वह एक "अस्वीकृति" (refusal) वाले डेड-एंड की ओर मुड़ जाए।
AI अभी भी बात करना जानता है, लेकिन जब आप उस विशिष्ट चीज़ के बारे में पूछते जिसे आप भुलाना चाहते हैं, तो स्टीयरिंग व्हील स्वचालित रूप से कार को दूर मोड़ देता है, और AI कहता है, "मुझे यह नहीं पता," या "मैं यह नहीं बता सकता।"
4. यह एक बड़ी बात क्यों है?
- यह तुरंत है: आप डेवलपर्स द्वारा इसे ठीक करने का इंतज़ार नहीं करते। आप पूछते हैं, और यह हो जाता है।
- यह निजी है: आपको अपना डेटा डिलीट करने के लिए किसी बड़ी कंपनी पर भरोसा करने की आवश्यकता नहीं है। आप इसे स्वयं, अपने डिवाइस पर करते हैं।
- यह कुशल है: इसका "लो-रैंक" संस्करण (STAMP-LR) एक कॉम्पैक्ट कार की तरह है। यह वही काम करता है लेकिन बहुत कम ईंधन (कंप्यूटर पावर) का उपयोग करता है, जिससे इसे लैपटॉप या यहाँ तक कि फोन पर चलाना भी संभव हो जाता है।
परिणाम
अपने परीक्षणों में, यह प्रणाली अपने काम में अविश्वसनीय रूप से अच्छी थी।
- भूलना (Forgetting): इसने सफलतापूर्वक गलत जानकारी को मिटा दिया (मॉडल ने रहस्य या झूठ को याद रखना बंद कर दिया)।
- याद रखना (Remembering): इसने अनजाने में अन्य चीजों को नहीं भुलाया। मॉडल बाकी चीजों के लिए स्मार्ट और सहायक बना रहा।
- गति: यह पुराने तरीकों की तुलना में लगभग 3 गुना तेज़ था जिनमें भारी रिट्रेनिंग की आवश्यकता होती थी।
संक्षेप में: RePAIR आपको चलते हुए अपने AI की मेमोरी को एडिट करने की शक्ति देता है। यह AI को एक कठोर, अपरिवर्तनीय विश्वकोश से बदलकर एक लचीले मित्र में बदल देता है जो आपकी बात सुन सकता है, "समझ गया" कह सकता है, और तुरंत उस विशिष्ट स्मृति को मिटा सकता है, जबकि इसकी बाकी जानकारी को बरकरार रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।