Subtract or Replay? Exact Deletion from Language-Model Memory
यह शोध पत्र यह प्रदर्शित करता है कि भाषा मॉडल की स्मृति से सटीक विलोपन (deletion) मौलिक रूप से स्मृति प्रतिनिधित्व द्वारा निर्धारित होता है, जहाँ एड्रेस करने योग्य रिकॉर्ड को बीजगणितीय घटाव (algebraic subtraction) के माध्यम से हटाया जा सकता है, जबकि उलझे हुए (entangled) लेखन के लिए बिट-दर-बिट स्थिति बहाली प्राप्त करने हेतु रीप्ले-आधारित पुनर्निर्माण की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक अत्यंत बुद्धिमान डिजिटल सहायक की कल्पना करें जो कभी कुछ नहीं भूलता। आप उसे एक रहस्य बताते हैं, और वह उस रहस्य को उसके मस्तिष्क के भीतर एक विशाल, अदृश्य पुस्तकालय में संग्रहीत कर देता है। बाद में, आप उससे कोई कहानी लिखने या सलाह देने के लिए कह सकते हैं, और वह उस रहस्य को मदद करने के लिए बाहर निकाल लेता है। लेकिन क्या होगा अगर आप अपना मन बदल लें? क्या होगा अगर आप सहायक को कहें, "वास्तव में, मैंने ऐसा कभी नहीं कहा था," या "वह एक गलती थी, कृपया इसे मिटा दें"? वास्तविक दुनिया में, यदि आप एक पत्र जला देते हैं, तो शब्द मिट जाते हैं। लेकिन कंप्यूटर में, केवल सहायक को "भूलने" के लिए कहना कठिन है। कंप्यूटर उस रहस्य को बस गहराई में छिपा सकता है, या हो सकता है कि उसने उस रहस्य का उपयोग अपने मस्तिष्क के अन्य हिस्सों को बनाने के लिए पहले ही कर लिया हो, जिससे सब कुछ तोड़े बिना उसे बस "डिलीट" करना असंभव हो जाता है। यह "मशीन अनलर्निंग" (machine unlearning) की समस्या है। वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि एआई (AI) को वास्तव में आदेश पर विशिष्ट चीजों को भूलना कैसे सिखाया जाए, न कि केवल भूलने का नाटक करना। यह गोपनीयता के लिए एक बहुत बड़ी बात है, जैसे आपके डिजिटल जीवन के लिए "भूल जाने का अधिकार" (Right to be Forgotten) होना, यह सुनिश्चित करना कि यदि आप किसी रोबोट को किसी स्मृति को हटाने के लिए कहते हैं, तो वह वास्तव में ऐसा करे, और पीछे कोई भी काल्पनिक अवशेष न बचे।
यह शोध पत्र, जिसका शीर्षक "सबट्रैक्ट या रिप्ले?" (Subtract or Replay?), इस समस्या को एक सरल प्रश्न पूछकर हल करता है: स्मृति कैसे संग्रहीत की जाती है? लेखक, विशवाजित रमेश और उनके सहयोगियों ने पाया कि उत्तर पूरी तरह से इस पर निर्भर करता है कि एआई के मेमोरी रूम के अंदर "फर्नीचर" कैसा है। उन्होंने पाया कि स्मृति को मिटाने के दो बहुत अलग तरीके हैं, और आपको काम के लिए सही उपकरण चुनना होगा, अन्यथा आप विफल हो जाएंगे।
स्मृति मिटाने के दो तरीके
यह शोध पत्र इस विचार का परीक्षण दो अलग-अलग प्रकार के एआई मॉडल पर करता है, जो दो अलग-अलग प्रकार के पुस्तकालयों की तरह कार्य करते हैं।
1. "एड्रेसेबल" लाइब्रेरी (जेम्मा मॉडल - The Gemma Model)
एक ऐसे पुस्तकालय की कल्पना करें जहाँ प्रत्येक पुस्तक का एक विशिष्ट, अद्वितीय शेल्फ नंबर होता है। यदि आप एक पुस्तक हटाना चाहते हैं, तो आप बस उस शेल्फ पर जाते हैं और उसे वहां से निकाल लेते हैं। आपको पूरे पुस्तकालय को फिर से बनाने की आवश्यकता नहीं है।
लेखकों ने इसका परीक्षण जेम्मा (Gemma) नामक एक मॉडल पर किया। उन्होंने इसके कुछ मानक स्मृति भागों को एक विशेष प्रणाली से बदल दिया जो इस प्रकार की एड्रेसेबल लाइब्रेरी के रूप में कार्य करती है। इस प्रणाली में, जानकारी के प्रत्येक टुकड़े का एक "गुणांक" (coefficient) होता है (इसे एक वॉल्यूम नॉब या आवाज़ नियंत्रित करने वाले बटन की तरह समझें) जो यह नियंत्रित करता है कि वह एआई के उत्तरों को कितना प्रभावित करता है।
- जादुई ट्रिक: स्मृति को मिटाने के लिए, उन्होंने बस वॉल्यूम नॉब को शून्य तक नीचे कर दिया। इसे "बीजगणितीय घटाव" (algebraic decrement) कहा जाता है।
- परिणाम: यह पूरी तरह से काम कर गया। जब उन्होंने नॉब को नीचे किया, तो एआई का आउटपुट गणितीय रूप से वैसा ही हो गया जैसा कि तब होता यदि वह स्मृति वहां कभी होती ही नहीं। अंतर इतना सूक्ष्म था कि वह लगभग शून्य था (एक संख्या जिसे KL डाइवर्जेंस कहा जाता है: 5.4 × 10⁻¹⁵)।
- कैच (सीमा): यह केवल छोटे मॉडलों (1 बिलियन पैरामीटर्स) पर अच्छी तरह काम करता है। जैसे-जैसे मॉडल बड़ा होता जाता है (4 बिलियन और 12 बिलियन), यह तरीका अव्यवस्थित और महंगा हो जाता है, जिससे एआई के प्रदर्शन में क्रमशः 11.2% और 44.3% की गिरावट आती है। इसलिए, जबकि "नॉब घुमाने" वाली ट्रिक छोटे पुस्तकालयों के लिए एकदम सही है, यह विशाल पुस्तकालयों के लिए एक सार्वभौमिक समाधान नहीं है।
2. "वोवन" लाइब्रेरी (किमी मॉडल - The Kimi Model)
अब, एक अलग तरह के पुस्तकालय की कल्पना करें जहाँ पुस्तकें शेल्फ पर नहीं रखी हैं। इसके बजाय, हर पुस्तक के पन्ने एक विशाल, एकल टेपेस्ट्री (तंतुमय बुनावट) में आपस में बुने हुए हैं। यदि आप एक धागा (स्मृति) खींचते हैं, तो पूरी टेपेस्ट्री हिल जाती है, और पैटर्न बदल जाता है।
लेखकों ने इसका परीक्षण किमी (Kimi) मॉडल पर किया, जो एक "रिकरेंट स्टेट" (टेपेस्ट्री जैसी स्मृति) का उपयोग करता है। यहाँ, जानकारी का प्रत्येक नया टुकड़ा स्मृति की पूरी स्थिति को बदल देता है।
- समस्या: उन्होंने जेम्मा की तरह ही स्मृति को "घटाने" (subtract) की कोशिश की। यह विफल रहा। क्योंकि स्मृति बुनी हुई है, एक धागे को हटाने से केवल छेद नहीं बनता; बल्कि यह एक विकृत पैटर्न छोड़ देता है। गणित ने दिखाया कि स्मृति का प्रभाव 12% से 49% तक बदल गया, जो इस बात पर निर्भर करता था कि डिलीट किए गए हिस्से के बाद क्या आया। आप इसे केवल घटा नहीं सकते; हटाने का "रसीद" अब वैध नहीं रह जाता।
- समाधान: चूंकि आप पैटर्न को खराब किए बिना बुनी हुई टेपेस्ट्री से एक धागा नहीं निकाल सकते, इसलिए आपको इसे पुनर्निर्मित (rebuild) करना होगा। लेखकों ने "चेकपॉइंट और रिप्ले" विधि का उपयोग किया। उन्होंने उस टेपेस्ट्री का एक स्नैपशॉट लिया जो अवांछित धागे के बुने जाने से पहले की थी। फिर, उन्होंने एआई को उस स्नैपशॉट पर वापस ले जाया और उस खराब धागे के बाद जो कुछ भी हुआ उसे फिर से चलाया (replay), लेकिन इस बार, उन्होंने उस खराब धागे को छोड़ दिया।
- परिणाम: यह पूरी तरह से काम कर गया। रिप्ले के बाद एआई की स्मृति बिट-दर-बिट समान थी, जैसी कि वह स्मृति होती जिसने कभी उस खराब धागे को देखा ही न हो। उन्होंने 18,842 टोकन तक लंबे वास्तविक क्लिनिकल नोट्स पर इसका परीक्षण किया, और यह हर बार सफल रहा। इसने उन्हें एक रिकॉर्ड को पूरी तरह से "संशोधित" करने की अनुमति भी दी—एक खराब धागे को एक अच्छे धागे से बदलकर फिर से रिप्ले करने के माध्यम से।
इसका आपके लिए क्या अर्थ है
शोध पत्र का मुख्य निष्कर्ष यह है कि "सटीक विलोपन" (exact deletion) कोई एक जादुई बटन नहीं है। यह इस बात का गुण है कि स्मृति कैसे बनाई गई है।
- यदि स्मृति प्रत्येक रिकॉर्ड के लिए एक स्पष्ट पता रखती है (जैसे जेम्मा का विशेष सेटअप), तो आप इसे तेज़ी से और पूरी तरह से घटा (subtract) सकते हैं।
- यदि स्मृति सब कुछ एक साथ बुनती है (जैसे किमी की टेपेस्ट्री), तो आप इसे घटा नहीं सकते। आपको एक सेव किए गए चेकपॉइंट से कहानी को पुनर्निर्मित (rebuild) करना होगा, जिसमें खराब हिस्से को छोड़ दिया गया हो।
लेखक बहुत स्पष्ट हैं कि उन्होंने क्या नहीं पाया: उन्होंने सिद्ध किया कि केवल स्मृति को "मास्क" या "दबाने" (एआई को उसे अनदेखा करने के लिए कहना) की कोशिश करना पर्याप्त नहीं है। एआई अभी भी इसे छिपे हुए तरीकों से "याद" रख सकता है, और हमलावर अक्सर इसे वापस निकाल सकते हैं। वास्तविक विलोपन के लिए या तो पूर्ण घटाव (subtraction) या पूर्ण पुनर्निर्माण (rebuild) की आवश्यकता होती है।
संक्षेप में, यदि आप चाहते हैं कि एक एआई वास्तव में भूल जाए, तो पहले आपको उसके मेमोरी रूम की जांच करनी होगी। क्या यह शेल्फ वाला पुस्तकालय है? नॉब घुमाएं। क्या यह बुनी हुई टेपेस्ट्री है? रिवाइंड करें और रिप्ले करें। कोई शॉर्टकट नहीं है, लेकिन अब हम जानते हैं कि किस काम के लिए कौन सा उपकरण उपयोग करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।