Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure
यह शोध पत्र ज्योमेट्रिक अनलर्निंगिंग (GU) को प्रस्तुत करता है, जो एक नवीन विधि है जो मूल प्रशिक्षण डेटा तक पहुँच के बिना, न्यूनतम संदर्भ प्रॉम्प्ट्स से संकलित एक सघन सुरक्षित ज्यामिति (safe geometry) पर प्रॉम्प्ट-टाइम प्लानिंग अवस्थाओं को प्रोजेक्ट करके बड़े भाषा मॉडलों से विशिष्ट सामग्री को प्रभावी ढंग से हटा देती है, जिससे सामान्य उपयोगिता को बनाए रखते हुए मजबूत लक्ष्य दमन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (लार्ज लैंग्वेज मॉडल, या LLM) है जिसने लाखों किताबें याद कर रखी हैं। एक दिन, एक उपयोगकर्ता लाइब्रेरियन से किसी विशिष्ट व्यक्ति या विषय को "भूलने" के लिए कहता है—शायद इसलिए क्योंकि उस व्यक्ति ने अपने डेटा को हटाने का अनुरोध किया था, या क्योंकि वह जानकारी संवेदनशील है।
वर्तमान तरीकों के साथ समस्या
आमतौर पर, लाइब्रेरियन को कुछ भुलाने के लिए, आपको मूल लाइब्रेरी अभिलेखों (प्रशिक्षण डेटा) में वापस जाना पड़ता है, उस व्यक्ति का उल्लेख करने वाली हर एक किताब को ढूंढना पड़ता है, और भौतिक रूप से उन पन्नों को फाड़ना पड़ता है या किताबों को फिर से लिखना पड़ता है।
- चुनौती: वास्तविक दुनिया में, सेवा प्रदाताओं के पास गोपनीयता कानूनों या लाइसेंसिंग के कारण अक्सर उन मूल अभिलेखों तक पहुंच नहीं होती है। भले ही उनके पास पहुंच हो, लेकिन उस संवेदनशील जानकारी को खोजने के लिए अभिलेखों को खंगालने में उस निजी डेटा को दोबारा उजागर करने का जोखिम होता है।
- दुष्प्रभाव: जब आप किसी लाइब्रेरी से पन्ने फाड़ने की कोशिश करते हैं, तो आप अक्सर अनजाने में अलमारियों को नुकसान पहुँचा देते हैं या लाइब्रेरियन को अन्य चीजों के बारे में बात करना भी भुला देते हैं।
नया समाधान: "जियोमेट्रिक अनलर्निंग" (GU)
यह पेपर एक चतुर ट्रिक प्रस्तावित करता है जिसे जियोमेट्रिक अनलर्निंग (Geometric Unlearning) कहा जाता है। इसके बजाय कि लाइब्रेरियन को लाइब्रेरी अभिलेखों में वापस जाने के लिए कहा जाए, यह उस विशिष्ट विषय के बारे में लाइब्रेरियन के सोचने के तरीके को बदल देता है, ठीक उसी क्षण जब उनसे कोई प्रश्न पूछा जाता है।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:
1. "सेफ ज़ोन" मैप (ज्यामिति)
कल्पना कीजिए कि लाइब्रेरियन का मस्तिष्क एक विशाल 3D मानचित्र है जहाँ प्रत्येक विचार का एक विशिष्ट स्थान है।
- सामान्य विचार: जब लाइब्रेरियन "खाना पकाने" के बारे में सोचता है, तो वह मानचित्र पर "किचन" वाले स्थान पर जाता है। जब वह "इतिहास" के बारे में सोचता है, तो वह "म्यूजियम" वाले स्थान पर जाता है।
- "भूलने वाला" स्थान: शोधकर्ता पहले लाइब्रेरियन को कुछ सुरक्षित उदाहरण दिखाते हैं कि "मुझे नहीं पता" या "मैं इस बारे में बात नहीं कर सकता" कैसे कहना है। वे मानचित्र में ठीक से मैप करते हैं कि उन "सुरक्षित इनकार" (safe refusal) वाले विचारों का स्थान कहाँ है। आइए इसे "सेफ ज़ोन" कहें।
2. "एंकर" ट्रिक (न्यूनतम डेटा)
लाइब्रेरियन को भूलने के लिए सिखाने हेतु हजारों किताबों की आवश्यकता होने के बजाय, उन्हें केवल कुछ "एंकर" की आवश्यकता होती है।
- एक एंकर बस उस व्यक्ति या विषय का नाम है जिसे आप भुलाना चाहते हैं (जैसे, "जॉन डो")।
- शोधकर्ता कुछ नकली, काल्पनिक वाक्य (सिंथेटिक प्रॉम्प्ट्स) बनाते हैं जिनमें विभिन्न संदर्भों में "जॉन डो" शामिल होता है (जैसे, "जॉन डो के बारे में एक कहानी लिखें," "जॉन डो का पसंदीदा रंग क्या है?")।
- उन्हें वास्तविक किताबों की आवश्यकता नहीं है; उन्हें बस इन कुछ काल्पनिक वाक्यों की आवश्यकता है जो लाइब्रेरियन के मस्तिष्क को सक्रिय (trigger) कर सकें।
3. "चुंबकीय खिंचाव" (अनलर्निंग)
जब लाइब्रेरियन इन "एंकर" वाक्यों में से एक को देखता है, तो उसका मस्तिष्क एक विचार योजना बनाना शुरू करता है।
- पुराना तरीका: लाइब्रेरियन प्रश्न का सामान्य रूप से उत्तर देने की योजना बनाएगा।
- GU तरीका: सिस्टम एक चुंबक की तरह कार्य करता है। जैसे ही लाइब्रेरियन "जॉन डो" के बारे में सोचना शुरू करता है, सिस्टम धीरे से उसकी विचार प्रक्रिया को "उत्तर" वाले स्थान से दूर खींचता है और उसे "सेफ ज़ोन" ("मुझे नहीं पता" वाले स्थान) की ओर धकेलता है।
- यह स्मृति को मिटाता नहीं है; यह बस लाइब्रेरियन को प्रशिक्षित करता है कि जब भी वह विशिष्ट नाम दिखाई दे, तो वह तुरंत अपनी सोच को "अनिश्चितता" की ओर मोड़ दे।
4. बाकी सब को बरकरार रखना (सुरक्षा जाल)
एक बड़ा डर यह है कि यदि आप लाइब्रेरियन को "जॉन डो" को भूलने के लिए मजबूर करते हैं, तो क्या वह "जेन डो" को भूलना या रात का खाना बनाना भूलना भी शुरू कर देगा?
- इसे रोकने के लिए, सिस्टम एक "फ्रोजन टीचर" का उपयोग करता है। कल्पना कीजिए कि प्रशिक्षित किए जा रहे लाइब्रेरियन के बगल में एक दूसरा, आदर्श लाइब्रेरियन खड़ा है।
- जब भी प्रशिक्षु लाइब्रेरियन किसी भी अन्य चीज़ के बारे में बात करता है (जो "जॉन डो" नहीं है), तो सिस्टम जाँचता है: "क्या आपका उत्तर अभी भी आदर्श शिक्षक से मेल खा रहा है?" यदि प्रशिक्षु का अंदाज़ भटकने लगता है, तो सिस्टम धीरे से उसे शिक्षक की शैली की ओर वापस धकेलता है। यह सुनिश्चित करता है कि लाइब्रेरियन उस चीज़ के अलावा सब कुछ के बारे में स्मार्ट बना रहे जिसे उसे भूलने के लिए कहा गया है।
परिणाम: "कम ही अधिक है"
इस पेपर ने दो प्रमुख बेंचमार्क (ToFU और UnlearnPII) पर इसका परीक्षण किया और पाया:
- यह मूल लाइब्रेरी के बिना काम करता है: उन्हें विशाल मूल डेटासेट की आवश्यकता नहीं थी। केवल कुछ काल्पनिक वाक्यों से काम चल गया।
- यह सटीक है: लाइब्रेरियन ने सफलतापूर्वक उस लक्षित विषय के बारे में बात करना बंद कर दिया (अक्सर "मुझे यकीन नहीं है" कहना या उत्तर देने से मना करना) और ऐसा करने के दौरान वह "टूटा हुआ" नहीं हुआ या अन्य प्रश्नों के उत्तर देना नहीं भूला।
- यह सुरक्षित है: क्योंकि उन्होंने अनलर्निंग करने के लिए मूल निजी डेटा को छूने की आवश्यकता नहीं पड़ी, इसलिए इस प्रक्रिया के दौरान उस डेटा को गलती से लीक करने का कोई जोखिम नहीं था।
संक्षेप में:
एक विशाल डेटाबेस से एक विशिष्ट स्मृति को मिटाने की कोशिश करने के (जो कठिन और जोखिम भरा है) के बजाय, यह तरीका AI को तुरंत एक विशिष्ट ट्रिगर (द एंकर) को पहचानने और तुरंत अपनी आंतरिक "प्लानिंग मोड" को एक "सुरक्षित/अनिश्चित" अवस्था में बदलने के लिए प्रशिक्षित करता है। यह एक गार्ड को यह सिखाने जैसा है कि एक निश्चित चाबी दिखाए जाने पर तुरंत एक विशिष्ट दरवाजा लॉक कर दे, बिना पूरे महल को फिर से बनाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।