तकनीकी सारांश: पुन:शिक्षण हमलों के विरुद्ध सुदृढ़ LLM अनलर्निंग: प्रतिनिधित्वों में लघु घटक महत्वपूर्ण हैं

1. समस्या की परिभाषा और प्रेरणा

लार्ज लैंग्वेज मॉडल (LLM) अनलर्निंग का लक्ष्य पूर्व-प्रशिक्षित मॉडलों से विशिष्ट डेटा प्रभावों (जैसे, निजी, कॉपीराइट या खतरनाक जानकारी) को हटाना है, बिना पूर्ण पुन:प्रशिक्षण की अत्यधिक लागत के। हालाँकि, हाल के अध्ययनों ने एक गंभीर भेद्यता की पहचान की है: अनलर्न किए गए मॉडल अत्यधिक नाजुक होते हैं और मूल "विस्मृत" ज्ञान को पुन:शिक्षण हमलों (relearning attacks) के माध्यम से तेजी से पुनः प्राप्त कर सकते हैं। इन हमलों में, एक हमलावर अनलर्न किए गए मॉडल को मूल 'फॉरगेट डेटा' के एक उपसमुच्चय पर फाइन-ट्यून करता है, जिससे मॉडल अपनी अनलर्निंन-पूर्व अवस्था में वापस आ जाता है। यह नाजुकता गंभीर सुरक्षा जोखिम पैदा करती है, विशेष रूप से ओपन-वेट मॉडलों के लिए जहाँ कोई भी डाउनस्ट्रीम अभिनेता आसानी से इच्छित सुरक्षा को उलट सकता है।

जबकि मौजूदा विधियों जैसे शार्पनेस-अवेयर मिनिमाइजेशन (SAM) और प्रतिनिधित्व-स्तरीय हस्तक्षेपों (जैसे, RMU, MLP Breaking) का प्रस्ताव दिया गया है, वे काफी हद तक अनुभवजन्य (empirical) ही रहे हैं। वह मौलिक तंत्र जो यह समझाता है कि वर्तमान अनलर्निंग विधियाँ पुन:शिक्षण का विरोध करने में क्यों विफल रहती हैं, अभी भी अस्पष्ट है।

2. मुख्य अंतर्दृष्टि: प्रतिनिधित्व ज्यामिति और नाजुकता

लेखक प्रतिनिधित्व ज्यामिति (representation geometry) के दृष्टिकोण से LLM अनलर्निंग की नाजुकता की जांच करते हैं। Llama-3.1-8B के आंतरिक प्रतिनिधित्वों (विशेष रूप से MLP सक्रियणों) का विश्लेषण करके, वे इस भेद्यता के लिए एक संरचनात्मक कारण की पहचान करते हैं:

1. प्रमुख घटकों में संकेंद्रण (Concentration in Dominant Components): LLM प्रतिनिधित्व कुछ प्रमुख घटकों (उच्च विचरण वाले प्रधान घटक) में भारी रूप से केंद्रित होते हैं। मौजूदा अनलर्निंग विधियाँ मुख्य रूप से इन प्रमुख दिशाओं के साथ अनुकूलन (optimize) करती हैं, जिससे लघु घटक (minor components) काफी हद तक अपरिवर्तित रह जाते हैं।
2. प्रमुख घटकों की प्रतिवर्ती प्रकृति (Reversibility of Dominant Components): पुन:शिक्षण हमलों के दौरान, इन प्रमुख घटकों में किए गए संशोधन आसानी से बदले जा सकते हैं। सैद्धांतिक विश्लेषण बताता है कि क्योंकि प्रमुख घटक डेटासेट में साझा किए गए क्रॉस-सैंपल नियमितताओं (regularities) को कैप्चर करते हैं, इसलिए एक हमलावर बहुत कम फाइन-ट्यूनिंग चरणों के साथ उन्हें पुनर्गठित कर सकता है।
3. लघु घटकों की सुदृढ़ता (Robustness of Minor Components): इसके विपरीत, लघु घटक पुनर्प्राप्ति के प्रति काफी अधिक प्रतिरोध प्रदर्शित करते हैं। वे नमूना-विशिष्ट जानकारी को एनकोड करते हैं जिसमें हमलावर द्वारा विश्वसनीय पुनर्निर्माण के लिए आवश्यक नियमितता का अभाव होता है, भले ही फाइन-ट्यूनिंग बजट पर्याप्त हो।

लेखक इसे एक रैखिक (NTK-शैली) विश्लेषण के माध्यम से औपचारिक रूप देते हैं, यह सिद्ध करते हुए कि अनलर्निंग अपडेट स्वाभाविक रूप से प्रमुख दिशाओं के माध्यम से प्रवाहित होते हैं (थ्योरम 1), और पुन:शिक्षण रिकवरी दर प्रमुख घटकों के लिए लघु घटकों की तुलना में तेजी से घातीय (exponentially) रूप से संतृप्त होती है (थ्योरम 2)।

3. कार्यप्रणाली: लघु घटक अनलर्निंग (Minor Component Unlearning - MCU)

इस अंतर्दृष्टि के आधार पर कि प्रमुख दिशाओं में केंद्रित अनलर्निंग प्रभाव आसानी से प्रतिवर्ती है, लेखक लघु घटक अनलर्निंग (MCU) का प्रस्ताव करते हैं। यह विधि अनलर्निंग अनुकूलन को स्पष्ट रूप से सुदृढ़ लघु घटक उप-स्थान (subspace) की ओर पुनर्निर्देशित करती है।

मुख्य तंत्र

MCU प्रतिनिधित्व-आधारित अनलर्निंग लॉस (जैसे RMU और MLP Breaking) को संशोधित करता है, जिसमें लॉस की गणना करने से पहले प्रमुख घटकों को बाहर निकालने के लिए प्रोजेक्शन का उपयोग किया जाता है।

1. प्रधान घटक निष्कर्षण (Principal Component Extraction): अनलर्निंग से पहले, यह विधि मूल मॉडल के फॉरगेट सेट प्रतिनिधित्व से शीर्ष-$K$ प्रधान घटकों (और माध्य वेक्टर) को निकालती है।
2. प्रोजेक्शन (Projection): एक प्रोजेक्शन ऑपरेटर $P_\perp$ को परिभाषित किया गया है जो किसी भी प्रतिनिधित्व वेक्टर से इन शीर्ष-$K$ दिशाओं (और माध्य) को हटा देता है।
3. लॉस संशोधन (Loss Modification): अनलर्निंग लॉस को प्रोजेक्ट किए गए प्रतिनिधित्वों पर कंप्यूट किया जाता है।
   • RMU के लिए, लॉस प्रोजेक्ट किए गए वर्तमान प्रतिनिधित्व और एक यादृच्छिक लक्ष्य वेक्टर के बीच की दूरी को कम करता है।
   • MLP Breaking के लिए, लॉस प्रोजेक्ट किए गए वर्तमान MLP आउटपुट और प्रोजेक्ट किए गए मूल आउटपुट के बीच ऑर्थोगोनैलिटी (orthogonality) को अधिकतम करता है।

लॉस ग्रेडिएंट्स को मुख्य रूप से लघु घटक उप-स्थान के भीतर संचालित होने के लिए सीमित करके, MCU यह सुनिश्चित करता है कि प्रेरित परिवर्तन उन दिशाओं में हों जो स्वाभाविक रूप से हमलावर के लिए पुनर्प्राप्त करना कठिन है।

4. प्रयोगात्मक परिणाम

लेखक तीन डेटासेट्स पर MCU का मूल्यांकन करते हैं: WMDP-Cyber, WMDP-Bio, और Years। वे SOTA (state-of-the-art) बेसलाइन के विरुद्ध MCU की तुलना करते हैं, जिसमें ग्रेडिएंट एसेंट (GA), नेगेटिव प्रेफरेंस ऑप्टिमाइजेशन (NPO), RMU, MLP Breaking, और सुदृढ़ता-उन्मुख तकनीकें जैसे SAM और कोलैप्स ऑफ इरेलेवेंट रिप्रेजेंटेशन्स (CIR) शामिल हैं।

मुख्य निष्कर्ष

• श्रेष्ठ सुदृढ़ता (Superior Robustness): MCU पुन:शिक्षण अंतराल (relearning gap - $\Delta$) को काफी कम कर देता है, जिसे पुन:शिक्षण के बाद की सटीकता और अनलर्निंग के बाद की सटीकता के बीच के अंतर के रूप में परिभाषित किया गया है। WMDP-Cyber पर, MLP Breaking + CIR + MCU को मिलाने से $\Delta$ घटकर 5.7 रह गया, जबकि केवल MLP Breaking + CIR के लिए यह 17.0 और अकेले MLP Breaking के लिए 28.4 था।
• उपयोगिता का संरक्षण (Preservation of Utility): उन विधियों के विपरीत जो सामान्य प्रदर्शन को कम करती हैं, MCU मॉडल की उपयोगिता बनाए रखता है। MCU वेरिएंट के लिए MMLU स्कोर और WikiText परप्लेक्सिटी गैर-MCU समकक्षों के तुलनीय या बेहतर बनी रहती है।
• पूरकता (Complementarity): MCU, CIR के साथ सहक्रियात्मक (synergistic) रूप से कार्य करता है। जबकि CIR ग्रेडिएंट स्तर पर प्रमुख घटकों को फ़िल्टर करता है, MCU लॉस लैंडस्केप को प्रमुख दिशाओं में परिवर्तनों को दंडित करने के लिए नया आकार देता है, जो सुदृढ़ता समस्या के विभिन्न पहलुओं को संबोधित करता है।
• सामान्यीकरण (Generalization): MCU के लाभ मॉडल परिवारों में भी स्थानांतरित होते हैं, जो Gemma2-9B और Qwen3-8B पर निरंतर सुधार प्रदर्शित करते हैं।
• अनुकूली हमले (Adaptive Attacks): MCU उन अनुकूलित प्रतिनिधित्व-आधारित हमलों के खिलाफ भी मजबूत प्रतिरोध प्रदर्शित करता है जहाँ हमलावर सीधे अनलर्न किए गए मॉडल के सक्रियणों और मूल मॉडल के सक्रियणों के बीच MSE को कम करता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि यह प्रतिनिधित्व ज्यामिति के दृष्टिकोण से LLM अनलर्निंग की नाजुकता का पहला व्यवस्थित विश्लेषण प्रदान करता है, जो सैद्धांतिक व्युत्पत्तियों द्वारा समर्थित है। इसकी प्राथमिक महत्ता है:

1. नाजुकता के संरचनात्मक स्रोत की पहचान: यह कार्य यह स्पष्ट करता है कि वर्तमान विधियों में रिकवरी की आसानी किसी विशिष्ट एल्गोरिदम की त्रुटि नहीं है, बल्कि प्रमुख प्रतिनिधित्व दिशाओं के साथ अनुकूलन का एक संरचनात्मक परिणाम है।
2. एक सिद्धांत-आधारित समाधान: MCU स्पष्ट रूप से लघु घटक उप-स्थान को लक्षित करके अनलर्निंग के लिए एक सिद्धांत-आधारित दृष्टिकोण प्रदान करता है, जो सैद्धांतिक रूप से पुन:शिक्षण के प्रति प्रतिरोधी दिखाया गया है।
3. व्यावहारिक सुदृढ़ता: यह विधि मॉडल की उपयोगिता को बनाए रखते हुए पुन:शिक्षण हमलों के विरुद्ध काफी बेहतर प्रतिरोध प्राप्त करती है, जो SAM सहित मौजूदा SOTA विधियों से बेहतर प्रदर्शन करती है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें पुन:शिक्षण हमलों (इन्फरेंस-टाइम जेलब्रेकिंग को छोड़कर) पर ध्यान केंद्रित करना और सैद्धांतिक विश्लेषण में प्रथम-क्रम रैखिकीकरण (first-order linearization) का उपयोग शामिल है, लेकिन वे दावा करते हैं कि प्रतिनिधित्व ज्यामिति के संबंध में उनके मुख्य निष्कर्ष विभिन्न अनुकूलन व्यवस्थाओं (Full FT और LoRA) और फॉरगेट-सेट आकारों में लागू होते हैं।