🤖 machine learning

DurableUn: Quantization-Induced Recovery Attacks in Machine Unlearning

यह शोध पत्र प्रकट करता है कि INT4 क्वांटाइजेशन मशीन अनलर्निंग में विस्मृत डेटा को व्यवस्थित रूप से पुनर्स्थापित करता है, जो भूलने (forgetting), उपयोगिता (utility) और सुदृढ़ता (robustness) के बीच एक मौलिक व्यापार-संतुलन (trade-off) को उजागर करता है, और उच्च एवं निम्न-परिशुद्धता (high- and low-precision) दोनों तरह के परिनियोजन में स्थिर अनलर्निंग प्राप्त करने के लिए DURABLEUN-SAF पद्धति का प्रस्ताव करता है।

मूल लेखक: Abdullah Ahmad Khan, Ferdous Sohel

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdullah Ahmad Khan, Ferdous Sohel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "DurableUn: Quantization-Induced Recovery Attacks in Machine Unlearning" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: "भूल जाने का अधिकार" बनाम "जादुई इरेज़र" की समस्या

कल्पना कीजिए कि आपके पास एक विशाल पुस्तकालय (एक Large Language Model या LLM) है जिसमें अब तक लिखी गई हर किताब मौजूद है। आपके पास एक कानूनी अधिकार (जैसे GDPR) है कि आप कह सकें, "कृपया लेखक X द्वारा लिखी गई सभी किताबें हटा दें।"

Machine Unlearning वह तकनीक है जिसका उपयोग उन विशिष्ट किताबों को हटाने के लिए किया जाता है ताकि पूरे पुस्तकालय को शून्य से फिर से न बनाना पड़े।

समस्या: शोधकर्ताओं ने पाया कि इन किताबों को हटाने के लिए इस्तेमाल किए जाने वाले वर्तमान "जादुई इरेज़र" (Magic Erasers) दोषपूर्ण हैं। वे तब पूरी तरह से काम करते हैं जब आप पुस्तकालय को हाई डेफिनेशन (full precision) में देखते हैं, लेकिन यदि आप पुस्तकालय को एक छोटे डिवाइस पर फिट होने के लिए छोटा कर देते हैं (low-bit quantization), तो हटाई गई किताबें जादुई रूप से वापस शेल्फ पर दिखने लगती हैं।

मुख्य खोज: "क्वांटाइजेशन रिकवरी अटैक" (QRA)

यह शोध पत्र डेटा लीक होने के एक नए तरीके को पेश करता है, जिसे Quantization Recovery Attack कहा जाता है।

उपमा (Analogy): कल्पना कीजिए कि आपके पास एक चेहरे का विस्तृत चित्र है। आप उस चित्र से आँखें मिटाने के लिए एक विशेष विलायक (solvent) का उपयोग करते हैं। हाई-रेज़ोल्यूशन स्टूडियो (BF16) में, आँखें गायब हो जाती हैं। चित्र निरीक्षण में पास हो जाता है।
ट्विस्ट: अब, कल्पना कीजिए कि आप स्याही बचाने के लिए उस चित्र की एक सस्ती, कम गुणवत्ता वाली प्रिंटर पर फोटोकॉपी करते हैं (यह INT4 quantization है, जिसका उपयोग फोन पर AI चलाने के लिए किया जाता है)।
परिणाम: क्योंकि वह सस्ता प्रिंटर स्याही को जिस तरह से प्रोसेस करता है, "मिटाए गए" क्षेत्र खाली नहीं रहते। स्याही एक विशिष्ट तरीके से फैलती है जो अनजाने में आँखों को फिर से बना देती है। हटा हुआ डेटा वापस आ जाता है, भले ही निरीक्षण से पहले चित्र साफ दिख रहा था।

लेखक इसे QRA कहते हैं। उन्होंने पाया कि जबकि फुल प्रिसिजन (full precision) पर डेटा हटाना काम करता है, मॉडल को 4-bit precision में कंप्रेस करने पर (जो वास्तविक दुनिया के ऐप्स के लिए एक मानक है) हटा हुआ डेटा व्यवस्थित रूप से वापस आ जाता है।

"ट्राइलेमा" (Trilemma): असंभव त्रिकोण

शोधकर्ताओं ने एक संरचनात्मक समस्या की खोज की जिसे वे FA–RA–Q-INT4 Trilemma कहते हैं। इसे एक छड़ी पर तीन प्लेटों को संतुलित करने की तरह समझें, जहाँ आप एक समय में केवल दो ही पकड़ सकते हैं:

भूलना (Forget - FA): विशिष्ट डेटा को सफलतापूर्वक हटाना।
बनाए रखना (Retain - RA): मॉडल को अन्य चीज़ों के लिए स्मार्ट और उपयोगी बनाए रखना।
मजबूती (Robustness - Q-INT4): यह सुनिश्चित करना कि डेटा तब भी हटा रहे जब मॉडल को तैनाती (deployment) के लिए कंप्रेस किया जाए।

निष्कर्ष: कोई भी मौजूदा तरीका इन तीनों को एक साथ नहीं कर सकता।

यदि आप डेटा को अच्छी तरह से हटाने की कोशिश करते हैं, तो मॉडल नाजुक हो जाता है। जब आप इसे कंप्रेस करते हैं, तो डेटा वापस आ जाता है।
यदि आप मॉडल को कंप्रेशन के प्रति मजबूत बनाने की कोशिश करते हैं, तो आप अनजाने में इसकी उपयोगी चीज़ों को याद रखने की क्षमता को नष्ट कर देते हैं (यह "मूर्ख" हो जाता है)।
यदि आप मॉडल को स्मार्ट रखते हैं, तो यह कंप्रेस होने पर डेटा को प्रभावी ढंग से हटाने में विफल रहता है।

पेपर एक "शार्प फेज ट्रांजिशन" (sharp phase transition) दिखाता है: एक बार जब आप सिस्टम को इतना मजबूत बनाने के लिए ट्यून करते हैं कि डेटा वापस न आए, तो मॉडल की सामान्य बुद्धिमत्ता तुरंत गिर जाती। यह एक सहज बदलाव नहीं है; यह एक गहरी खाई (cliff) की तरह है।

समाधान: DURABLEUN-SAF

इसे ठीक करने के लिए, लेखकों ने DURABLEUN-SAF (Sharpness-Aware Forgetting) नामक एक नया तरीका प्रस्तावित किया है।

यह कैसे काम करता है: केवल डेटा को मिटाने के बजाय, यह विधि मॉडल को उन क्षेत्रों में "फ्लैट" (flat) होने के लिए प्रशिक्षित करती है जहाँ डेटा हटाया गया था।
उपमा: कल्पना कीजिए कि हटाया गया डेटा ट्रैम्पोलिन में एक छेद है। मानक तरीके केवल छेद में रेत भर देते हैं। यदि आप ट्रैम्पोलिन पर कूदते हैं (मॉडल को कंप्रेस करते हैं), तो रेत खिसक जाती है और छेद फिर से दिखाई देने लगता है।
समाधान: DURABLEUN-SAF केवल छेद को नहीं भरता; यह छेद के चारों ओर पूरे ट्रैम्पोलिन के कपड़े को मजबूत करता है ताकि आप चाहे जैसा भी कूदें या खींचें (कंप्रेस करें), छेद बंद ही रहे।

परिणाम: यह पहला तरीका है जो सफलतापूर्वक "ड्यूरेबिलिटी सर्टिफिकेट" (Durability Certificate) पास करता है। यह साबित करता है कि हाई डेफिनेशन, 8-बिट और 4-बिट वर्ज़न में डेटा गायब है। हालाँकि, एक पेच है: इस पूर्ण सुरक्षा को प्राप्त करने के लिए, मॉडल अपनी सामान्य बुद्धिमत्ता का एक बड़ा हिस्सा खो देता है (Retain Accuracy गिर जाती है), जो पुष्टि करता है कि "ट्राइलेमा" वास्तविक है और इसे तोड़ना कठिन है।

यह क्यों महत्वपूर्ण है?

वर्तमान ऑडिट दोषपूर्ण हैं: नियामक (Regulators) वर्तमान में यह जाँचते हैं कि क्या किसी मॉडल ने फुल प्रिसिजन पर डेटा हटा दिया है। यह पेपर कहता है कि यह पर्याप्त नहीं है। एक मॉडल फुल प्रिसिजन पर गोपनीयता ऑडिट पास कर सकता है और फिर भी गोपनीयता का उल्लंघन कर सकता है जब उसे फोन या सर्वर पर मानक कंप्रेशन के साथ तैनात किया जाता है।
यह केवल एक बग नहीं, बल्कि गणित का एक फीचर है: लेखक दिखाते हैं कि यह कोड में कोई गलती नहीं है; यह विशिष्ट यादों को मिटाने और मॉडल को स्मार्ट बनाए रखने के बीच एक मौलिक गणितीय तनाव है।
एक नया मानक: लेखक तर्क देते हैं कि हमें AI मॉडल का परीक्षण 4-bit precision (INT4) पर करना शुरू कर देना चाहिए ताकि यह देखा जा सके कि वे वास्तव में भूल गए हैं या नहीं, न कि केवल फुल प्रिसिजन पर।

एक वाक्य में सारांश

यह शोध पत्र उजागर करता है कि AI मॉडल से निजी डेटा को हटाने के मानक तरीके वास्तविक दुनिया के उपयोग के लिए मॉडल को कंप्रेस करते समय विफल हो जाते हैं, और हालांकि एक नया तरीका इसे ठीक कर सकता है, लेकिन यह वर्तमान में पूर्ण गोपनीयता और AI को स्मार्ट बनाए रखने के बीच एक कठिन चुनाव करने के लिए मजबूर करता है।

तकनीकी सारांश: DurableUn: मशीन अनलर्निंग में क्वांटाइजेशन-प्रेरित रिकवरी हमले

1. समस्या विवरण (Problem Statement)

मशीन अनलर्निंग का लक्ष्य मॉडल से विशिष्ट प्रशिक्षण डेटा को हटाना है ताकि GDPR जैसे गोपनीयता नियमों का अनुपालन किया जा सके। हालाँकि, वर्तमान मूल्यांकन प्रोटोकॉल एक गंभीर "डिप्लॉयमेंट गैप" (deployment gap) से ग्रस्त हैं। मानक मूल्यांकन यह मान लेते हैं कि अनलर्निंग ऑडिट (आमतौर पर bfloat16 या BF16) के दौरान उपयोग की जाने वाली शुद्धता (precision) उत्पादन (production) के दौरान उपयोग की जाने वाली शुद्धता के समान होती है। वास्तव में, मेमोरी फुटप्रिंट को कम करने और इन्फरेंस स्पीड में सुधार करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को अक्सर लो-बिट प्रिसिजन (INT4 या INT8) पर तैनात किया जाता है।

लेखक इस प्रिसिजन मिसमैच से उत्पन्न होने वाली एक व्यवस्थित भेद्यता (systematic vulnerability) की पहचान करते हैं: एक मॉडल BF16 पर डेटा को सफलतापूर्वक "भूल" सकता है (लगभग शून्य भूलने की सटीकता, FA $\approx$ 0 के साथ एक गोपनीयता ऑडिट पास कर सकता है), लेकिन जब इसे उत्पादन के लिए INT4 में क्वांटाइज किया जाता है, तो भुलाया गया डेटा मॉडल के आउटपुट में व्यवस्थित रूप से पुन: प्रकट हो जाता है। लेखक इस घटना को क्वांटाइजेशन रिकवरी अटैक (QRA) कहते हैं। यह केवल एक नया हमला वेरिएंट नहीं है, बल्कि वर्तमान मूल्यांकन प्रोटोकॉल की एक मौलिक वैधता विफलता है, जहाँ प्रमाणित मॉडल मानक डिप्लॉयमेंट रूपांतरणों के तहत गोपनीयता का उल्लंघन करते हैं।

2. कार्यप्रणाली और सेटअप (Methodology and Setup)

प्रयोगात्मक व्यवस्था (Experimental Regime)

अध्ययन NF4+LoRA डिप्लॉयमेंट प्रतिमान (paradigm) पर केंद्रित है, जहाँ एक मॉडल को NormalFloat4 (NF4) प्रिसिजन में लोड किया जाता है, और लो-रैंक अडैप्टेशन (LoRA) अडैप्टर्स को BF16 में प्रशिक्षित किया जाता है। यह कुशल फाइन-ट्यूनिंग और डिप्लॉयमेंट के लिए एक सामान्य सेटअप है।

मॉडल: LLaMA-3-8B-Instruct (प्राथमिक) और Mistral-7B-Instruct (सामान्यीकरण के लिए)।
डेटासेट: TOFU (काल्पनिक लेखक), MUSE-News (वास्तविक दुनिया की खबरें), और WikiBio-WPU (ऐतिहासिक व्यक्तित्व)।
बेसलाइन: सात स्थापित अनलर्निंग विधियों का मूल्यांकन किया गया: ग्रेडिएंट एसेंट (GA), नेगेटिव प्रेफरेंस ऑप्टिमाइज़ेशन (NPO), SCRUB, SalUn, रिप्रेजेंटेशन मैनिपुलेशन अनलर्निंग (RMU), AlphaEdit, और GradDiff।
क्वांटाइजेशन सिमुलेशन: लेखक LoRA अडैप्टर वेट्स पर प्रति-रो सिमेट्रिक क्वांटाइजेशन स्कीम का उपयोग करके INT4 और INT8 क्वांटाइजेशन का अनुकरण करते हैं। वे मर्ज किए गए मॉडल्स पर bitsandbytes पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) के विरुद्ध अपने सिम्युलेटर को मान्य करते हैं।

प्रस्तावित समाधान: DURABLEUN-SAF

इस भेद्यता को संबोधित करने के लिए, लेखक DURABLEUN-SAF (शार्पनेस-अवेयर फॉरगेटिंग) का प्रस्ताव करते हैं।

मुख्य अंतर्दृष्टि (Core Insight): मानक ग्रेडिएंट एसेंट (GA) भूलने के उद्देश्य (forget objective) के लिए एक "शार्प" लॉस लैंडस्केप बनाता है। जबकि मॉडल फुल प्रिसिजन पर भूल जाता है, लॉस लैंडस्केप बहुत तीव्र होता है, जिसका अर्थ है कि छोटे व्यवधान (जैसे INT4 क्वांटाइजेशन नॉइज़) मॉडल को वापस "याद रखने" की स्थिति में आसानी से धकेल सकते हैं।
तंत्र (Mechanism): DURABLEUN-SAF एक क्वांटाइजेशन-अवेयर ऑब्जेक्टिव पेश करता है जो INT4 राउंडिंग ऑपरेशन के माध्यम से ग्रेडिएंट्स की गणना करने के लिए स्ट्रेट-थ्रू एस्टिमेटर (STE) का उपयोग करता है। ऑब्जेक्टिव फंक्शन तीन पदों को जोड़ता है:
1. मानक भूलने का लॉस ( $L_f$ )।
2. क्वांटाइजेशन-अवेयर भूलने का लॉस ( $L_f(Q_{STE}(\theta))$ ), जो मॉडल को सिम्युलेटेड INT4 व्यवधान के तहत भी भूलने के लिए मजबूर करता है।
3. रिटेन लॉस ( $L_r$ ) उपयोगिता (utility) बनाए रखने के लिए।
प्रशिक्षण रणनीति: यह विधि क्वांटाइजेशन-अवेयर टर्म के लिए वार्म-अप शेड्यूलिंग का उपयोग करती है और क्वांटाइजेशन वेट ( $\alpha$ ) के आधार पर रिटेन बैलेंस ( $\lambda$ ) को गतिशील रूप से समायोजित करती है।

3. मुख्य निष्कर्ष और परिणाम (Key Findings and Results)

FA–RA–Q-INT4 त्रिपथ (Trilemma)

अध्ययन एक संरचनात्मक बाधा की पहचान करता जिसे FA–RA–Q-INT4 त्रिपथ (Trilemma) कहा जाता है: कोई भी मूल्यांकित कॉन्फ़िगरेशन एक साथ निम्नलिखित को प्राप्त नहीं कर सकता:

मजबूत भूलना (FA $\le$ 0.05)।
उच्च उपयोगिता (रिटेन एक्यूरेसी, RA $\ge$ 0.50)।
क्वांटाइजेशन मजबूती (Q-INT4 $\le$ 0.05)।

एक सघन पारेटो स्वीप (Pareto sweep) के माध्यम से, लेखक एक शार्प फेज ट्रांजिशन देखते हैं। जैसे ही मजबूती (Q-INT4 < 0.05) प्राप्त करने के लिए क्वांटाइजेशन दबाव ( $\alpha$ ) बढ़ता है, रिटेन एक्यूरेसी (RA) अचानक ढह जाती है (उदाहरण के लिए, ~0.52 से ~0.045 तक) और इसे आगे के ट्यूनिंग द्वारा पुनः प्राप्त नहीं किया जा सकता है। यह सुझाव देता है कि त्रिपथ NF4+LoRA रिजीम में साझा वेट स्पेस का परिणाम है, न कि हाइपरपैरामीटर आर्टिफैक्ट का।

क्वांटाइजेशन रिकवरी अटैक (QRA)

INT8 हानिरहित (Benign) है: सभी 7 बेसलाइनों में, INT8 क्वांटाइजेशन के परिणामस्वरूप Q-INT4 = 0.000 रहा, जो इंगित करता है कि 8-बिट प्रिसिजन रिकवरी का कारण बनने के लिए बहुत सटीक है।
INT4 विनाशकारी (Catastrophic) है: INT4 क्वांटाइजेशन ने de-forgotten कंटेंट को व्यवस्थित रूप से बहाल कर दिया। उन विधियों के लिए जिन्होंने BF16 पर अच्छा भूलना (FA < 0.05) दिखाया, रिकवरी गंभीर थी:
- GradDiff: FA 0.008 $\to$ Q-INT4 0.151 (18.9 $\times$ रिकवरी)।
- GA: FA 0.028 $\to$ Q-INT4 0.262 (9.4 $\times$ रिकवरी)।
- SalUn: FA 0.011 $\to$ Q-INT4 0.051 (4.6 $\times$ रिकवरी)।
डेटासेट की कठिनाई: हमले की गंभीरता डेटासेट की कठिनाई के साथ बढ़ती है। कठिन MUSE-News डेटासेट पर, मानक विधियाँ पूरी तरह से भूलने में विफल रहीं, जबकि सरल WPU डेटासेट पर, कुछ बेसलाइन्स DURABLEUN-SAF के बिना सर्टिफिकेट पास कर गए।

DURABLEUN-SAF का प्रदर्शन

DURABLEUN-SAF एकमात्र ऐसा तरीका है जो एक स्थिर एम्पिरिकल ड्यूरेबिलिटी सर्टिफिकेट प्राप्त करता है।

सर्टिफिकेट की परिभाषा: एक मॉडल $(\epsilon, P)$ -ड्यूरेबल है यदि उसका भूलने की सटीकता सेट $P$ (BF16, INT8, INT4) में सभी प्रिसिजन के तहत $\le \epsilon$ बनी रहती है।
परिणाम: DURABLEUN-SAF ( $\alpha=3$ ) ने तीन रैंडम सीड्स पर 3/3 का सर्ट रेट प्राप्त किया, जिसमें Q-INT4 $0.043 \pm 0.002$ था।
तुलना: इसके विपरीत, SalUn (इसके अपने प्रकाशित हाइपरपैमीटर्स पर भी) ने केवल 1/3 के सर्टिफिकेट रेट के साथ उच्च विचरण (variance) प्राप्त किया।
ट्रेड-ऑफ: जबकि DURABLEUN-SAF सर्टिफिकेट प्राप्त करता है, यह त्रिपथ में देखे गए समान RA कोलैप्स (RA $\approx$ 0.045) से ग्रस्त है, जो पुष्टि करता है कि विधि सफलतापूर्वक ट्रेड-ऑफ को नेविगेट करती है लेकिन उच्च उपयोगिता बनाए रखते हुए INT4 मजबूती सुनिश्चित करने के लिए संरचनात्मक सीमा को पार नहीं कर सकती है।

4. महत्व और दावे (Significance and Claims)

लेखक निम्नलिखित योगदानों का दावा करते हैं:

डिप्लॉयमेंट गैप की पहचान: यह प्रदर्शित करता है कि वर्तमान अनलर्निंग मूल्यांकन मौलिक रूप से त्रुटिपूर्ण हैं क्योंकि वे मानक INT4 डिप्लॉयमेंट अभ्यास को अनदेखा करते हैं, जिससे गोपनीयता अनुपालन में फॉल्स पॉजिटिव (false positives) उत्पन्न होते हैं।
त्रिपथ (The Trilemma): यह FA–RA–Q-INT4 त्रिपथ को NF4+LoRA रिजीम में एक संरचनात्मक बाधा के रूप में स्थापित करता है, जो एक स्मूथ ट्रेड-ऑफ के बजाय एक शार्प फेज ट्रांजिशन द्वारा विशेषता है।
पहला ड्यूरेबिलिटी सर्टिफिकेट: यह क्वांटाइजेशन के तहत मशीन अनलर्निंग के लिए पहला औपचारिक एम्पिरिकल ड्यूरेबिलिटी सर्टिफिकेट पेश करता है, जिसे कई सीड्स और डेटासेट्स पर मान्य किया गया है।
एक व्यवहार्य समाधान: यह DURABLEUN-SAF का प्रस्ताव करता है, जो लगातार इस सर्टिफिकेट को प्राप्त करने वाला पहला तरीका है, जो यह सिद्ध करता है कि क्वांटाइजेशन-अवेयर फॉरगेटिंग संभव है, भले ही वर्तमान में यह रिटेन एक्यूरेसी की कीमत पर आता है।
कार्रवाई के लिए आह्वान (Call to Action): लेखक वकालत करते हैं कि FA और RA के साथ Q-INT4 (INT4 क्वांटाइजेशन के तहत भूलने की सटीकता) को एक मानक मूल्यांकन मीट्रिक के रूप में अपनाया जाना चाहिए। उनका तर्क है कि किसी भी अनलर्निंग विधि को जो GDPR अनुपालन का दावा करती है, उसे INT4 पर मजबूती दिखानी चाहिए, क्योंकि क्वांटाइजेशन डाउनस्ट्रीम उपयोगकर्ताओं के लिए एक "वन-लाइन" ऑपरेशन है जिसके लिए भूल गए डेटा को रिकवर करने के लिए किसी प्रशिक्षण डेटा की आवश्यकता नहीं होती है।

पेपर निष्कर्ष निकालता है कि हालांकि DURABLEUN-SAF प्रमाणन का एक मार्ग प्रदान करता है, रिटेन एक्यूरेसी का पतन एक खुला प्रश्न बना हुआ है, जो सुझाव देता है कि भविष्य के कार्यों को साझा वेट स्पेस में मजबूत क्वांटाइजेशन मजबूती और उच्च उपयोगिता के बीच ज्यामितीय असंगति (geometric incompatibility) को संबोधित करना होगा।