🤖 machine learning

Memory-Efficient Differentially Private Training with Gradient Random Projection

यह शोध पत्र DP-GRAPE को प्रस्तुत करता है, जो एक मेमोरी-कुशल डिफरेंशियल प्राइवेट प्रशिक्षण विधि है जो मेमोरी उपयोग को 63% से अधिक कम करने के लिए महंगी SVD-आधारित प्रोजेक्शन को रैंडम गॉसियन प्रोजेक्शन से बदल देती है, जिससे प्रतिस्पर्धी सटीकता बनी रहती है और बड़े मॉडलों का प्रशिक्षण सक्षम होता है जो मानक DP-Adam के साथ अव्यवहार्य है।

मूल लेखक: Alex Mulrooney, Devansh Gupta, James Flemings, Huanyu Zhang, Murali Annavaram, Meisam Razaviyayn, Xinwei Zhang

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alex Mulrooney, Devansh Gupta, James Flemings, Huanyu Zhang, Murali Annavaram, Meisam Razaviyayn, Xinwei Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "मेमोरी-एफिशिएंट डिफरेंशियल प्राइवेट ट्रेनिंग विद ग्रेडिएंट रैंडम प्रोजेक्शन" (DP-GRAPE) का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "अत्यधिक-संरक्षित" छात्र

कल्पना कीजिए कि आप एक छात्र (एक न्यूरल नेटवर्क) को एक बहुत ही संवेदनशील डायरी (आपका निजी डेटा) से सीखना सिखा रहे हैं। आप चाहते हैं कि छात्र डायरी के सबक सीख ले, लेकिन वह डायरी की विशिष्ट प्रविष्टियों (entries) को याद न करे, ताकि बाद में कोई डायरी चुरा न सके। इसे डिफरेंशियल प्राइवेसी (DP) कहा जाता है।

इसे सुरक्षित रूप से करने के लिए, शिक्षक (ट्रेनिंग एल्गोरिदम) को हर एक डायरी प्रविष्टि को व्यक्तिगत रूप से देखना होता है, उस एक प्रविष्टि से सबक का सारांश निकालना होता है, और फिर मूल प्रविष्टि को छिपाने के लिए उस सारांश में थोड़ा सा "स्टैटिक" (शोर/noise) जोड़ना होता है।

चुनौती:
मानक तरीकों (जैसे DP-Adam) में, शिक्षक को क्लास के हर एक छात्र के लिए पूरी, विस्तृत सारांश लिखने के लिए पहले से ही लिखना पड़ता है। यदि क्लास बहुत बड़ी है और डायरी विशाल है, तो शिक्षक की मेज (कंप्यूटर मेमोरी) कागजों के ढेर के नीचे पूरी तरह दब जाती है। उनके पास जगह खत्म हो जाती है, और क्लास को रुकना पड़ता है।

पुराना "लो-रैंक" समाधान: क्रिस्टल बॉल (Crystal Ball)

हाल ही में, शोधकर्ताओं ने एक तकनीक का उपयोग करके मेमोरी समस्या को हल करने की कोशिश की जिसे GaLore कहा जाता है। कल्पना कीजिए कि GaLore एक क्रिस्टल बॉल की तरह है जो सबक की सबसे महत्वपूर्ण दिशा का अनुमान लगाती है। पूरा सारांश लिखने के बजाय, शिक्षक केवल उस एक विशिष्ट दिशा में सबक लिखता है। इससे बहुत सारी जगह बचती है।

दोष:
क्रिस्टल बॉल का उपयोग करने के लिए, शिक्षक को पहले यह जानने के लिए पूरे, बिना-नॉयस वाले सारांश को देखना पड़ता है कि कौन सी दिशा महत्वपूर्ण है। लेकिन हमारे प्राइवेसी परिदृश्य में, हम प्राइवेसी नियमों को तोड़े बिना पूरे सारांश को नहीं देख सकते। यदि हम पहले "स्टैटिक" (शोर) जोड़ देते हैं, तो क्रिस्टल बॉल धुंधली और बेकार हो जाती है। यह अब महत्वपूर्ण दिशा नहीं खोज पाती। इसलिए, पुराना तरीका मेमोरी बचाने के लिए विफल हो जाता है।

नया समाधान: DP-GRAPE ("रैंडम गेस" रणनीति)

इस पेपर के लेखक, एलेक्स मुलरोनी और सहयोगियों ने एक नई विधि विकसित की जिसे DP-GRAPE कहा जाता है। उन्होंने महसूस किया कि एक बार जब आप प्राइवेसी "स्टैटिक" जोड़ देते हैं, तो सबक अपनी जटिल संरचना खो देते हैं और थोड़े "फ्लैट" या रैंडम हो जाते हैं। इस कारण, आपको महत्वपूर्ण दिशा खोजने के लिए किसी फैंसी क्रिस्टल बॉल (SVD) की आवश्यकता नहीं है। आप बस एक रैंडम गेस (यादृच्छिक अनुमान) का उपयोग कर सकते हैं।

DP-GRAPE कैसे काम करता है, इसके चरण यहाँ दिए गए हैं:

रैंडम श्रिंकर (The Random Shrinker): सबसे अच्छी दिशा खोजने के लिए पूरे सबक को देखने के बजाय, शिक्षक एक "रैंडम श्रिंकर" (एक रैंडम मैट्रिक्स) का उपयोग करता है। कल्पना कीजिए कि एक विशाल, विस्तृत मानचित्र को लेकर उसे रैंडम तरीके से एक छोटी जेब के आकार के संस्करण में मोड़ देना। आप यह प्राइवेसी स्टैटिक जोड़ने से पहले करते हैं।
प्राइवेसी पहले: अब जब मानचित्र छोटा (कम मेमोरी) है, तो शिक्षक इस छोटे संस्करण में प्राइवेसी "स्टैटिक" जोड़ता है। चूंकि मानचित्र पहले से ही छोटा है, इसलिए स्टैटिक बड़े मानचित्र की तुलना में "महत्वपूर्ण दिशा" को उतना नुकसान नहीं पहुँचाता।
अपडेट: शिक्षक इस छोटे, शोर वाले, जेब के आकार के मानचित्र का उपयोग करके छात्र के ज्ञान को अपडेट करता है।

यह गेम-चेंजर क्यों है:

कोई क्रिस्टल बॉल की आवश्यकता नहीं: आपको दिशा खोजने के लिए महंगी गणितीय गणना (SVD) करने की आवश्यकता नहीं है। आप बस एक रैंडम फोल्ड का उपयोग करते हैं। इससे समय और कंप्यूटिंग पावर बचती है।
भारी मेमोरी बचत: क्योंकि शिक्षक को विशाल पूर्ण मानचित्रों के बजाय केवल छोटे, मुड़े हुए मानचित्रों को स्टोर करना होता है, इसलिए मेज खाली रहती है।
- पेपर से वास्तविक उदाहरण: एक बड़े लैंग्वेज मॉडल (RoBERTa-Large) को ट्रेन करते समय, पुराने तरीके को 78.1 GB मेमोरी की आवश्यकता थी (जो बहुत बड़ी है)। DP-GRAPE ने वही काम केवल 24.4 GB के साथ किया। यह एक फुल-साइज रेफ्रिजरेटर को मिनी-फ्रिज में छोटा करने जैसा है।
यह वास्तव में काम करता है: भले ही हम एक "परफेक्ट क्रिस्टल बॉल" के बजाय "रैंडम गेस" का उपयोग कर रहे हैं, गणित यह दर्शाता है कि छात्र पुराने, मेमोरी-हैवी तरीकों की तरह ही अच्छी तरह सीखता है।

"फ्लैटनिंग" (Flattening) की खोज

यह पेपर इस बारे में एक दिलचस्प अवलोकन करता है कि यह क्यों काम करता है। उन्होंने पाया कि जब आप प्राइवेसी शोर जोड़ते हैं, तो यह डेटा के परिदृश्य (landscape) को "फ्लैट" कर देता है।

शोर से पहले: डेटा एक पर्वत श्रृंखला की तरह दिखता है जिसमें एक बहुत ऊँची चोटी (सबसे महत्वपूर्ण दिशा) और कई छोटी पहाड़ियाँ हैं। आपको उस चोटी को खोजने के लिए एक क्रिस्टल बॉल की आवश्यकता होती है।
शोर के बाद: शोर घाटियों को भर देता है और चोटियों को कम कर देता है। पूरा परिदृश्य सपाट और एकसमान दिखाई देता है।
परिणाम: जब परिदृश्य सपाट होता है, तो इससे कोई फर्क नहीं पड़ता कि आप कौन सी रैंडम दिशा चुनते हैं; वे सभी लगभग एक जैसे होते हैं। इसलिए, एक रैंडम गेस भी सटीक गणना जितना ही अच्छा काम करता है।

परिणाम: असंभव को संभव बनाना

लेखकों ने तीन प्रकार के कार्यों पर इसका परीक्षण किया:

इमेज ट्रेनिंग: छवियों (जैसे MNIST या CIFIS) को पहचानने के लिए एक मॉडल को शुरू से प्रशिक्षित करना। DP-GRAPE ने मानक तरीके की तुलना में 63% कम मेमोरी का उपयोग किया।
टेक्स्ट फाइन-ट्यूनिंग: एक बड़े टेक्स्ट मॉडल (RoBERTa) को नए विषयों को समझने के लिए सिखाना। DP-GRAPE ने 70% कम मेमोरी का उपयोग किया।
"इम्पॉसिबल" मॉडल: उन्होंने OPT-6.7B (6.7 बिलियन पैरामीटर्स) नामक एक विशाल मॉडल को फाइन-ट्यून करने की कोशिश की।
- मानक तरीका (DP-Adam) मेमोरी खत्म होने के कारण तुरंत क्रैश हो गया (Out of Memory error)।
- DP-GRAPE ने इस विशाल मॉडल को एक सिंगल ग्राफिक्स कार्ड पर सफलतापूर्वक प्रशिक्षित किया।

सारांश

DP-GRAPE को एक भारी बैकपैक ले जाने के चतुर तरीके के रूप में समझें।

पुराना तरीका: आप पूरा बैकपैक ले जाते हैं, लेकिन आपको अंदर की हर एक वस्तु में एक भारी ताला (प्राइवेसी शोर) लगाना पड़ता है, जिससे वह उठाने के लिए बहुत भारी हो जाता है।
Gaore (पिछला प्रयास): आप भविष्यवाणी करने की कोशिश करते हैं कि कौन सी चीजें ले जानी महत्वपूर्ण हैं, लेकिन आप उन्हें लॉक करने से पहले उनकी भविष्यवाणी नहीं कर सकते, जो कि बहुत देर हो जाती है।
DP-GRAPE: आप उन्हें लॉक करने से पहले ही 90% चीजों को रैंडम तरीके से फेंक देते हैं। आप बचे हुए छोटे ढेर को लॉक करते हैं। यह पता चलता है कि प्राइवेसी के लिए, सबक सीखने के लिए आपको पूरे बैकपैक की आवश्यकता नहीं है। आपको समान परिणाम मिलता है, लेकिन आप बहुत तेज़ी से चल सकते हैं क्योंकि आपका बैकपैक बहुत छोटा है।

पेपर निष्कर्ष निकालता है कि यह विधि शोधकर्ताओं और उन संस्थानों को सीमित कंप्यूटर संसाधनों के साथ बड़े, प्राइवेसी-सेफ AI मॉडल प्रशिक्षित करने की अनुमति देती है, जिन्हें चलाना पहले उनके हार्डवेयर पर असंभव था।

तकनीकी सारांश: DP-GRAPE

समस्या विवरण (Problem Statement)

डिफरेंशियल प्राइवेसी (DP) के साथ बड़े न्यूरल नेटवर्क को प्रशिक्षित करना एक महत्वपूर्ण बाधा का सामना करता है: प्रति-नमूना ग्रेडिएंट क्लिपिंग (per-sample gradient clipping) के लिए आवश्यक उच्च मेमोरी ओवरहेड। मानक तरीके जैसे कि DP-Adam, क्लिपिंग बाधा को लागू करने के लिए बैच में प्रत्येक नमूने के व्यक्तिगत ग्रेडिएंट को संग्रहीत करने की आवश्यकता रखते हैं, जो कि शोर (noise) जोड़ने से पहले होता है। बड़े मॉडलों (जैसे, अरबों पैरामीटर) और बड़े बैच आकार के लिए, यह आवश्यकता बैच आकार ( $B \times d$ , जहाँ $d$ कुल पैरामीटर संख्या है) के साथ रैखिक रूप से बढ़ती है, जो अक्सर GPU मेमोरी सीमाओं को पार कर जाती है और अत्याधुनिक मॉडलों के प्रशिक्षण को रोक देती है। जबकि मौजूदा मेमोरी-कुशल तकनीकें जैसे कि LoRA (लो-रैंक अडैप्टेशन) और GaLore (ग्रेडिएंट लो-रैंक प्रोजेक्शन) गैर-निजी (non-private) सेटिंग्स में मेमोरी को कम करती हैं, उनका DP के साथ सीधा एकीकरण समस्यात्मक है। विशेष रूप से, प्राइवेज़ेशन (क्लिपिंग और शोर जोड़ना) ग्रेडिएंट्स के सिंगुलर वैल्यू स्पेक्ट्रम को सपाट (flatten) कर देता है, जिससे वह लो-रैंक संरचना नष्ट हो जाती है जिस पर SVD-आधारित प्रोजेक्शन विधियाँ निर्भर करती हैं।

कार्यप्रणाली (Methodology): DP-GRAPE

लेखक DP-GRAPE (Gradient RAndom ProjEction) का प्रस्ताव करते हैं, जो एक मेमोरी-कुशल DP प्रशिक्षण एल्गोरिदम है जिसे प्रथम-क्रम (first-order) DP विधियों के समान उपयोगिता बनाए रखने के लिए डिज़ाइन किया गया है, जबकि मेमोरी के उपयोग को भारी रूप से कम किया जा सकता है। यह विधि तीन मुख्य डिज़ाइन विकल्पों पर आधारित है:

SVD के बजाय रैंडम प्रोजेक्शन: अनुकूल सबस्पेस खोजने के लिए सिंगुलर वैल्यू डीकंपोजिशन (SVD) की गणना करने के बजाय (जैसा कि GaLore में है), DP-GRAPE रैंडम गॉसियन मैट्रिसेस का उपयोग करके ग्रेडिएंट्स को कम-आयामी सबस्पेस में प्रोजेक्ट करता है। लेखक यह प्रदर्शित करते हैं क्योंकि प्राइवेज़ेशन ग्रेडिएंट स्पेक्ट्रम को सपाट कर देता है, इसलिए DP सेटिंग में SVD-आधारित सबस्पेस रैंडम प्रोजेक्शन की तुलना में कोई लाभ नहीं देते हैं। रैंडम प्रोजेक्शन गणना में सस्ते हैं और प्रत्येक लेयर के लिए प्रोजेक्शन मैट्रिसेस को स्टोर करने की आवश्यकता को भी टालते हैं, क्योंकि उन्हें एक सीड (seed) से ऑन-द-फ्लाई पुन: उत्पन्न किया जा सकता है।
ऑपरेशन्स का क्रम (प्राइवेज़ेशन से पहले प्रोजेक्शन): एक महत्वपूर्ण योगदान ऑपरेशन्स का अनुक्रमण (sequencing) है। DP-GRAPE क्लिपिंग और शोर जोड़ने से पहले कच्चे प्रति-नमूना ग्रेडिएंट्स को एक कम-आयामी स्थान में प्रोजेक्ट करता है। यह एक "Naïve DP-GaLore" दृष्टिकोण के विपरीत है जहाँ ग्रेडिएंट्स को पहले प्राइवेज़ किया जाता है। लेखक दिखाते हैं कि प्रोजेक्शन से पहले प्राइवेज़ करने से वह लो-रैंक संरचना नष्ट हो जाती है जो SVD के लिए आवश्यक है और इससे खराब उपयोगिता (utility) मिलती है। पहले प्रोजेक्ट करके, एल्गोरिदम एक संकुचित स्थान (compressed space) में कार्य करता है जहाँ क्लिपिंग और शोर जोड़ना लागू किया जाता है, जिससे उपयोगिता सुरक्षित रहती है और संग्रहीत ग्रेडिएंट्स की विमा (dimensionality) कम हो जाती है।
प्रोजेक्टेड ऑप्टिमाइज़र स्टेट्स: एल्गोरिदम पूर्ण पैरामीटर स्पेस के बजाय प्रोजेक्टेड लो-डायमेंशनल स्पेस में ऑप्टिमाइज़र स्टेट्स (Adam के लिए फर्स्ट और सेकंड मोमेंट्स) को बनाए रखता है। यह ऑप्टिमाइज़र स्टेट्स के मेमोरी फुटप्रिंट को $O(d)$ से घटाकर $O(r \times \text{layers})$ कर देता है, जहाँ $r \ll d$ प्रोजेक्शन डाइमेंशन है।

ट्रेनिंग लूप में एक बैकवर्ड पास शामिल है जहाँ प्रति-लेयर ग्रेडिएंट्स को प्रोजेक्ट किया जाता है, जिसके बाद इन प्रोजेक्टेड ग्रेडिएंट्स का एग्रीगेशन, क्लिपिंग और शोर जोड़ना किया जाता है। परिणामी प्राइवेज़्ड प्रोजेक्टेड ग्रेडिएंट्स का उपयोग फिर एक प्रोजेक्टेड Adam अपडेट नियम के माध्यम से मॉडल पैरामीटर्स को अपडेट करने के लिए किया जाता है।

मुख्य योगदान (Key Contributions)

अनुभवजन्य अंतर्दृष्टि (Empirical Insight): यह पेपर स्थापित करता है कि DP प्राइवेज़ेशन (क्लिपिंग और शोर) ग्रेडिएंट्स के सिंगुलर वैल्यू स्पेक्ट्रम को सपाट कर देता है, जिससे SVD-आधारित प्रोजेक्शन मेमोरी बचत के लिए अप्रभावी हो जाते हैं। यह रैंडम प्रोजेक्शन की ओर बदलाव को प्रेरित करता है।
एल्गोरिद्मिक डिज़ाइन: DP-GRAPE एक विशिष्ट पाइपलाइन पेश करता है जहाँ रैंडम प्रोजेक्शन, प्राइवेज़ेशन से पहले आता है। यह दिखाया गया है कि उच्च उपयोगिता प्राप्त करने के लिए यह क्रम महत्वपूर्ण है, न कि नैइव (naive) दृष्टिकोण जहाँ प्रोजेक्शन से पहले प्राइवेज़ किया जाता है।
सैद्धांतिक गारंटी: लेखक एक औपचारिक प्राइवेसी-यूटिलिटी विश्लेषण प्रदान करते हैं। वे सिद्ध करते हैं कि DP-GRAPE $(\epsilon, \delta)$ -डिफरेंशियल प्राइवेसी को संतुष्ट करता है और DP-SGD के तुलनीय अभिसरण दर (expected stationarity gap) प्राप्त करता है, विशेष रूप से $O(\sqrt{d \log(1/\delta)} / (n\epsilon))$ । विश्लेषण अनबाउंडेड एंट्रीज वाले रैंडम प्रोजेक्शन मैट्रिसेस के साथ किया गया है, जो दर्शाता है कि टेल प्रोबेबिलिटीज (tail probabilities) पर्याप्त रूप से घटती हैं ताकि अभिसरण सुनिश्चित हो सके।
स्केलेबिलिटी: यह विधि एकल GPU पर विशाल मॉडलों (6.7 बिलियन पैरामीटर तक) को फाइन-ट्यून करने में सक्षम बनाती है, एक ऐसा पैमाना जहाँ मानक DP-Adam आउट-ऑफ-मेमोरी (OOM) त्रुटियों के कारण विफल हो जाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन अलग-अलग कार्यों पर DP-GRAPE का मूल्यांकन किया:

विज़न ट्रांसफार्मर प्री-ट्रेनिंग: MNIST, CIFAR-10 और CIFAR-100 पर, DP-GRAPE ने DP-Adam के तुलनीय टेस्ट एक्यूरेसी प्राप्त की। महत्वपूर्ण रूप से, इसने DP-Adam की तुलना में मेमोरी उपयोग को 63% से अधिक कम कर दिया, जिससे काफी बड़े बैच आकार (उदाहरण के लिए, CIFAR-10 के लिए 24GB GPU पर 50 के मुकाबले 165) और 25% अधिक थ्रूपुट संभव हुआ। इसके विपरीत, "Naïve DP-GaLore" दृष्टिकोण ने महत्वपूर्ण सटीकता गिरावट (MNIST पर 12.1% तक) का अनुभव किया।
RoBERTa-Large फाइन-ट्यूनिंग: NLP कार्यों (SST-2, SNLI, आदि) पर, DP-GRAPE ने ज़ीरो-ऑर्डर मेथड्स (DPZero) को पछाड़ दिया और DP-Adam के साथ प्रतिस्पर्धी रहा। इसने मेमोरी उपयोग को 70% से अधिक कम कर दिया (SST-2 पर बैच साइज 40 के लिए 78.1 GB के मुकाबले 24.4 GB)। इसके अलावा, यह DPZero की तुलना में काफी कम इटरेशन में अभिसरित हुआ (कुल प्रशिक्षण समय को कारक >6 से कम कर दिया)।
OPT मॉडल स्केलेबिलिटी: विधि ने 1.3B, 2.7B और 6.7B पैरामीटर्स वाले OPT मॉडलों को सफलतापूर्वक फाइन-ट्यून किया। जबकि DP-Adam और यहाँ तक कि नॉन-प्राइवेट Adam भी 80GB GPU पर 6.7B मॉडल को फिट होने में विफल रहे (बैच साइज 1 के साथ भी), DP-GRAPE सफल रहा। इसने मॉडल के आकार, डेटासेट और प्राइवेसी लेवल के 24 में से 18 संयोजनों में DPZero से बेहतर उपयोगिता प्राप्त की।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DP-GRAPE बड़े पैमाने पर डीप लर्निंग में गोपनीयता, उपयोगिता और मेमोरी के बीच मौलिक ट्रेड-ऑफ को संबोधित करता है। रैंडम प्रोजेक्शन और ऑपरेशन्स के एक विशिष्ट क्रम का लाभ उठाकर, यह महंगे SVD कंप्यूटेशन और पूर्ण-आयामी ऑप्टिमाइज़र स्टेट्स के मेमोरी ओवरहेड को समाप्त करता है।

लेखक इस बात पर जोर देते हैं कि यह कार्य प्राइवेसी-प्रिजर्विंग AI तक पहुंच का लोकतंत्रीकरण करता है। संसाधनों की आवश्यकताओं को कम करके, DP-GRसे संसाधन-सीमित समुदायों और संस्थानों को कठोर गोपनीयता गारंटी के साथ बड़े मॉडलों को प्रशिक्षित और फाइन-ट्यून करने की अनुमति मिलती है, जो पहले केवल विशाल कंप्यूटेशनल इंफ्रास्ट्रक्चर वाले लोगों तक सीमित था। इस विधि को अन्य मेमोरी-बचत तकनीकों (जैसे घोस्ट क्लिपिंग) के ऑर्थोगोनल के रूप में प्रस्तुत किया गया है, जो भविष्य के हाइब्रिड सुधारों के लिए क्षमता का सुझाव देता है।