🤖 machine learning

Efficient DP-SGD for LLMs with Randomized Clipping

यह शोध पत्र DP-SGD-RC को प्रस्तुत करता है, जो एक नवीन रैंडमाइज्ड क्लिपिंग विधि है जो स्टोकैस्टिक ट्रेस एस्टीमेशन (stochastic trace estimation) का लाभ उठाकर प्रतिस्पर्धी गोपनीयता गारंटी और उपयोगिता बनाए रखते हुए बड़े भाषा मॉडल के लिए डिफरेंशियल प्राइवेट ट्रेनिंग के मेमोरी और कंप्यूटेशनल ओवरहेड को महत्वपूर्ण रूप से कम करता है।

मूल लेखक: Enayat Ullah, Sai Aparna Aketi, Devansh Gupta, Huanyu Zhang, Meisam Razaviyayn

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Enayat Ullah, Sai Aparna Aketi, Devansh Gupta, Huanyu Zhang, Meisam Razaviyayn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Efficient DP-SGD for LLMs with Randomized Clipping" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: बड़े मॉडल्स पर "प्राइवेसी टैक्स" (Privacy Tax)

कल्पना कीजिए कि आप एक विशाल रोबोटिक मस्तिष्क (एक लार्ज लैंग्वेज मॉडल या LLM) को कहानियाँ लिखने, सवालों के जवाब देने और दस्तावेज़ों का सारांश बनाने के लिए प्रशिक्षित कर रहे हैं। इसे स्मार्ट बनाने के लिए, आप इसे लाखों पन्नों का टेक्स्ट खिलाते हैं। समस्या क्या है? उस टेक्स्ट में कुछ संवेदनशील रहस्य हो सकते हैं, जैसे निजी ईमेल या मेडिकल रिकॉर्ड।

इन रहस्यों की रक्षा करने के लिए, वैज्ञानिक डिफरेंशियल प्राइवेसी (DP) नामक एक गणितीय ढाल का उपयोग करते हैं। DP को एक क्लब के सख्त बाउंसर (bouncer) के रूप में सोचें। किसी विशिष्ट वाक्य से सीखने से पहले, बाउंसर जाँच करता है: "क्या यह वाक्य बहुत संवेदनशील है?" यदि ऐसा है, तो बाउंसर उस सबक (ग्रेडिएंट) को सिकोड़ देता है ताकि रोबोट सटीक विवरणों को याद न रख सके, बल्कि केवल सामान्य विचार को समझ सके।

चुनौती:
हर एक वाक्य को व्यक्तिगत रूप से यह देखने के लिए जाँचना कि वह बहुत संवेदनशील है या नहीं, अविश्वसनीय रूप से महंगा है।

पुराना तरीका (Naive): कल्पना करें कि आप यह सुनिश्चित करने के लिए कि कोई भी कण बहुत भारी नहीं है, समुद्र तट की रेत के हर एक कण को व्यक्तिगत रूप से तौलने की कोशिश कर रहे हैं। आपको एक विशाल गोदाम (मेमोरी) और एक बड़ी टीम (कंप्यूट पावर) की आवश्यकता होगी जो केवल वजन करने के लिए काम करे। जैसे-जैसे समुद्र तट बड़ा होता जाता है (लंबा कॉन्टेक्स्ट) और कण अधिक जटिल होते जाते हैं (बड़े मॉडल्स), गोदाम तुरंत भर जाता है, और प्रक्रिया रुक जाती है।
वर्तमान सबसे अच्छा तरीका (Fast Gradient Clipping): वैज्ञानिकों ने रेत तौलने का एक तेज़ तरीका बनाया, लेकिन इसके लिए अभी भी एक ऐसे गोदाम की आवश्यकता होती है जो टेक्स्ट के आकार के साथ क्वाड्रेटिकली (quadratically) बढ़ता है। यदि आप टेक्स्ट की लंबाई को दोगुना करते हैं, तो आवश्यक मेमोरी चार गुना बढ़ जाती है। आधुनिक AI के लिए, जो 1,00,000 शब्दों की किताबें पढ़ सकता है, यह असंभव है।

समाधान: DP-SGD-RC (द "रैंडमाइज्ड एस्टिमेटर")

लेखक एक नई विधि प्रस्तावित करते हैं जिसे DP-SGD-RC (रैंडमाइज्ड क्लिपिंग) कहा जाता है। हर एक रेत के कण को पूरी तरह से तौलने के बजाय, वे एक छोटे से सैंपल के साथ कुल वजन का अनुमान (estimate) लगाने के लिए एक चतुर सांख्यिकीय ट्रिक का उपयोग करते हैं।

उपमा: "हचिनसन" (Hutchinson) गेसिंग गेम

कल्पना कीजिए कि आपके पास कंचों (डेटा) का एक विशाल, अपारदर्शी बैग है और आपको यह जानने की आवश्यकता है कि कुल वजन कितना है ताकि आप तय कर सकें कि आप इसे उठा सकते हैं या नहीं।

पुराना तरीका: आप पूरा बैग खाली कर देते हैं, हर कंचे को तौलते हैं, और उन्हें जोड़ देते हैं। (बहुत धीमा, बहुत अधिक स्पेस)।
नया तरीका (DP-SGD-RC): आप हाथ अंदर डालते हैं और कंचों की कुछ रैंडम मुट्ठियाँ बाहर निकालते हैं। आप उन मुट्ठियों को तौलते हैं और पूरे बैग के कुल वजन का अनुमान लगाने के लिए एक गणितीय सूत्र (जिसे Hutchinson's Estimator या Hutch++ कहा जाता है) का उपयोग करते हैं।

क्योंकि आप सब कुछ नहीं तौल रहे हैं, इसलिए आपको एक विशाल गोदाम की आवश्यकता नहीं है। आपको बस अपने सैंपल को रखने के लिए एक छोटी टोकरी की आवश्यकता है।

मेमोरी बचत: एक ऐसे गोदाम के बजाय जिसे $T^2$ (जहाँ $T$ टेक्स्ट की लंबाई है) की दर से बढ़ने की आवश्यकता है, आपका गोदाम केवल $T$ (लीनियर) की तरह बढ़ता है। यह एक गार्डेन शेड के लिए स्काईस्क्रेपर (गगनचुंबी इमारत) को बदलने जैसा है।
गति: आप कम गणनाएँ करते हैं, जिससे यह प्रक्रिया बहुत तेज़ हो जाती है।

यह कैसे काम करता है (द "स्केचिंग" ट्रिक)

यह पेपर स्टोकेस्टिक ट्रेस एस्टिमेशन (Stochastic Trace Estimation) नामक तकनीक का उपयोग करता है।

प्रोजेक्शन (The Projection): कल्पना कीजिए कि डेटा एक विशाल, जटिल पेंटिंग है। हर पिक्सेल को देखने के बजाय, यह विधि एक रैंडम "परछाई" (एक रैंडम मैट्रिक्स) का उपयोग करके पेंटिंग को एक छोटे, सरल कैनवास पर प्रोजेक्ट करती है।
अनुमान (The Estimate): यह मूल पेंटिंग के आकार का अनुमान लगाने के लिए "परछाई" को मापता है।
परिणाम (The Result): यह अनुमान बताने के लिए पर्याप्त अच्छा है कि डेटा को सिकोड़ने की आवश्यकता है या नहीं, बिना कभी भी पूर्ण, उच्च-रिज़ॉल्यूशन वाली छवि को देखे।

वे इस एस्टिमेटर के दो संस्करणों का उपयोग करते हैं:

Hutch: बुनियादी, तेज़ संस्करण।
Hutch++: थोड़ा अधिक जटिल संस्करण जो और भी अधिक सटीक है, विशेष रूप से जब डेटा बहुत शोर वाला (noisy) हो, हालांकि इसे कंप्यूट करने में थोड़ा अधिक समय लगता है।

परिणाम: क्या यह वास्तव में काम करता है?

लेखकों ने इसे तीन कठिन कार्यों में से एक बड़े भाषा मॉडल, Llama 3.2 1B पर टेस्ट किया:

वर्गीकरण (Classification): समाचार लेखों को छाँटना।
सारांश (Summarization): लंबे कानूनी बिलों को संक्षिप्त करना।
प्रश्न उत्तर (Question Answering): जटिल ट्रिविया के उत्तर देना।

निष्कर्ष:

प्राइवेसी: यह विधि पुराने, भारी तरीकों की तरह ही मजबूत प्राइवेसी गारंटी प्रदान करती है। "नॉइज़ मल्टीप्लायर" (यह मापने का तरीका कि कितना प्राइवेसी नॉइज़ जोड़ा गया है) मानक विधि के लगभग समान है।
प्रदर्शन (Performance): AI मॉडल ने बिल्कुल उतना ही अच्छा सीखा। कुछ मामलों में, यह थोड़ा कम सटीक था (1% से कम), लेकिन अन्य मामलों में, यह बिल्कुल समान था।
दक्षता (Efficiency):
- मेमोरी: उन्होंने पीक मेमोरी में 15% से 40% की बचत की। सबसे बड़े लेयर्स के लिए, मेमोरी की बचत बहुत अधिक थी।
- गति: उन्होंने सबसे बड़े लेयर्स के लिए कंप्यूटेशनल कार्य (FLOPs) को 98% तक कम कर दिया।
- समय: लेटेंसी (इंतज़ार का समय) के मामले में यह प्रक्रिया 3 गुना तक तेज़ थी।

प्राइवेसी का "एनवेलप" (The "Envelope" of Privacy)

इस पेपर का सबसे तकनीकी योगदान यह साबित करना है कि यह रैंडम गेसिंग सुरक्षित क्यों है।

आमतौर पर, प्राइवेसी मैथ यह मान लेता है कि आप डेटा का सटीक आकार जानते हैं। यहाँ, आकार एक रैंडम अनुमान है।
लेखकों ने एक नया गणितीय "एनवेलप" (सुरक्षा जाल) बनाया जो इस तथ्य को ध्यान में रखता है कि अनुमान थोड़ा गलत हो सकता है। उन्होंने साबित किया कि इस रैंडमनेस के बावजूद, प्राइवेसी सुरक्षा उतनी ही मजबूत बनी रहती है जितनी कि तब होती जब उन्होंने सब कुछ पूरी तरह से तौला होता।

सारांश

यह पेपर एक तरीका पेश करता है जिससे विशाल AI मॉडल्स को प्राइवेट डेटा पर प्रशिक्षित किया जा सके, जिसके लिए केवल प्राइवेसी नियमों की जाँच करने के लिए सुपरकंप्यूटर की आवश्यकता न हो। "सटीक तौलने" को "स्मार्ट सांख्यिकीय अनुमान" से बदलकर, उन्होंने प्राइवेसी-प्रिजर्विंग AI को तेज़, सस्ता और अधिक स्केलेबल बना दिया, जिससे आधुनिक AI अनुप्रयोगों के लिए आवश्यक विशाल टेक्स्ट लंबाई को संभालना संभव हो गया।

तकनीकी सारांश: रैंडमाइज्ड क्लिपिंग के साथ कुशल DP-SGD (LLMs के लिए)

समस्या विवरण

संवेदनशील जानकारी वाले विशाल डेटासेट पर लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करने के लिए कठोर गोपनीयता गारंटी की आवश्यकता होती है। डिफरेंशियल प्राइवेसी (DP), विशेष रूप से डिफरेंशियल प्राइवेट स्टोकेस्टिक ग्रेडिएंट डिसेंट (DP-SGD) के माध्यम से, इसके लिए मानक ढांचा है। हालांकि, अनुक्रमिक डेटा (जैसे टेक्स्ट) के लिए अत्याधुनिक (SOTA) DP-SGD कार्यान्वयन में एक महत्वपूर्ण बाधा प्रति-नमूना ग्रेडिएंट क्लिपिंग (per-sample gradient clipping) के लिए आवश्यक मेमोरी और कम्प्यूटेशनल ओवरहेड है।

मानक DP-SGD में, क्लिपिंग के लिए उनके नॉर्म्स (norms) की गणना करने हेतु प्रति-नमूना ग्रेडिएंट्स को स्थापित करना आवश्यक होता है। सहज (Naive) कार्यान्वयन $O(BLd^2)$ मेमोरी ओवरहेड (जहाँ $B$ बैच साइज है, $L$ लेयर्स है, $d$ चौड़ाई है) का सामना करते हैं। जबकि फास्ट ग्रेडिएंट क्लिपिंग (FGC) और घोस्ट क्लिपिंग (GC) जैसी तकनीकों ने लीनियर लेयर्स के लिए इसे $O(Bd^2)$ या $O(B)$ तक कम कर दिया, वे अभी भी अनुक्रमिक सेटिंग्स में संदर्भ लंबाई (context length) $T$ के संबंध में द्विघात (quadratic) मेमोरी जटिलता से ग्रस्त हैं, विशेष रूप से $O(B \min\{d^2, T^2\})$ । जैसे-जैसे फ्रंटियर LLMs का संदर्भ लंबाई $O(100K)$ तक बढ़ती है, यह द्विघात ओवरहेड अत्यधिक महंगा हो जाता है, जिससे बड़े पैमाने के, लंबे-संदर्भ वाले मॉडल्स के लिए DP-SGD का व्यावहारिक अनुप्रयोग सीमित हो जाता है।

कार्यप्रणाली: DP-SGD-RC

लेखक DP-SGD-RC (रैंडमाइज्ड क्लिपिंग के साथ DP-SGD) प्रस्तावित करते हैं, जो एक नया वेरिएंट है जो सटीक प्रति-नमूना ग्रेडिएंट नॉर्म अनुमान को स्टोकेस्टिक ट्रेस एस्टीमेशन (stochastic trace estimation) से बदल देता है।

मुख्य तंत्र

सटीक प्रति-नमूना ग्रेडिएंट्स को भौतिक रूप से बनाने या सटीक नॉर्म्स की गणना करने (जिसके लिए $O(T^2)$ या $O(d^2)$ स्पेस की आवश्यकता होती है) के बजाय, DP-SGD-RC वर्ग (squared norm) $\|A^\top G\|_F^2$ (जहाँ $A$ एक्टिवेशन है और $G$ ग्रेडिएंट है) का अनुमान लगाता है:
$\|A^\top G\|_F^2 = \text{trace}(G^\top A A^\top G) = \text{trace}(O)$
यह विधि मैट्रिक्स $O$ तक स्पष्ट पहुंच के बिना इस ट्रेस का अनुमान लगाने के लिए ऑफ-द-शेल्फ स्टोकेस्टिक ट्रेस एस्टिमेटर्स का लाभ उठाती है:

हचिनसन एस्टिमेटर (Hutch): यह $\sum P_i^\top O P_i$ के माध्यम से ट्रेस का अनुमान लगाने के लिए i.i.d. गौसियन एंट्रीज के साथ रैंडम प्रोजेक्शन $P \in \mathbb{R}^{p \times k}$ का उपयोग करता है। यह स्पेस कॉम्प्लेक्सिटी को $O(k(p + T + d))$ तक कम कर देता है।
Hutch++: एक बेहतर एस्टिमेटर जो आइजन-स्पेक्ट्रम (eigen-spectrum) के "हेड" के लिए लो-रैंक सन्निकटन (QR डिकंपोजिशन के माध्यम से) और "टेल" के लिए हचिनसन एस्टिमेटर को जोड़ता है, जो $O(k^2 + k(T + d + p))$ स्पेस के साथ बेहतर सटीकता प्रदान करता है।

एल्गोरिदम प्रवाह

प्रस्तावित एल्गोरिदम (एल्गोरिदम 1) मानक DP-SGD लूप को संशोधित करता है:

फॉरवर्ड पास: एक्टिवेशन्स की गणना करें।
बैकवर्ड पास 1: प्रति-नमूना आउटपुट ग्रेडिएंट्स की गणना करें।
नॉर्म एस्टीमेशन: सटीक नॉर्म्स की गणना करने के बजाय, नॉर्म-एस्टीमेशन-रूटीन (एल्गोरिदम 2) प्रत्येक बैच के नमूने के लिए वर्ग (squared norm) का अनुमान लगाने के लिए Hutch या Hutch++ लागू करता है।
क्लिपिंग: लॉस को इन अनुमानित नॉर्म्स के आधार पर रीस्केल किया जाता है ( $\min(C/\hat{n}_i, 1)$ )।
बैकवर्ड पास 2: रीस्केल किए गए लॉस पर ग्रेडिएंट्स की गणना करें, कैलिब्रेटेड गौसियन नॉइज़ जोड़ें, और पैरामीटर्स को अपडेट करें।

मुख्य योगदान

1. जटिलता में कमी (Complexity Reduction)

DP-SGD-RC अनुक्रमिक डेटा पर DP-SGD के लिए मेमोरी और कंप्यूट स्केलिंग को मौलिक रूप से बदल देता है।

मेमोरी: ओवरहेड को द्विघात $O(B \min\{d^2, T^2\})$ से घटाकर रैखिक $O(BkT + kp) $में बदल देता है, जहाँ$ k $एक छोटा प्रोजेक्शन डायमेंशन (जैसे,$ k \approx 32 $) है। यह बड़े$ T$ के लिए नॉन-प्राइवेट ट्रेनिंग की तुलना में एसिम्प्टोटिक ओवरहेड को समाप्त करता है।
कंप्यूट: फ्लोटिंग पॉइंट ऑपरेशंस (FLOPs) को काफी कम करता है। $(p, d)$ आकार की एक लीनियर लेयर के लिए, FGC को $O(BTpd)$ और GC को $O(BT^2(p+d))$ की आवश्यकता होती है। DP-SGD-RC $O(BTk(p+d)) $प्राप्त करता है।$ k \ll \min(T, d) $होने के कारण, यह पर्याप्त गति प्रदान करता है (जैसे,$ T=4096, k=32$ के लिए GC की तुलना में $128\times$ FLOPs की कमी)।

2. कठोर गोपनीयता विश्लेषण (Rigorous Privacy Analysis)

लेखक रैंडमाइज्ड क्लिपिंग तंत्र के लिए एक सटीक गोपनीयता विश्लेषण प्रदान करते हैं।

चुनौती: नियत (deterministic) क्लिपिंग के विपरीत जहाँ नॉइज़ स्केल निश्चित होता है, रैंडमाइज्ड क्लिपिंग नॉर्म एस्टीमेशन एरर के कारण प्रेरित एक रैंडम स्केल पेश करती है।
समाधान: विश्लेषण समस्या को ची-स्क्वायर (chi-squared) रैंडम वेरिएबल्स के एक कॉनवेक्स कॉम्बिनेशन के एनवेलप CDF (Cumulative Distribution Function) की गणना के रूप में फ्रेम करता है। स्टोकेस्टिक ऑर्डर्स और मेजराइजेशन थ्योरी के उपकरणों का उपयोग करते हुए, लेखक सिंगल स्टेप के लिए ट्रेड-ऑफ फंक्शन ( $f$ -DP) व्युत्पन्न करते हैं।
परिणाम: वे प्रदर्शित करते हैं कि विशिष्ट $(\epsilon, \delta)$ गारंटी प्राप्त करने के लिए आवश्यक नॉइज़ मल्टीप्लायर्स, विशेष रूप से जब हिडन डायमेंशन $d$ बड़ा होता है, नियत क्लिपिंग के प्रतिस्पर्धी हैं।

3. कुशल गोपनीयता अकाउंटिंग (Efficient Privacy Accounting)

यह पेपर प्राइवेसी लॉस रैंडम वेरिएबल (PRV) फ्रेमवर्क पर आधारित एक कुशल अकाउंटिंग एल्गोरिदम पेश करता है। यह कई एपोक्स (epochs) में कंपोज्ड प्राइवेसी लॉस की गणना करने के लिए नॉर्म एस्टीमेशन एरर के एनवेलप CDF को शामिल करता है, जो वर्स्ट-केस बाउंड्स के बजाय संख्यात्मक एकीकरण (Riemann-Stieltjes निर्माण) के माध्यम से क्लिपिंग स्केल की रैंडमनेस को संभालता है।

अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने Llama 3.2 1B को लंबे संदर्भ बेंचमार्क (BBC पर क्लासिफिकेशन, BillSum पर समराइजेशन, HotpotQA पर QA) पर संदर्भ लंबाई $\ge 4096$ के साथ फाइन-ट्यून करके DP-SGD-RC का मूल्यांकन किया।

उपयोगिता (Utility): DP-SGD-RC न्यूनतम उपयोगिता हानि के साथ DP-SGD बेसलाइन (FGC) के प्रदर्शन से मेल खाता है।
- BBC (क्लासिफिकेशन) पर, सटीकता में गिरावट DP-SGD के सापेक्ष अधिकतम 0.7% थी।
- BillSum और HotpotQA पर, ROUGE-1 और Exact Match मेट्रिक्स क्रमशः नगण्य कमी (0.019 और 0.04%) दिखाते हैं।
- Hutch++ का उपयोग करने से कम- $\epsilon$ रेजीम (जैसे, BBC पर $\epsilon=0.7$ पर 3% सटीकता सुधार) में Hutch की तुलना में उपयोगिता में सुधार की क्षमता दिखाई दी, जिसका श्रेय एस्टिमेटर के रेगुलाइजेशन प्रभाव को दिया गया है।
दक्षता (Efficiency):
- मेमोरी: फुल फाइन-ट्यूनिंग के लिए पीक मेमोरी में 15–40% की कमी हासिल की। इनपुट एक्टिवेशन्स को छोड़कर, नॉर्म एस्टीमेशन के लिए आवश्यक मेमोरी में कमी 99% तक थी।
- कंप्यूट: सबसे बड़े लीनियर लेयर्स के लिए 2 $\times$ कंप्यूट बचत प्राप्त की।
- लेटेंसी: बड़े लेयर्स के लिए Hutch एस्टीमेशन, Hutch++ की तुलना में लगभग 3 $\times$ तेज़ था, हालांकि Hutch++ ने कम-प्राइवेसी रेजीम में बेहतर उपयोगिता दिखाई।

महत्व और दावे

यह पेपर दावा करता है कि DP-SGD-RC लंबे संदर्भ विंडो वाले LLMs के व्यावहारिक प्रशिक्षण को सक्षम बनाता है, एक ऐसी सेटिंग जो पहले अत्यधिक मेमोरी लागत के कारण बाधित थी। प्रति-नमूना नॉर्म एस्टीमेशन को स्टोकेस्टिक ट्रेस एस्टीमेशन समस्या के रूप में फ्रेम करके, यह विधि बिना किसी अतिरिक्त एसिम्प्टोटिक मेमोरी ओवरहेड के नॉन-प्राइवेट ट्रेनिंग के बराबर दक्षता प्राप्त करती है और प्रतिस्पर्धी उपयोगिता बनाए रखती है।

लेखक इस कार्य को स्केलेबल प्राइवेट डीप लर्निंग की दिशा में एक कदम के रूप में देखते हैं, यह नोट करते हुए कि यह विधि विशेष रूप से तब प्रभावी है जब संदर्भ लंबाई $T$ लीनियर लेयर डायमेंशन से अधिक होती है। वे स्वीकार करते हैं कि वर्तमान Hutch++ के लिए गोपनीयता विश्लेषण सुगमता के लिए एक मजबूत एडवरसरी (adversary) मान लेता है, लेकिन अनुभवजन्य परिणाम बताते हैं कि यह विधि व्यावहारिक सेटिंग्स के लिए मजबूत और कुशल है। भविष्य के कार्य के रूप में Hutch++ के लिए गोपनीयता विश्लेषण को और कड़ा करने और ओवरहेड को और कम करने के लिए वैकल्पिक स्केचिंग विधियों (जैसे, $\{\pm 1\}$ -वैल्यूड मैट्रिसेस) का पता लगाने का सुझाव दिया गया है।