🤖 machine learning

DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum

यह शोध पत्र DP-Muon प्रस्तुत करता है, जो एक डिफरेंशियल प्राइवेट ऑप्टिमाइज़र है जो मैट्रिक्स-वैल्यूड मोमेंटम और न्यूटन-शुल्ज़ ऑर्थोगोनालाइज़ेशन को कठोर गोपनीयता गारंटी के साथ एकीकृत करता है, और एक बायस-करेक्टेड वेरिएंट (DP-MuocBC) प्रस्तावित करता है जो गोपनीयता बजट बढ़ाए बिना प्राइवेट फाइन-ट्यूनिंग में उपयोगिता (utility) में महत्वपूर्ण सुधार करता है।

मूल लेखक: Jihwan Kim, Chenglin Fan

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jihwan Kim, Chenglin Fan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को संवेदनशील व्यक्तिगत डायरियों के आधार पर कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि रोबोट किसी भी एक डायरी के विशिष्ट रहस्यों को याद किए बिना या उन्हें प्रकट किए बिना लिखने की शैली सीख जाए। यही डिफरेंशियल प्राइवेसी (DP) की चुनौती है: गोपनीयता बनाए रखते हुए मॉडल को सिखाना।

यह शोध पत्र इस सिखाने के तरीके का एक नया, स्मार्ट तरीका पेश करता है, जिसे DP-Muon कहा जाता है, और इसका एक और भी बेहतर संस्करण, DP-MuonBC। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है।

1. समस्या: "शोर भरा क्लासरूम" (The Noisy Classroom)

गोपनीयता के साथ AI को सिखाने के मानक तरीके (जैसे DP-SGD) एक शोर भरे क्लासरूम की तरह काम करते हैं।

शिक्षक: AI मॉडल।
छात्र: डेटा (डायरियाँ)।
पाठ: शिक्षक सुधार करने के लिए हर छात्र से एक संकेत (ग्रेडिएंट) मांगता है।
प्राइवेसी ट्रिक: गोपनीयता की रक्षा के लिए, शिक्षक संकेतों को 'क्लिप' (clip) करते हैं ताकि कोई भी छात्र बहुत ज़ोर से न चिल्ला सके, और फिर कमरे में 'गॉसियन नॉइज़' (Gaussian noise) यानी स्टैटिक शोर जोड़ देते हैं ताकि कोई यह न जान सके कि किसी एक छात्र ने वास्तव में क्या कहा था।

हालाँकि, मानक तरीके AI के "मस्तिष्क" को संख्याओं की एक लंबी सूची (एक वेक्टर) की तरह मानते हैं। यह शोध पत्र तर्क देता है कि आधुनिक AI की छिपी हुई परतों (hidden layers) के लिए, मस्तिष्क वास्तव में संख्याओं का एक ग्रिड (मैट्रिक्स) है। एक ग्रिड को एक साधारण सूची की तरह मानना अक्षम और भ्रामक है।

2. समाधान: "Muon" ऑप्टिमाइज़र

यह शोध पत्र Muon नामक एक मौजूदा टूल का उपयोग करता है।

उपमा: कल्पना कीजिए कि AI एक हाइकर (पर्वतारोही) है जो घाटी के निचले हिस्से तक पहुँचने की कोशिश कर रहा है।
- मानक ऑप्टिमाइज़र्स उन हाइकर की तरह हैं जो केवल अपने पैरों के ठीक नीचे के ढलान को देखते हैं।
- Muon एक ऐसे हाइकर की तरह है जिसके पास कम्पास और एक नक्शा है। यह "मोमेंटम" (वह दिशा जिसमें वह पहले से ही बढ़ रहा था) को देखता है और फिर एक विशेष ज्यामितीय ट्रिक (जिसे न्यूटन-शुलज़ ऑर्थोगोनलाइज़ेशन कहा जाता है) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि वह सबसे कुशल, सीधी रेखा में आगे बढ़ रहा है, और स्थानीय लूपों में नहीं फंस रहा है।
नवाचार: यह शोध पत्र यह पता लगाता है कि इस विशिष्ट Muon प्रक्रिया में "प्राइवेसी नॉइज़" को गणित को तोड़े बिना कैसे जोड़ा जाए।

3. बड़ी खोज: प्राइवेसी मुफ्त है (लगभग)

लेखक चिंतित थे कि प्राइवेसी नॉइज़ जोड़ने के बाद जटिल "कम्पास और नक्शा" वाले चरणों (मोमेंटम और ऑर्थोगोनलाइज़ेशन) को जोड़ने से अनजाने में अधिक रहस्य लीक हो सकते हैं।

निष्कर्ष: उन्होंने गणितीय रूप से सिद्ध किया कि ये अतिरिक्त चरण केवल पोस्ट-प्रोसेसिंग (post-processing) हैं।
रूपक: कल्पना कीजिए कि आपने भीड़ की एक फोटो ली, चेहरों को छिपाने के लिए उन्हें धुंधला (blur) किया, और फिर आकाश पर ध्यान केंद्रित करने के लिए फोटो को क्रॉप कर दिया। फोटो को क्रॉप करने से वे चेहरे उजागर नहीं होते जिन्हें आपने पहले ही धुंधला कर दिया था। इसी तरह, Muon द्वारा नॉइज़ जोड़ने के बाद की जाने वाली जटिल गणितीय प्रक्रिया से कोई अतिरिक्त गोपनीयता खर्च नहीं होती है। गोपनीयता की गारंटी पूरी तरह से प्रारंभिक "धुंधला करने" (blurring) वाले चरण द्वारा निर्धारित होती है।

4. छिपी हुई खामी: "हीट स्मूथिंग" बायस (The "Heat Smoothing" Bias)

जबकि गोपनीयता सुरक्षित है, लेखकों ने सीखने की गुणवत्ता में एक सूक्ष्म समस्या पाई।

उपमा: कल्पना कीजिए कि आप एक मूर्ति के आकार का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आप इसे एक मोटी, गर्म धुंध (प्राइवेसी नॉइज़) के माध्यम से देख रहे हैं।
- ऑप्टिमाइज़र का मोमेंटम वाला हिस्सा एक सीधी रेखा की तरह है; धुंध बस रेखा को थोड़ा डगमगा देती है, लेकिन वह सीधी रहती है।
- न्यूटन-शुलज़ वाला हिस्सा (ज्यामितीय ट्रिक) एक घुमावदार दर्पण की तरह है। जब आप धुंध के माध्यम से एक घुमावदार दर्पण में देखते हैं, तो प्रतिबिंब केवल डगमगाता नहीं है; वह विकृत (distorted) और स्मूथ (smoothed out) हो जाता है। धुंध तीखे किनारों को वास्तविक आकार से अधिक गोल दिखाती है।
परिणाम: यह "स्मूथिंग" एक बायस (bias) पैदा करती है। AI सोचता है कि मूर्ति वास्तविक आकार से अधिक गोल है, इसलिए वह गलत आकार सीख लेता है। ऐसा विशेष रूप से इसलिए होता है क्योंकि प्राइवेसी नॉइज़, Muon ऑप्टिमाइज़र की नॉन-लीनियर गणित के साथ परस्पर क्रिया (interact) करती है।

5. समाधान: DP-MuonBC (द "डी-फॉगर")

इसे ठीक करने के लिए, लेखकों ने DP-MuonBC (बायस-करेक्टेड) बनाया।

उपमा: धुंधले दर्पण को ठीक करने के लिए, AI केवल एक बार नहीं देखता है। यह एक चतुर ट्रिक अपनाता है:
1. यह धुंध के माध्यम से मूर्ति को देखता है (मानक नॉइज़ी स्टेप)।
2. फिर यह कल्पना करता है कि वह मूर्ति को दोगुनी धुंध (एक छोटा, रैंडम, नकली "प्रोब" नॉइज़ जोड़कर) के माध्यम से देख रहा है।
3. यह दोनों दृश्यों की तुलना करता है। "दोगुनी धुंध" के प्रभाव को "एकल धुंध" के प्रभाव से गणितीय रूप से घटाकर, यह विकृति (distortion) को रद्द कर सकता है और वास्तविक, स्पष्ट आकार को वापस पा सकता है।
परिणाम: यह सुधार प्राइवेसी प्रोटेक्शन में बिना किसी अतिरिक्त खर्च के, उस विकृति को हटा देता है और वास्तविक आकार को पुनः प्राप्त कर लेता है। यह उसी प्राइवेसी बजट के लिए बेहतर परिणाम देता है।

6. परिणाम: बेहतर कहानियाँ, वही प्राइवेसी

टीम ने दो वास्तविक दुनिया के कार्यों (E2E और DART) पर परीक्षण किया, जिनमें संरचित डेटा को प्राकृतिक भाषा की कहानियों में बदलना शामिल है।

निष्कर्ष:
- DP-Muon (मानक संस्करण) पहले से ही पुराने मानक तरीकों (DP-SGD और DP-Adam) की तुलना में कहानियाँ लिखने में बहुत बेहतर था।
- DP-MuonBC (बायस-करेक्टेड संस्करण) ने और भी बेहतर कहानियाँ लिखीं, जो अधिक स्पष्ट और सटीक भाषा वाली थीं।
ध्यान देने योग्य बात: उन्होंने यह सुधार बिना किसी अतिरिक्त "प्राइवेसी बजट" खर्च किए हासिल किया। उन्होंने गणित को ठीक करके मुफ्त में अधिक उपयोगिता (utility) प्राप्त की।

सारांश

यह शोध पत्र एक शक्तिशाली, मैट्रिक्स-आधारित ऑप्टिमाइज़र (Muon) को लेता है, उसे गोपनीयता सुरक्षा में लपेटता है, और सिद्ध करता है कि यह सुरक्षा गोपनीयता लीक नहीं करती है। फिर, यह नोटिस करता है कि यह सुरक्षा प्रक्रिया सीखने की प्रक्रिया में एक मामूली विकृति (बायस) पैदा करती है, और एक गणितीय "इरेज़र" (DP-MuonBC) का आविष्कार करता है जो इस विकृति को हटा देता है, जिसके परिणामस्वरूप एक स्मार्टर, अधिक निजी AI मिलता है जो तेज़ी से और बेहतर सीखता है।

तकनीकी सारांश: DP-Muon

समस्या विवरण (Problem Statement)

डिफरेंशियल प्राइवेसी (DP) संवेदनशील डेटा पर मॉडल को प्रशिक्षित करने के लिए एक मानक ढांचा है, जिसमें DP-SGD एक प्रमुख आधार रेखा (baseline) के रूप में कार्य करता है। हालाँकि, प्रति-उदाहरण ग्रेडिएंट क्लिपिंग (per-example gradient clipping), गॉसियन शोर इंजेक्शन (Gaussian noise injection), मोमेंटम (momentum), और मैट्रिक्स-मान वाले ऑप्टिमाइज़र में नॉनलीनियर ऑर्थोगोनलाइजेशन (nonlinear orthogonalization) के बीच की अंतःक्रिया का व्यवस्थित रूप से विश्लेषण नहीं किया गया है। विशेष रूप से, Muon, जो एक हालिया ऑप्टिमाइज़र है जो मोमेंटम के बाद न्यूटन-शुल्ज़ ऑर्थोगोनलाइजेशन (Newton–Schulz orthogonalization) का उपयोग करके हिडन-लेयर वेट्स को अपडेट करता है, एक औपचारिक प्राइवेसी विश्लेषण की कमी रखता है। यह स्पष्ट नहीं है कि नॉनलीनियर न्यूटन-शुल्ज़ मैप, प्राइवेसी नॉइज़ के साथ कैसे अंतःक्रिया करता है और क्या मानक DP-SGD अकाउंटिंग टेम्प्लेट ऐसे मैट्रिक्स-मान वाले अपडेट्स पर लागू होते हैं। इसके अलावा, मौजूदा प्राइवेट ऑप्टिमाइज़र अक्सर बायस (bias) की समस्याओं से ग्रस्त होते हैं (जैसे, DP-Adam बिना स्पष्ट सुधार के प्राइवेसी नॉइज़ पेश किए जाने पर एक रीस्केल्ड DP-SGD रूप में ढह जाता है)।

कार्यप्रणाली (Methodology)

यह शोध पत्र DP-Muon को प्रस्तुत करता है, जो Muon ऑप्टिमाइज़र का एक डिफरेंशियल प्राइवेट संस्करण है। मुख्य प्रक्रिया में शामिल है:

प्रति-मैट्रिक्स क्लिपिंग (Per-Matrix Clipping): प्रत्येक हिडन-लेयर मैट्रिक्स ब्लॉक $W$ के लिए, प्रति-उदाहरण ग्रेडिएंट्स को एक फ्रोबेनियस नॉर्म थ्रेशोल्ड $C_W$ तक क्लिप किया जाता है।
संयुक्त रिलीज (Joint Release): क्लिप किए गए ग्रेडिएंट्स को सैंपल किए गए मिनीबैच (lot) पर औसत निकाला जाता है, और इस औसत में गॉसियन शोर जोड़ा जाता है। महत्वपूर्ण रूप से, शोर को लॉट के सभी मैट्रिक्स ब्लॉक्स के संयुक्त रिलीज की संवेदनशीलता (sensitivity) के अनुसार कैलिब्रेट किया जाता है, न कि ब्लॉक्स को स्वतंत्र रूप से सब-सैंपल किए गए मैकेनिज्म के रूप में मानकर।
पोस्ट-प्रोसेसिंग (Post-Processing): नॉइजी औसत (noisy average) मोमेंटम संचय और एक फिक्स्ड-स्टेप न्यूटन-शुल्ज़ इटरेशन से गुजरता है ताकि अपडेट दिशा उत्पन्न की जा सके। इन चरणों को पोस्ट-प्रोसेसिंग माना जाता है, जिसका अर्थ है कि वे अतिरिक्त प्राइवेसी लागत वहन नहीं करते हैं।

नॉइजी इनपुट पर नॉनलीनियर न्यूटन-शुल्ज़ मैप द्वारा उत्पन्न होने वाले बायस को संबोधित करने के लिए, लेखक DP-MuonBC प्रस्तावित करते हैं। यह वेरिएंट एक बायस-करेक्टिंग पोस्ट-प्रोसेसिंग स्टेप लागू करता है। "फ्रोजन क्लिप्ड-पाथ" (frozen clipped-path) मॉडल का विश्लेषण करके, लेखक पहचानते हैं कि प्राइवेसी नॉइज़ न्यूटन-शुल्ज़ मैप के आउटपुट पर एक "हीट-स्मूथिंग" (heat-smoothing) बायस प्रेरित करता है (एक मैट्रिक्स-मान वाला कर्वेचर टर्म)। DP-MuonBC एक एंटीथेटिक प्रोब एवरेज (antithetic probe average) का उपयोग करके अग्रणी $O(\rho^2)$ बायस टर्म को रद्द करता है: यह नॉइजी मोमेंटम प्लस और माइनस स्वतंत्र गॉसियन प्रोब्स के साथ न्यूटन-शुल्ज़ मैप का मूल्यांकन करता है, और फिर अन-स्मूथ दिशा की ओर एक्सट्रपलेशन करता है।

मुख्य योगदान (Key Contributions)

1. प्राइवेसी गारंटी (Privacy Guarantees)

यह शोध पत्र सिद्ध करता है कि DP-Muon संगत सेम-लॉट सबसैम्प्ल्ड गॉसियन अकाउंटेंट (same-lot subsampled Gaussian accountant) की प्राइवेसी गारंटी विरासत में प्राप्त करता है।

संयुक्त अकाउंटिंग (Joint Accounting): प्राइवेसी विश्लेषण एक ही स्टेप में रिलीज किए गए सभी मैट्रिक्स ब्लॉक्स के संयुक्त उत्पाद गॉसियन मैकेनिज्म को ध्यान में रखता है, न कि स्वतंत्र प्राइवेसी लागतों को जोड़ता है।
पोस्ट-प्रोसेसिंग इनवेरिएंस (Post-Processing Invariance): यह सिद्ध किया गया है कि मोमेंटम अपडेट और न्यूटन-शुल्ज़ ऑर्थोगोनलाइजेशन डिफरेंशियल प्राइवेट पोस्ट-प्रोसेसिंग ऑपरेशन हैं, जो नॉइज़-ऐडेड ग्रेडिएंट रिलीज में कोई अतिरिक्त प्राइवेसी लागत नहीं जोड़ते हैं।

2. ऑप्टिमाइज़ेशन थ्योरी (Optimization Theory)

लेखक प्रति-मैट्रिक्स क्लिपिंग के तहत DP-Muon के लिए एक फिक्स्ड-होराइजन स्टेशनैरिटी बाउंड (stationarity bound) स्थापित करते हैं। यह बाउंड चार अलग-अलग त्रुटि स्रोतों को अलग करता है:

ऑप्टिमाइज़ेशन एरर (Optimization Error): लर्निंग रेट और होराइजन से संबंधित मानक शब्द।
क्लिपिंग रेसिडुअल (Clipping Residual): क्लिपिंग ग्रेडिएंट्स द्वारा पेश किया गया बायस (जिसे $B_T(C)$ द्वारा कैप्चर किया गया है)।
प्राइवेसी नॉइज़ (Privacy Noise): मिनीबैच सैंपलिंग और गॉसियन नॉइज़ से स्टोकैस्टिक एरर, जो मोमेंटम एवरेजिंग द्वारा स्केल किया गया है।
न्यूटन-शुल्ज़ एप्रोक्सिमेशन एरर (Newton–Schulz Approximation Error): सटीक SVD/पोलर फैक्टर के बजाय सीमित संख्या में इटरेशन ( $q$ ) का उपयोग करने से होने वाली त्रुटि, जिसे क्वालिटी फैक्टर $\chi_q$ द्वारा कैप्चर किया गया है।

ग्रेडिएंट नॉर्म्स पर एक लाइट-टेल कंडीशन के तहत, शोध पत्र दिखाता है कि उपयुक्त लर्निंग रेट, मोमेंटम और क्लिपिंग थ्रेशोल्ड के साथ औसत स्टेशनैरिटी मेजर $O(T^{-1/4}\sqrt{\log T})$ के रूप में लुप्त हो जाता है।

3. बायस करेक्शन (DP-MuonBC)

शोध पत्र पहचानता है कि DP-Muon में प्राथमिक बायस लीनियर मोमेंटम बफर में नहीं, बल्कि नॉनलीनियर न्यूटन-शुल्ज़ मैप के बाद आता है, जहाँ गॉसियन नॉइज़ एक हीट-स्मूथिंग प्रभाव उत्पन्न करता है।

मैकेनिज्म: DP-MuonBC अग्रणी सेकंड-ऑर्डर हीट-स्मूथिंग बायस टर्म का अनुमान लगाने और उसे घटाने के लिए एंटीथेटिक गॉसियन प्रोब्स का उपयोग करता है।
प्राइवेसी: चूंकि सुधार केवल पहले से ही प्राइवेटीकृत (privatized) ग्रेडिएंट्स पर लागू किए गए डेटा-स्वतंत्र प्रोब्स का उपयोग करता है, इसलिए DP-MuonBC ठीक उसी $(\epsilon, \delta)$ -DP गारंटी को संतुष्ट करता है जो DP-Muon की है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो टेबल-टू-टेक्स्ट जनरेशन बेंचमार्क, E2E और DART पर, $\epsilon \approx 8$ के लक्षित प्राइवेसी बजट के तहत एक GPT-2 मॉडल को फाइन-ट्यून करते हुए विधियों का मूल्यांकन किया।

Muon बनाम बेसलाइन्स: DP-Muon ने DP-SGD और DP-Adam दोनों को काफी बेहतर प्रदर्शन किया। E2E पर, DP-Muon ने इवैल्यूएशन नेगेटिव लॉग-लाइक्लीहुड (NLL) को 0.4961 (DP-Adam) से सुधारकर 0.4553 कर दिया और BLEU को 18.49 से बढ़ाकर 32.91 कर दिया।
बायस करेक्शन का प्रभाव: DP-MuonBC ने प्राइवेसी बजट बढ़ाए बिना DP-Muon बेसलाइन में और सुधार किया। E2E पर, इसने सर्वश्रेष्ठ NLL (0.4490) और BLEU (34.92) प्राप्त किया। DART पर, DP-MuonBC ने तीनों मेट्रिक्स (NLL: 0.4460, BLEU: 7.50, ROUGE-L: 34.42) में सर्वश्रेष्ठ परिणाम प्राप्त किए।
ट्रेनिंग डायनेमिक्स: Muon-आधारित विधियों ने प्रशिक्षण के दौरान लगातार DP-SGD और DP-Adam की तुलना में कम NLL तक पहुँच बनाई, जिसमें DP-MuonBC ने अनुकूलन (optimization) के बाद के चरणों में विशेष लाभ दिखाया।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि Muon-शैली के मैट्रिक्स अपडेट प्राइवेसी-प्रिजर्विंग फाइन-ट्यूनिंग के लिए प्रभावी हैं, जो पारंपरिक वेक्टर-आधारित ऑप्टिमाइज़र के लिए एक आशाजनक विकल्प प्रदान करते हैं। यह कार्य मैट्रिक्स ऑर्थोगोनलाइजेशन और डिफरेंशियल प्राइवेसी के बीच की अंतःक्रिया का पहला व्यवस्थित विश्लेषण प्रदान करता है।

DP-MuonBC का महत्व इसकी क्षमता में निहित है कि यह प्राइवेसी बजट को बिल्कुल समान रखते हुए, नॉनलीनियर ऑर्थोगोनलाइजेशन स्टेप द्वारा प्रेरित विशिष्ट बायस को ठीक करके उपयोगिता (utility) में सुधार करता है। लेखक इसे प्राइवेसी गारंटी से समझौता किए बिना उन्नत ऑप्टिमाइज़र संरचनाओं (जैसे मैट्रिक्स-मान वाले अपडेट) का लाभ उठाने के तरीके के रूप में देखते हैं।

शोध पत्र यह नोट करते हुए समाप्त होता है कि सिद्धांत को पूरी तरह से एडेप्टिव मल्टी-ब्लॉक ट्रेजेक्टरीज तक विस्तारित करना और बड़े मॉडलों का मूल्यांकन करना स्वाभाविक भविष्य की दिशाएं हैं।