🤖 machine learning

Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States

यह शोध पत्र एक हाइब्रिड नॉइज़ मैकेनिज्म और एक नवीन कपलिंग विश्लेषण पेश करके ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन के लिए पहला कन्वर्जेंट डिफरेंशियल प्राइवेट बाउंड प्रस्तुत करता है जो एनिसोट्रोपिक अपडेट्स के कारण मानक शिफ्टेड डाइवर्जेंस फ्रेमवर्क की सीमाओं को दूर करता है।

मूल लेखक: Eli Chien, Wei-Ning Chen, Pan Li

प्रकाशित 2026-05-04

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eli Chien, Wei-Ning Chen, Pan Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: निशान मिटाते हुए एक विशाल पहेली को सुलझाना

कल्पना कीजिए कि आपके पास एक विशाल, जटिल पहेली (एक बहुत बड़ा AI मॉडल) है जिसे आपको हल करना है। आप इसे ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन (Zeroth-Order Optimization) नामक एक विशिष्ट विधि का उपयोग करके हल करना चाहते हैं।

समस्या:
आमतौर पर, किसी पहेली को हल करने के लिए, आप टुकड़ों को देखते हैं और यह पता लगाते हैं कि उन्हें किस दिशा में ले जाना है (ग्रेडिएंट्स)। लेकिन "ज़ीरोथ-ऑर्डर" में, आपको टुकड़ों को सीधे देखने की अनुमति नहीं है। इसके बजाय, आपको एक चाल का अनुमान लगाना होगा, देखना होगा कि तस्वीर कैसी दिखती है, एक अलग चाल का अनुमान लगाना होगा, देखना होगा कि वह कैसी दिखती है, और फिर अपने अनुमानों का औसत निकालकर सबसे अच्छी दिशा का पता लगाना होगा। यह एक अंधेरी भूलभुलैया से बाहर निकलने का रास्ता खोजने जैसा है जहाँ आप नक्शा देखने के बजाय दीवारों से टकराकर और गूँज सुनकर रास्ता खोज रहे हैं।

गोपनीयता की चुनौती (The Privacy Challenge):
आप इस पहेली को कई लोगों के डेटा का उपयोग करके हल करना चाहते हैं, लेकिन आपको उनकी गोपनीयता (डिफरेंशियल प्राइवेसी) की रक्षा करनी होगी। ऐसा करने के लिए, आपको आमतौर पर अपने अनुमानों में "शोर" (noise/static) जोड़ना पड़ता है ताकि कोई यह न जान सके कि क्या किसी विशिष्ट व्यक्ति के डेटा का उपयोग किया गया था।

पुराना तरीका (द "कंपोजिशन" ट्रैप):
पिछले तरीकों ने पहेली सुलझाने की प्रक्रिया के हर एक कदम को एक अलग घटना के रूप में माना। उन्होंने सोचा, "यदि मैं चरण 1 में शोर जोड़ता हूँ, चरण 2 में, चरण 3 में... और इसी तरह, तो कुल गोपनीयता लागत जुड़ती जाएगी।" यदि आप 1,000 कदम उठाते हैं, तो गोपनीयता की लागत बहुत बड़ी हो जाती है, और अंततः आपको रुकना पड़ता है क्योंकि आपने अपना सारा "प्राइवेसी बजट" खर्च कर दिया है। यह हर एक मील गाड़ी चलाने के लिए टोल देने जैसा है; अंततः आप यात्रा पूरी करने के लिए भुगतान नहीं कर पाएंगे।

पेपर का क्रांतिकारी विचार:
यह पेपर कहता है: "रुकिए! हमें हर कदम के लिए टोल देने की आवश्यकता नहीं है यदि हम बीच के चरणों को छिपा कर रखते हैं।"

उन्होंने प्राइवेसी एम्प्लीफिकेशन बाय इटरेशन (PABI) नामक एक अवधारणा पेश की है। इसे इस प्रकार समझें:

पुराना तरीका: आप हर 10 फीट पर सबको अपनी लोकेशन बताते हैं। वे आपके सटीक रास्ते का पता लगा सकते हैं।
नया तरीका: आप केवल सबको यह बताते हैं कि आप कहाँ से शुरू हुए थे और कहाँ समाप्त हुए। आप बीच के रास्ते को गुप्त रखते हैं। क्योंकि रास्ता छिपा हुआ है, इसलिए शुरुआत में आपने जो "शोर" जोड़ा था, वह अंत तक पहुँचते-पहुँचते आपकी पहचान की रक्षा करने में बहुत बेहतर काम करता है। गोपनीयता की लागत बढ़ती नहीं है बल्कि वास्तव में स्थिर (level off) हो जाती है।

वे बाधाएं जिन्हें उन्होंने पार किया

लेखकों को इस "छिपे हुए रास्ते" के विचार को ज़ीरोथ-ऑर्डर विधियों पर लागू करने के लिए दो मुख्य समस्याओं का सामना करना पड़ा:

1. "एनिसोट्रोपिक" शोर की समस्या (The One-Way Static)
मानक विधियों में, आप सभी दिशाओं में शोर जोड़ते हैं (जैसे टीवी स्क्रीन पर हर जगह दिखने वाला स्टैटिक)। ज़ीरोथ-ऑर्डर में, आप केवल उस विशिष्ट दिशा में शोर जोड़ते हैं जिसका आपने अनुमान लगाया है (जैसे केवल एक रेखा पर दिखने वाला स्टैटिक)।

समस्या: मानक विधियों के लिए गोपनीयता सिद्ध करने वाले गणितीय उपकरण "सभी-दिशाओं वाले" शोर के लिए काम करते हैं, लेकिन "एक-दिशा वाले" शोर के लिए काम नहीं करते। यह एक गोल छेद में चौकोर खूंटा लगाने की कोशिश करने जैसा है। मानक गणित कहता है, "यह काम नहीं करेगा क्योंकि शोर समान (uniform) नहीं है।"

2. "लिप्सचिट्ज़" बाधा (The Slippery Slope)
गोपनीयता सिद्ध करने के लिए, गणितज्ञों को आमतौर पर यह सिद्ध करने की आवश्यकता होती है कि सिस्टम "स्थिर" (stable) है—अर्थात, इनपुट में छोटा सा बदलाव आउटपुट में छोटे और अनुमानित बदलाव की ओर ले जाता है।

समस्या: ज़ीरोथ-ऑर्डर में, क्योंकि दिशाएँ रैंडम होती हैं, सिस्टम हर समय पूरी तरह से स्थिर नहीं होता है। यह केवल ज्यादातर समय स्थिर होता है। पुराने गणितीय उपकरणों के लिए सिस्टम का हमेशा स्थिर होना आवश्यक है, इसलिए वे विफल हो गए।

समाधान: एक हाइब्रिड इंजन और एक "घोस्ट" प्रक्रिया

लेखकों ने इन समस्याओं को हल करने के लिए एक नया इंजन बनाया:

1. हाइब्रिड शोर तंत्र (The Hybrid Noise Mechanism)
"हर तरफ शोर" या "एक दिशा में शोर" के बीच चुनाव करने के बजाय, उन्होंने एक मिश्रण बनाया।

वे उस विशिष्ट दिशा में शोर जोड़ते हैं जिसका वे अनुमान लगा रहे हैं (ताकि पहेली सुलझाना कुशल रहे)।
वे अन्य सभी दिशाओं में भी थोड़ा सा शोर जोड़ते हैं (गणितीय आवश्यकताओं को पूरा करने के लिए पर्याप्त)।
परिणाम: यह उन्हें दोनों दुनियाओं का सर्वश्रेष्ठ देता है: अच्छा पहेली-सुलझाने का प्रदर्शन और एक ऐसी गणितीय संरचना जो गोपनीयता प्रमाण (privacy proofs) की अनुमति देती है।

2. "घोस्ट" प्रक्रिया (The Coupling Trick)
चूंकि वे पुराने गणितीय उपकरणों का उपयोग नहीं कर सके, इसलिए उन्होंने एक नया तरीका निकाला।

कल्पना कीजिए कि एलिस और बॉब, थोड़े अलग डेटा के साथ पहेली सुलझाने की कोशिश कर रहे हैं।
लेखकों ने प्रक्रिया का एक "घोस्ट" (भूतिया) संस्करण बनाया जो एलिस और बॉब के ठीक बीच में स्थित है।
उन्होंने सिद्ध किया कि एलिस और घोस्ट बहुत करीब हैं, और बॉब और घोस्ट भी बहुत करीब हैं।
इस "घोस्ट" को एक पुल के रूप में उपयोग करके, वे यह सिद्ध कर सके कि एलिस और बॉब भी इतने करीब हैं कि उन्हें निजी माना जा सके, भले ही उनके पास पुराने गणितीय उपकरण न हों।

आश्चर्यजनक खोज: अधिक दिशाएं = बेहतर गोपनीयता

इस पेपर की सबसे रोमांचक खोज $K$ के बारे में है, जो उन दिशाओं की संख्या है जिनका आप एक साथ अनुमान लगाते हैं।

पुरानी धारणा: अधिक दिशाओं ( $K > 1$ ) का उपयोग करने से पहेली सुलझाना आसान हो जाता है (बेहतर उपयोगिता) लेकिन इसकी कीमत अधिक गोपनीयता की होती है।
नई खोज: इस नए "छिपे हुए रास्ते" के विश्लेषण के तहत, अधिक दिशाओं का उपयोग करना पहेली सुलझाने की गुणवत्ता को उच्च रखते हुए वास्तव में गोपनीयता में सुधार करता है।
उपमा: कल्पना कीजिए कि आप घास के ढेर में सुई खोजने की कोशिश कर रहे हैं। यदि आप केवल एक स्थान पर देखते हैं, तो आपको जो आप कर रहे हैं उसे छिपाने के लिए बहुत अधिक "कवर" (शोर) की आवश्यकता होती है। यदि आप एक साथ 10 स्थानों पर देखते हैं, तो "कवर" अधिक प्रभावी ढंग से फैलता है, जिससे किसी पर्यवेक्षक के लिए यह पता लगाना कठिन हो जाता है कि आप वास्तव में किस विशिष्ट स्थान को देख रहे थे।

सारांश जो वे दावा करते हैं

उन्होंने पहला गणितीय प्रमाण बनाया कि ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन की एक कन्वर्जेंट प्राइवेसी कॉस्ट (convergent privacy cost) हो सकती है। इसका मतलब है कि गोपनीयता की लागत कुछ चरणों के बाद बढ़ना बंद हो जाती है, न कि हमेशा बढ़ती रहती है।
उन्होंने सिद्ध किया कि अनुकूलन (optimization) के मध्यवर्ती चरणों को छिपाकर, आप पहले से सोची गई संभावना से कहीं अधिक मजबूत गोपनीयता गारंटी प्राप्त कर सकते हैं।
उन्होंने दिखाया कि एक साथ कई रैंडम दिशाओं (ऑर्थोनॉर्मल दिशाओं) का उपयोग करना न केवल गति के लिए अच्छा है, बल्कि वास्तव में गोपनीयता के लिए एक गुप्त हथियार भी है।
उन्होंने एक नया "हाइब्रिड नॉइज़" नुस्खा प्रदान किया जो इसे संभव बनाता है।

वे क्या दावा नहीं करते हैं:

वे यह दावा नहीं करते कि यह तुरंत हर प्रकार के AI मॉडल या डेटा सेट के लिए काम करेगा; उनका गणित विशिष्ट मान्यताओं (जैसे कि लॉस फंक्शन का "स्मूथ" और "कॉन्वेक्स" होना) पर निर्भर करता है।
वे यह दावा नहीं करते कि यह AI की सभी गोपनीयता समस्याओं को हल करता है, बल्कि यह केवल इस विशिष्ट प्रकार के अनुकूलन पद्धति के लिए एक बेहतर सैद्धांतिक सीमा (theoretical bound) प्रदान करता है।
वे अभी तक जनता के लिए कोई तैयार सॉफ्टवेयर टूल प्रदान नहीं करते हैं; यह एक सैद्धांतिक ढांचा है जो भविष्य के उपकरणों के लिए मार्ग प्रशस्त करता है।

यहाँ शोध पत्र "Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र डिफरेंशियल प्राइवेसी (DP) बाधाओं के तहत बड़े पैमाने के मॉडल (जैसे LLMs) को प्रशिक्षित करने की चुनौती को संबोधित करता है, जबकि सख्त मेमोरी सीमाओं का प्रबंधन करना होता है।

संदर्भ: मानक प्रथम-क्रम (first-order) DP विधियाँ (जैसे DP-SGD) बैकप्रोपैगेशन के दौरान प्रति-नमूना ग्रेडिएंट्स (per-sample gradients) को संग्रहीत करने की आवश्यकता रखती हैं, जिससे भारी मेमोरी ओवरहेड होता है जो मॉडल के आकार के साथ खराब तरीके से स्केल करता है।
समाधान की प्रवृत्ति: ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन (ZO) विधियाँ एक मेमोरी-कुशल विकल्प के रूप में उभरी हैं क्योंकि उन्हें केवल फॉरवर्ड पास (लॉस इवैल्यूएशन) की आवश्यकता होती है और वे स्पष्ट ग्रेडिएंट्स की गणना नहीं करती हैं।
अंतराल (The Gap): जबकि मौजूदा ZO विधियाँ (जैसे DPZero) अनुभवजन्य रूप से अच्छी तरह से काम करती हैं, उनका सैद्धांतिक गोपनीयता विश्लेषण मानक कंपोज़िशन थ्योरम्स पर निर्भर करता है। इसके परिणामस्वरूप गोपनीयता लागत प्रशिक्षण चरणों की संख्या ( $T$ ) के साथ रैखिक रूप से बढ़ती है, जो उपयोगिता (utility) और गोपनीयता के बीच एक समझौता करने के लिए मजबूर करती है।
मुख्य चुनौती: प्राइवेसी एम्प्लीफिकेशन बाय इटरेशन (PABI) को ज़ीरोथ-ऑर्डर विधियों के लिए विस्तारित करना—एक ऐसी तकनीक जो प्रथम-क्रम विधियों के लिए अभिसारी (convergent/constant) प्राइवेसी बाउंड प्रदान करती है।
- यह कठिन क्यों है: प्रथम-क्रम PABI, ग्रेडिएंट्स में आइसोट्रोपिक (दिशा-स्वतंत्र) गॉसियन शोर जोड़ने पर निर्भर करता है, जिससे "शिफ्टेड रेनी डायवर्जेंस" लेम्मा का उपयोग संभव होता है। इसके विपरीत, कुशल ZO विधियाँ रैंडम अपडेट दिशाओं के साथ एनिसोट्रोपिक (दिशा-निर्भर) स्केलर शोर जोड़ती हैं। यह एनिसोट्रॉपी उस ग्लोबल लिप्सचिट्ज़ (global Lipschitz) गुण को तोड़ देती है जो मानक शिफ्टेड-डायवर्जेंस फ्रेमवर्क के लिए आवश्यक है, जिससे मौजूदा PABI उपकरण अप्रभावी हो जाते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन ढांचा प्रस्तावित करते हैं जो मानक विश्लेषण की सीमाओं को पार करने के लिए हाइब्रिड नॉइज़ मैकेनिज्म और कपलिंग विश्लेषण को जोड़ता है।

A. हाइब्रिड नॉइज़ मैकेनिज्म (Noisy-ZOGD)

शुद्ध दिशात्मक शोर (जो कुशल है लेकिन विश्लेषण में कठिन है) या शुद्ध आइसोट्रोपिक शोर (जो विश्लेषण में आसान है लेकिन उपयोगिता कम करता है) चुनने के बजाय, लेखक एक एकीकृत अपडेट नियम प्रस्तावित करते हैं:
$w_{t+1} = \Pi_{\mathcal{B}_R} \left[ w_t - \frac{\eta}{K} \sum_{k=1}^K \hat{g}_t(w_t; u_{t,k}) + \frac{\eta}{\sqrt{K}} \sum_{k=1}^K G^{(1)}_{t,k} u_{t,k} + \eta \sqrt{d} G^{(2)}_t \right]$

$K$ -आयामी अपडेट्स: प्रति चरण ग्रेडिएंट अनुमान विचरण (variance) को कम करने के लिए $K$ रैंडम दिशाओं का उपयोग करता है।
हाइब्रिड शोर:
1. दिशात्मक शोर ( $G^{(1)}$ ): अपडेट दिशाओं $u_{t,k}$ के साथ जोड़ा गया स्केलर गॉसियन शोर। यह संवेदनशीलता (sensitivity) जहाँ मौजूद है, वहाँ शोर को केंद्रित करके उपयोगिता को बनाए रखता है।
2. आइसोट्रोपिक शोर ( $G^{(2)}$ ): सभी आयामों में जोड़ा गया छोटा आइसोट्रोपिक गॉसियन शोर। यह कपलिंग प्रक्रिया में "शिफ्ट" को संभालने के लिए सैद्धांतिक विश्लेषण के लिए अत्यंत महत्वपूर्ण है।
ऑर्थोनॉर्मल दिशाएँ: अपडेट दिशाओं $\{u_{t,k}\}$ को स्टिफेल मैनिफोल्ड (Stiefel manifold) से एक ऑर्थोनॉर्मल सेट के रूप में लिया जाता है (i.i.d. रैंडम वेक्टर्स के बजाय), जो प्राइवेसी बाउंड को कड़ा (tighten) करता है।

B. नवीन कपलिंग विश्लेषण (शिफ्टेड डायवर्जेंस को दरकिनार करना)

मानक PABI प्रमाण शिफ्टेड रेनी डायवर्जेंस लेम्मा पर निर्भर करता है, जिसके लिए ग्लोबल लिप्सचिट्ज़ स्थिति की आवश्यकता होती है। चूंकि ZO अपडेट मैप वैश्विक रूप से लिप्सचिट्ज़ नहीं है (केवल उच्च संभावना के साथ पॉइंटवाइज लिप्सचिट्ज़ है), लेखक एक कपल्ड ऑक्जिलरी प्रोसेस $\tilde{W}_t$ का निर्माण करते हैं:

निर्माण: वे एक सहायक प्रक्षेपवक्र (auxiliary trajectory) $\tilde{W}_t$ को परिभाषित करते हैं जो दो आसन्न प्रशिक्षण प्रक्रियाओं ( $W_t$ डेटासेट $D$ पर और $W'_t$ डेटासेट $D'$ पर) के "बीच में" स्थित है।
विघटन (Decomposition): गोपनीयता विश्लेषण को दो भागों में विभाजित किया गया है:
- टोटल वेरिएशन (TV) बाउंड: यह मापता है कि कपलिंग विफल होने की संभावना क्या है (अर्थात, $W_t$ और $\tilde{W}_t$ कब अलग हो जाते हैं)। इसे ZO अपडेट के पॉइंटवाइज लिप्सचिट्ज़ गुण का उपयोग करके सीमित किया जाता है (जो उच्च संभावना के साथ बना रहता है)।
- रेनी डायवर्जेंस बाउंड: यह सहायक प्रक्रिया $\tilde{W}_t$ और आसन्न प्रक्रिया $W'_t$ के बीच डायवर्जेंस को मापता है। चूंकि $\tilde{W}_t$ को शोर संरचना के साथ संरेखित करने के लिए बनाया गया है, इसलिए इस भाग का विश्लेषण मानक शिफ्टेड गॉसियन मैकेनिज्म का उपयोग करके किया जा सकता है।
परिणाम: यह दृष्टिकोण ग्लोबल लिप्सचिट्ज़ स्थिरांक की आवश्यकता को समाप्त करता है, जिससे एनिसोट्रोपिक शोर के साथ भी एक अभिसारी प्राइवेसी बाउंड प्राप्त होता है।

3. मुख्य योगदान (Key Contributions)

ज़ीरोथ-ऑर्डर के लिए प्रथम अभिसारी PABI: यह शोध पत्र सैद्धांतिक प्रमाण प्रदान करता है कि हिडन स्टेट्स के साथ ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन एक अभिसारी प्राइवेसी बाउंड (जहाँ प्राइवेसी लागत निश्चित चरणों के बाद स्थिर हो जाती है) प्राप्त करता है, न कि $T$ के साथ रैखिक रूप से बढ़ता है।
हाइब्रिड नॉइज़ मैकेनिज्म: एक शोर इंजेक्शन योजना पेश करता है जो उपयोगिता (डायरेक्शनल शोर के माध्यम से) और विश्लेषणात्मक सुगमता (एक छोटे आइसोट्रोपिक घटक के माध्यम से) के बीच संतुलन बनाता है।
अपडेट डायमेंशन ( $K$ ) की भूमिका:
- यह प्रकट करता है कि हिडन-स्टेट विश्लेषण के तहत, अपडेट दिशाओं की संख्या $K$ को बढ़ाने से प्राइवेसी लॉस कम होता है (यह मानक कंपोज़िशन विश्लेषण के विपरीत है जहाँ $K$ लागत बढ़ाता है)।
- यह प्रदर्शित करता है कि ऑर्थोनॉर्मल अपडेट दिशाओं का उपयोग करना i.i.d. रैंडम दिशाओं की तुलना में प्राइवेसी बाउंड में काफी सुधार करता है।
नवीन कपलिंग तकनीक: एक विशिष्ट सहायक प्रक्रिया निर्माण विकसित करता है जो ग्लोबल लिप्सचिट्ज़ बाधा को दूर करता है, एक ऐसी तकनीक जो अन्य गैर-स्मूथ या गैर-लिप्सचिट्ज़ ऑप्टिमाइज़ेशन सेटिंग्स में भी लागू हो सकती है।

4. मुख्य परिणाम (Key Results)

प्राइवेसी बाउंड: स्मूथ, स्ट्रॉन्गली कॉनवेक्स लॉस के लिए, प्रस्तावित Noisy-ZOGD एल्गोरिदम $(\epsilon, \delta)$ $(ϵ, δ)$ -DP को संतुष्ट करता है:
$\epsilon = O\left( \sqrt{\frac{\Delta^2 \log(1/\delta)}{n^2 \sigma^2} \min\left(T, \frac{R n \sqrt{d}}{K \Delta}\right)} \right)$
- यह बाउंड $T \approx \frac{R n \sqrt{d}}{K \Delta}$ पर स्थिर (saturate) हो जाता है, जिसका अर्थ है कि आगे के इटरेशन प्राइवेसी लागत नहीं बढ़ाते हैं।
- यह बाउंड $K$ के व्युत्क्रमानुपाती (inversely proportional) है, जो दर्शाता है कि अधिक दिशाओं का उपयोग करने से प्राइवेसी में सुधार होता है।
तुलना:
- मानक कंपोज़िशन बनाम: मानक विश्लेषण $\epsilon \propto \sqrt{T}$ देता है, जो अनबाउंड होकर बढ़ता है। प्रस्तावित विधि अभिसारी है।
- आउटपुट परटर्बेशन बनाम: जबकि आउटपुट परटर्बेशन (अंत में शोर जोड़ना) $T$ से स्वतंत्र है, यह आमतौर पर व्यावहारिक $T$ के लिए कमजोर होता है। प्रस्तावित विधि मध्यवर्ती $T$ के लिए अधिक सटीक बाउंड प्रदान करती है।
उपयोगिता (Utility): हाइब्रिड नॉइज़ मैकेनिज्म शुद्ध दिशात्मक शोर (DPZero) के समान उपयोगिता गारंटी बनाए रखता है क्योंकि कुल शोर विचरण (variance) संरक्षित रहता है।

5. महत्व (Significance)

स्केलेबिलिटी: यह कार्य बड़े मॉडलों (अरबों पैरामीटर्स) को DP और सीमित मेमोरी के साथ प्रशिक्षित करने के लिए सैद्धांतिक औचित्य प्रदान करता है, जो वर्तमान LLM फाइन-ट्यूनिंग में एक महत्वपूर्ण बाधा है।
एल्गोरिद्मिक डिज़ाइन: यह इस धारणा को उलट देता कि कई ज़ीरोथ-ऑर्डर दिशाओं ( $K > 1$ ) का उपयोग करना केवल उपयोगिता का समझौता है। यह शोध पत्र सिद्ध करता है कि यह एक प्राइवेसी लाभ भी है, जो DP-ZO एल्गोरिदम में उच्च-आयामी अपडेट के उपयोग को प्रोत्साहित करता है।
सैद्धांतिक प्रगति: PABI में "एनिसोट्रोपिक शोर" की समस्या को हल करके, यह शोध पत्र प्रथम-क्रम और ज़ीरोथ-ऑर्डर प्राइवेसी थ्योरी के बीच एक महत्वपूर्ण अंतर को पाटता है, जो जटिल, गैर-लिप्सचिट्ज़ ऑप्टिमाइज़ेशन डायनेमिक्स का विश्लेषण करने के लिए एक नया टूलकिट (सहायक प्रक्रियाओं के साथ कपलिंग) प्रदान करता है।
व्यावहारिक प्रभाव: यह अभ्यासकर्ताओं के लिए ठोस दिशा-निर्देश प्रदान करता है: ऑर्थोनॉर्मल दिशाओं का उपयोग करें, हाइब्रिड नॉइज़ पैरामीटर $\beta_t$ को ट्यून करें, और बेहतर प्राइवेसी-उपयोगिता ट्रेड-ऑफ प्राप्त करने के लिए बड़े $K$ का लाभ उठाएं।