🤖 machine learning

Continual Learning With Participation Privacy: An Auditable Buffering-Aggregation Recipe

यह शोध पत्र एक रैंडमाइज्ड बफरिंग रैपर का उपयोग करके सिंगल-एडिट यूजर स्ट्रीम्स को प्रबंधनीय हैमिंग-शैली के बिन अपडेट्स में बदलने के माध्यम से, भागीदारी गोपनीयता बाधाओं के तहत निरंतर शिक्षण (कंटीन्यूअस लर्निंग) में प्रक्षेपवक्र-स्तरीय विभेदक गोपनीयता (ट्रैजेक्टरी-लेवल डिफरेंशियल प्राइवेसी) प्राप्त करने के लिए एक ऑडिटेबल मॉड्यूलर रेसिपी प्रस्तावित करता है, जिससे मानक विभेदक रूप से निजी प्रिमिटिव्स को अनुकूलन योग्य इंटरैक्शन के बावजूद गोपनीयता गारंटी बनाए रखने में सक्षम बनाया जा सके।

मूल लेखक: T-H. Hubert Chan, Elaine Shi, Mengshi Zhao, Mingxun Zhou

प्रकाशित 2026-07-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: T-H. Hubert Chan, Elaine Shi, Mengshi Zhao, Mingxun Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, सहयोगात्मक कुकिंग प्रतियोगिता चला रहे हैं। हजारों शेफ (उपयोगकर्ता) एक-एक करके अपनी गुप्त रेसिपी (डेटा) एक केंद्रीय जज (सर्वर) को भेज रहे हैं ताकि एक एकल, उत्तम मास्टर डिश (मशीन लर्निंग मॉडल) बनाई जा सके।

समस्या यह है कि जज हर कुछ सामग्री जोड़े जाने के बाद डिश का एक "टेस्टिंग स्नैपशॉट" (स्वाद का नमूना) जारी करता है। एक चालाक ऑब्जर्वर (विरोधी) हर एक स्नैपशॉट को देख रहा है। वे यह पता लगाना चाहते हैं कि क्या "शेफ बॉब" नामक किसी विशिष्ट शेफ ने कभी भाग लिया था या नहीं।

प्राइवेसी (गोपनीयता) की दुनिया में, हम आमतौर पर शेफ बॉब की रेसिपी की सामग्री को सुरक्षित करने की चिंता करते हैं। लेकिन यह पेपर शेफ बॉब के अस्तित्व को सुरक्षित करने के बारे में चिंतित है। भले ही बॉब की रेसिपी छिपी हुई हो, लेकिन केवल यह तथ्य कि उसके द्वारा सामग्री जोड़ने से डिश बदल गई, यह खुलासा कर सकता है कि वह वहां मौजूद था।

यहाँ इस पेपर के समाधान का एक सरल विवरण दिया गया है, जिसे कुछ रचनात्मक उपमाओं का उपयोग करके समझाया गया है:

1. समस्या: गोपनीयता का "डोमिनो इफेक्ट" (Domino Effect)

आमतौर पर, प्राइवेसी टूल्स यह मान लेते हैं कि यदि आप एक सामग्री बदलते हैं, तो रेसिपी में केवल वही एक स्थान बदलता है। यह एक चुटकी नमक को एक चुटकी काली मिर्च से बदलने जैसा है; डिश का बाकी हिस्सा बिल्कुल वैसा ही रहता है।

लेकिन इस "पार्टिसिपेशन प्राइवेसी" (भागीदारी गोपनीयता) परिदृश्य में, यदि शेफ बॉब उपस्थित नहीं होता है, तो उसके बाद आने वाली हर एक सामग्री आगे खिसक जाती है। यह एक लंबी लाइन में रखे पहले डोमिनो को हटाने जैसा है; उसके बाद के सभी डोमिनो अलग तरह से गिरते हैं। यह "शिफ्ट" (खिसकाव) मानक प्राइवेसी टूल्स को तोड़ देता है क्योंकि डिश की पूरी टाइमलाइन पूरी तरह से बदल जाती है, न कि केवल एक स्थान।

2. समाधान: "मिस्ट्री बॉक्स" कन्वेयर बेल्ट

लेखक इस समस्या को ठीक करने के लिए दो-चरणीय "रेसिपी" का प्रस्ताव देते हैं: रैंडमाइज्ड बफरिंग (Randomized Buffering) और सर्टिफाइड एग्रीगेशन (Certified Aggregation)।

चरण A: मिस्ट्री बॉक्स (रैंडमाइज्ड बफरिंग)

कल्पना कीजिए कि सामग्रियां सीधे जज के पास नहीं जातीं। इसके बजाय, वे एक "मिस्ट्री बॉक्स" सिस्टम वाले कन्वेयर बेल्ट पर जाती हैं।

नियम: सिस्टम तब तक इंतजार करता है जब तक कि उसके पास रैंडम मात्रा में सामग्रियां (मान लीजिए 10 से 20 के बीच) एकत्र न हो जाएं, और फिर एक बॉक्स खोलकर उन्हें जज को भेजता है।
जादू: क्योंकि बॉक्स का आकार रैंडम है और समय भी रैंडम है, यदि शेफ बॉब गायब है, तो सिस्टम बस थोड़ा अधिक इंतजार करेगा या थोड़े अलग सामग्रियों के साथ बॉक्स भर देगा। इससे टाइमलाइन में होने वाला "शिफ्ट" सुधर जाता है।
परिणाम: जज (और चालाक ऑब्जर्वर) के लिए, सामग्रियों का प्रवाह अब एक मानक सूची की तरह दिखता है जहाँ केवल एक बॉक्स थोड़ा अलग हो सकता है, न कि एक पूरी शिफ्ट हुई टाइमलाइन। यह "डोमिनो इफेक्ट" की समस्या को एक साधारण "वन-बॉक्स" समस्या में बदल देता है।

नोट: यह इसमें कुछ देरी (delay) भी लाता है। सामग्रियों को बॉक्स में तब तक इंतजार करना पड़ता है जब तक कि वह पर्याप्त रूप से भर न जाए। पेपर यह गणना करता है कि आपको कितनी गोपनीयता चाहिए, उसके आधार पर कितनी देरी की आवश्यकता होगी।

चरण B: सर्टिफाइड जज (एडेप्टिव सेफ्टी)

एक बार जब सामग्रियां इन मिस्ट्री बॉक्स में आ जाती हैं, तो उन्हें एक विशेष जज के पास भेजा जाता है जो उन्हें मास्टर डिश में जोड़ता है।

चुनौती: जज हर बॉक्स के बाद डिश का एक स्नैपशॉट जारी करता है। चालाक ऑब्जर्वर पिछले स्नैपशॉट का उपयोग यह तय करने के लिए कर सकता है कि आगे क्या भेजना है (इसे "एडेप्टिव इंटरैक्शन" कहा जाता है)।
समाधान: लेखकों ने एक "सर्टिफिकेशन चेकलिस्ट" बनाई है। उन्होंने साबित किया है कि यदि जज दो सरल नियमों का पालन करता है, तो प्राइवेसी बनी रहती है, भले ही ऑब्जर्वर देख रहा हो और प्रतिक्रिया दे रहा हो:
1. फ्रेश डाइस (Fresh Dice): जज को प्रत्येक बॉक्स को प्रोसेस करने के लिए पासे (dice) का एक नया, ताज़ा सेट रोल करना चाहिए। वे पुराने पासे दोबारा इस्तेमाल नहीं कर सकते।
2. स्टेबल कॉन्टेक्स्ट (Stable Context): जज को यह सुनिश्चित करना चाहिए कि किसी विशिष्ट बॉक्स में जोड़ा गया "नॉइज़" (प्राइवेसी प्रोटेक्शन) केवल उसी बॉक्स पर निर्भर करता है, न कि इससे पहले या बाद में जो हुआ उस पर।

यदि जज इन नियमों का पालन करता है, तो लेखक सिद्ध करते हैं कि प्राइवेसी गारंटी बनी रहती है, भले ही चालाक ऑब्जर्वर पूरी प्रक्रिया को देख रहा हो।

3. अंतिम गारंटी

मिस्ट्री बॉक्स (जो किसी व्यक्ति के शामिल होने या न होने से होने वाले "शिफ्ट" को छिपाता है) और सर्टिफाइड जज (जो देखे जाने पर भी सुरक्षित रहता है) को मिलाकर, यह सिस्टम गारंटी देता है कि:

अंतिम डिश अभी भी स्वादिष्ट होगी (मॉडल अच्छी तरह सीखता है)।
चालाक ऑब्जर्वर यह नहीं बता पाएगा कि शेफ बॉब ने भाग लिया था या नहीं, भले ही उसने डिश बनने के हर स्नैपशॉट को देखा हो।
इस प्राइवेसी की लागत एक अनुमानित देरी (मिस्ट्री बॉक्स में सामग्रियां रुकने का समय) है।

एक वाक्य में सारांश

यह पेपर एक "मिस्ट्री बॉक्स" सिस्टम का आविष्कार करता है जो डेटा को प्रोसेस करने के समय को रैंडमाइज करता है ताकि यह छिपा जा सके कि कोई शामिल हुआ या छोड़ गया, और यह सिद्ध करता है कि मानक प्राइवेसी टूल्स सुरक्षित रूप से काम कर सकते हैं, भले ही डेटा वास्तविक समय में ऑब्जर्वर द्वारा देखे जा रहे डेटा के आधार पर उत्पन्न किया जा रहा हो।

तकनीकी सारांश: भागीदारी गोपनीयता के साथ निरंतर सीखना (Continual Learning With Participation Privacy)

समस्या विवरण
आधुनिक फेडरेटेड और स्ट्रीमिंग लर्निंग सिस्टम प्रशिक्षण के दौरान मॉडल के मध्यवर्ती स्नैपशॉट्स (intermediate snapshots) को बार-बार जारी करते हैं, जिससे एक एडवर्सरी (adversary) द्वारा केवल अंतिम मॉडल के बजाय अपडेट के पूरे प्रक्षेपवक्र (trajectory) $(w(t))_{t \ge 0}$ को उजागर किया जाता है। जबकि निरंतर रिलीज के लिए शास्त्रीय डिफरेंशियल प्राइवेसी (DP) विश्लेषण अक्सर हैमिंग-नेबर (Hamming-neighbor) स्ट्रीम्स (जहाँ दो स्ट्रीम्स ठीक एक समय इंडेक्स पर भिन्न होती हैं) को मानते हैं, कई वास्तविक दुनिया के डिप्लॉयमेंट में भागीदारी गोपनीयता (participation privacy) की आवश्यकता होती है। इस सेटिंग में, एक उपयोगकर्ता यह सुनिश्चित करना चाह सकता है कि क्या उसने भाग लिया भी था या नहीं, इसके संबंध में 'प्लाज़िबल डिनायबिलिटी' (plausible deniability) बनी रहे। यह सिंगल-एडिट (एडिट-डिस्टेंस) नेबरिंग स्ट्रीम्स को प्रेरित करता है, जहाँ दो स्ट्रीम्स तब पड़ोसी मानी जाती हैं जब एक को दूसरे में एक एकल उपयोगकर्ता इवेंट को सम्मिलित (insert) या हटा (delete) कर प्राप्त किया जा सके।

मुख्य कठिनाई यह है कि एक एकल इंसर्शन या डिलीशन स्ट्रीम के बाद के सभी स्थानों के संरेखण (alignment) को स्थानांतरित कर देता है। फलस्वरूप, एक एडिट-नेबर जोड़ी हैमिंग-नेबर होने से कितनी भी दूर हो सकती है। इसके अलावा, निरंतर सीखना स्वाभाविक रूप से इंटरैक्टिव (interactive) है: जारी किए गए मॉडल भविष्य के उपयोगकर्ता अपडेट को प्रभावित करते हैं, जिससे एक एडेप्टिव फीडबैक लूप बन जाता है। मानक निरंतर DP प्रिमिटिव (जैसे, ट्री-आधारित प्रीफिक्स सम) मूल रूप से स्थिर, गैर-एडेप्टिव हैमिंग धारणाओं के तहत विश्लेषित किए गए थे, और उनके गारंटी सीधे एडैप्टिव इंटरैक्शन और एडिट-नेबर स्ट्रीम्स के संयोजन पर लागू नहीं होते हैं।

कार्यप्रणाली: एक ऑडिटेबल बफरिंग-एग्रीगेशन रेसिपी (An Auditable Buffering-Aggregation Recipe)
लेखक एक मॉड्यूलर पाइपलाइन का प्रस्ताव करते हैं जिसमें दो प्राथमिक घटक शामिल हैं: एक रैंडमाइज्ड बफरिंग रैपर (randomized buffering wrapper) और एक सर्टिफाइड कंटीन्युअल-रिलीज़ DP प्रिमिटिव (certified continual-release DP primitive)।

रैंडमाइज्ड बफरिंग (RandBin):
- यह घटक एक इंटरफ़ेस के रूप में कार्य करता है जो सिंगल-एडिट नेबरिंग इवेंट स्ट्रीम को एक स्पार्स (sparse), हैमिंग-शैली की प्रति-बिन (per-bin) अपडेट स्ट्रीम में परिवर्तित करता है।
- यह रैंडम विलंब (delays) पेश करता है, जिससे उपयोगकर्ता अपडेट को नियंत्रित आकार $[U, 2U]$ के "बिन्स" (bins) में जारी किया जाता है, जहाँ $U$ एक पैरामीटर है जिसे प्राइवेसी बजट $(\varepsilon, \delta)$ द्वारा कैलिब्रेट किया गया है।
- इन बिन्स की सीमाओं को रैंडमाइज करके, इनपुट स्ट्रीम में एक एकल इंसर्शन या डिलीशन केवल एक सीमित, हैमिंग-शैली का व्यवधान उत्पन्न करता है (विशेष रूप से, अधिकतम दो आस-पास के बिन्स को प्रभावित करता है)।
- यह मैकेनिज्म स्पष्ट बैकलॉग और डिले गारंटी (backlog and delay guarantees) प्रदान करता है, यह सुनिश्चित करते हुए कि लंबित इवेंट्स की संख्या उच्च संभावना के साथ सीमित रहती है।
एडेप्टिव सेफ्टी का सर्टिफिकेशन (Certification of Adaptive Safety):
- लेखक एक सर्टिफिकेशन थ्योरम (certification theorem) पेश करते हैं ताकि यह निर्धारित किया जा सके कि निरंतर प्रिमिटिव के लिए एक मानक गैर-एडेप्टिव DP प्रमाण, एडेप्टिव इंटरैक्शन (फीडबैक) के तहत कब वैध रहता है।
- सर्टिफिकेशन के लिए डाउनस्ट्रीम प्रिमिटिव के लिए दो संरचनात्मक शर्तों की आवश्यकता होती है:
  - फ्रेश प्रति-राउंड रैंडमनेस (Fresh Per-Round Randomness): मैकेनिज्म को प्रत्येक रिलीज स्टेप पर स्वतंत्र रैंडमनेस का उपयोग करना चाहिए।
  - स्टेबल कॉन्टेक्स्ट (Stable Context - मात्रात्मक अपघटनीयता): सामान्य एडेप्टिव अपडेट्स जारी सांख्यिकी (statistic) को बदल सकते हैं, लेकिन उन्हें पड़ोसी स्ट्रीम्स के बीच अद्वितीय हैमिंग विसंगति (Hamming discrepancy) की प्राइवेसी लागत को नहीं बदलना चाहिए।
- जो प्रिमिटिव इन शर्तों को पूरा करते हैं (जैसे, ट्री-आधारित प्रीफिक्स सम, लोअर-ट्राइएंगुलर मैट्रिक्स मैकेनिज्म), उन्हें "फीडबैक-सेफ" माना जाता है, जिससे उनका गैर-एडेप्टिव प्राइवेसी विश्लेषण सीधे एडेप्टिव सेटिंग में लिया जा सकता है।
मॉड्यूलर कंपोजिशन (Modular Composition):
- यह पाइपलाइन रैंडमाइज्ड बफरिंग (जो एडिट-एडजेंसी को हैमिंग-एडजेंसी में कम करती है) को सर्टिफाइड DP एग्रीगेटर के साथ कंपोज़ करती है।
- एंड-टू-एंड प्राइवेसी गारंटी एक मॉड्यूलर कंपोजिशन थ्योरम के माध्यम से प्राप्त की जाती है, जो रैपर के नेबर-प्रिजर्विंग (NPDP) गुण और एग्रीगेटर के एडेप्टिव DP गुण को जोड़ती है।

प्रमुख योगदान (Key Contributions)

एडिट-नेबर कंटीन्युअल लर्निंग का औपचारिकीकरण: यह पेपर इंटरमीडिएट रिलीज और एडेप्टिव फीडबैक के साथ सिंगल-एडिट नेबरिंग यूजर-अपडेट स्ट्रीम्स के माध्यम से भागीदारी गोपनीयता को औपचारिक रूप देता है।
स्पष्ट प्राइवेसी-लेटेंसी लिंक: लेखक एक मॉड्यूलर पाइपलाइन प्रदान करते हैं जहाँ लक्षित प्राइवेसी पैरामीटर्स $(\varepsilon, \delta)$ स्पष्ट रूप से बफरिंग स्तर $U$ को निर्धारित करते हैं, जिससे सीखने की प्रक्रिया में एक मापने योग्य विलंब/स्टेलनेस (staleness) उत्पन्न होती है।
एडेप्टिव सेफ्टी के लिए सर्टिफिकेशन थ्योरम: एक पुन: प्रयोज्य, जांच योग्य स्थिति स्थापित की गई है जिसके तहत निरंतर प्रिमिटिव के लिए मानक गैर-एडेप्टिव हैमिंग-नेबर DP प्रमाण, एडेप्टिव इंटरैक्शन के तहत वैध रहते हैं। यह स्थिति फ्रेश रैंडमनेस को एक स्टेबल-कॉन्टेक्स्ट आवश्यकता के साथ जोड़ती है।
एंड-टू-एंड गारंटी: यह पेपर सिद्ध करता है कि कंपोज्ड पाइपलाइन सिंगल-एडिट नेबरिंग स्ट्रीम्स के लिए फीडबैक के तहत $(\varepsilon, \delta)$ -DP प्राप्त करती है।

परिणाम और इंस्टेंशिएशन (Results and Instantiation)

सैद्धांतिक गारंटी: मुख्य प्रमेय (Theorem 3.1) बताता है कि $U = \Theta(\frac{1}{\varepsilon_b} \log \frac{1}{\delta_b})$ सेट करके, सिस्टम सिंगल-एडिट स्ट्रीम्स के लिए $(\varepsilon, \delta)$ -DP प्राप्त करता है। बैकलॉग $O(\frac{1}{\varepsilon_b} \log t (\log t + \log \frac{1}{\delta_b}))$ द्वारा सीमित है।
SGD इंस्टेंशिएशन: इस रेसिपी को स्ट्रीमिंग स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) के साथ इंस्टेंशिएट किया गया है। एग्रीगेटर मानक ट्री-आधारित या लोअर-ट्राइएंगुलर मैट्रिक्स प्रीफिक्स-सम मैकेनिज्म का उपयोग करता है।
प्रायोगिक संदर्भ: यह पेपर एक साथी कार्य [CSZZ26] का संदर्भ देता है जो $(\varepsilon, \delta)$ बनाम सटीकता और अनुभवजन्य विलंब वितरण (empirical delay distributions) की रिपोर्ट करता है। DP-SGD वेरिएंट के सैद्धांतिक अभिसरण (convergence) को पूर्व साहित्य में पहले से ही व्यापक रूप से विश्लेषित माना गया है।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि यह भागीदारी गोपनीयता (एडिट-एडजेंसी) और एडेप्टिव कंटीन्युअल रिलीज के बीच एक मौलिक अंतर को पाटता है। यह प्रदर्शित करता है कि एडिट-नेबर स्ट्रीम्स के लिए सहज (naive) निरंतर-रिलीज़ विश्लेषण, एलाइनमेंट शिफ्ट के कारण लागू नहीं होते हैं। एक "शील्डिंग" इंटरफ़ेस (रैंडमाइज्ड बफरिंग) और एडेप्टिव सेफ्टी के लिए एक संरचनात्मक सर्टिफिकेशन पेश करके, लेखक कैनोनिकल कंटीन्युअल DP प्रिमिटिव्स (जैसे ट्री प्रीफिक्स सम) को इंटरैक्टिव, भागीदारी-संवेदनशील सेटिंग्स में सुरक्षित रूप से पुनः उपयोग करने में सक्षम बनाते हैं।

यह कार्य मॉड्यूलरिटी और ऑडिटेबिलिटी पर जोर देता है: पाइपलाइन एडिट-एडजेंसी को संभालने की समस्या (अपस्ट्रीम) को एडेप्टिव फीडबैक को संभालने की समस्या (डाउनस्ट्रीम) से अलग करती है। यह सिस्टम डिजाइनरों को स्पष्ट प्राइवेसी, लेटेंसी और यूटिलिटी के बीच ट्रेड-ऑफ बनाए रखते हुए विभिन्न सर्टिफाइड प्रिमिटिव को प्लग इन करने की अनुमति देता है। लेखक नोट करते हैं कि उनकी सर्टिफिकेशन स्थिति पर्याप्त (sufficient) है लेकिन आवश्यक (necessary) नहीं है, और बफरिंग द्वारा प्रेरित विलंब निरंतर सेटिंग में एडिट-प्राइवेसी प्राप्त करने की एक अंतर्निहित लागत है।