💻 computer science

Client-Cooperative Split Learning

यह शोध पत्र CliCooper को प्रस्तुत करता है, जो एक मल्टी-क्लाइंट सहकारी स्प्लिट लर्निंग फ्रेमवर्क है, जो मॉडल की सटीकता से समझौता किए बिना प्राइवेसी और ओनरशिप हमलों को प्रभावी ढंग से कम करते हुए, डिफरेंशियल प्राइवेसी और लेबल ऑबफस्केशन के माध्यम से डेटा गोपनीयता सुरक्षित करता है और डायनेमिक चेन्ड वॉटरमार्किंग के माध्यम से प्रशिक्षण अखंडता और मॉडल प्रोवेनेंस सुनिश्चित करता है।

मूल लेखक: Haiyu Deng, Yanna Jiang, Guangsheng Yu, Qin Wang, Xu Wang, Wei Ni, Shiping Chen, Ren Ping Liu

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haiyu Deng, Yanna Jiang, Guangsheng Yu, Qin Wang, Xu Wang, Wei Ni, Shiping Chen, Ren Ping Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दुनिया के सबसे बेहतरीन चॉकलेट केक की एक गुप्त रेसिपी (आपका डेटा) है। आप इस रेसिपी को बेहतर बनाने के लिए शेफ की एक टीम को काम पर रखना चाहते हैं, लेकिन आपके सामने दो बड़ी समस्याएँ हैं:

आप कंगाल हैं: आपके पास खुद केक बनाने के लिए कोई विशाल औद्योगिक रसोई (कंप्यूटिंग पावर) नहीं है।
आपको शेफ्स पर भरोसा नहीं है: आपको डर है कि अगर आपने उन्हें रेसिपी दे दी, तो वे उसे चुरा सकते हैं, आपके गुप्त अवयवों (ingredients) का पता लगा सकते हैं, या दावा कर सकते हैं कि उन्होंने ही यह केक बनाया है।

यह ठीक वही समस्या है जिसे CLICOOPER पेपर हल करता है। यह आर्टिफिशियल इंटेलिजेंस (AI) मॉडल को प्रशिक्षित करने का एक नया तरीका है, जिसमें किसी को भी अपना कच्चा डेटा दिखाने की ज़रूरत नहीं होती और न ही किसी एक "बॉस" सर्वर पर भरोसा करने की आवश्यकता होती है।

यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) के माध्यम से समझाया गया है:

1. सेटअप: एक "पोटलक" (Potluck) किचन

पारंपरिक AI ट्रेनिंग में, आप अपनी गुप्त रेसिपी एक विशाल, भरोसेमंद क्लाउड सर्वर ( "बॉस") को भेज देते हैं। सारा काम बॉस ही करता है।

समस्या: क्या होगा अगर आपके पास कोई बॉस न हो? क्या होगा अगर आपको बहुत सारे स्वतंत्र शेफ (ट्रेनर क्लाइंट्स) को काम पर रखना पड़े, जिनके पास ओवन की बहुत कम जगह हो?
CLICOपर का समाधान: एक बड़ी रसोई के बजाय, आप एक रिले रेस बनाते हैं।
- आप (डेटा ओनर): आपके पास सामग्री (ingredients) है लेकिन ओवन नहीं है। आप तैयारी का काम करते हैं।
- शेफ (ट्रेनर): उनके पास ओवन है लेकिन सामग्री नहीं है। वे आटे (dough) को कतार में आगे बढ़ाते हैं।
- वेरिफायर (Verifier): एक तटस्थ रेफरी जो रेस पर नज़र रखता है ताकि यह सुनिश्चित हो सके कि हर किसी ने अपना काम किया और उन्हें उचित भुगतान मिला।

2. गुप्त सॉस: सामग्री को छिपाना (गोपनीयता/Privacy)

आप शेफ्स को कच्ची सामग्री नहीं दे सकते, अन्यथा वे आपकी गुप्त रेसिपी का पता लगा सकते हैं। CLICOOPER दो जादुंतरों का उपयोग करता है:

ट्रिक A: "नकली लेबल" मेनू (लेबल एक्सपेंशन)
कल्पना कीजिए कि आपके केक में 10 गुप्त फ्लेवर (असली लेबल्स) हैं। शेफ्स को "यह चॉकलेट है" बताने के बजाय, आप उन्हें 20 नकली नामों वाला एक मेनू देते हैं (स्यूडो-लेबल्स)।
- असली चॉकलेट बन जाती है "फ्लेवर A1" और "फ्लेवर A2"।
- असली वैनिला बन जाती है "फ्लेवर B1" और "फ्लेवर B2"।
- यह क्यों काम करता है: शेफ्स 20 फ्लेवर देखते हैं, लेकिन उन्हें यह नहीं पता होता कि वास्तव में कौन से फ्लेवर एक जैसे हैं। वे आपके असली 10 फ्लेवर्स का अनुमान नहीं लगा सकते। केवल आपके पास ही वह "डिकोडर रिंग" है जिससे उनके काम को वापस असली फ्लेवर्स में बदला जा सके।
ट्रिक B: "स्टैटिक नॉइज़" फ़िल्टर (डिफरेंशियल प्राइवेसी)
जब आप पहले शेफ को आटा सौंपते हैं, तो आप उसमें थोड़ा सा "स्टैटिक नॉइज़" छिड़क देते हैं।
- यह थोड़ा सा आटे की धूल डालने जैसा है जो आटे को थोड़ा धुंधला बना देता है।
- यह क्यों काम करता है: यदि कोई शेफ यह अनुमान लगाने के लिए आटे को देखने की कोशिश करता है कि मूल सामग्री क्या थी (एक इनवर्जन अटैक), तो शोर (noise) इसे असंभव बना देता है। वे एक स्पष्ट तस्वीर के बजाय केवल एक धुंधला सा दृश्य देखते हैं।

3. कार्य का प्रमाण: "कस्टडी की श्रृंखला" (वॉटरमार्किंग)

अब, कल्पना कीजिए कि एक शेफ बेईमानी करने की कोशिश करता है। वे कहते हैं, "मैंने केक की यह परत बनाई है!" लेकिन वास्तव में उन्होंने स्टोर से बना-बनाया केक लिया और दावा किया कि उन्होंने इसे बनाया है। आपको कैसे पता चलेगा कि उन्होंने वास्तव में काम किया है?

CLICOOPER एक चेन्ड वॉटरमार्क (Chained Watermark) का उपयोग करता है।

इसे एक गुप्त हैंडशेक की तरह समझें जो हर बार बदल जाता है।
शेफ #1 अपना हिस्सा पूरा करता है और उसे शेफ #2 को सौंपता है।
शेफ #2 ठीक उसी आटे को देखता है जो शेफ #1 ने उसे दिया था। उस विशिष्ट आटे के आधार पर, शेफ #2 एक अनूठा, अदृश्य "स्टैम्प" (वॉटरमार्क) बनाता है और उसे अपनी परत पर लगा देता है।
शेफ #3 भी यही करता है: वे शेफ #2 की परत को देखते हैं, एक नया स्टैम्प जनरेट करते हैं, और उसे जोड़ देते हैं।
परिणाम: अंतिम केक में अदृश्य स्टैम्प्स की एक श्रृंखला होती है। यदि आप एक परत को निकाल कर दूसरे केक पर लगाने की कोशिश करते हैं, तो स्टैम्प्स मेल नहीं खाएंगे। यदि कोई शेफ रेस को छोड़कर पहले से बना हुआ हिस्सा इस्तेमाल करने की कोशिश करता है, तो वे सही स्टैम्प नहीं बना पाएंगे क्योंकि उन्होंने पिछली परत को देखा ही नहीं था।

4. रेफरी: वेरिफायर (Verifier)

रेस के अंत में, वेरिफायर (रेफरी) केक की जाँच करता है।

क्या स्वाद अच्छा है? वे जाँचते हैं कि क्या केक सटीक है (क्या मॉडल ने सीखा?)।
क्या हर किसी ने अपना काम किया? वे अदृश्य स्टैम्प्स की श्रृंखला की जाँच करते हैं। यदि स्टैम्प्स श्रृंखला से मेल खाते हैं, तो वे जानते हैं कि हर शेफ ने वास्तव में अपना हिस्सा बनाया है।
भुगतान: यदि सब कुछ ठीक रहता है, तो वेरिफायर शेफ्स को भुगतान करता है। यदि किसी शेफ ने धोखाधड़ी की, तो उसे कुछ नहीं मिलेगा।

यह एक बड़ी बात क्यों है?

कोई एकल बॉस नहीं: आपको किसी विशाल, महंगे सर्वर की आवश्यकता नहीं है। आप कई छोटे, सस्ते उपकरणों (जैसे फोन या एज कंप्यूटर) का उपयोग कर सकते हैं।
पूर्ण गोपनीयता: शेफ कभी भी आपका कच्चा डेटा, आपके असली लेबल्स या आपका गुप्त मैपिंग नहीं देख पाते। वे केवल धुंधला, नकली नाम वाला डेटा देखते हैं।
चोरी नहीं: भले ही कोई अंतिम केक चुरा ले, वे आपके "डिकोडर रिंग" (गुप्त मैपिंग) के बिना इसका उपयोग नहीं कर सकते। उनके लिए यह बेकार है।
निष्पक्षता: आप बिल्कुल साबित कर सकते हैं कि किसने कौन सा हिस्सा बनाया है, ताकि सभी को उचित रूप से भुगतान किया जा सके।

संक्षेप में: CLICOOPER AI ट्रेनिंग को एक सुरक्षित, सहकारी रिले रेस में बदल देता है जहाँ आप अजनबियों की एक टीम को अपने लिए एक मॉडल बनाने के लिए काम पर रख सकते हैं, बिना कभी अपने रहस्य दिखाए या उनके द्वारा क्रेडिट चुराने की चिंता किए।

यहाँ "Client-Cooperative Split Learning" (CLICOOPER) नामक शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या विवरण (Problem Statement)

यह शोध पत्र संसाधन-सीमित, सर्वर रहित वातावरण में पारंपरिक स्प्लिट लर्निंग (SL) की सीमाओं को संबोधित करता है। जबकि मानक SL डेटा मालिकों को कच्चे डेटा को साझा किए बिना मॉडल प्रशिक्षित करने की अनुमति देता है (एक विश्वसनीय सर्वर को कंप्यूटिंग कार्य सौंपकर), यह प्रतिमान एक एकल, पूर्णतः विश्वसनीय सर्वर और पर्याप्त कंप्यूट शक्ति की धारणा पर आधारित है।

वास्तविकता में, एज डिवाइस (edge devices) के पास खंडित लेकिन अतिरिक्त कंप्यूट शक्ति हो सकती है। यह एक बहु-क्लाइंट, सर्वर रहित सहकारी परिवेश को प्रेरित करता है जहाँ एक क्लाइंट डेटा प्रदान करता है (डेटा क्लाइंट, $C$ ) और कई अन्य क्लाइंट कंप्यूटिंग प्रदान करते हैं (ट्रेनर क्लाइंट, $T$ )। हालाँकि, यह परिवेश एक आंशिक रूप से विश्वसनीय (partially trusted) वातावरण में तीन महत्वपूर्ण चुनौतियाँ पेश करता है:

RQ1 (डेटा गोपनीयता): डेटा क्लाइंट, जिज्ञासु ट्रेनर क्लाइंट्स से अपने कच्चे इनपुट और वास्तविक लेबल को कैसे बचा सकता है, जो मध्यवर्ती एक्टिवेशन (intermediate activations) को देख सकते हैं?
RQ2 (लेयर स्वामित्व): ट्रेनर क्लाइंट्स अपने विशिष्ट योगदान को कैसे सिद्ध कर सकते हैं ताकि वे उचित मुआवजे का दावा कर सकें और "फ्री-राइडिंग" (पूर्व-प्रशिक्षित मॉडल का उपयोग करना) को रोक सकें?
RQ3 (अनधिकृत उपयोग): अंतिम मॉडल को बाहरी विरोधियों द्वारा अनधिकृत निष्कर्षण (extraction) या पुनरुद्देश्य (repurposing) से कैसे सुरक्षित रखा जा सकता है?

मौजूदा SL फ्रेमवर्क इस विकेंद्रीकृत, बहु-क्लाइंट संदर्भ में लेबल गोपनीयता, प्रशिक्षण ट्रैसेबिलिटी और कॉपीराइट सुरक्षा को एक साथ संबोधित करने में विफल रहते हैं।

2. कार्यप्रणाली: CLICOOPER फ्रेमवर्क (Methodology)

CLICOOPER एक बहु-क्लाइंट सहकारी SL फ्रेमवर्क है जिसे विषम (heterogeneous), आंशिक रूप से विश्वसनीय वातावरण के लिए डिज़ाइन किया गया है। यह अनुसंधान प्रश्नों को संबोधित करने के लिए तीन मुख्य तंत्रों को एकीकृत करता है:

A. सीक्रेट-मैपिंग लेबल एक्सपेंशन (RQ1 और RQ3 को संबोधित करना)

मॉडल की उपयोगिता को कम किए बिना लेबल अर्थ (semantics) और मात्रा को छिपाने के लिए:

तंत्र: डेटा क्लाइंट ( $C$ ) प्रत्येक वास्तविक लेबल $Y_i$ को एक गुप्त एक-से-अनेक मैपिंग $G_Y$ का उपयोग करके $g_i$ छद्म-लेबलों ( $Y^*_{ij}$ ) के सेट में मैप करता है।
डेटा ऑग्मेंटेशन: डेटासेट को विस्तारित लेबल स्पेस के अनुरूप संवर्धित (augment) किया जाता है, जिससे क्लास बैलेंस सुनिश्चित होता है।
प्रभाव: ट्रेनर क्लाइंट केवल छद्म-लेबल देखते हैं। गुप्त व्युत्क्रम मैपिंग (inverse mapping) $G_Y^{-1}$ के बिना, मॉडल के आउटपुट अनधिकृत पक्षों के लिए परिचालन रूप से बेकार होते हैं, जो प्रभावी रूप से मॉडल की उपयोगिता को प्राधिकरण (authorization) से बांध देते हैं।

B. डिफरेंशियल प्राइवेसी (DP) गार्डेड एक्टिवेशंस (RQ1 को संबोधित करना)

मध्यवर्ती एक्टिवेशन पर फीचर इन्वर्जन और क्लस्टरिंग हमलों को रोकने के लिए:

तंत्र: एक्टिवेशन अपलोड करने से पहले, $C$ संवेदनशीलता को सीमित करने के लिए $\ell_1$ -क्लिपिंग लागू करता है और एक प्राइवेसी बजट $\epsilon$ के आधार पर कैलिब्रेटेड लाप्लास शोर (Laplace noise) इंजेक्ट करता है।
सैद्धांतिक गारंटी: यह शोध पत्र सिद्ध करता है कि इस तंत्र के तहत, दो एक्टिवेशन एक ही क्लास के हैं, इसका अनुमान लगाने की संभावना (likelihood ratio) $e^{2\epsilon}$ द्वारा सीमित है, जो लिंकेज हमलों को काफी हद तक सीमित करती है।
वर्कफ़्लो: $C$ विस्तार (expansion) और शोर इंजेक्शन को एक बार करता है, और ट्रेनिंग पाइपलाइन के लिए DP-संरक्षित एक्टिवेशंस ( $M^D_C$ ) को कैश करता है।

C. डायनेमिक चेन्ड वॉटरमार्किंग (RQ2 को संबोधित करना)

सत्यापन योग्य प्रशिक्षण अखंडता और स्वामित्व एट्रिब्यूशन सुनिश्चित करने के लिए:

तंत्र: जब मॉडल अभिसरण (converge) हो जाता है (Epoch $N$ ), तो एक वॉटरमार्किंग चरण (Epoch $N+1$ ) होता है। प्रत्येक ट्रेनर $T_i$ अपने मॉडल सेगमेंट में एक अद्वितीय वॉटरमार्क $\Lambda_{Ti}$ एम्बेड करता है।
चेनिंग: वॉटरमार्क क्रिप्टोग्राफिक रूप से चेन्ड है। $T_i$ $T_{i}$ के लिए वॉटरमार्क पिछले ट्रेनर के आउटपुट एक्टिवेशन ( $M_{T_{i-1}}$ $M_{T_{i - 1}}$ ), ट्रेनर की पहचान, और एक गुप्त नॉन्स (nonce) के हैश से नियत रूप से प्राप्त किया जाता है।
- $H_1 = H(M^D_C, 1, \mu_1, ID_{T1})$
- $H_i = H(M_{T_{i-1}}, i, \mu_i, ID_{Ti})$
सत्यापन: एक विश्वसनीय सत्यापनकर्ता ( $V$ ) अपेक्षित वॉटरमार्क श्रृंखला का पुनर्निर्माण करता है। यदि कोई ट्रेनर प्रशिक्षण छोड़ देता है या पूर्व-प्रशिक्षित मॉडल का उपयोग करता है, तो एक्टिवेशन इनपुट भिन्न होगा, जिससे व्युत्पन्न वॉटरमार्क बेमेल हो जाएगा, जिससे "फ्री-राइडिंग" का पता चल जाएगा।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: CLICOOPER पेश किया गया, जो पहला फ्रेमवर्क है जो सर्वरलेस, बहु-क्लाइंट सहकारी SL के लिए तैयार किया गया है जो गोपनीयता, स्वामित्व और उपयोगिता के बीच संतुलन बनाता है।
गोपनीयता-संरक्षण डिजाइन: लेबल अनुमान और फीचर इन्वर्जन हमलों को दबाने के लिए लेबल एक्सपेंशन और DP शोर को जोड़ा गया, जबकि मॉडल सटीकता को बनाए रखा गया।
क्रिप्टोग्राफिक प्रोवेनेंस: एक चेन्ड वॉटरमार्किंग स्कीम विकसित की गई जो वितरित क्लाइंट्स के बीच प्रशिक्षण चरणों को जोड़ती है, जिससे ऑडिट योग्य स्वामित्व दावे संभव होते हैं और अनधिकृत मॉडल पुन: उपयोग को रोका जा सकता है।
व्यापक मूल्यांकन: विविध डेटासेट्स (MNIST, CIFAR-10/100, AG News) और आर्किटेक्चर (CNNs, Transformers) पर सिस्टम को मान्य किया गया, जो आंतरिक और बाहरी हमलों के विरुद्ध मजबूती प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने बेसलाइन और विभिन्न हमले परिदृश्यों के विरुद्ध CLICOOPER का व्यापक परीक्षण किया:

मॉडल सटीकता: CLICOOPER बेसलाइन सटीकता को बनाए रखता है, कुछ कॉन्फ़िगरेशन में 2% तक सुधार देखा गया (इसका श्रेय शोर को रेगुलराइज़र के रूप में कार्य करने को दिया जाता है)।
क्लस्टरिंग हमलों के खिलाफ बचाव:
- बिना सुरक्षा के, क्लस्टरिंग हमले 100% सटीकता के साथ लेबल समूहों को रिकवर कर लेते हैं।
- CLICOOPER (DP + Label Expansion) के साथ, इमेज डेटासेट्स (CIFAR-10/100) के लिए सफलता दर 0% हो जाती है और टेक्स्ट/MNIST के लिए काफी कम हो जाती है।
इन्वर्जन हमलों के खिलाफ बचाव:
- असुरक्षित एक्टिवेशन उच्च समानता (SSIM ~0.50) के साथ पुनर्निर्माण की अनुमति देते हैं।
- DP शोर ( $\epsilon=2.0$ ) के साथ, पुनर्निर्माण समानता गिरकर 0.03 हो जाती है, जिससे रिकवर की गई छवियां अपठनीय हो जाती हैं।
मॉडल एक्सट्रैक्शन के खिलाफ बचाव:
- API क्वेरी के माध्यम से सरोगेट मॉडल प्रशिक्षित करने का प्रयास करने वाले बाहरी विरोधी केवल ~1% सटीकता (रैंडम गेसिंग के बराबर) प्राप्त करते हैं, जिसका कारण छद्म-लेबल अस्पष्टता है।
ओवरहेड:
- वॉटरमार्किंग: एम्बेडिंग और सत्यापन में केवल मिलीसेकंड (जैसे, ~8-13ms) लगते हैं, जो प्रशिक्षण समय की तुलना में नगण्य है।
- संचार (Communication): लेटेंसी सेगमेंट बाउंड्री के साथ रैखिक रूप से स्केल होती है लेकिन कम रहती है (जैसे, CIFAR-100 के लिए कुल <1.5s)।

5. महत्व (Significance)

CLICOOPER विकेंद्रीकृत AI प्रशिक्षण में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है:

आर्थिक व्यवहार्यता: यह एक "कंप्यूट मार्केटप्लेस" को सक्षम बनाता है जहाँ एज डिवाइस डेटा गोपनीयता से समझौता किए बिना मॉडल प्रशिक्षण के लिए अपनी खाली संसाधनों का मुद्रीकरण कर सकते हैं।
ट्रस्टलेस सहयोग: एक एकल विश्वसनीय सर्वर की आवश्यकता को हटाकर और क्रिप्टोग्राफिक प्रमाणों (proofs of work) को पेश करके, यह मल्टी-पार्टी सहयोग में "विश्वास अंतराल" (trust gap) को हल करता है।
समग्र सुरक्षा: पिछले कार्यों के विपरीत जो केवल गोपनीयता या केवल कॉपीराइट पर ध्यान केंद्रित करते हैं, CLICOOPER एक एकीकृत समाधान प्रदान करता है जो डेटा मालिकों की रक्षा करता है, ट्रेनर्स के लिए उचित मुआवजे को सुनिश्चित करता है, और अंतिम मॉडल को चोरी से सुरक्षित करता है।

संक्षेप में, CLICOOPER स्प्लिट लर्निंग को एक सर्वर-केंद्रित प्रोटोकॉल से बदलकर आंशिक रूप से विश्वसनीय वातावरण में सहयोगात्मक AI के लिए एक मजबूत, सर्वर रहित और आर्थिक रूप से व्यवहार्य फ्रेमवर्क में बदल देता है।