💻 computer science

Exploring CKKS Parameter Trade-offs for Privacy-Preserving Personalized Federated Learning

यह शोध पत्र pFedCKKS प्रस्तुत करता है, जो एक ऐसा ढांचा है जो CKKS होमोमोर्फिक एन्क्रिप्शन स्कीम को पर्सनलाइज्ड फेडरेटेड लर्निंग में एकीकृत करता है और गोपनीयता, सटीकता एवं कम्प्यूटेशनल दक्षता के बीच संतुलन बनाने के लिए इसके मापदंडों (पैरामीटर्स) के चयन के लिए पहला व्यवस्थित मार्गदर्शन प्रदान करता है।

मूल लेखक: Kamolchanok Saengtong, Phanwadee Sinthong, Norrathep Rattanavipanon

प्रकाशित 2026-06-09

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Kamolchanok Saengtong, Phanwadee Sinthong, Norrathep Rattanavipanon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि डॉक्टरों का एक समूह है, जिनमें से प्रत्येक एक अलग अस्पताल में काम करता है, जो बीमारियों का निदान करने के लिए एक सुपर-स्मार्ट AI बनाना चाहते हैं। उनके पास मरीजों का डेटा है, लेकिन गोपनीयता कानूनों (जैसे GDPR) और नैतिक नियमों के कारण, वे अपने मरीजों के वास्तविक मेडिकल रिकॉर्ड को किसी केंद्रीय सर्वर पर नहीं भेज सकते।

फेडरेटेड लर्निंग (FL) वह समाधान है जिसका वे उपयोग करते हैं: डेटा साझा करने के बजाय, वे "सीखे गए सबक" (मॉडल अपडेट) साझा करते हैं। हालांकि, इसमें एक पेच है। यहाँ तक कि इन "सबकों" को भी रिवर्स-इंजीनियर करके निजी मरीज के विवरणों का पता लगाया जा सकता है।

पर्सनलाइज्ड फेडरेटेड लर्निंग (PFL) इसे एक कदम आगे ले जाता है। मानक FL में, सभी के पास अंततः एक ही AI मॉडल होता है। लेकिन PFL में, प्रत्येक डॉक्टर को उनके अपने अस्पताल के मरीजों के मिश्रण के लिए विशेष रूप से तैयार किया गया मॉडल मिलता है, जबकि वे समूह से भी सीख रहे होते हैं।

समस्या: "ईमानदार-लेकिन-जिज्ञासु" सर्वर

इस सेटअप में, एक केंद्रीय सर्वर है जो प्रशिक्षण का समन्वय करता है। पेपर यह मान लेता है कि यह सर्वर "ईमानदार-लेकिन-जिज्ञासु" (honest-but-curious) है। यह नियमों का पालन करता है और डेटा चुराता नहीं है, लेकिन यह जिज्ञासु है। यह डॉक्टरों द्वारा भेजे गए "सबकों" को देख कर उनके मरीजों के निजी विवरणों का पता लगाने की कोशिश कर सकता है।

समाधान: "जादुई लिफाफा" (CKKS)

सर्वर को झांकने से रोकने के लिए, लेखक एक "जादुई लिफाफे" का परिचय देते हैं जिसे CKKS (होमोमोर्फिक एन्क्रिप्शन का एक प्रकार) कहा जाता है।

यह कैसे काम करता है: कल्पना करें कि आप एक पत्र को एक बंद, पारदर्शी बॉक्स के अंदर रख सकते हैं। आप बिना बॉक्स खोले उसके अंदर की चीज़ों पर गणित (जैसे जोड़ या गुणा) कर सकते हैं। सर्वर इन बंद बक्सों को एकत्रित (aggregate) करता है। केवल डॉक्टरों के पास ही अंतिम बॉक्स को खोलने और परिणाम पढ़ने की कुंजी होती है।
CKKS क्यों? अधिकांश एन्क्रिप्शन पूर्ण संख्याओं (जैसे सेब गिनना) के लिए बेहतरीन होते हैं, लेकिन AI मॉडल दशमलव (जैसे 3.14159) का उपयोग करते हैं। CKKS विशेष है क्योंकि यह इन दशमलव संख्याओं पर गणित कर सकता है, जबकि वे अभी भी बॉक्स के अंदर बंद हैं।

बड़ी खोज: "गोल्डिलॉक्स" सेटिंग्स

पेपर का मुख्य योगदान यह पता लगाना है कि इन जादुई लिफाफों को कैसे कॉन्फ़िगर किया जाए। लेखकों ने पाया कि ताले का "आकार" (जिसे प्राइम्स कहा जाता है) एक ट्रेड-ऑफ (संतुलन) बनाता है:

छोटे ताले: लॉक करने/खोलने में तेज़ और इंटरनेट पर भेजने के लिए छोटे, लेकिन इसके अंदर का गणित "धुंधला" (कम सटीक) हो जाता है। AI भ्रमित हो सकता है और गलतियाँ कर सकता है।
विशाल ताले: बहुत सटीक गणित, लेकिन वे भारी, धीमे हैं और इंटरनेट बैंडविड्थ का बहुत अधिक उपयोग करते हैं।

लेखकों ने इन तीन AI रणनीतियों (FedFinetune, FedPer, और Ditto) और तीन अलग-अलग प्रकार के डेटा (हस्तलिखित अक्षर, प्रसिद्ध चेहरे, और ट्वीट भावनाएं) के साथ इनका परीक्षण किया।

"स्वीट स्पॉट" (सही संतुलन) की खोज:
उन्होंने पाया कि आपको सबसे अच्छे परिणाम प्राप्त करने के लिए सबसे बड़े, भारी तालों की आवश्यकता नहीं है।

यदि ताला बहुत छोटा है (18 बिट्स), तो AI टूट जाता है और बहुत खराब प्रदर्शन करता है।
यदि ताला बहुत बड़ा है (38+ बिट्स), तो AI पूरी तरह से काम करता है, लेकिन यह इतना धीमा और भारी है कि वास्तविक दुनिया के उपयोग के लिए अव्यवहारिक है।
सिफारिश: उन्होंने एक "गोल्डिलॉक्स" सेटिंग खोजी: 28-बिट बाहरी ताले और 26-बिट आंतरिक ताले।

इस विशिष्ट सेटिंग पर:

AI उतना ही सटीक है जितना कि बिना किसी एन्क्रिप्शन के उपयोग करने पर होता।
गति और इंटरनेट का उपयोग वास्तविक उपयोग के लिए पर्याप्त कम है।

निष्कर्ष (Takeaway)

यह पेपर एक फ्रेमवर्क प्रस्तुत करता है जिसे pFedCKKS कहा जाता है। यह साबित करता है कि आप एक साथ दो चीजें हासिल कर सकते हैं: आप निजी डेटा पर व्यक्तिगत AI मॉडल को प्रशिक्षित कर सकते हैं बिना केंद्रीय सर्वर को कच्चा डेटा दिखाए, और बिना सिस्टम को धीमा किए।

इस सिस्टम को बनाने वाले किसी भी व्यक्ति के लिए मुख्य सबक यह है: केवल सबसे बड़े, सबसे सुरक्षित नंबर खोजने की कोशिश न करें। इसके बजाय, उन विशिष्ट "28 और 26" नंबरों को चुनें जिन्हें लेखकों ने पाया है, जो सुरक्षा, गति और सटीकता को इस विशिष्ट कार्य के लिए पूरी तरह से संतुलित करते हैं।

तकनीकी सारांश: गोपनीयता-संरक्षित व्यक्तिगत रूप से संघीय शिक्षण (Personalized Federated Learning) के लिए CKKS पैरामीटर ट्रेड-ऑफ का अन्वेषण

समस्या विवरण

पर्सनलाइज्ड फेडरेटेड लर्निंग (PFL) क्लाइंट्स को उनके स्थानीय, विषम डेटा के अनुकूल मॉडल को सहयोगात्मक रूप से प्रशिक्षित करने की अनुमति देता है, बिना कच्चे डेटासेट साझा किए। हालाँकि, मानक PFL "ईमानदार-लेकिन-जिज्ञासु" (honest-but-curious) सर्वरों से होने वाले इन्फरेंस हमलों के प्रति संवेदनशील रहता है, जो साझा किए गए मॉडल अपडेट से निजी प्रशिक्षण डेटा को पुनर्गठित कर सकते हैं या संवेदनशील गुणों का अनुमान लगा सकते हैं। जबकि होमोमोर्फिक एन्क्रिप्शन (HE), विशेष रूप से CKKS स्कीम, एक समाधान प्रदान करती है क्योंकि यह एन्क्रिप्टेड अपडेट पर सर्वर-साइड एग्रीगेशन को सक्षम बनाती है, PFL में इसके अनुप्रयोग में व्यवस्थित मार्गदर्शन का अभाव है। अभ्यासकर्ताओं (practitioners) के सामने एक महत्वपूर्ण अंतर है: उनके पास CKKS मापदंडों (जैसे कि साइफरटेक्स्ट मॉड्युली) को कॉन्फ़िगर करने के लिए कोई सिद्धांत-आधारित ढांचा नहीं है जो गोपनीयता, डिक्रिप्शन परिशुद्धता (precision), और कंप्यूटेशनल/कम्युनिकेशन दक्षता के बीच प्रतिस्पर्धात्मक मांगों को संतुलित करता हो।

कार्यप्रणाली (Methodology)

लेखक pFedCKKS पेश करते हैं, जो एक जेनेरिक फ्रेमवर्क है जो PFL वर्कफ़्लो में CKKS HE स्कीम को एकीकृत करता है। कार्यप्रणाली में शामिल है:

सिस्टम और थ्रेट मॉडल: यह फ्रेमवर्क एक क्रॉस-साइलो सेटिंग में संचालित होता है जिसमें एक ईमानदार-लेकिन-जिज्ञासु सर्वर और ईमानदार क्लाइंट्स होते हैं। एक विश्वसनीय लीडर (या तीसरा पक्ष) CKKS कुंजियाँ (keys) उत्पन्न करता है, जो सार्वजनिक और मूल्यांकन कुंजियों (public and evaluation keys) को सर्वर को और गुप्त कुंजी (secret key) को क्लाइंट्स को वितरित करता है।
वर्कफ़्लो एकीकरण: प्रशिक्षण प्रक्रिया में क्लाइंट्स द्वारा ग्लोबल पैरामीटर्स को डिक्रिप्ट करना, स्थानीय PFL अपडेट (FedFinetune, FedPer, या Ditto एल्गोरिदम का उपयोग करके) करना, अपडेटेड ग्लोबल पैरामीटर्स को एन्क्रिप्ट करना, और उन्हें सर्वर को भेजना शामिल है। सर्वर डिक्रिप्शन के बिना इन साइफरटेक्स्ट्स का होमोमोर्फिक वेटेड एग्रीगेशन करता है।
पैरामीटर विश्लेषण: लेखक 128-बिट सुरक्षा स्तर के तहत CKKS मापदंडों के लिए बाधाओं (constraints) को व्युत्पन्न करते हैं। वे पहचानते हैं कि PFL सेटिंग के लिए (जिसमें केवल एक होमोमोर्फिक मल्टीप्लिकेशन की आवश्यकता होती है), समस्या केवल दो मानों के चयन तक सीमित हो जाती है: इनर प्राइम ( $q_1$ $q_{1}$ ) और आउटर प्राइम ( $q_0 = q_2$ $q_{0} = q_{2}$ )।
- $N = 8192$ (सुरक्षा के लिए स्थिर)।
- $L = 1$ (मल्टीप्लिकेटिव डेप्थ)।
- बाधाएं: $q_0 > q_1$ और $\log_2(q_0) + \log_2(q_1) + \log_2(q_2) < 218$ ।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): इस फ्रेमवर्क को Flower FL फ्रेमवर्क और TenSEAL लाइब्रेरी का उपयोग करके कार्यान्वित किया गया है। प्रयोग तीन डेटासेट्स (FEMNIST, CelebA, Sentiment140) और तीन PFL एल्गोरिदम पर आयोजित किए गए। अध्ययन व्यवस्थित रूप से इनर और आउटर प्राइम के बिट साइज को बदलकर निम्नलिखित को मापता है:
- कम्युनिकेशन: अनएन्क्रिप्टेड बेसलाइन के सापेक्ष बैंडविड्थ उपयोग और ओवरहेड।
- कंप्यूटेशन: रनटाइम ओवरहेड (एन्क्रिप्शन/डिक्रिप्शन बनाम स्थानीय प्रशिक्षण)।
- परिशुद्धता (Precision): पैरामीटर-लेवल एरर ( $L_1$ नॉर्म) और मॉडल-लेवल टेस्ट एक्यूरेसी।

मुख्य योगदान

pFedCKKS फ्रेमवर्क: PFL वर्कफ़्लो में CKKS को एकीकृत करने वाला पहला जेनेरिक फ्रेमवर्क, जो प्रमुख PFL रणनीतियों (FedFinetune, FedPer, और Ditto) के साथ संगतता प्रदर्शित करता है।
व्यवस्थित पैरामीटर गाइड: PFL के लिए पूर्ण CKKS पैरामीटर बाधाओं का व्युत्पन्न, जो चयन की जटिलता को केवल इनर और आउटर प्राइम चुनने तक कम कर देता है।
ट्रेड-ऑफ विश्लेषण: एक व्यापक अनुभवजन्य मूल्यांकन जो परिशुद्धता और लागत के बीच अंतर्निहित ट्रेड-ऑफ को प्रकट करता है। अध्ययन पहचानता है कि इनर प्राइम डिक्रिप्शन परिशुद्धता के लिए प्रमुख कारक है, जबकि दोनों प्राइम संचार और कंप्यूटेशन लागत को महत्वपूर्ण रूप से प्रभावित करते हैं।
व्यावहारिक दिशा-निर्देश: दक्षता और सटीकता के बीच संतुलन बनाने वाले एक इष्टतम ऑपरेटिंग पॉइंट की पहचान।

परिणाम

कम्युनिकेशन: कम्युनिकेशन ओवरहेड इनर और आउटर दोनों प्राइम्स के आकार के साथ रैखिक रूप से बढ़ता है। उदाहरण के लिए, इनर प्राइम को 18 से बढ़ाकर 38 बिट्स (एक स्थिर 40-बिट आउटर प्राइम के साथ) करने से 100% से अधिक अतिरिक्त ओवरहेड हुआ। PFL एल्गोरिदम का चुनाव भी बैंडविड्थ पर प्रभाव डालता है; FedPer ने FEMNIST पर केवल साझा बेस लेयर्स को ट्रांसमिट करके ओवरहेड को काफी कम कर दिया, लेकिन Sentiment140 पर इसे बढ़ा दिया जहाँ साझा लेयर्स लगभग पूरे मॉडल का हिस्सा थीं।
कंप्यूटेशन: कंप्यूटेशन ओवरहेड केवल तभी महत्वपूर्ण होता है जब CKKS ऑपरेशन्स (एन्क्रिप्शन/डिक्रिप्शन) स्थानीय प्रशिक्षण समय पर हावी होते हैं। छोटे मॉडल्स (जैसे CelebA) या छोटे एन्क्रिप्टेड सबसेट्स (FEMNIST पर FedPer) वाली सेटिंग्स में, स्थानीय प्रशिक्षण CKKS ओवरहेड को छिपा देता है, जिससे कुल रनटाइम में नगण्य वृद्धि होती है। हालाँकि, जब CKKS ऑपरेशन्स प्रभावी थे, तो बड़े प्राइम्स के कारण रनटाइम बढ़ गया।
परिशुद्धता (Precision):
- इनर प्राइम: यह परिशुद्धता के लिए महत्वपूर्ण कारक है। एक 18-बिट इनर प्राइम के कारण संख्यात्मक अस्थिरता (numerical instability) और ओवरफ्लो के चलते सटीकता में भारी गिरावट (कुछ मामलों में 80% तक) आई। इनर प्राइम को 22 बिट्स तक बढ़ाने से सटीकता में सुधार हुआ लेकिन फिर भी दृश्यमान गिरावट देखी गई। 26 बिट्स या उससे अधिक ने अनएन्क्रिप्टेड बेसलाइन के समान मॉडल सटीकता को लगातार बनाए रखा।
- आउटर प्राइम: इसका पैरामीटर-लेवल और मॉडल-लेवल परिशुद्धता दोनों पर नगण्य प्रभाव पड़ा।
- अभिसरण (Convergence): 22-बिट इनर प्राइम वाले मॉडल्स में लंबे समय तक प्रशिक्षण के बाद सटीकता में गिरावट (संचित शोर/noise के कारण) देखी गई, जबकि 26-बिट और उच्च कॉन्फ़िगरेशन बेसलाइन के समान ही अभिसरण (converge) हुए।

महत्व और सिफारिशें

पेपर निष्कर्ष निकालता है कि जबकि CKKS, PFL को सक्षम बनाता है, गलत पैरामीटर चयन अत्यधिक लागत या अनुपयोगी मॉडल सटीकता का कारण बन सकता है। लेखक अभ्यासकर्ताओं के लिए एक ठोस दिशा-निर्देश प्रदान करते हैं:

अनुशंसित कॉन्फ़िगरेशन: एक साइफरटेक्स्ट मॉडुलस कॉन्फ़िगरेशन (28, 26, 28) (28-बिट आउटर प्राइम्स, 26-बिट इनर प्राइम)।
तर्क: यह कॉन्फ़िगरेशन संचार और कंप्यूटेशनल ओवरहेड्स को न्यूनतम करता है और यह सुनिश्चित करता है कि मॉडल-लेवल सटीकता अनएन्क्रिप्टेड बेसलाइन के तुलनीय बनी रहे। यह वह "स्वीट स्पॉट" है जहाँ इनर प्राइम को और अधिक बढ़ाने से सटीकता में मिलने वाला लाभ कम (diminishing returns) हो जाता है लेकिन लागत बढ़ जाती है।

यह कार्य प्रमाणित करता है कि व्यक्तिगत रूप से संघीय शिक्षण (PFL) में गोपनीयता बनाए रखना कुशल प्रदर्शन के साथ संभव है, यदि CKKS मापदंडों को सावधानीपूर्वक ट्यून किया जाए, जिससे गोपनीयता-बढ़ाने वाली तकनीकों के परिनियोजन में एक महत्वपूर्ण अंतर भर जाता है।