🤖 machine learning

CGF-Softmax: A Cumulant-Based Softmax Reformulation for Efficient Inference under Homomorphic Encryption

यह शोध पत्र CGF-Softmax प्रस्तुत करता है, जो सॉफ्टमैक्स फलन का एक नवीन पुनर्गठन है जो संचयी जनरेटिंग फंक्शन (cumulant generating function) का उपयोग करके खर्चीले होमोमॉर्फिक विभाजन और अधिकतम घटाव को समाप्त करता है, जिससे कम मल्टीप्लिकेटिव डेप्थ के साथ होमोमॉर्फिक एन्क्रिप्शन के तहत ट्रांसफार्मर मॉडल के लिए कुशल और सटीक गोपनीयता-संरक्षित अनुमान (privacy-preserving inference) सक्षम होता है।

मूल लेखक: Hanjun Park, Byeongseo Min, Jiheon Woo, Min-Wook Jeong, Jongho Shin, Yongwoo Lee, Young-Sik Kim, Yongjune Kim

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hanjun Park, Byeongseo Min, Jiheon Woo, Min-Wook Jeong, Jongho Shin, Yongwoo Lee, Young-Sik Kim, Yongjune Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही मूल्यवान गुप्त रेसिपी (आपका डेटा) है जिसे आप एक प्रसिद्ध शेफ (एक शक्तिशाली AI मॉडल) को चखने और परखने के लिए देना चाहते हैं, लेकिन आप उन्हें वास्तविक सामग्री देने से डरते हैं क्योंकि वे रेसिपी चुरा सकते हैं।

होमोमोर्फिक एन्क्रिप्शन (HE) एक जादुई, अटूट रसोई बॉक्स की तरह है। आप अपनी कच्ची सामग्री उस बॉक्स के अंदर रखते हैं, उसे लॉक करते हैं, और शेफ को भेज देते हैं। शेफ बिना बॉक्स खोले या सामग्री देखे, बॉक्स के अंदर ही खाना बना और चख सकता है। वे आपको यह भी बता सकते हैं कि व्यंजन "तीखा" है या "मीठा" (AI का अनुमान) बिना कभी यह जाने कि वास्तव में अंदर क्या था।

हालाँकि, इस बॉक्स के अंदर खाना पकाने का एक बहुत ही कठिन चरण है: सॉफ्टमैक्स (Softmax) फंक्शन।

समस्या: "तीखेपन" की गणितीय समस्या

AI में, सॉफ्टमैक्स फंक्शन शेफ द्वारा यह तय करने जैसा है कि कौन सा स्वाद सबसे प्रबल है। यह सभी सामग्रियों को देखता है, इसमें विशाल संख्याओं (एक्सपोनेंट्स) के साथ कुछ गणित शामिल होता है, और फिर अंतिम प्रतिशत का पता लगाने के लिए उन्हें विभाजित करता है।

इस जादुई बॉक्स के अंदर यह करना एक दुस्वप्न है, जिसके दो कारण हैं:

"बड़ी संख्या" का विस्फोट: इसमें ऐसी गणित शामिल है जिसमें संख्याएँ इतनी बड़ी हो जाती हैं कि वे बॉक्स को तोड़ देती हैं (ओवरफ्लो)। इसे ठीक करने के लिए सामान्य खाना पकाने में, शेफ सबसे बड़ी संख्या को पहले घटा देते हैं। लेकिन जादुğı बॉक्स के अंदर, आप तुलना करने के लिए बॉक्स को खोले बिना "सबसे बड़ी" संख्या को आसानी से नहीं ढूँढ सकते।
"विभाजन" का जाल: अंतिम चरण के लिए संख्याओं को विभाजित करने की आवश्यकता होती है। जादुई बॉक्स के अंदर, विभाजन करना एक हीरे को मक्खन वाले चाकू से काटने जैसा है—यह अविश्वसनीय रूप से धीमा, महंगा है, और इसके लिए बहुत अधिक भारी मशीनरी (कंप्यूटेशनल पावर) की आवश्यकता होती है जो बॉक्स को जल्दी थका देती है।

पिछले तरीकों ने या तो:

सबसे बड़ी संख्या का अनुमान लगाया (जो कभी-कभी विफल हो जाता है और स्वाद बिगाड़ देता है)।
एक बहुत ही जटिल, धीमी रेसिपी का उपयोग किया जो विभाजन को अनुमानित करने के लिए (जिसमें बहुत समय लगता है और बॉक्स की बैटरी खत्म कर देता है)।
पूरे फ्लेवर प्रोफाइल को एक सरल, नकली मसाले से बदल दिया (जिससे AI कम सटीक हो जाता है)।

समाधान: CGF-Softmax (द "क्युमुलेटिव फ्लेवर" ट्रिक)

इस पेपर के लेखकों ने CGF-Softmax के माध्यम से इस व्यंजन को इस बॉक्स के अंदर पकाने का एक चतुर तरीका निकाला है। एकल सबसे बड़ी संख्या खोजने या कठिन विभाजन करने के बजाय, उन्होंने कम्युलांट जनरेटिंग फंक्शन (CGF) नामक अवधारणा का उपयोग करके रेसिपी को पूरी तरह से बदल दिया।

इसे इस प्रकार समझें:

पुराना तरीका: "मुझे कटोरे में सबसे तीखी मिर्च ढूँढनी है, हर चीज़ से उसे घटाना है, और फिर पूरे कटोरे को कुल गर्मी से विभाजित करना है।" (लॉक किए गए बॉक्स में करना कठिन है)।
CGF-Softmax तरीका: "एकल सबसे तीखी मिर्च खोजने के बजाय, आइए हम पूरे कटोरे की औसत गर्मी (average heat) और गर्मी की विविधता (variety of heat) को मापें। हम इन दो सरल आंकड़ों का उपयोग हर एक सामग्री के स्वाद को एक साथ समायोजित करने के लिए करते हैं।"

औसत और फैलाव (वेरिएंस) का उपयोग करके, नया तरीका:

"सबसे बड़ी संख्या" की खोज को छोड़ देता है: इसे अधिकतम मान खोजने की आवश्यकता नहीं है। यह बस औसत के आधार पर सब कुछ बदल देता है, जो बॉक्स के अंदर गणना करना आसान है।
विभाजन को समाप्त करता है: यह "विभाजन" वाले हिस्से को सीधे गणित के एक्सपोनेंट (पावर) में समाहित कर देता है। इसका मतलब है कि शेफ को कभी भी उस धीमे, भारी विभाजन मशीन का उपयोग नहीं करना पड़ता है।

परिणाम: तेज़, सस्ता और उतना ही स्वादिष्ट

पेपर ने इस नए तरीके का परीक्षण दो प्रकार के AI शेफ पर किया:

विज़न ट्रांसफॉर्मर (ViT): मॉडल जो छवियों को देखते हैं (जैसे बिल्ली बनाम कुत्ते की पहचान करना)।
लार्ज लैंग्वेज मॉडल्स (LLaMA): मॉडल जो टेक्स्ट पढ़ते हैं और लिखते हैं।

उन्होंने पाया:

गति (Speed): कठिन विभाजन और "मैक्स ढूंढने" के चरण को हटाने के कारण, नया तरीका पिछले सर्वोत्तम तरीकों की तुलना में 4 से 6 गुना तेज़ (कंप्यूटेशनल डेप्थ के मामले में) है। यह एक धीमी, मैनुअल कार वॉश से हाई-स्पीड ऑटोमेटेड कार वॉश पर स्विच करने जैसा है।
सटीकता (Accuracy): तेज़ होने के बावजूद, भोजन का स्वाद लगभग एक जैसा ही रहता है। पूर्ण, अनएन्क्रिप्टेड संस्करण की तुलना में AI की सटीकता 1% से भी कम गिरी है।
दक्षता (Efficiency): यह जादुई बॉक्स की "बैटरी" (कंप्यूटेशनल लेवल्स) का बहुत कम उपयोग करता है, जिसका अर्थ है कि आप बॉक्स टूटने से पहले बहुत बड़े और अधिक जटिल AI मॉडल चला सकते हैं।

सारांश

CGF-Softmax एक नई गणितीय ट्रिक है जो AI मॉडल्स को एन्क्रिप्टेड डेटा पर निर्णय लेने में सक्षम बनाती है, बिना उन धीमे, महंगे और जोखिम भरे गणितीय ऑपरेशन्स (विभाजन और अधिकतम मान खोजना) के जो आमतौर पर सिस्टम को तोड़ देते हैं। यह एक जटिल "खोज और विभाजन" रेसिपी को एक सरल "औसत और समायोजन" रेसिपी में बदलकर हासिल किया गया है, जिससे यह प्रणाली बिना AI के उत्तरों की गुणवत्ता से समझौता किए, सुरक्षित और अत्यधिक कुशल बन जाती है।

तकनीकी सारांश: CGF-Softmax

समस्या विवरण

होमोमोर्फिक एन्क्रिप्शन (HE) एन्क्रिप्टेड डेटा पर डिक्रिप्शन के बिना गणना करने की अनुमति देकर गोपनीयता-संरक्षित मशीन लर्निंग को सक्षम बनाता है। हालाँकि, गैर-पॉलीनोमियल ऑपरेशन्स को लागू करना, विशेष रूप से ट्रांसफॉर्मर आर्किटेक्चर के लिए केंद्रीय सॉफ्टमैक्स फंक्शन (softmax function), सख्त गैर-इंटरैक्टिव HE सेटिंग्स में एक महत्वपूर्ण बाधा बना हुआ है।

मानक सॉफ्टमैक्स सूत्रीकरण, $\text{softmax}(x)_i = \frac{\exp(x_i)}{\sum_j \exp(x_j)}$ , HE में तीन प्राथमिक चुनौतियाँ प्रस्तुत करता है:

संख्यात्मक अस्थिरता (Numerical Instability): एक्सपोनेंशियल फंक्शन तेजी से वृद्धि का कारण बनता है, जिससे ओवरफ्लो हो जाता है। मानक प्लेनटेक्स्ट इन्फरेंस इसे अधिकतम इनपुट मान ( $x_{\max}$ ) घटाकर कम करता है, लेकिन मैक्सिमम ऑपरेशन के लिए जटिल तुलना तर्क की आवश्यकता होती है जो HE के साथ असंगत है और महंगे पॉलीनोमियल एप्रोक्सिमेशन की आवश्यकता पैदा करता है।
विभाजन संचालन (Division Operations): नॉर्मलाइजेशन स्टेप के लिए डिवीजन की आवश्यकता होती है, जिसे HE स्कीम्स स्वाभाविक रूप से सपोर्ट नहीं करती हैं। पूर्व कार्य रेसिप्रोकल फंक्शन्स के लिए पुनरावृत्ति पॉलीनोमियल एप्रोक्सिमेशन (जैसे गोल्डस्मिथट एल्गोरिदम या चेबिशेव पॉलीनोमियल्स) पर निर्भर करते हैं, जो मल्टीप्लिकेटिव डेप्थ (multiplicative depth) को काफी बढ़ा देता है।
कंप्यूटेशनल लागत: एक्सपोनेंशियल और डिवीजन दोनों कार्यों के लिए आवश्यक उच्च-डिग्री पॉलीनोमियल एप्रोक्सिमेशन, लेवल्ड HE स्कीम्स (जैसे CKKS) के सीमित लेवल बजट का उपभोग करते हैं, जिससे अक्सर सिफरटेक्स्ट को रिफ्रेश करने के लिए महंगी बूटस्ट्रैपिंग (bootstrapping) ऑपरेशन्स की आवश्यकता होती है।

मौजूदा दृष्टिकोण दो श्रेणियों में आते हैं: सॉफ्टमैक्स एप्रोक्सिमेशन (उच्च सटीकता लेकिन डिवीजन/मैक्स के कारण उच्च डेप्थ) और सॉफ्टमैक्स रिप्लेसमेंट (कम डेप्थ लेकिन बड़े पैमाने के मॉडल और जटिल बेंचमार्क पर महत्वपूर्ण सटीकता में गिरावट)।

कार्यप्रणाली: CGF-Softmax

लेखक CGF-Softmax का प्रस्ताव करते हैं, जो सॉफ्टमैक्स फंक्शन का एक नया सूत्रीकरण है जो होमोमोर्फिक डिवीजन और स्पष्ट मैक्स सबट्रैक्शन ऑपरेशन्स दोनों को समाप्त करता है। मुख्य नवाचार क्युमलेंट जनरेटिंग फंक्शन (Cumulant Generating Function - CGF) के माध्यम से सॉफ्टमैक्स डिनोमिनेटर (denominator) की व्याख्या करने में निहित है।

सैद्धांतिक पुनर्गठन (Theoretical Reformulation)

एक इनपुट वेक्टर $x$ के लिए, लेखक $\sum \exp(x_i)$ को एक्सपोनेंशियल टर्म्स के स्केल्ड सैंपल मीन के रूप में व्याख्या करते हैं। सैंपल मीन को एंसेम्बल मीन (एक्सपेक्टेशन) से बदलकर, डिनोमिनेटर को $n M_X(1)$ द्वारा प्रतिस्थापित किया जाता है, जहाँ $M_X(t)$ मोमेंट जनरेटिंग फंक्शन (MGF) है।

CGF का उपयोग करते हुए, जिसे $K_X(t) = \ln M_X(t)$ के रूप में परिभाषित किया गया है, पुनर्गठित सॉफ्टमैक्स को इस प्रकार व्यक्त किया गया है:
$\text{softmax}_{\text{CGF}}(x)_i = \exp(x_i - K_X(1) - \ln n)$

यह सूत्रीकरण तीन महत्वपूर्ण लाभ प्रदान करता है:

मैक्स ऑपरेशन का उन्मूलन: अधिकतम मान घटाने के बजाय, इनपुट को $K_X(1) + \ln n$ द्वारा शिफ्ट किया जाता है। चूंकि $K_X(1)$ को लो-ऑर्डर क्युमुलेंट्स (मीन $\mu$ और वेरिएंस $\sigma^2$ ) का उपयोग करके एप्रोक्सिमेट किया जा सकता है, इसलिए यह शिफ्ट डेटा-एडेप्टिव है और बिना तुलना के बुनियादी HE ऑपरेशन्स (एडिशन और मल्टीप्लिकेशन) के माध्यम से गणनीय है।
डिवीजन का उन्मूलन: नॉर्मलाइजेशन टर्म को एक्सपोनेंट के भीतर समाहित कर दिया जाता है। परिणाम एक सिंगल एक्सपोनेंशियल फंक्शन है, जो होमोमोरफिक डिवीजन की आवश्यकता को पूरी तरह से हटा देता है।
डोमेन स्केलिंग: यह विधि डोमेन स्केलिंग का स्वाभाविक रूप से समर्थन करती है। एक्सपोनेंट को $1/2^k$ से स्केल करके, एक्सपोनेंशियल फंक्शन को एक छोटे अंतराल पर इवैल्यूएट किया जाता है, और मूल स्केल को $k$ बार स्क्वायर करके पुनः प्राप्त किया जाता है। यह मानक सॉफ्टमैक्स द्वारा आवश्यक दोहराव वाले "नॉर्मलाइज-एंड-स्क्वायर" प्रोसेस को टालता है, जिसमें बार-बार डिवीजन शामिल होता है।

व्यावहारिक इंस्टेंशिएशन (Practical Instantiation)

व्यावहारिक HE इवैल्यूएशन के लिए, लेखक एक सेकंड-ऑर्डर क्युमलेंट एप्रोक्सिमेशन अपनाते हैं:
$K_X(1) \approx \mu + \frac{\sigma^2}{2}$
उच्च-क्रम के टर्म्स ( $\kappa_j/j!$ के लिए $j \ge 3$ ) को छोड़ दिया गया है। लेखक तर्क देते हैं कि फैक्टोरियल डिनोमिनेटर स्वाभाविक रूप से इन टर्म्स को दबा देता है, और प्रायोगिक फाइन-ट्यूनिंग इन उच्च-क्रम के क्युमुलेंट्स के परिमाण को और कम करती है, जिससे यह एप्रोक्सिमेशन इन्फरेंस के लिए पर्याप्त सटीक हो जाता है।

मुख्य योगदान

CGF-Softmax सूत्रीकरण: एक अभिनव पुनर्गठन जो होमोमोर्फिक डिवीजन और मैक्स सबट्रैक्शन की आवश्यकता को समाप्त करता है, जिससे मल्टीप्लिकेटिव डेप्थ काफी कम हो जाती है।
सैद्धांतिक विश्लेषण: पेपर CGF-softmax के प्रमुख गुणों को स्थापित करता है, जिसमें शामिल हैं:
- पॉजिटिविटी (Positivity): स्ट्रिक्टली पॉजिटिव आउटपुट्स।
- ऑर्डर और पेयरवाइज-रेशियो प्रिजर्वेशन: यह लॉजिट्स के सापेक्ष क्रम और मानक सॉफ्टमैक्स के सटीक पेयरवाइज आउटपुट रेश्यो ( $\exp(x_i - x_j)$ ) को बनाए रखता है।
- शिफ्ट इनवेरिएंस (Shift Invariance): मानक सॉफ्टमैक्स की तरह, यह कांस्टेंट शिफ्ट के प्रति इनवेरिएंट है।
- एसिम्प्टोटिक एरर बाउंड: बेरी-एसेन (Berry–Esseen) प्रमेय का उपयोग करते हुए, लेखक सिद्ध करते हैं कि इनपुट डायमेंशन $n$ बढ़ने के साथ रिलेटिव एरर प्रोबेबिलिटी में शून्य की ओर अभिसरित (converge) होती है।
प्रायोगिक सत्यापन: विजन ट्रांसफॉर्मर्स (ViT/Deit) और लार्ज लैंग्वेज मॉडल्स (LLaMA-3.2-1B) पर व्यापक मूल्यांकन, जो उच्च सटीकता के साथ कम कंप्यूटेशनल लागत प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने ImageNet-1k (विजन ट्रांसफॉर्मर्स) और LLaMA-3.2-1B मॉडल का उपयोग करके कई NLP बेंचमार्क (Clinc150, Banking77, SST-2) पर CGF-softmax का मूल्यांकन किया।

मल्टीप्लिकेटिव डेप्थ: CGF-softmax बड़े पैमाने के मॉडल्स (जैसे LLaMA-3.2-1B, ViT-Base) के लिए 7–10 की मल्टीप्लिकेटिव डेप्थ प्राप्त करता है। इसके विपरीत, पूर्व एप्रोक्सिमेशन मेथड्स (जैसे Cho et al., EncryptedLLM) को छोटे मॉडल्स या टास्क के लिए 14–52 की डेप्थ की आवश्यकता होती है।
रनटाइम: 256×256 इनपुट मैट्रिक्स पर, CGF-softmax ने कुल लेटेंसी को 107.65s (Cho et al.) से घटाकर 3.25s कर दिया, जिसका मुख्य कारण बूटस्ट्रैपिंग को हटाना और सिफरटेक्स्ट मल्टीप्लीकेशन्स (CMult) को कम करना है।
सटीकता:
- CGF-softmax सभी बेंचमार्क में सटीक प्लेनटेक्स्ट सॉफ्टमैक्स बेसलाइन के मुकाबले <1% की सटीकता बनाए रखता है।
- यह सॉफ्टमैक्स रिप्लेसमेंट मेथड्स (जैसे BPMax) से काफी बेहतर प्रदर्शन करता है, जो जटिल कार्यों पर भारी सटीकता गिरावट का सामना करते हैं।
- यह उच्च-सटीकता वाले एप्रोक्सिमेशन बेसलाइन्स की तुलना में 4–6× कम डेप्थ की आवश्यकता के साथ लगभग प्लेनटेक्स्ट सटीकता प्राप्त करता है।
नॉइज़ व्यवहार: डिवीजन को हटाकर, CGF-softmax संचित शोर (accumulated noise) को कम करता है। डेप्थ 7 पर, यह $3.05 \times 10^{-10}$ का कुल नॉइज़ प्राप्त करता है, जो अधिक डेप्थ पर भी मानक सॉफ्टमैक्स फॉर्मुलेशन से कम है।

महत्व और दावे

पेपर का दावा है कि CGF-softmax ट्रांसफॉर्मर-आधारित मॉडल्स के लिए सुरक्षित इन्फरेंस हेतु एक स्केलेबल और कुशल समाधान प्रदान करता है। उच्च सटीकता के साथ काफी कम मल्टीप्लिकेटिव डेप्थ को जोड़कर, यह HE-आधारित PPML के लिए प्राथमिक बाधा को संबोधित करता है।

लेखक इस बात पर जोर देते हैं कि जबकि सरल कार्यों के लिए छोटे मॉडल्स पर सॉफ्टमैक्स रिप्लेसमेंट मेथड्स पर्याप्त हो सकते हैं, CGF-softmax बड़े पैमाने के आर्किटेक्चर और जटिल बेंचमार्क के लिए आवश्यक है जहाँ मौजूदा रिप्लेसमेंट्स सटीकता बनाए रखने में विफल रहते हैं। यह विधि बड़े मॉडल्स (जैसे LLaMA-3.2-1B) पर पूर्णतः आउटसोर्स्ड, नॉन-इंटरैक्टिव इन्फरेंस को सक्षम बनाती है, जिसकी कंप्यूटेशनल लागत पहले उच्च-सटीकता वाले HE इन्फरेंस के लिए अप्राप्य थी।

पेपर विनम्रतापूर्वक नोट करता है कि अपेक्षाकृत छोटे मॉडल्स (जैसे BERT) के लिए सरल कार्यों पर, मौजूदा लो-डेप्थ रिप्लेसमेंट मेथड्स अभी भी पर्याप्त हो सकते हैं, लेकिन CGF-softmax अधिक मांग वाले परिदृश्यों के लिए एक बेहतर ट्रेड-ऑफ प्रदान करता है।