🤖 machine learning

Public-Decay Homomorphic State Space Models for Private Sequence Inference

यह शोध पत्र पब्लिक-डिके होमोमोर्फिक स्टेट स्पेस मॉडल्स (HSSMs) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो मौजूदा होमोमोर्फिक अटेंशन मैकेनिज्म की तुलना में लेटेंसी और कम्प्यूटेशनल डेप्थ को काफी कम करते हुए प्लेनटेक्स्ट बेसलाइन्स के समान सटीकता के साथ एन्क्रिप्टेड सीक्वेंस इन्फरेंस प्राप्त करता है।

मूल लेखक: Luis Brito

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luis Brito

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शक्तिशाली AI असिस्टेंट से एक गुप्त प्रश्न पूछना चाहते हैं, लेकिन आप इस बात से डरे हुए हैं कि असिस्टेंट शायद आपके प्रश्न या आपके उत्तर में झाँक ले। इस समस्या को हल करने के लिए, आप अपने प्रश्न को एक अटूट, जादुई कांच के बक्से के अंदर रखते हैं (यह फुली होमोमोर्फिक एन्क्रिप्शन, या FHE है)। असिस्टेंट उस बक्से के अंदर गणनाएँ कर सकता है बिना उसे खोले, और जब वे काम पूरा कर लेते हैं, तो वे बक्सा आपको वापस दे देते हैं। आप उसे खोलते हैं, और वहां आपका उत्तर होता है।

लेकिन, इसमें एक पेच है: इन जादुई कांच के बक्सों के अंदर गणित करना अविश्वसनीय रूप से धीमा और थकाऊ है। यह कुछ ऐसा है जैसे मोटे, भारी ओवन मिट्स (दस्ताने) पहनकर एक जटिल पहेली को हल करने की कोशिश करना। हर बार जब AI डेटा के दो टुकड़ों को आपस में मिलाता है, तो उसे बहुत अधिक काम करना पड़ता है।

यह शोध पत्र इन "गुप्त AI" दिमागों को बनाने का एक नया तरीका पेश करता है, जिसे पब्लिक-डिके होम berikutnya स्टेट स्पेस मॉडल (HSSM) कहा जाता है। यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

समस्या: "भारी काम" का जाल

एक मानक गुप्त AI (जैसे कि ट्रांसफॉर्मर) में, हर बार जब AI वाक्य में एक नया शब्द प्रोसेस करता है, तो उसे नए गुप्त शब्द को वाक्य की पुरानी गुप्त स्मृति (मेमोरी) के साथ मिलाना पड़ता है।

पुराना तरीका: कल्पना कीजिए कि आप एक भारी, लॉक की हुई तिजोरी (मेमोरी) ले जा रहे हैं और आपको इसे एक अन्य भारी, लॉक की हुई तिजोरी (नया शब्द) के साथ मिलाना है। आपको दोनों तिजोरियों को उठाना होगा, उन्हें मिलाना होगा और फिर से लॉक करना होगा। एक लंबी कहानी के लिए हर शब्द के साथ ऐसा करने से थकान और धीमापन बढ़ता जाता है। "वजन" (कंप्यूटेशनल लागत) बढ़ता ही जाता है।

समाधान: "पब्लिक डिके" (सार्वजनिक क्षय) की ट्रिक

लेखकों ने महसूस किया कि वे इस काम को आसान बनाने के लिए नियमों को थोड़ा बदल सकते हैं। उन्होंने एक नया डिज़ाइन प्रस्तावित किया जहाँ "मेमोरी" को हर बार एक नए गुप्त डेटा के साथ मिलाने की आवश्यकता नहीं होती है।

नया तरीका (HSSM): कल्पना कीजिए कि AI के पास एक मेमोरी तिजोरी है जिससे हवा धीरे-धीरे अपने आप लीक (क्षय) हो रही है। यह "लीकिंग" एक पब्लिक नियम है जिसे हर कोई जानता है (यह गुप्त नहीं है)।
- इसके बजाय कि AI दो भारी लॉक की हुई तिजोरियों को मिलाए, AI बस पुरानी मेमोरी को थोड़ा सा लीक होने देता है (जो कि आसान है क्योंकि यह एक पब्लिक नियम है) और फिर मिश्रण में एक छोटा, नया गुप्त नोट डाल देता है।
- उपमा: एक बाल्टी के बारे में सोचें जिसमें एक छोटा छेद है। पानी का स्तर हर सेकंड स्वाभाविक रूप से थोड़ा गिरता है (पब्लिक डिके)। आपको इसे चालू रखने के लिए बस एक छोटा कप नया पानी डालना होगा। आपको हर बार पूरी बाल्टी उठाकर उसे दूसरी बाल्टी के साथ मिलाने की ज़रूरत नहीं है।

यह क्यों मायने रखता है

इस "लीकिंग बकेट" पद्धति का उपयोग करके, AI सबसे महंगे, भारी-भरकम गणितीय कार्यों से बच जाता है।

गति: शोधकर्ताओं ने वास्तविक कंप्यूटरों (विशेष रूप से शक्तिशाली NVIDIA L40S GPU) पर इसका परीक्षण किया। उन्होंने पाया कि यह नया तरीका पूरे वाक्यों को प्रोसेस करने के लिए पिछले सर्वोत्तम तरीकों की तुलना में लगभग 5 गुना तेज़ है।
मेमोरी: क्योंकि AI को हर उस शब्द की एक विशाल, बढ़ती हुई सूची रखने की आवश्यकता नहीं है जिसे उसने कभी देखा है (जैसा कि एक पारंपरिक AI करता है), यह बहुत कम कंप्यूटर मेमोरी का उपयोग करता है। यह एक बढ़ती हुई कागजों के ढेर के बजाय एक चलते हुए नोट को रखने जैसा है।
सटीकता: तेज़ और हल्का होने के बावजूद, AI ने अपने उत्तर बिल्कुल सही दिए। मूवी रिव्यूज (रोटन टोमेटोज़) और छोटे वाक्यों (SST-2) से संबंधित परीक्षणों में, इस गुप्त AI ने एक सामान्य, गैर-गुप्त AI के समान ही सही उत्तर प्राप्त किए।

उन्होंने वास्तव में क्या किया (और क्या नहीं किया)

शोधकर्ताओं ने एक विशिष्ट प्रणाली बनाई जहाँ:

आप (क्लाइंट): कठिन काम करते हैं जैसे टेक्स्ट को नंबरों में बदलना, उन्हें एनक्रिप्ट करना और उन्हें बक्से में रखना।
सर्वर: बक्से को लेता है, "लीकिंग बकेट" गणित चलाता है, और बक्सा वापस कर देता है।
आप (फिर से): परिणाम देखने के लिए बक्सा खोलते हैं।

महत्वपूर्ण सीमाएँ:

यह शोध पत्र इस बारे में दावा नहीं करता है कि बक्से के अंदर कच्चे टेक्स्ट (raw text) को पढ़ने की समस्या हल हो गई है। बक्से में जाने से पहले टेक्स्ट को नंबरों में बदलना ही होगा।
यह अभी तक एक पूर्ण, सामान्य-उद्देश्य वाला चैटबॉट (जैसे कि एक विशाल लैंग्वेज मॉडल) होने का दावा नहीं करता है। यह डेटा के छोटे अनुक्रमों (जैसे कि कोई रिव्यू सकारात्मक है या नकारात्मक) का विश्लेषण करने के लिए एक विशिष्ट उपकरण है।
"लीकिंग" (डिके) एक निश्चित, सार्वजनिक नियम है। यदि AI को लीक की दर बदलने के लिए किसी गुप्त जानकारी की आवश्यकता होती, तो जादू टूट जाता, और यह वापस धीमा हो जाता।

निचोड़ (The Bottom Line)

यह शोध पत्र यह सिद्ध करता है कि AI के "याद रखने" के तरीके को बदलकर—"दो भारी रहस्यों को मिलाने" से "एक रहस्य को लीक होने देने और एक छोटी बूंद जोड़ने" में स्विच करके—हम गुप्त AI को बहुत अधिक तेज़ और व्यावहारिक बना सकते हैं। यह एक चतुर इंजीनियरिंग ट्रिक है जो गोपनीयता के वादे को बनाए रखते हुए गणित के भारी बोझ को हटा देती है।

तकनीकी सारांश: निजी अनुक्रम अनुमान (Private Sequence Inference) के लिए पब्लिक-डिके होमोमोर्फिक स्टेट स्पेस मॉडल्स (HSSM)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र फुली होमोमोर्फिक एन्क्रिप्शन (FHE) के तहत अनुक्रम अनुमान (sequence inference) करने की उच्च कम्प्यूटेशनल लागत को संबोधित करता है। जबकि FHE एक निजी अनुमान को सक्षम बनाता है जहाँ क्लाइंट इनपुट को एन्क्रिप्ट करता है और सर्वर सिफरटेक्स्ट (ciphertexts) पर मॉडल का मूल्यांकन करता है, मानक अनुक्रम मॉडल गंभीर बाधाओं का सामना करते हैं। प्लेनटेक्स्ट न्यूरल नेटवर्क में सामान्य क्रियाएं—जैसे कि नॉन-पॉलीनोमियल एक्टिवेशन, सॉफ्टमैक्स, लेयर नॉर्मलाइजेशन, और कॉन्टेक्स्ट-वाइड अटेंशन—FHE के तहत मल्टीप्लिकेटिव डेप्थ (multiplicative depth), रोटेशन लागत और सिफरटेक्स्ट मटेरियलाइजेशन के कारण प्रथम-क्रम की सिस्टम बाधाएं बन जाती हैं।

विशेष रूप से, शोध पत्र एन्क्रिप्टेड सिलेक्टिव रिकरेंस (encrypted selective recurrence) में एक बाधा की पहचान करता है। एक नेटिव एन्क्रिप्टेड रिकरेंट ब्लॉक (जैसे, एक एन्क्रिप्टेड GRU या LSTM) में, स्टेट अपडेट में आमतौर पर एक एन्क्रिप्टेड, इनपुट-डिपेंडेंट गेट को एक एन्क्रिप्टेड कैरी स्टेट के साथ गुणा करना शामिल होता है ( $h_t = g_A(x_t) \cdot h_{t-1} + \dots$ )। यह सिफरटेक्स्ट-सिफरटेक्स्ट गुणन प्रत्येक टाइम स्टेप पर मल्टीप्लिकेटिव डेप्थ का उपभोग करता है, जिससे उपलब्ध नॉइज़ बजट तेजी से समाप्त हो जाता है और महंगे बूटस्ट्रैपिंग या रिफ्रेश ऑपरेशन्स की आवश्यकता होती है।

2. कार्यप्रणाली: पब्लिक-डिके HSSM (Methodology: Public-Decay HSSM)

लेखक पब्लिक-डिके होमोमोर्फिक स्टेट स्पेस मॉडल्स (HSSMs) का प्रस्ताव करते हैं, जो एक रिकरेंट/स्टेट-स्पेस ब्लॉक है जिसे रिकरेंट कैरी पाथ पर सिफरटेक्स्ट-सिफरटेक्स्ट गुणन से बचने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र (Core Mechanism): डिज़ाइन रिकरेंट डिके गुणांक ( $a$ ) को पब्लिक/प्लेनटेक्स्ट के रूप में फिक्स करता है। स्टेट अपडेट समीकरण है:
$h_t = a \cdot h_{t-1} + g(x_t) \cdot u(x_t)$
यहाँ, $h_t$ एन्क्रिप्टेड स्टेट है, $a$ एक पब्लिक स्केलर है, और $g(x_t)u(x_t)$ लोकल राइट पाथ का प्रतिनिधित्व करता है।
डेप्थ रिडक्शन (Depth Reduction): कैरी टर्म ( $a \cdot h_{t-1}$ ) को एक सिफरटेक्स्ट-प्लेनटेक्स्ट ऑपरेशन बनाकर, यह शोध पत्र रिकरेंट कैरी से जुड़ी मल्टीप्लिकेटिव डेप्थ वृद्धि को हटा देता है। एकमात्र सिफरटेक्स्ट-सिफरटेक्स्ट गुणन लोकल राइट पाथ ( $g \cdot u$ ) में होता है, जो वर्तमान स्टेप के लिए सीमित और स्थानीय है।
सिस्टम आर्किटेक्चर (System Architecture):
- क्लाइंट-साइड: टोकनाइजेशन, फ्रोजन fastText लुकअप, ट्रेन-नॉर्मलाइज्ड रैंडम प्रोजेक्शन, क्लिपिंग, एन्क्रिप्शन, डिक्रिप्शन, और थ्रेशोल्डिंग को संभालता है।
- सर्वर-साइड: एन्क्रिप्टेड बाउंडेड प्रोजेक्टेड फीचर्स प्राप्त करता है। यह पब्लिक एफ़ाइन प्रोजेक्शंस करता है, लो-डिग्री एन्क्रिप्टेड गेट/राइट पॉलीनोमियल्स का मूल्यांकन करता है, लोकल राइट मल्टीप्लिकेशन करता है, और पब्लिक डिके का उपयोग करके स्टेट को एग्रीगेट करता है।
- बाधाएं (Constraints): मॉडल पैरामीटर्स (वेट्स, डिके, प्रोजेक्शंस) पब्लिक हैं। सर्वर मेटाडेटा (अनुक्रम लंबाई, ऑपरेशन शेप्स) देखता है, लेकिन एन्क्रिप्टेड डेटा या सीक्रेट कीज़ को नहीं।

3. मुख्य योगदान (Key Contributions)

शोध पत्र चार प्राथमिक योगदान देता है:

आर्किटेक्चरल स्पेसिफिकेशन: एक पब्लिक-डिके इनवेरिएंट के साथ न्यूनतम HSSM ब्लॉक को परिभाषित करता है, जो क्लाइंट-साइड प्रीप्रोसेसिंग को सर्वर-साइड होमोमोर्फिक इवैल्यूएशन से स्पष्ट रूप से अलग करता है।
सिंबोलिक तुलना: HSSM की ट्रांसफॉर्मर-स्टाइल एन्क्रिप्टेड इंफरेंस और नेटिव एन्क्रिप्टेड सिलेक्टिव रिकरेंस के विरुद्ध तुलना करता है। यह प्रदर्शित करता है कि HSSM एक निश्चित-आकार का एन्क्रिप्टेड स्टेट बनाए रखता है और नेटिव रिकरेंस की मल्टीप्लिकेटिव डेप्थ संचय से बचता है।
अनुभवजन्य सत्यापन (Empirical Validation): OpenFHE (CPU) और FIDESlib (CUDA) बैकएंड के माध्यम से वास्तविक FHE आर्टिफैक्ट्स की रिपोर्ट करता है। इसमें विभिन्न बैकएंड्स पर सुसंगत नॉइज़ व्यवहार दिखाने वाले मैचड लेवल ट्रेसेस और L40S GPU माप शामिल हैं।
टास्क क्वालिटी बनाम सिस्टम कॉस्ट: टास्क सटीकता को सिस्टम लेटेंसी से अलग करता है। यह एक रिपेयर्ड fastText वर्कफ़्लो का उपयोग करके दृष्टिकोण को मान्य करता है और HSSM की तुलना HE-फ्रेंडली पॉलीनोमियल अटेंशन मैकेनिज्म से करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मूल्यांकन रोटन टोमेटोज़ (Rotten Tomatoes) और SST-2 सेंटीमेंट एनालिसिस डेटासेट्स का उपयोग करके एक बाउंडेड-फीचर इंटरफेस (प्रति उदाहरण 512 प्रोजेक्टेड स्कैलर्स) पर केंद्रित है।

सटीकता (Accuracy): एन्क्रिप्टेड HSSM पाथ प्लेनटेक्स्ट क्लासिफिकेशन से बिल्कुल मेल खाता है, जो रोटन टोमेटोज़ पर 0.7505 सटीकता और SST-2 पर 0.7420 सटीकता प्राप्त करता है।
लेटेंसी और दक्षता (Latency and Efficiency):
- फुल-सीक्वेंस पॉलीनोमियल अटेंशन के मुकाबले, HSSM लगभग 5 गुना तेज़ है (उदाहरण के लिए, मूल्यांकन के लिए ~15ms बनाम ~75ms) जबकि टास्क क्वालिटी को मैच करता है या उससे बेहतर प्रदर्शन करता है।
- कैच्ड फाइनल-टोकन पॉलीनोमियल अटेंशन के मुकाबले, HSSM लंबे कॉन्टेक्स्ट (T=16, 32) पर 1.34–1.62× कम लेटेंसी दिखाता है और एक छोटा लॉजिकल एन्क्रिप्टेड-स्टेट फुटप्रिंट बनाए रखता है।
संसाधन उपयोग (Resource Usage):
- मेमोरी: HSSM अनुक्रम लंबाई ( $T$ ) के बावजूद एक सिंगल एन्क्रिप्टेड स्टेट सिफरटेक्स्ट बनाए रखता है, जबकि पॉलीनोमियल अटेंशन कैश और मटेरियलाइज्ड स्कोर्स के लिए $O(T)$ या $O(T^2)$ सिफरटेक्स्ट की आवश्यकता होती है। स्ट्रेस टेस्ट दिखाते हैं कि HSSM L40S GPU पर $T=36$ तक के सीक्वेंस पूरे करने में सफल रहता है, जबकि मटेरियलाइज्ड क्वाड्रेटिक अटेंशन आउट-ऑफ-मेमोरी एरर के कारण $T=36$ पर विफल हो जाता है।
- डेप्थ: प्रोजेक्टेड HSSM डेप्थ 8 / रिंग 32768 के तहत सफल होता है, जबकि तुलनीय एन्क्रिप्टेड Q/K/V अटेंशन ब्लॉक को समान अनुक्रम लंबाई पर सफल होने के लिए डेप्थ 10 / रिंग 65536 की आवश्यकता होती है।
नॉइज़ और लेवल्स: OpenFHE और FIDESlib पर मैचड ट्रेसेस पुष्टि करते हैं कि विस्तारित HSSM पाथ, बाउंडेड-फीचर वर्कफ़्लो के लिए बूटस्ट्रैपिंग का उपयोग किए बिना, फाइनल लेवल 3 पर समाप्त होता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि पब्लिक-डिके HSSM बाउंडेड प्रोजेक्टेड फीचर्स से सर्वर-साइड एन्क्रिप्टेड सीक्वेंस इंफरेंस के लिए एक व्यावहारिक FHE को-डिज़ाइन पैटर्न है।

डिज़ाइन लीवर: केंद्रीय योगदान यह प्रदर्शन करना है कि एक एन्क्रिप्टेड इनपुट-डिपेंडेंट कैरी गेट को पब्लिक/प्लेनटेक्स्ट डिके से बदलने से एन्क्रिप्टेड कैरी-पाथ प्रेशर को कम करने के लिए एक मापने योग्य लीवर मिलता है।
दावों का दायरा: लेखक अपने दायरे को लेकर विनम्र हैं। वे दावा नहीं करते हैं:
- होमोमोर्फिक टोकनाइजेशन या एम्बेडिंग लुकअप।
- मॉडल-प्राइवेट वेट्स (वेट्स पब्लिक हैं)।
- सटीक सॉफ्टमैक्स, पूर्ण ट्रांसफॉर्मर ब्लॉक्स, या प्रोडक्शन-स्केल लैंग्वेज मॉडल सर्विंग।
- दुर्भावनापूर्ण सर्वर या साइड-चैनल हमलों के खिलाफ सुरक्षा।
निष्कर्ष: परिणाम स्थापित करते हैं कि बाउंडेड-फीचर इंफरेंस के लिए, पब्लिक-डिके HSSM एक ठोस ट्रेड-ऑफ प्रदान करता है: यह फिक्स्ड-स्टेट एन्क्रिप्टेड कंप्यूटेशन, फुल-सीक्वेंस अटेंशन की तुलना में कम लेटेंसी, और कम लॉजिकल स्टेट ग्रोथ के साथ गैर-टॉय (non-toy) टास्क यूटिलिटी प्राप्त करता है, और यह सब बूटस्ट्रैपिंग के बिना एक प्रबंधनीय FHE डेप्थ बजट के भीतर काम करता है।