💻 computer science

Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

यह शोध पत्र फुली होमोमोर्फिक एन्क्रिप्शन (FHE) इन्फरेंस के लिए एक डिसीजन-अवेयर क्वाड्रेटिक ReLU रिप्लेसमेंट विधि प्रस्तावित करता है जो, एक लिफ्टेड स्पेस में समस्या को लीनियर सेपरेशन टास्क के रूप में स्वरूपित करके, बिना रिट्रेनिंग के कैलिब्रेशन-सेट डिसीजन प्रिजर्वेशन प्राप्त करता है और मौजूदा पॉलिनोमियल एप्रोक्सिमेशन तकनीकों की तुलना में इन्फरेंस स्पीड को महत्वपूर्ण रूप से तेज करता है।

मूल लेखक: Rui Li, Wenyuan Wu, Weijie Miao

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rui Li, Wenyuan Wu, Weijie Miao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: "बंद डिब्बे" (Locked Box) की समस्या

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट AI (एक न्यूरल नेटवर्क) है जो आपको बता सकता है कि कोई ईमेल स्पैम है या नहीं। आप अपना निजी ईमेल सर्वर को भेजना चाहते हैं ताकि उससे यह उत्तर प्राप्त कर सकें, लेकिन आप अपने डेटा के लिए सर्वर पर भरोसा नहीं करते। इसलिए, आप अपने ईमेल को एक विशेष "जादुई डिब्बे" (जिसे फुली होमोमोर्फिक एन्क्रिप्शन या FHE कहा जाता है) में बंद कर देते हैं।

सर्वर उस डिब्बे को खोल सकता है, लॉक किए हुए डेटा पर गणितीय गणना कर सकता है, और आपको एक लॉक किया हुआ उत्तर दे सकता है, वह भी बिना वास्तविक ईमेल को देखे। यह गोपनीयता के लिए बहुत अच्छा है।

समस्या: AI को एक निर्णय लेने की आवश्यकता होती है जैसे "क्या यह संख्या धनात्मक (positive) है या ऋणात्मक (negative)?" (इसे ReLU नामक चरण कहा जाता है)। वास्तविक दुनिया में, यह आसान है। लेकिन "जादुई डिब्बे" के अंदर, सर्वर केवल साधारण जोड़ और गुणा ही कर सकता है। वह "यदि/तो" (if/then) जैसे निर्णय आसानी से नहीं ले सकता। इस डिब्बे के भीतर AI को काम करने के योग्य बनाने के लिए, वैज्ञानिक आमतौर पर इस निर्णय को एक जटिल गणितीय वक्र (high-degree polynomial) से बदल देते हैं।

पुराना तरीका: इसे ऐसे समझें जैसे आप एक स्केल (रूलर) का उपयोग करके एक सटीक वृत्त (circle) बनाने की कोशिश कर रहे हों। आपको एक बहुत ही लंबे, जटिल स्केल (उच्च-डिग्री बहुपद) का उपयोग करना होगा ताकि आप वृत्त के काफी करीब पहुँच सकें। इसमें सर्वर के लिए बहुत अधिक समय और प्रयास (कंप्यूटिंग पावर) लगता है।

नया विचार: "डिसीजन-अवेयर" (Decision-Aware) प्रतिस्थापन

इस शोध पत्र के लेखकों ने एक अलग प्रश्न पूछा: क्या हमें वक्र (curve) का हर बिंदु पर निर्णय जैसा दिखना ज़रूरी है? या क्या हमें केवल अंतिम उत्तर समान चाहिए?

उपमा (Analogy):
कल्पना कीजिए कि आप एक भूलभुलैया (maze) में रास्ता खोज रहे हैं।

पुराना तरीका: आप पेन से भूलभुलैया की दीवारों के सटीक पथ को ट्रेस करने की कोशिश करते हैं। यदि आप दीवार से थोड़ा भी चूक जाते हैं, तो आप सोचते हैं कि आप असफल हो गए। आपको एक बहुत ही सटीक पेन (जटिल गणित) की आवश्यकता होती है।
नया तरीका: आपको केवल निकास (exit) तक पहुँचने की चिंता है। यदि आप एक थोड़ा अलग रास्ता लेते हैं जो अभी भी उसी निकास तक ले जाता है, तो आप खुश हैं। आपको एक जटिल पेन की आवश्यकता नहीं है; एक सरल, छोटा रास्ता (लो-डिग्री क्वाड्रेटिक कर्व) पर्याप्त है, जब तक कि वह आपको सही दरवाजे तक पहुँचा दे।

शोध पत्र इसे "डिसीजन-अवेयर" (Decision-Aware) कहता है। AI की आंतरिक "सोच" (activation) की सटीक नकल करने के बजाय, वे केवल यह देखते हैं कि एक विशिष्ट सेट डेटा (कैलिब्रेशन सेट) के लिए अंतिम "हाँ/नहीं" या "क्लास A/क्लास B" का निर्णय समान रहे।

समाधान: "क्वाड्रेटिक" (Quadratic) शॉर्टकट

लेखकों ने पाया कि एक सरल क्वाड्रेटिक समीकरण (एक U-आकार का वक्र, जैसे $x^2$ ) सबसे सटीक विकल्प ("sweet spot") है।

यह इतना सरल है कि "जादुई डिब्बा" इसे तेज़ी से संभाल सके।
यह पर्याप्त लचीला है कि AI को सही अंतिम निर्णय की ओर निर्देशित कर सके।

उन्होंने इस U-आकार के वक्र के लिए सटीक सेटिंग्स (गुणांक/coefficients) खोजने का एक तरीका विकसित किया है। वे इस समस्या को ज्यामिति (geometry) के खेल की तरह देखते हैं:

बाइनरी केस (हाँ/नहीं): वे सभी "हाँ" वाले उदाहरणों और सभी "नहीं" वाले उदाहरणों को एक 2D मानचित्र पर बिंदुओं के रूप में बदलते हैं। यदि "हाँ" वाले बिंदु और "नहीं" वाले बिंदु थोड़े सांस लेने की जगह (एक पॉजिटिव मार्जिन) के साथ एक सीधी रेखा द्वारा अलग किए जा सकते हैं, तो वे गणितीय रूप से सिद्ध कर सकते हैं कि एक सरल U-आकार का वक्र पूरी तरह से काम करेगा।
कठिन मामले: कभी-कभी बिंदु आपस में मिले हुए होते हैं, और आप एक साफ रेखा नहीं खींच सकते। इस स्थिति में, वे गणित के एक "सॉफ्ट" संस्करण (जैसे एक रबर बैंड) का उपयोग करते हैं जो कुछ गड़बड़ आउटलेर्स (outliers) को अनदेखा कर देता है। यह उन्हें एक "पर्याप्त अच्छा" वकर देता है जो लगभग सभी मामलों में काम करता है।

परिणाम: तेज़ और उतना ही स्मार्ट

उन्होंने वास्तविक दुनिया के कार्यों (जैसे छवियों को पहचानना या टेक्स्ट को वर्गीकृत करना) पर "जादुई डिब्बे" (FHE) का उपयोग करके परीक्षण किया।

सटीकता (Accuracy): उनके तरीके ने AI की सटीकता को मूल AI के लगभग समान रखा (और पुराने "सिंपल स्क्वायर" तरीके की तुलना में बहुत बेहतर रहा)।
गति (Speed): क्योंकि उनका वक्र बहुत सरल है (केवल एक U-आकार), सर्वर को भारी गणनाएँ करने की आवश्यकता नहीं पड़ी।
- यह उस विशिष्ट चरण में पिछले सर्वश्रेष्ठ तरीके (Remez-7) की तुलना में 3.7 से 4.1 गुना तेज़ था जहाँ निर्णय लिया जाता है।
- शुरू से अंत तक की पूरी प्रक्रिया 1.18 से 1.68 गुना तेज़ थी।

सारांश

इस शोध पत्र को एक जंगल के बीच से शॉर्टकट खोजने के रूप में समझें।

पुराना तरीका: आप घुमावदार नदी (जटिल गणित वक्र) के बिल्कुल साथ चलने की कोशिश करते हैं। यह सटीक है लेकिन धीमा और थका देने वाला है।
नया तरीका: आप देखते हैं कि नदी कहाँ ले जाती है (अंतिम निर्णय) और एक सरल वक्र का उपयोग करके पेड़ों के बीच से एक सीधा रास्ता काट लेते हैं। आप उसी गंतव्य पर पहुँचते हैं, लेकिन आप बहुत तेज़ी से और कम प्रयास के साथ वहाँ पहुँचते हैं, जबकि आपका नक्शा (डेटा) एक बंद डिब्बे में छिपा रहता है।

लेखकों ने QUAD4FHE नामक एक मुफ्त सॉफ्टवेयर लाइब्रेरी भी जारी की है ताकि अन्य लोग इस शॉर्टकट का उपयोग कर सकें।

तकनीकी सारांश: निर्णय-जागरूक द्विघात ReLU प्रतिस्थापन (Decision-Aware Quadratic ReLU Replacement) - HE-अनुकूल अनुमान के लिए

समस्या विवरण
पूर्णतः होमोमोर्फिक एन्क्रिप्शन (FHE) गोपनीयता-संरक्षित न्यूरल नेटवर्क अनुमान (inference) को सक्षम बनाता है, जो डेटा को डिक्रिप्ट किए बिना एन्क्रिप्टेड डेटा पर गणना करने की अनुमति देता है। हालाँकि, FHE मूल रूप से केवल जोड़ और गुणा का समर्थन करता है, जिससे ReLU ( $\max\{0, u\}$ ) जैसे नॉनलीनर एक्टिवेशन फंक्शन कम्प्यूटेशनल रूप से महंगे हो जाते हैं। मौजूदा FHE-ओनली दृष्टिकोण आमतौर पर ReLU को उच्च-डिग्री बहुपदों (जैसे कि अनुभवजन्य सक्रियण अंतरालों पर फिट किए गए Remez या Chebyshev सन्निकटन) से बदलते हैं। जबकि ये विधियाँ तुलनाओं (comparisons) से बचती हैं, उन्हें सन्निकटन त्रुटि को नियंत्रित करने के लिए अक्सर उच्च-डिग्री बहुपदों की आवश्यकता होती है, जिससे मल्टीप्लिकेटिव डेप्थ (multiplicative depth), रीस्केलिंग ऑपरेशन और विलंबता (latency) बढ़ जाती है। इसके अलावा, ये विधियाँ वैश्विक वर्गीकरण उद्देश्य (global classification objective)—अर्थात अंतिम टॉप-1 लॉजिट ऑर्डरिंग (top-1 logit ordering) को बनाए रखने—के बजाय स्थानीय पॉइंटवाइज सन्निकटन निष्ठा (local pointwise approximation fidelity) के लिए अनुकूलित होती हैं।

कार्यप्रणाली (Methodology)
लेखक एक निर्णय-जागरूक (decision-aware) ढांचे का प्रस्ताव करते हैं जो मॉडल को पुन: प्रशिक्षित (retraining) किए बिना एक साझा निम्न-डिग्री द्विघात बहुपद ( $q(u) = \alpha u^2 + \beta u + \eta$ ) के साथ ReLU को बदल देता है। मुख्य अंतर्दृष्टि यह है कि एक प्रशिक्षित सिंगल-हिडन-लेयर ReLU MLP या फ्रोजन फीचर्स पर MLP हेड के लिए, अंतिम निर्णय लॉजिट्स के क्रम (ordering) पर निर्भर करता है। इसलिए, प्रतिस्थापन बहुपद को ReLU का पॉइंटवाइज सन्निकटन करने की आवश्यकता नहीं है; इसे केवल घोषित कैलिब्रेशन सेट पर अंतिम स्कोर के सापेक्ष क्रम को बनाए रखने की आवश्यकता है।

कार्यप्रणाली दो चरणों में आगे बढ़ती है:

ऑफलाइन गुणांक निर्माण (Offline Coefficient Construction): एक प्रशिक्षित मॉडल और एक कैलिब्रेशन सेट दिए जाने पर, लेखक गुणांकों $(\alpha, \beta, \eta)$ $(α, β, η)$ की खोज को एक ज्यामितीय व्यवहार्यता समस्या (geometric feasibility problem) के रूप में स्वरूपित करते हैं।
- बाइनरी केस (Binary Case): समस्या को सांख्यिकी $Q(x) = \sum a_j y_j(x)^2$ और $H(x) = \sum a_j y_j(x) + b$ द्वारा परिभाषित 2D स्पेस में दो लिफ्टेड कॉन्वेक्स हल (lifted convex hulls) के बीच एक पॉजिटिव-मार्जिन हाइपरप्लेन सेपरेटर खोजने में बदल दिया जाता है। यदि हल विलग (disjoint) हैं, तो सटीक कैलिब्रेशन-लॉसलेस प्रतिस्थापन संभव है। इष्टतम गुणांकों को हलों के बीच निकटतम बिंदुओं से प्राप्त किया जाता है।
- मल्टीक्लास केस (Multiclass Case): स्थिति पेयरवाइज एफ़ाइन लॉजिट-मार्जिन असमानताओं (pairwise affine logit-margin inequalities) की सख्त व्यवहार्यता बन जाती है।
- रिलैक्सेशन (Relaxations): जब सटीक पृथक्करण विफल हो जाता है (गलत वर्गीकृत नमूनों या छोटे मार्जिन के कारण), तो लेखक रिड्यूस्ड कॉन्वेक्स हल (RCH) और लैग्रेंजियन-ड्यूल सॉफ्ट-मार्जिन रिलैक्सेशन का उपयोग करते हैं। ये तकनीकें व्यक्तिगत नमूनों के प्रभाव को (एक पैरामीटर $\mu$ के माध्यम से) सीमित करती हैं या स्लैक वेरिएबल्स पेश करती हैं, जिससे समस्या को कॉन्वेक्स क्वाड्रेटिक प्रोग्राम्स (QPs) में बदल दिया जाता है जो उच्च अनुभवजन्य सहमति के साथ लगभग व्यवहार्य गुणांक प्रदान करते हैं।
ऑनलाइन अनुमान (Online Inference): सर्वर एन्क्रिप्टेड इनपुट पर परिणामी बहुपदित अंकगणितीय सर्किट (polynomialized arithmetic circuit) का मूल्यांकन करता है। द्विघाती प्रतिस्थापन के लिए प्रत्येक सक्रियण (activation) प्रति एक ही साइफरटेक्स्ट-साइफरटेक्स्ट गुणा की आवश्यकता होती है, जो उच्च-डिग्री विकल्पों की तुलना में मल्टीप्लिकेटिव डेप्थ को काफी कम कर देता है।

प्रमुख योगदान

निर्णय-जागरूक सूत्रीकरण (Decision-Aware Formulation): यह पेपर ReLU प्रतिस्थापन के उद्देश्य को स्थानीय सक्रियण त्रुटि को न्यूनतम करने से बदलकर कैलिब्रेशन-सेट लॉजिट-ऑर्डरिंग सहमति को अधिकतम करने में स्थानांतरित करता है। यह एक निम्न-डिग्री बहुपद का उपयोग करने की अनुमति देता है भले ही वह ReLU का एक खराब पॉइंटवाइज सन्निकटन हो, बशर्ते कि वह अंतिम वर्गीकरण निर्णयों को सुरक्षित रखे।
सटीक परिमित-नमूना सिद्धांत (Exact Finite-Sample Theory): बाइनरी क्लासिफायर के लिए, लेखक लिफ्टेड कॉन्वेक्स हल के पॉजिटिव-मार्जिन सेपरेबिलिटी के आधार पर कैलिब्रेशन-लॉसलेस प्रतिस्थापन के लिए आवश्यक और पर्याप्त स्थितियाँ स्थापित करते हैं। यह गुणांक खोजने के लिए एक $O(n \log n)$ जटिलता वाला एक रचनात्मक एल्गोरिदम और क्वांटाइजेशन टॉलरेंस के लिए एक प्रमाण (certificate) प्रदान करता है।
ज्यामितीय रिलैक्सेशन (Geometric Relaxations): उन मामलों के लिए जहाँ सटीक पृथक्करण असंभव है, पेपर RCH और सॉफ्ट-मार्जिन रिलैक्सेशन पेश करता है जो सटीक सिद्धांत को निरंतर विस्तारित करते हैं। ये विधियाँ वहां सटीक संरक्षण का दावा करने के बजाय स्पष्ट डायग्नोस्टिक्स (मार्जिन्स, स्लैक्स, सहमति दर) के साथ व्यावहारिक सरोगेट प्रदान करती हैं।
कार्यान्वयन और सत्यापन (Implementation and Validation): लेखकों ने ओपन-सोर्स QUAD4FHE लाइब्रेरी में इस पाइपलाइन को लागू किया है। उन्होंने विविध डेटासेट्स (टेबुलर, विजन, टेक्स्ट) का उपयोग करके कच्चे फीचर्स और फ्रोजन रिप्रेजेंटेशन (DINOv2, Qwen3) दोनों पर अपने दृष्टिकोण को मान्य किया है।

परिणाम

सटीकता (Accuracy): CKKS स्कीम के तहत, द्विघाती प्रतिस्थापन कई बेंचमार्क (जैसे Otto, DINOv2/FGVC-Aircraft, Qwen3/MASSIVE) पर मूल ReLU मॉडल की प्लेनटेक्स्ट टॉप-1 सटीकता से मेल खाता है। कई मल्टीक्लास कार्यों में, यह कम-डिग्री बहुपद का उपयोग करने के बावजूद OLA और Precise Approximation जैसे मजबूत बेसलाइन्स को मात देता है या उनके बराबर रहता है।
दक्षता (Efficiency): द्विघाती प्रतिस्थापन Remez-7 (एक उच्च-डिग्री बेसलाइन) की तुलना में सक्रियण मॉड्यूल में 3.7–4.1× तेज़ और एंड-टू-एंड 1.18–1.68× तेज़ चलता है। यह इसलिए हासिल किया गया है क्योंकि डिग्री-2 सर्किट एक उथले मल्टीप्लिकेटिव डेप्थ (Remez-7 के लिए डेप्थ 5 के मुकाबले डेप्थ 4) में फिट बैठता है, जिससे अधिक कुशल गुणांक-मॉड्यूल चेन और कम रीस्केलिंग ओवरहेड की अनुमति मिलती है।
मजबूती (Robustness): यह विधि तब भी प्रभावी रहती है जब कैलिब्रेशन पूल छोटा (केवल 1-5% डेटासेट) होता है और फ्रोजन फीचर एक्सट्रैक्टर्स को प्रभावी ढंग से संभालती है।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि ReLU प्रतिस्थापन को एक फंक्शन एप्रोक्सिमेशन के बजाय एक निर्णय-संरक्षण समस्या के रूप में पुनर्परिभाषित करके, न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ उच्च-सटीकता वाला FHE अनुमान प्राप्त करना संभव है। इसका महत्व यह प्रदर्शित करने में है कि एक डिग्री-2 बहुपद उच्च-निष्ठा वाले एन्क्रिप्टेड अनुमान के लिए पर्याप्त है, जब इसे एक निर्णय-जागरूक ज्यामितीय ढांचे के माध्यम से चुना जाता है, जिससे उच्च-डिग्री बहुपदों से जुड़ी विलंबता (latency) से बचा जा सकता है। लेखक जोर देते हैं कि उनके गारंटी घोषित कैलिब्रेशन सेट के दायरे में है और अनदेखे इनपुट के लिए वितरण-मुक्त (distribution-free) गारंटी प्रदान नहीं करती है, लेकिन उनके अनुभवजन्य परिणाम टेस्ट सेट्स के लिए मजबूत सामान्यीकरण दिखाते हैं। यह कार्य FHE-ओनली न्यूरल अनुमान में सटीकता और विलंबता के बीच ट्रेड-ऑफ को अनुकूलित करने के लिए एक गणितीय रूप से पारदर्शी मार्ग प्रदान करता है।

बड़ी तस्वीर: "बंद डिब्बे" (Locked Box) की समस्या

नया विचार: "डिसीजन-अवेयर" (Decision-Aware) प्रतिस्थापन

समाधान: "क्वाड्रेटिक" (Quadratic) शॉर्टकट

परिणाम: तेज़ और उतना ही स्मार्ट

सारांश

इसी तरह के और पेपर