💻 computer science

A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

यह शोध पत्र ARM Cortex-M4 माइक्रोकंट्रोलर्स पर एक्टिवेशन फंक्शन के लिए एक कांस्टेंट-टाइम कार्यान्वयन पद्धति का प्रस्ताव और सत्यापन करता है जो ब्रांचलेस सिलेक्शन, फिक्स्ड-कॉस्ट पाडे (Padé) सन्निकटन और साइकिल अलाइनमेंट के माध्यम से टाइमिंग साइड-चैनल कमजोरियों को समाप्त करता है, जबकि कई प्रकार के फंक्शनों में उच्च संख्यात्मक सटीकता बनाए रखता है।

मूल लेखक: Andrii Tyvodar, Andreas Rechberger, Dirmanto Jap, Shivam Bhasin, Bernhard Jungk, Jakub Breier, Xiaolu Hou

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrii Tyvodar, Andreas Rechberger, Dirmanto Jap, Shivam Bhasin, Bernhard Jungk, Jakub Breier, Xiaolu Hou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक स्मार्ट डिवाइस है, जैसे कि एक फिटनेस ट्रैकर या मेडिकल सेंसर, जो निर्णय लेने के लिए एक "मस्तिष्क" (एक न्यूरल नेटवर्क) का उपयोग करता है। इस मस्तिष्क में विशेष स्विच होते हैं जिन्हें एक्टिवेशन फंक्शन्स (activation functions) कहा जाता है, जो यह तय करते हैं कि जानकारी को कैसे प्रोसेस किया जाए।

समस्या यह है कि ये स्विच अपने रहस्य लीक कर रहे हैं। ठीक वैसे ही जैसे कोई व्यक्ति उत्साहित होने पर पैर तेज़ी से थपथपा सकता है या बोर होने पर धीरे, ये सॉफ्टवेयर स्विच डेटा को प्रोसेस करने में लगने वाले समय के आधार पर अलग-अलग व्यवहार करते हैं। पास में खड़ा एक चालाक हैकर इन "समय की थपकी" (time taps) को सुनकर यह पता लगा सकता है कि डिवाइस क्या सोच रहा है, या यहाँ तक कि डिवाइस के मस्तिष्क को रिवर्स-इंजीनियर भी कर सकता है।

पुराना तरीका: शोर को छिपाना

पहले, शोधकर्ताओं ने इसे रैंडम नॉइज़ (random noise) जोड़कर ठीक करने की कोशिश की थी। कल्पना कीजिए कि आप एक गुप्त कोड को चिल्लाकर बता रहे हैं, लेकिन फिर उसमें रैंडम स्टैटिक शोर (static noise) मिला देते हैं ताकि कोई पैटर्न न समझ सके। शोध पत्र इसे "डीसिंक्रोनाइज़ेशन" (desynchronization) कहता है।

उन्होंने इस तरीके का परीक्षण किया और पाया कि यह अच्छी तरह काम नहीं करता। स्टैटिक शोर के बावजूद, यदि कोई हैकर पर्याप्त समय तक सुनता है और एक चतुर सांख्यिकीय ट्रिक (जैसे टेम्पलेट मैच) का उपयोग करता है, तो वह अभी भी पैटर्न का पता लगा सकता है। यह किसी फिंगरप्रिंट को कीचड़ से छिपाने जैसा है; एक कुशल जासूस कीचड़ को पोंछकर प्रिंट को फिर से ढूंढ सकता है।

नया समाधान: "कॉन्स्टेंट-टाइम" फैक्ट्री

लेखक एक पूरी तरह से अलग दृष्टिकोण प्रस्तावित करते हैं: कॉन्स्टेंट-टाइम इम्प्लीमेंटेशन (Constant-Time Implementation)।

समय को छिपाने के बजाय, उन्होंने कार्य को इस तरह से पुनर्गठित किया कि वह इनपुट चाहे जो भी हो, हमेशा बिल्कुल समान समय ले।

इसे एक फैक्ट्री असेंबली लाइन की तरह समझें:

पुराना तरीका: यदि कार्यकर्ता को एक छोटा बॉक्स मिलता है, तो वह 2 सेकंड में काम पूरा करता है। यदि उसे बड़ा बॉक्स मिलता है, तो वह 5 सेकंड लेता है। एक ऑब्जर्वर घड़ी देखकर बॉक्स का आकार बता सकता है।
नया तरीका: फैक्ट्री को इस तरह से पुनर्गठित किया गया है कि प्रत्येक कार्यकर्ता, बॉक्स के आकार के बावजूद, ठीक 5 सेकंड लेगा।
- यदि बॉक्स छोटा है, तो कार्यकर्ता अपना काम 2 सेकंड में करेगा, फिर वह समय भरने के लिए 3 सेकंड तक स्थिर बैठा रहेगा (डमी काम करना)।
- यदि बॉक्स बड़ा है, तो वह पूरे 5 सेकंड तक काम करेगा।
- परिणाम: एक बाहरी ऑब्जर्वर के लिए, प्रत्येक कार्य ठीक 5 सेकंड का है। टाइमिंग का रहस्य खत्म हो गया है।

उन्होंने यह कैसे किया (टूलकिट)

छोटे कंप्यूटर चिप्स (माइक्रोकंट्रोलर्स) पर इस "परफेक्टली टाइमड" फैक्ट्री को बनाने के लिए, लेखकों ने चार मुख्य उपकरणों का उपयोग किया:

"If/Then" ब्रांचिंग का अभाव: कंप्यूटर अक्सर निर्णयों के आधार पर धीमे या तेज़ होते हैं (जैसे "यदि संख्या नकारात्मक है, तो X करें; अन्यथा, Y करें")। लेखकों ने इन निर्णयों को हटा दिया। इसके बजाय, वे दोनों संभावनाओं की गणना करते हैं और सही विकल्प को तुरंत चुनने के लिए एक गणितीय "मास्क" का उपयोग करते हैं, बिना रुके निर्णय लिए।
"पाडे" (Padé) शॉर्टकट: जटिल कर्व्स (जैसे Sigmoid या Tanh) की गणना करना धीमा होता है और इसमें समय भिन्न होता है। लेखकों ने इन भारी गणनाओं को एक चतुर, फिक्स्ड-स्टेप मैथ शॉर्टकट (एक रैशनल एप्रोक्सिमेशन) से बदल दिया जो हमेशा समान चरणों में काम करता है।
डमी अरिथमेटिक (Dummy Arithmetic): सबसे सरल स्विच (ReLU) के लिए, जिसमें आमतौर पर बहुत कम समय लगता है, उन्होंने "डमी" गणितीय चरणों को जोड़ा। यह उस कार्यकर्ता की तरह है जो स्थिर बैठा है; यह सुनिश्चित करता है कि सरल स्विच भी जटिल स्विचों के समान लंबा समय ले।
साइकिल अलाइनमेंट (Cycle Alignment): उन्होंने कंप्यूटर की घड़ी के हर एक "टिक" को सावधानीपूर्वक गिना ताकि यह सुनिश्चित हो सके कि प्रत्येक फंक्शन बिल्कुल उसी क्षण समाप्त हो।

परिणाम

टीम ने एक ARM Cortex-M4 चिप (जो एम्बेडेड डिवाइस में आम है) पर पांच सामान्य एक्टिवेशन फंक्शन्स (ReLU, Sigmoid, Tanh, GELU, और Swish) का परीक्षण किया।

टाइमिंग: असुरक्षित संस्करण में, समय बहुत अधिक बदलता था। नए संस्करण में, प्रत्येक इनपुट ने ठीक 108 क्लॉक साइकिल्स (लगभग 1.3 माइक्रोसेकंड) लिए। टाइमिंग पूरी तरह से स्थिर (flat) थी।
सटीकता (Accuracy): उन्हें डर था कि डमी स्टेप्स और शॉर्टकट जोड़ने से गणित गलत हो सकता है। हालाँकि, उन्होंने पाया कि त्रुटियाँ बहुत मामूली थीं—इतनी कम कि व्यावहारिक उद्देश्यों के लिए, डिवाइस का मस्तिष्क अभी भी सही ढंग से सोचता है।
गति: आश्चर्यजनक रूप से, जटिल फंक्शन्स के लिए, नया तरीका पुराने मानक तरीकों की तुलना में तेज़ था क्योंकि शॉर्टकट अधिक कुशल थे, भले ही उन्होंने टाइमिंग से मेल खाने के लिए डमी स्टेप्स जोड़े थे।

निष्कर्ष

यह पेपर साबित करता है कि आप छोटे उपकरणों के लिए "टाइम-प्रूफ" एक्टिवेशन फंक्शन बना सकते हैं। प्रत्येक गणना को बिल्कुल समान समय लेने के लिए मजबूर करके, आप हैकर्स को डिवाइस की "हार्टबीट" सुनकर रहस्य चुराने से रोक सकते हैं। यह डिवाइस के प्रदर्शन को खराब किए बिना एम्बेडेड AI को सुरक्षित बनाने का एक व्यावहारिक और कुशल तरीका है।

तकनीकी सारांश: माइक्रोकंट्रोलर्स पर एक्टिवेशन फंक्शन्स के लिए कॉन्स्टेंट-टाइम कार्यान्वयन पद्धति

समस्या विवरण (Problem Statement)
संसाधन-सीमित माइक्रोकंट्रोलर्स पर एम्बेडेड न्यूरल-नेटवर्क इन्फरेंस (inference) टाइमिंग साइड-चैनल हमलों के प्रति तेजी से संवेदनशील हो रहे हैं। हाल के अध्ययनों ने प्रदर्शित किया है कि इन नेटवर्कों के भीतर सक्रियण कार्य (activation functions) इनपुट मानों और फंक्शन के प्रकारों पर निर्भर निष्पादन-समय (execution-time) के माध्यम से जानकारी लीक करते हैं। यह लीकेज हमलावरों को विभिन्न एक्टिवेशन फंक्शन्स (जैसे, ReLU बनाम sigmoid) के बीच अंतर करने और संभावित रूप से मॉडल आर्किटेक्चर को रिवर्स-इंजीनियर करने या संवेदनशील इनपुट डेटा का अनुमान लगाने की अनुमति देता है। जबकि मौजूदा काउंटरमेजर, जैसे कि डिसिंक्रोनाइज़ेशन (रैंडम देरी डालना), इन टाइमिंग पैटर्न को धुंधला करने का प्रयास करते हैं, वे अंतर्निहित इनपुट-निर्भर व्यवहार को समाप्त नहीं करते हैं। फलस्वरूप, प्रोफाइल किया गया टेम्पलेट-आधारित हमले (template-based attacks) शोर जोड़ने के बावजूद भी एक्टिवेशन फंक्शन्स के बीच सांख्यिकीय रूप से अंतर कर सकते हैं।

कार्यप्रणाली (Methodology)
लेखक एक कॉन्स्टेंट-टाइम कार्यान्वयन पद्धति प्रस्तावित करते हैं जिसे केवल सूचना को छिपाने के बजाय, स्रोत पर ही इनपुट-निर्भर टाइमिंग विविधताओं को समाप्त करने के लिए डिज़ाइन किया गया है। इस दृष्टिकोण को एक ARM Cortex-M4 प्लेटफॉर्म (STM32F411) पर क्रियान्वित किया गया है और यह पांच व्यापक रूप से उपयोग किए जाने वाले एक्टिवेशन फंक्शन्स: ReLU, sigmoid, tanh, Gaussian Error Linear Unit (GELU), और Swish को लक्षित करता है।

यह कार्यप्रणाली चार मुख्य घटकों पर आधारित है:

ब्रांचलेस, मास्किंग-आधारित चयन (Branchless, Masking-Based Selection): कंट्रोल-फ्लो विचलन (divergence) को रोकने के लिए, कार्यान्वयन डेटा-निर्भर शाखाओं (branches) से बचता है। इसके बजाय, यह उम्मीदवार मानों (जैसे, सैचुरेटेड आउटपुट बनाम सन्निकटन परिणाम) के बीच चयन करने के लिए लॉजिकल मास्किंग और बिटवाइज़ ऑपरेशंस (AND/OR) का उपयोग करता है जो इनपुट के बिट प्रतिनिधित्व पर आधारित होते हैं। यह सुनिश्चित करता है कि इनपुट मान की परवाह किए बिना निर्देश अनुक्रम (instruction sequence) समान बना रहे।
फिक्स्ड-कॉस्ट पाडे-आधारित सन्निकटन (Fixed-Cost Padé-Based Approximation): नॉनलीनियर फंक्शन्स (sigmoid, tanh, GELU, Swish) के लिए, लेखक मानक ट्रांसेंडेंटल फंक्शन इवेलुएशन के स्थान पर $\tanh(x)$ $tanh (x)$ के लिए पाडे अप्रोक्सिमेंट (Padé approximant), जिसे $R_{tanh}(x)$ $R_{t anh} (x)$ कहा जाता है, पर आधारित एक साझा, फिक्स्ड-कॉस्ट रैशनल अप्रोक्सिमेशन का उपयोग करते हैं। इस सन्निकटन में जोड़, गुणा और एक एकल विभाजन का एक निश्चित अनुक्रम शामिल है, जो इनपुट पर निर्भर लूप या अंतराल चयन से बचता है।
- Sigmoid और Swish का निर्माण पहचान $S(x) = \frac{1}{2}(1 + \tanh(x/2))$ का उपयोग करके किया गया है।
- GELU को $\tanh$ -आधारित फॉर्मूलेशन का उपयोग करके सन्निकट किया गया है।
मास्किंग-आधारित सैचुरेशन (Masking-Based Saturation): सन्निकटन क्षेत्र के बाहर के इनपुट को संभालने के लिए, कार्यप्रणाली उसी ब्रांचलेस मास्किंग रणनीति के माध्यम से कार्यान्वित सैचुरेशन लॉजिक (0, 1, या $x$ पर क्लैंपिंग) का उपयोग करती है। यह सुनिश्चित करता है कि जब सैचुरेटेड इनपुट के लिए रैशनल अप्रोक्सिमेशन को बायपास किया जाता है, तब भी निष्पादन पथ और साइकिल काउंट स्थिर रहता है।
साइकिल अलाइनमेंट और डमी अरिथमेटिक (Cycle Alignment and Dummy Arithmetic): सभी पांच फंक्शन्स के बीच समान निष्पादन समय प्राप्त करने के लिए, लेखक डमी अरिथमेटिक ऑपरेशंस का परिचय देते हैं। विशेष रूप से, सरल ReLU फंक्शन, जो स्वाभाविक रूप से नॉनलीनियर अप्रोक्सिमेशन्स की तुलना में बहुत तेजी से निष्पादित होता है, उसे अधिक जटिल फंक्शन्स के साइकिल काउंट के साथ संरेखित करने के लिए उसी $R_{tanh}$ -आधारित अरिथमेटिक अनुक्रम (परिणाम को प्रभावित किए बिना) के साथ बढ़ाया गया है। सूक्ष्म अलाइनमेंट के लिए केवल न्यूनतम NOP पैडिंग का उपयोग किया गया है।

प्रमुख योगदान (Key Contributions)

कॉन्स्टेंट-टाइम कार्यप्रणाली: यह पेपर एक्टिवेशन फंक्शन्स के लिए एक पुन: प्रयोज्य निर्माण सिद्धांत पेश करता है जो एम्बेडेड माइक्रोकंट्रोलर्स पर इनपुट-स्वतंत्र निष्पादन समय की गारंटी देता है।
पांच फंक्शन्स पर कार्यान्वयन: पद्धति को ReLU, sigmoid, tanh, GELU, और Swish पर सफलतापूर्वक लागू किया गया है, जिसमें नॉनलीनियर घटकों के लिए एक साझा रैशनल अप्रोक्सिमेशन का उपयोग किया गया है।
डिसिंक्रोनाइज़ेशन की भेद्यता: लेखक प्रदर्शित करते हैं कि डिसिंक्रोनाइज़ेशन-आधारित काउंटरमेजर, हालांकि विजुअल रूप से टाइमिंग ट्रेसेस को धुंधला करते हैं, फिर भी प्रोफाइल टेम्पलेट-आधारित टाइमिंग हमलों के प्रति संवेदनशील रहते हैं। निष्पादन समय के सांख्यिकीय विश्लेषण के माध्यम से, एक हमलावर पर्याप्त मापन के बाद उच्च विश्वास के साथ एक्टिवेशन फंक्शन्स के बीच अंतर कर सकता है।
प्रायोगिक सत्यापन: यह कार्य प्रमाण प्रदान करता है कि प्रस्तावित प्रोटेक्टेड कार्यान्वयन सभी परीक्षण किए गए इनपुट के लिए सटीक रूप से समान साइकिल काउंट प्राप्त करते हैं, जिससे टाइमिंग लीकेज प्रभावी रूप से दब जाता है।

प्रायोगिक परिणाम (Experimental Results)
इस कार्यप्रणाली का मूल्यांकन 84 MHz पर चलने वाले ARM Cortex-M4 पर किया गया।

टाइमिंग नियमितता (Timing Regularity):
- $[-8, 8]$ के अंतराल में तीन-फंक्शन सेटिंग (ReLU, sigmoid, tanh) में, सभी प्रोटेक्टेड कार्यान्वयन इनपुट मान की परवाह किए बिना ठीक 88 क्लॉक साइकल (1.048 µs) में निष्पादित हुए।
- $[-500, 500]$ के विस्तारित अंतराल में पांच-फंक्शन सेटिंग (GELU और Swish सहित) में, सभी कार्यान्वयन ठीक 108 क्लॉक साइकल (1.286 µs) में निष्पादित हुए।
- इसके विपरीत, अनप्रोटेक्टेड कार्यान्वयन महत्वपूर्ण टाइमिंग विविधताएं (उदाहरण के लिए, अनप्रोटेक्टेड ReLU लगभग 12 साइकल लेता है, जबकि अनप्रोटेक्टेड tanh लगभग 403 साइकल लेता है) और इनपुट-निर्भर उतार-चढ़ाव दिखाते हैं।
संख्यात्मक सटीकता (Numerical Accuracy):
- सन्निकटन (approximations) ने उच्च सटीकता बनाए रखी। $[-8, 8]$ के अंतराल के लिए, sigmoid के लिए मीन स्क्वेर्ड एरर (MSE) $2.93 \times 10^{-12}$ और tanh के लिए $6.14 \times 10^{-10}$ था।
- $[-500, 500]$ के विस्तारित अंतराल में, sigmoid और tanh के लिए त्रुटियां नगण्य रहीं (क्योंकि वे जल्दी संतृप्त हो जाते हैं), जबकि GELU और Swish ने सैचुरेशन थ्रेशोल्ड के पास कम त्रुटि दिखाई (Swish के लिए मैक्स एब्सोल्यूट एरर $1.11 \times 10^{-3}$ था)।
प्रदर्शन ट्रेड-ऑफ (Performance Trade-offs):
- अलाइनमेंट के लिए डमी अरिथमेटिक के समावेश के कारण प्रोटेक्टेड ReLU कार्यान्वयन में लेटेंसी में वृद्धि हुई (लगभग 12 से 88/108 साइकल तक)।
- इसके विपरीत, प्रोटेक्टेड नॉनलीनियर फंक्शन्स अपने अनप्रोटेक्टेड समकक्षों की तुलना में काफी तेज़ थे (उदाहरण के लिए, प्रोटेक्टेड sigmoid/tanh अनप्रोटेक्टेड वर्ज़न की तुलना में ~33-38% तेज़ थे) क्योंकि लक्षित हार्डवेयर पर रैशनल अप्रोक्सिमेशन मानक लाइब्रेरी ट्रांसेंडेंटल फंक्शन्स की तुलना में अधिक कुशल है।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि प्रस्तावित कार्यप्रणाली एम्बेडेड इन्फरेंस में साइड-चैनल-प्रतिरोधी एक्टिवेशन फंक्शन्स के निर्माण के लिए एक व्यावहारिक आधार प्रदान करती है। "छिपाने" (रैंडमाइजेशन) से "कॉन्स्टेंट-टाइम" डिज़ाइन की ओर शिफ्ट होकर, यह दृष्टिकोण टाइमिंग लीकेज के मूल कारण को समाप्त करता है: इनपुट-निर्भर निष्पादन पथ। लेखक दावा करते हैं कि यह कार्यप्रणाली ऐसे एक्टिवेशन फंक्शन्स के निर्माण की अनुमति देती है जहाँ निष्पादित निर्देश अनुक्रम इनपुट मान से स्वतंत्र होता है, जिससे टेम्पलेट-आधारित टाइमिंग हमलों को रोका जा सकता है।

यह कार्य सुरक्षित एम्बेडेड मशीन लर्निंग के लिए एक बिल्डिंग ब्लॉक के रूप में खुद को स्थापित करता है, विशेष रूप से गोपनीयता-संवेदनशील एज डिवाइसेस (जैसे, मेडिकल सेंसर, वियरेबल्स) के लिए जहाँ टाइमिंग जानकारी हमलावरों के लिए सुलभ हो सकती है। लेखक विनम्रतापूर्वक नोट करते हैं कि जबकि यह एक्टिवेशन फंक्शन्स में टाइमिंग लीकेज को संबोधित करता है, यह पूरे इन्फरेंस पाइपलाइन के लिए पूर्ण काउंटरमेजर नहीं है, और अन्य साइड-चैनल (पावर, EM) या कार्यान्वयन विवरणों को अभी भी सुरक्षा की आवश्यकता हो सकती है। यह अध्ययन विशेष रूप से टाइमिंग डोमेन पर केंद्रित है और यह सभी संभावित साइड-चैनल वेक्टर्स को संबोधित करने का दावा नहीं करता है।