⚡ electrical engineering

Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

यह शोध पत्र एक लयापुनोव-निर्देशित (Lyapunov-guided) प्रशिक्षण ढांचे का प्रस्ताव करता है जो फिक्स्ड-पॉइंट ओवरफ्लो-प्रेरित अस्थिरता को दबाने के लिए मोनोटोन स्टेट प्रोजेक्शन को लागू करता है, जिससे संसाधन-बाधित हार्डवेयर पर विश्वसनीय निम्न-परिशुद्धता (low-precision) न्यूरल नेटवर्क प्रशिक्षण और अनुमान सक्षम होता है।

मूल लेखक: Anis Hamadouche, Amir Hussain

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anis Hamadouche, Amir Hussain

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को हाथ से लिखे अंकों (जैसे "1", "2", या "3") की तस्वीरों को पहचानना सिखाने की कोशिश कर रहे हैं। इसे एक छोटे, बैटरी से चलने वाले उपकरण (जैसे स्मार्टवॉच या सेंसर) पर तेज़ और सस्ता बनाने के लिए, आप इसके मस्तिष्क को छोटा करना चाहते हैं। आप ऐसा इसकी गणितीय सटीकता (precision) को कम करके करते हैं, यानी जटिल, उच्च-सटीक संख्याओं (जैसे एक वैज्ञानिक के कैलकुलेटर) से बदलकर सरल, कम-सटीक संख्याओं (जैसे एक बच्चे का अबैकस) में स्विच करके। इसे क्वांटाइजेशन (quantization) कहा जाता है।

हालाँकि, इस शोध पत्र में शोधकर्ताओं ने इस प्रक्रिया में एक छिपे हुए जाल की खोज की है।

जाल: "रैप-अराउंड" (Wrap-Around) दुर्घटना

अधिकांश लोग मानते हैं कि यदि कोई संख्या रोबोट की छोटी मेमोरी के लिए बहुत बड़ी हो जाती है, तो यह बस अधिकतम सीमा पर "क्लिप" या कट जाती है (जैसे 120 मील प्रति घंटे पर अटकी हुई स्पीडोमीटर)।

लेकिन कई वास्तविक दुनिया के कंप्यूटर चिप्स में, गणित अलग तरह से काम करता है। यह टूज़-कॉम्प्लीमेंट रैपिंग (two's-complement wrapping) नामक चीज़ का उपयोग करता है। एक घड़ी के चेहरे की कल्पना करें। यदि आप सुइयों को 12 के आगे घुमाते रहते हैं, तो वे रुकती नहीं हैं; वे वापस 1 पर आ जाती हैं और फिर से शुरू हो जाती हैं।

इस रोबोट के मस्तिष्क में, यदि कोई संख्या बहुत अधिक धनात्मक (positive) हो जाती है, तो वह अचानक एक बहुत बड़ी ऋणात्मक (negative) संख्या बन जाती है।
यदि कोई संख्या बहुत अधिक ऋणात्मक हो जाती है, तो वह अचानक एक बहुत बड़ी धनात्मक संख्या बन जाती है।

शोध पत्र इसे "ओवरफ्लो रैपिंग" (overflow wrapping) कहता है। यह एक रोलरकोस्टर की तरह है जो ट्रैक के अंत में पहुँचने पर धीमा होने के बजाय, अचानक उल्टा हो जाता है और विपरीत दिशा में तेजी से भाग जाता है। यह रोबोट को पूरी तरह से भ्रमित कर देता है, जिससे वह जो कुछ भी सीख रहा था उसे भूल जाता है और केवल रैंडम अनुमान लगाने के स्तर पर प्रदर्शन करने लगता है।

समाधान: "ल्यपुनोव सेफ्टी नेट" (Lyapunov Safety Net)

लेखक, अनीस हमदाउच और अमीर हुसैन, इन रोबोटों को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं ताकि वे ट्रैक से नीचे न गिरें। वे ल्यपुनोव स्थिरता (Lyapunov stability) नामक एक गणितीय अवधारणा का उपयोग करते हैं।

रोबोट के मस्तिष्क को एक पहाड़ी से लुढ़कती हुई गेंद के रूप में सोचें (न्यूरल नेटवर्क की परतें)।

समस्या: बिना सुरक्षा जाल के, गेंद तेजी से लुढ़क सकती है, इतनी ऊर्जा प्राप्त कर सकती है कि वह खाई में गिर जाए (ओवरफ्लो रैप)।
समाधान: वे एक "मोनोटोन ल्यपुनोव प्रोजेक्शन" (Monotone Lyapunov Projection) पेश करते हैं। एक कोमल, अदृश्य हाथ की कल्पना करें जो हर कदम पर गेंद की गति की जाँच करता है। यदि गेंद बहुत तेज़ चल रही है या उसमें बहुत अधिक ऊर्जा है, तो वह हाथ उसे धीरे से सुरक्षित गति पर वापस धकेलता है, यह सुनिश्चित करता है कि वह अपनी शुरुआती ऊर्जा से अधिक ऊर्जा प्राप्त न करे।

यह "हाथ" केवल संख्याओं को क्लिप नहीं करता है; यह सक्रिय रूप से रोबोट के विचारों (हिडन स्टेट्स) की "ऊर्जा" की निगरानी करता है और उन्हें एक सुरक्षित, सीमित दायरे के भीतर रहने के लिए मजबूर करता है। यदि रोबोट सीमाओं से बाहर जाने की कोशिश करता है, तो गणित उसे तुरंत वापस अंदर खींच लेता है।

प्रयोग: MNIST पर एक दौड़

टीम ने इसे MNIST नामक एक प्रसिद्ध डेटासेट (हजारों हाथ से लिखे अंक) पर टेस्ट किया। उन्होंने एक आधुनिक, कॉम्पैक्ट प्रकार के AI का उपयोग किया जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है (वही तकनीक जो चैटबॉट्स के पीछे है, लेकिन इसे छोटा किया गया है)।

उन्होंने चार परिदृश्यों की तुलना की:

मानक प्रशिक्षण (Standard Training): रोबोट सामान्य रूप से सीखता है लेकिन जब संख्याएँ बहुत बड़ी हो जाती हैं तो क्रैश हो जाता है।
पोस्ट-ट्रेनिंग क्वांटाइजेशन (Post-Training Quantization): उन्होंने प्रशिक्षण के बाद संख्याओं को छोटा किया। यह उच्च सटीकता पर ठीक काम करता था, लेकिन कम सटीकता पर बुरी तरह विफल रहा।
बिना सुरक्षा के क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT without Safety): उन्होंने रोबोट को शुरुआत से ही छोटी संख्याओं को संभालने के लिए सिखाने की कोशिश की। तबाही। 16 बिट्स की सटीकता के साथ भी (जो पर्याप्त होनी चाहिए), रोबोट का मस्तिष्क बार-बार रैप-अराउंड होता रहा, और उसने कुछ भी नहीं सीखा, उसका स्कोर लगभग 10% (रैंडम चांस) रहा।
नया तरीका (QAT + Lyapunov Safety): उन्होंने "अदृश्य हाथ" वाले सुरक्षा जाल के साथ रोबोट को प्रशिक्षित किया।

परिणाम

परिणाम नाटकीय थे:

सुरक्षा जाल के बिना: रोबोट पूरी तरह विफल रहा। 8 बिट्स की सटीकता पर, इसे केवल 10.88% सटीकता मिली, और इसके आंतरिक विचारों का 13% से अधिक हिस्सा "रैप-अराउंड" दुर्घटना से दूषित हो गया था।
सुरक्षा जाल के साथ: रोबोट ने पूरी तरह से सीखा। 12 बिट्स की सटीकता पर, इसने 86.55% सटीकता प्राप्त की (पूर्ण-सटीक संस्करण के बहुत करीब)। सबसे महत्वपूर्ण बात यह है कि "ओवरफ्लो" दुर्घटनाएं घटकर लगभग शून्य (0.009%) हो गईं।

मुख्य निष्कर्ष

यह शोध पत्र साबित करता है कि रोबोट को केवल अधिक बिट्स (अधिक सटीकता) देना ही काफी नहीं है यदि उसका आंतरिक तर्क अस्थिर है। वास्तविक हार्डवेयर चिप्स का "रैप-अराउंड" गणित एक रोबोट की सीखने की प्रक्रिया को नष्ट कर सकता है।

इस ल्यपुनोव-गाइडेड ट्रेनिंग का उपयोग करके, उन्होंने एक "हार्डवेयर-सेफ" तरीका बनाया है। यह एक ड्राइवर को केवल स्टीयरिंग कैसे चलाना है यह सिखाने जैसा नहीं है, बल्कि यह सिखाने जैसा है कि वे वास्तव में जिस सड़क पर चल रहे हैं उसकी गति सीमा का सम्मान कैसे करें, जिससे वे कभी नियंत्रण से बाहर न हों। यह हमें छोटे, तेज़ और सस्ते AI डिवाइस बनाने की अनुमति देता है जो अपनी मेमोरी की सीमाओं तक पहुँचने पर क्रैश नहीं होंगे।

तकनीकी सारांश: फिक्स्ड-पॉइंट अंकगणित के तहत हार्डवेयर-सुरक्षित न्यूरल नेटवर्क के लिए लियापुनोव-निर्देशित प्रशिक्षण (Lyapunov-Guided Training)

1. समस्या विवरण (Problem Statement)

संसाधन-सीमित हार्डवेयर (जैसे, FPGA, एम्बेडेड प्रोसेसर) पर डीप न्यूरल नेटवर्क की तैनाती के लिए मेमोरी फुटप्रिंट, बैंडविड्थ और ऊर्जा खपत को कम करने हेतु लो-प्रिसिजन अंकगणित (low-precision arithmetic) पर बहुत अधिक निर्भरता होती है। जबकि मानक क्वांटाइजेशन अनुसंधान राउंडिंग एरर (rounding errors), क्लिपिंग (clipping) और कैलिब्रेशन पर ध्यान केंद्रित करता है, यह अक्सर व्यावहारिक फिक्स्ड-पॉइंट हार्डवेयर की एक महत्वपूर्ण विफलता पद्धति को अनदेखा कर देता है: टूज़-कॉम्प्लीमेंट ओवरफ्लो रैपिंग (two's-complement overflow wrapping)।

सैचुरेटिंग अंकगणित (saturating arithmetic) के विपरीत, जहाँ ओवरफ्लो हुए मानों को अधिकतम या न्यूनतम प्रतिनिधित्व योग्य पूर्णांक तक क्लिप कर दिया जाता है, रैपिंग अंकगणित (wrapping arithmetic) मानों को सीमित पूर्णांक रेंज के चारों ओर "रैप अराउंड" (wrap around) होने देता है। परिणामस्वरूप, एक बड़ा धनात्मक मान एक बड़े ऋणात्मक मान में बदल सकता है, और इसके विपरीत भी। ResNets और Transformers जैसे गहरे आर्किटेटेक्चर में, जिन्हें डेप्थ-इंडेक्स्ड डायनेमिकल सिस्टम के रूप में देखा जा सकता है, यह रैपिंग हिडन एक्टिवेशन्स में असंतत (discontinuous) साइन और मैग्नीट्यूड एरर पैदा करती है। ये त्रुटियाँ स्टेट ट्राजेक्टरी (state trajectory) को दूषित करती हैं, जिससे अस्थिर संख्यात्मक त्रुटि प्रसार (unstable numerical error propagation) और विनाशकारी सटीकता गिरावट होती है, भले ही नाममात्र बिट-चौड़ाई पर्याप्त प्रतीत हो। वर्तमान क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) विधियाँ, जो आमतौर पर आदर्श क्लिपिंग मानती हैं या रैपिंग डायनेमिक्स को अनदेखा करती हैं, इस प्रकार की अस्थिरता को रोकने में विफल रहती हैं, जिससे हार्डवेयर-शैली के रैपिंग के तहत सटीकता लगभग संयोग (near-chance) के स्तर तक गिर जाती है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक लियापुनोव-स्थिर क्वांटाइजेशन फ्रेमवर्क (Lyapunov-stabilised quantisation framework) प्रस्तावित करता है जिसे रैपिंग अंकगणित के तहत संचालित होने वाले न्यूरल नेटवर्क के आंतरिक स्टेट ट्राजेक्टरी को स्पष्ट रूप से नियंत्रित करने के लिए डिज़ाइन किया गया है। मुख्य कार्यप्रणाली नेटवर्क को एक डिस्क्रीट-टाइम डायनेमिकल सिस्टम के रूप में मानती है और एक लेयर-वाइज एनर्जी कंस्ट्रेंट के माध्यम से स्थिरता लागू करती है।

सिस्टम मॉडल: नेटवर्क को एक अनुक्रम के रूप में मॉडल किया गया जहाँ हिडन स्टेट्स $h_\ell$ नॉनलीनर ट्रांसफॉर्मेशन द्वारा अपडेट होते हैं। लेखक एक सामान्यीकृत लेयर-वाइज लियापुनोव ऊर्जा फ़ंक्शन को परिभाषित करते हैं:
$V(h_\ell) = \frac{1}{TD} \|h_\ell\|_F^2$
जहाँ $T$ टोकन की संख्या है और $D$ एम्बेडिंग डायमेंशन है। यह ऊर्जा मीट्रिक हिडन स्टेट के औसत परिमाण (average magnitude) का प्रतिनिधित्व करता है।
मोनोटोनिक लियापुनोव प्रोजेक्शन (Monotone Lyapunov Projection): हिडन स्टेट को ओवरफ्लो-प्रोन क्षेत्रों में प्रवेश करने से रोकने के लिए, लेखक एक हार्ड प्रोजेक्शन मैकेनिज्म पेश करते हैं। एक अनकन्स्ट्रेंड अपडेटेड स्टेट $z_{\ell+1}$ के लिए, प्रोजेक्टेड स्टेट $h_{\ell+1}$ को इस प्रकार बाधित किया जाता है कि:
$V(h_{\ell+1}) \leq \min\{V(h_\ell), V_{\max}\}$
यहाँ, $V_{\max}$ प्रारंभिक ट्रेनिंग-सेट टोकन ऊर्जा के 99वें पर्सेंटाइल से प्राप्त एक सुरक्षित ऊर्जा थ्रेशोल्ड है, जिसे एक सुरक्षा मार्जिन ( $\gamma = 1.20$ ) के साथ स्केल किया गया है। प्रोजेक्शन स्टेट वेक्टर को तब स्केल करता है जब इसकी ऊर्जा लक्ष्य से अधिक हो जाती है, जिससे यह सुनिश्चित होता है कि ऊर्जा डेप्थ के पार दोनों रूप से सीमित और गैर-बढ़ने वाली (non-increasing) है।
हार्डवेयर-अवेयर फॉरवर्ड पास: रैपिंग को ध्यान में रखते हुए ऑपरेशन्स का क्रम एक महत्वपूर्ण पहलू है। प्रस्तावित फॉरवर्ड पास इस प्रकार निष्पादित होता है:
1. अनकन्स्ट्रेंड फुल-प्रिसिजन अपडेट की गणना करें।
2. रैपिंग अंकगणित (हार्डवेयर राइट-बैक का अनुकरण करते हुए) के साथ फिक्स्ड-पॉइंट क्वांटाइजेशन लागू करें।
3. रैप्ड स्टेट पर लियापुनोव प्रोजेक्शन लागू करें।
4. यह सुनिश्चित करने के लिए कि फिक्स्ड-पॉइंट राइट-बैक लियापुनोव कंस्ट्रेंट का उल्लंघन न करे, अंतिम क्वांटाइजेशन स्टेप के बाद एक "रिपेयर प्रोजेक्शन" (repair projection) करें।
ट्रेनिंग ऑब्जेक्टिव: क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) में, मानक क्रॉस-एंट्रॉपी लॉस को ऊपर वर्णित लेयर-वाइज प्रोजेक्टेड डायनेमिक्स के अधीन मिनिमाइज किया जाता है। सॉफ्ट रेगुलराइजेशन के विपरीत, यह दृष्टिकोण स्टेट ट्राजेक्टरी पर एक हार्ड कंस्ट्रेंट लागू करता है।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र चार प्राथमिक योगदान देता है:

समस्या का निरूपण: यह फिक्स्ड-पॉइंट न्यूरल नेटवर्क क्वांटाइजेशन के साथ ओवरफ्लो रैपिंग को एक हिडन-स्टेट स्टेबिलिटी समस्या के रूप में फ्रेम करता है, जो इसे मानक क्वांटाइजेशन एरर एनालिसिस से अलग करता है।
मैकेनिज्म डिज़ाइन: यह एक मोनोटोनिक लियापुनोव प्रोजेक्शन मैकेनिज्म पेश करता है जो बाउंडेड और नॉन-इन्क्रीजिंग लेयर-वाइज ऊर्जा को लागू करता है, जो केवल क्वांटाइजेशन नॉइज़ के बजाय सीधे हिडन स्टेट को बाधित करता है।
हार्डवेयर जागरूकता: फ्रेमवर्क स्पष्ट रूप से टूज़-कॉम्प्लीमेंट रैपिंग और फिक्स्ड-पॉइंट राइट-बैक को मॉडल करता है, जो विशेष रूप से हार्डवेयर-शैली के अंकगणित के लिए एक स्थिरीकरण तंत्र के रूप में कार्य करता है।
अनुभवजन्य साक्ष्य (Empirical Evidence): यह प्रदर्शित करता है कि एक्टिवेशन ओवरफ्लो, न कि केवल बिट-विड्थ में कमी, लो-प्रिसिजन नेटवर्क में विफलता का एक प्रमुख मोड है, और स्टेबिलिटी कंट्रोल लर्निंग परफॉरमेंस को बहाल कर सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन MNIST डेटासेट पर एक कॉम्पैक्ट पैच-आधारित ट्रांसफार्मर (4 लेयर्स, 16 टोकन, 64-डायमेंशनल एम्बेडिंग्स) पर साइन्ड फिक्स्ड-पॉइंट अंकगणित के तहत किया गया, जिसमें बिट-विड्थ 4 से 16 बिट्स के बीच थी।

अनकन्स्ट्रेंड विफलता: रैपिंग अंकगणित के साथ मानक QAT, 6-16 बिट्स के बीच, लगभग संयोग (लगभग 10-11%) सटीकता पर गिर गया, भले ही प्रिसिजन बढ़ाई गई हो। अनकन्स्ट्रेंड मॉडल्स में एक्टिवेशन ओवरफ्लो दर 11% से अधिक थी (8 बिट्स पर ~13.9% तक पहुँची)।
स्थिरीकरण सफलता: प्रस्तावित लियापुनोव-प्रोजेक्टेड QAT ने स्थिर लर्निंग को बहाल किया। 12 बिट्स पर, प्रोजेक्टेड मॉडल ने 86.55% ± 0.65% सटीकता प्राप्त की, जबकि अनकन्स्ट्रेंड रैप्ड QAT की सटीकता ~9.87% थी।
ओवरफ्लो दमन (Overflow Suppression): प्रोजेक्शन ने 12 बिट्स पर एक्टिवेशन ओवरफ्लो को सफलतापूर्वक 0.009% तक कम कर दिया (अनकन्स्ट्रेंड केस में 13.6% की तुलना में)।
ऊर्जा नियंत्रण: अधिकतम सामान्यीकृत हिडन-स्टेट ऊर्जा को अनकन्स्ट्रेंड फुल-प्रिसिजन ट्रेनिंग में 6.26 से घटाकर प्रोजेक्टेड मॉडल में 0.36 कर दिया गया, जो सुरक्षित ऊर्जा सेट के प्रवर्तन की पुष्टि करता है।
PTQ प्रदर्शन: पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) को भी महत्वपूर्ण लाभ हुआ; 6 बिट्स पर, प्रोजेक्शन के साथ सटीकता 64.65% से सुधरकर 80.83% हो गई।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र तर्क देता है कि मजबूत लो-प्रिसिजन लर्निंग के लिए केवल क्वांटाइजेशन-अवेयर ऑप्टिमाइजेशन की ही नहीं, बल्कि आंतरिक स्टेट ट्राजेक्टरी के स्पष्ट नियंत्रण की आवश्यकता है। लेखक दावा करते हैं कि:

स्थिरता महत्वपूर्ण है: डीप नेटवर्क में अस्थिर हिडन-स्टेट ग्रोथ सीधे रैपिंग अंकगणित के तहत ओवरफ्लो-प्रेरित स्टेट करप्शन की ओर ले जाती है, जिसे मानक क्वांटाइजेशन विधियाँ संबोधित करने में विफल रहती हैं।
लियापुनोव कंट्रोल एक सुरक्षा के रूप में: लियापुनोव-आधारित स्टेट कंट्रोल एक प्रभावी हार्डवेयर-अवेयर सुरक्षा तंत्र के रूप में कार्य करता है। हिडन-स्टेट ऊर्जा को एक "सेफ सेट" के भीतर रखकर, नेटवर्क रैपिंग के कारण होने वाले असंतत साइन परिवर्तनों से बचता है।
ट्रेड-ऑफ: यह विधि स्थिरता-सटीकता के बीच एक सार्थक संतुलन प्रदान करती है। जबकि फुल-प्रिसिजन अनकन्स्ट्रेंड ट्रेनिंग उच्चतम सटीकता (89.15%) देती है, यह खतरनाक ऊर्जा वृद्धि की अनुमति देती है। लियापुनोव-कंस्ट्रेंड मॉडल एक मामूली सटीकता (फुल प्रिसिजन में लगभग 2.2 प्रतिशत अंक) का त्याग करता है ताकि 17.4x ऊर्जा कमी प्राप्त की जा सके और उन लो बिट-विड्थ (जैसे, 12 बिट्स) पर विश्वसनीय प्रशिक्षण सक्षम किया जा सके जहाँ अनकन्स्ट्रेंड विधियाँ पूरी तरह विफल हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि लो-प्रिसिजन इन्फरेंस और ट्रेनिंग को केवल एक संख्यात्मक सन्निकटन (numerical approximation) समस्या के बजाय एक डायनेमिकल स्टेबिलिटी समस्या के रूप में देखना, विश्वसनीय फिक्स्ड-पॉइंट हार्डवेयर पर न्यूरल नेटवर्क को तैनात करने के लिए आवश्यक है। भविष्य के कार्यों के लिए बड़े डेटासेट, गहरे आर्किटेक्चर और हार्डवेयर-इन-द-लूप कार्यान्वयन का सुझाव दिया गया है।