🤖 machine learning

Integer-Only Operations on Extreme Learning Machine Test Time Classification

यह शोध पत्र उन तकनीकों के एक समूह का प्रस्ताव और सत्यापन करता है जो एक्सट्रीम लर्निंग मशीन क्लासिफायर को केवल पूर्णांक संचालन (integer operations) का उपयोग करके टेस्ट-टाइम वर्गीकरण करने में सक्षम बनाते हैं, जिससे सटीकता से समझौता किए बिना एम्बेडेड और डेटा सेंटर अनुप्रयोगों के लिए कम्प्यूटेशनल लागत और बिजली की खपत को काफी कम किया जा सकता है।

मूल लेखक: Emerson Lopes Machadoa, Cristiano Jacques Miosso, Ricardo Pezzuol Jacobi

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Emerson Lopes Machadoa, Cristiano Jacques Miosso, Ricardo Pezzuol Jacobi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ (जिसे एक्सट्रीम लर्निंग मशीन, या ELM कहा जाता है) है जो खाने की तस्वीर देखकर तुरंत बता सकता है कि वह बर्गर है, पिज्जा है या सलाद है।

आमतौर पर, इस काम के लिए रोबोट को बहुत जटिल गणित का उपयोग करना पड़ता है जिसमें फ्लोटिंग-पॉइंट नंबर्स (सोचिए ये सटीक, दशमलव वाले कैलकुलेशन हैं जैसे 3.14159...) शामिल होते हैं। कंप्यूटर चिप्स की दुनिया में, इस तरह का गणित करना एक भारी-भरकम निर्माण क्रेन से रेत का एक अकेला कण हिलाने के लिए कहने जैसा है। यह काम तो करता है, लेकिन यह महंगा, धीमा और बहुत अधिक बिजली खर्च करने वाला है। यह छोटी डिवाइसों (जैसे स्मार्टवॉच या ड्रोन) के लिए एक बड़ी समस्या है जो बैटरी पर चलती हैं, और विशाल डेटा सेंटरों के लिए भी जहाँ बिजली के बिल आसमान छू रहे हैं।

यह पेपर एक चतुर तरीका प्रस्तावित करता है जिससे रोबोट शेफ को खाना बनाना भूले बिना उसे हल्का, तेज़ और सस्ता बनाया जा सके। उन्होंने इसे तीन सरल तरीकों से किया है:

1. "सिक्का उछालने" वाले इनपुट वेट्स (अब गुणा करने की ज़रूरत नहीं!)

समस्या: सामान्य रूप से, रोबोट अपनी "आंखों" (इनपुट) को अपने "दिमाग" (हिडन लेयर) से जोड़ने के लिए रैंडम दशमलव संख्याओं (डेसिमल नंबर्स) का उपयोग करता है। एक इमेज को प्रोसेस करने के लिए, रोबोट को हर पिक्सेल को इन दशमलवों से गुणा करना पड़ता है। गुणा करना वह "भारी काम" है जिसमें बहुत ऊर्जा खर्च होती है।

समाधान: लेखकों ने महसूस किया कि रोबोट को वास्तव में उन सटीक दशमलवों की आवश्यकता नहीं है। इसके बजाय, उन्होंने पाया कि यदि आप केवल कनेक्शन की ताकत तय करने के लिए सिक्का उछालते हैं—यानी इसे -1, 0, या 1 बनाते हैं—तो भी रोबोट उतना ही अच्छा काम करता है!

उपमा: कल्पना कीजिए कि आप डाक छाँट रहे हैं। हर पत्र को एक सटीक तराजू से तौलने के बजाय (गुणा करने के बजाय), आप बस यह तय करते हैं: "क्या यह पत्र भारी है? हाँ (1)। क्या यह हल्का है? नहीं (-1)। क्या यह खाली है? (0)।"
जादू: यदि वेट 1 है, तो आप बस संख्या को जोड़ते हैं। यदि यह -1 है, तो आप उसे घटाते हैं। यदि यह 0 है, तो आप उसे अनदेखा कर देते हैं। आप पूरी तरह से गुणा को खत्म कर देते हैं। कंप्यूटर चिप्स में, जोड़ना एक हल्के स्पर्श जैसा है; गुणा करना एक हथौड़े जैसा है। इस "सिक्का उछालने" वाले तरीके पर स्विच करके, रोबलेट अब हथौड़े का उपयोग करने के बजाय सिर्फ हल्के स्पर्श का उपयोग करता है, जिससे भारी मात्रा में ऊर्जा बचती है।

2. "बर्तन न धोने" वाली ट्रिक (नॉर्मलाइजेशन को छोड़ दें)

समस्या: रोबोट के फोटो देखने से पहले, मानक प्रक्रिया यह है कि फोटो को "नॉर्मलाइज़" किया जाए। इसका मतलब है कि ब्राइटनेस और कंट्रास्ट को एडजस्ट करना ताकि नंबर एक विशिष्ट रेंज में फिट हो सकें (जैसे किसी फोटो को ठीक 100% ब्राइटनेस तक स्केल करना)। यह ऐसा है जैसे खाना खाने से पहले ही हर बर्तन को धोना। इसमें अतिरिक्त समय और ऊर्जा लगती है।

समाधान: लेखकों ने गणितीय रूप से सिद्ध किया कि यदि रोबोट एक विशिष्ट प्रकार के "एक्टिवेशन फंक्शन" (एक नियम जो तय करता है कि न्यूरॉन कब सक्रिय होगा, जैसे एक लाइट स्विच) का उपयोग करता है, तो इससे कोई फर्क नहीं पड़ता कि फोटो "धुली हुई" (नॉर्मलाइज़्ड) है या "गंदी" (रॉ/अनएडजस्टेड)।

उपमा: कल्पना कीजिए कि एयरपोर्ट पर एक मेटल डिटेक्टर है। आमतौर पर, सुरक्षाकर्मी आपसे मेटल डिटेक्टर से गुजरने से पहले बेल्ट और जूते उतारने को कहते हैं (नॉर्मलाइजेशन)। लेखकों ने सिद्ध किया कि यदि मेटल डिटेक्टर सही ढंग से ट्यून किया गया है, तो वह उतनी ही सटीकता से बीप करेगा चाहे आप बेल्ट पहनकर गुजरें या उतारकर। यहाँ धातु और हवा के बीच का सापेक्ष अंतर मायने रखता है, न कि उसका पूर्ण आकार।
जादू: "धोने" के स्टेप को छोड़कर, रोबोट समय बचाता है और रॉ इंटीजर डेटा (जिसे कंप्यूटर आसानी से संभाल सकते हैं) पर अतिरिक्त गणित करने से बचता है।

3. "राउंडिंग ऑफ" आउटपुट (इंटीजर वेट्स)

समस्या: सीखने के बाद, रोबोट के पास अंतिम सेट के "आउटपुट वेट्स" (अंतिम निर्णय लेने के नियम) होते हैं। ये आमतौर पर सटीक दशमलव (जैसे 0.456789) होते हैं। इन दशमलवों को स्टोर करने और उपयोग करने के लिए जटिल हार्डवेयर की आवश्यकता होती है।

समाधान: लेखकों ने दिखाया कि आप इन सटीक दशमलवों को निकटतम पूर्ण संख्या (इंटीजर) तक राउंड कर सकते हैं।

उपमा: कल्पना कीजिए कि एक रेसिपी में 1.03 कप आटा चाहिए। एक पेशेवर बेकर इसे बिल्कुल सटीक माप सकता है। लेकिन यह पेपर कहता है, "हे, अगर आप सिर्फ 1 कप इस्तेमाल करते हैं, तो केक का स्वाद अभी भी 99% वैसा ही रहेगा!"
जादू: अंतिम नियमों को पूर्णांकों (होल नंबर्स) तक राउंड करके, रोबोट पूरी तरह से इंटीजर मैथ पर चल सकता है। यह साधारण, सस्ते और कम बिजली खपत वाले कंप्यूटर चिप्स (जैसे FPGA में पाए जाते हैं) की मूल भाषा है।

बड़ी तस्वीर: यह क्यों मायने रखता है?

इन तीन ट्रिक्स को मिलाकर, लेखकों ने एक वर्गीकरण प्रणाली बनाई जो:

कभी गुणा नहीं करती (केवल जोड़ती और घटाती है)।
कभी नॉर्मलाइज़ नहीं करती (रॉ डेटा का उपयोग करती है)।
कभी दशमलव का उपयोग नहीं करती (केवल पूर्णांकों का उपयोग करती है)।

परिणाम:

आपके फोन या स्मार्टवॉच के लिए: बैटरी बहुत लंबे समय तक चलेगी क्योंकि प्रोसेसर भारी गणित पर ऊर्जा नहीं जला रहा है।
विशाल डेटा सेंटरों के लिए: कंपनियाँ बिजली के बिलों में लाखों डॉलर बचा सकती हैं।
हार्डवेयर के लिए: आप इन सिस्टमों को सस्ते, छोटे चिप्स (FPGAs) पर बना सकते हैं जिन्हें फ्लोटिंग-पॉइंट मैथ को संभालने के लिए महंगे और बिजली खपत करने वाले कंपोनेंट्स की आवश्यकता नहीं होती है।

संक्षेप में, उन्होंने रोबोट शेफ को एक औद्योगिक किचन के बजाय केवल एक चम्मच और चाकू का उपयोग करके एक शानदार भोजन बनाना सिखाया है, और ऐसा करते हुए भी भोजन का स्वाद कम नहीं हुआ है।

यहाँ शोध पत्र "Integer-Only Operations on Extreme Learning Machine Test Time Classification" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक वर्गीकरण एल्गोरिदम (classification algorithms), जिनमें एक्सट्रीम लर्निंग मशीन (ELM) पर आधारित मॉडल शामिल हैं, आमतौर पर परीक्षण (inference) चरण के दौरान फ्लोटिंग-पॉइंट ऑपरेशन्स (floating-point operations) पर निर्भर करते हैं। जबकि अधिकांश इनपुट सिग्नल एनालॉग-टू-डिजिटल कन्वर्टर्स (ADCs) के माध्यम से पूर्णांकों (integers) के रूप में प्राप्त किए जाते हैं, वर्गीकरण प्रक्रिया उन्हें प्रोसेसिंग के लिए फ्लोटिंग-पॉइंट संख्याओं में परिवर्तित कर देती है।

हार्डवेयर लागत: फ्लोटिंग-पॉइंट ऑपरेशन्स हार्डवेयर में गणनात्मक रूप से महंगे होते हैं, विशेष रूप से फील्ड-प्रोग्रामेबल गेट एरेज़ (FPGAs) पर। उन्हें बहुत अधिक सिलिकॉन क्षेत्र (पूर्णांक ऑपरेशन्स की तुलना में लगभग 12 गुना अधिक घनत्व) की आवश्यकता होती है और वे अधिक ऊर्जा एवं समय का उपभोग करते हैं।
एम्बेडेड बाधाएं: सीमित पावर बजट वाले एम्बेडेड सिस्टम में और उच्च ऊर्जा लागत वाले बड़े पैमाने के डेटा सेंटरों में, फ्लोटिंग-पॉइंट अंकगणित और डिजिटल सिग्नल प्रोसेसर्स (DSPs) पर निर्भरता एक बाधा उत्पन्न करती है।
लक्ष्य: लेखकों का लक्ष्य वर्गीकरण सटीकता से महत्वपूर्ण समझौता किए बिना, शुद्ध रूप से पूर्णांक-आधारित प्रोसेसिंग (integer-based processing) को सक्षम करके ELM टेस्ट-टाइम ऑपरेशन्स की गणनात्मक लागत को कम करना है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र तीन विशिष्ट तकनीकों के समूह का प्रस्ताव करता है जो ELM इन्फरेंस पाइपलाइन को केवल-पूर्णांक वर्कफ़्लो (integer-only workflow) में बदलने के लिए डिज़ाइन किए गए हैं। ये तकनीकें सिंगल हिडन लेयर फीडफॉरवर्ड नेटवर्क (SLFN) के गणितीय गुणों और उपयोग किए जाने वाले विशिष्ट एक्टिवेशन फंक्शन्स का लाभ उठाती हैं।

A. टर्नरी इनपुट वेट्स (Ternary Input Weights - $W \in \{-1, 0, 1\}$ )

मानक दृष्टिकोण: ELM इनपुट वेट्स आमतौर पर निरंतर यूनिफॉर्म डिस्ट्रीब्यूशन (जैसे $U(0,1)$ ) से लिए जाते हैं, जिसके लिए फीचर एक्सट्रैक्शन ( $W \cdot x$ ) के दौरान फ्लोटिंग-पॉइंट गुणन की आवश्यकता होती है।
प्रस्तावित तकनीक: लेखक प्रदर्शित करते हैं कि इनपुट वेट्स को एक डिस्क्रीट टर्नरी सेट $\{-1, 0, 1\}$ से लिया जा सकता है।
प्रभाव: यह गुणन ऑपरेशन्स की आवश्यकता को पूरी तरह से समाप्त कर देता है। मैट्रिक्स-वेक्टर गुणन अब जोड़ (additions), घटाव (subtractions) या सरल साइन फ्लिप (sign flips) की एक श्रृंखला बन जाता है, जो हार्डवेयर में सबसे सस्ते ऑपरेशन्स हैं।

B. इनपुट नॉर्मलाइजेशन का उन्मूलन (Elimination of Input Normalization)

मानक दृष्टिकोण: स्थिरता सुनिश्चित करने के लिए वर्गीकरण से पहले इनपुट सिग्नल्स को अक्सर नॉर्मलाइज़ (जैसे $L_2$ नॉर्म को 1 पर सेट करना) किया जाता है। इसके लिए फ्लोटिंग-पॉइंट डिवीजन और स्क्वायर रूट गणनाओं की आवश्यकता होती है।
प्रस्तावित तकनीक: लेखक एक प्रमेय सिद्ध करते हैं कि रेक्टिफायर (हिंज) एक्टिवेशन फंक्शन ( $g(x) = \max(0, x)$ ) और ज़ीरो बायस (zero biases) वाले ELMs के लिए, वर्गीकरण परिणाम कच्चे पूर्णांक सिग्नल्स और उनके नॉर्मलाइज़्ड संस्करणों के लिए समान होता है।
गणितीय आधार: चूंकि एक्टिवेशन फंक्शन होमोजेनियस (homogeneous) है और आउटपुट वेट्स रैखिक रूप से स्केल होते हैं, इसलिए क्लास प्रेडिक्शन के लिए उपयोग किए जाने वाले $\arg\max$ ऑपरेशन के दौरान स्केलिंग फैक्टर रद्द हो जाता है।
प्रभाव: यह इनपुट डेटा को नॉर्मलाइज़ करने के कम्प्यूटेशनल ओवरहेड को हटा देता है।

C. आउटपुट वेट्स ( $\beta$ ) का पूर्णांक सन्निकटन (Integer Approximation of Output Weights)

मानक दृष्टिकोण: आउटपुट वेट्स ( $\beta$ ) मूर-पेनरोज़ स्यूडोइनवर्स (Moore-Penrose pseudoinverse) के माध्यम से गणना किए जाते हैं, जिसके परिणामस्वरूप उच्च-परिशुद्धता (high-precision) वाले फ्लोटिंग-पॉइंट मान प्राप्त होते हैं।
प्रस्तावित तकनीक: लेखक इन फ्लोटिंग-पॉइंट वेट्स को निकटतम पूर्णांकों में क्वांटाइज़ करने का प्रस्ताव देते हैं। इसके अलावा, वे प्रदर्शित करते हैं कि जब तक अधिकतम तत्व 1 न हो जाए, तब तक वेट्स को पुनरावृत्ति से विभाजित और राउंड करके इन पूर्णांकों की बिट-चौड़ाई (bit-width) को काफी कम किया जा सकता है (जैसे, 1 बिट या बहुत कम परिशुद्धता तक)।
प्रभाव: यह अंतिम वर्गीकरण चरण (फीचर वेक्टर $\times$ आउटपुट वेट्स) को पूर्णांक अंकगणित का उपयोग करके करने की अनुमति देता है, जिससे फ्लोटिंग-पॉइंट यूनिट्स (FPUs) या DSPs की आवश्यकता समाप्त हो जाती है।

3. मुख्य योगदान (Key Contributions)

टर्नरी वेट्स के लिए अनुभवजन्य साक्ष्य: यह प्रदर्शित किया गया कि $\{-1, 0, 1\}$ से इनपुट वेट्स का उपयोग करने से निरंतर वेट्स के समान वर्गीकरण सटीकता प्राप्त होती है, जो प्रभावी रूप से फीचर एक्सट्रैक्शन चरण से गुणन को हटा देता है।
नॉर्मलाइजेशन इनवेरिएंस का सैद्धांतिक प्रमाण: यह सिद्ध किया गया कि ReLU एक्टिवेशन वाले ELMs के लिए, कच्चे पूर्णांक इनपुट और नॉर्मलाइज़्ड इनपुट बिल्कुल समान वर्गीकरण निर्णय प्रदान करते हैं, जिससे प्री-प्रोसेसिंग नॉर्मलाइजेशन की आवश्यकता समाप्त हो जाती है।
पूर्णांक आउटपुट वेट निर्माण: दिखाया गया कि आउटपुट वेट्स को न्यूनतम सटीकता हानि के साथ पूर्णांकों द्वारा अनुमानित किया जा सकता है, और उनकी बिट परिशुद्धता को काफी कम किया जा सकता है।
हार्डवेयर दक्षता: केवल पूर्णांक एडर्स (integer adders) का उपयोग करके FPGAs पर ELM क्लासिफायर को लागू करने का मार्ग प्रदान किया, जिससे एरिया, पावर खपत और लेटेंसी में उल्लेखनीय कमी आती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पाँच डेटासेट्स पर अपनी तकनीकों को मान्य किया:

बाइनरी टास्क: Bark vs. Woodgrain, Pigskin vs. Pressedcl (Brodatz textures), और Deer vs. Horse (CIFAR-10 का उपसमुच्चय)।
मल्टी-क्लास टास्क: MNIST (हस्तलिखित अंक) और CIFAR-10 (सभी 10 क्लासेस)।

मुख्य निष्कर्ष:

सटीकता (Accuracy): प्रस्तावित पूर्णांक-केवल विधियों के परिणामस्वरूप मानक फ्लोटिंग-पॉइंट ELM की तुलना में सीमित सटीकता कमी देखी गई।
- बड़े डेटासेट्स (MNIST, CIFAR-10) पर, सटीकता का अंतर नगण्य था (अक्सर 0.01% के भीतर या सांख्यिकीय रूप से अविभेद्य)।
- छोटे डेटासेट्स पर, थोड़ी गिरावट देखी गई (जैसे, Bark vs. Woodgrain पर ~1-2%), लेकिन इस ट्रेड-ऑफ को एम्बेडेड अनुप्रयोगों के लिए स्वीकार्य माना गया।
बिट परिशुद्धता (Bit Precision): प्रयोगों ने दिखाया कि आउटपुट वेट्स की बिट परिशुद्धता को मूल आवश्यकता के आधे से कम करने पर भी बड़े डेटासेट्स पर सटीकता में गिरावट नहीं आई।
कम्प्यूटेशनल बचत: यह दृष्टिकोण महंगे फ्लोटिंग-पॉइंट गुणन को कम-शक्ति वाले पूर्णांक जोड़ (additions) से बदल देता है, जो इसे FPGA कार्यान्वयन के लिए अत्यधिक उपयुक्त बनाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र संसाधन-सीमित हार्डवेयर पर न्यूरल नेटवर्क क्लासिफायर तैनात करने में आने वाली एक महत्वपूर्ण बाधा को संबोधित करता है। यह सिद्ध करके कि एक्सट्रीम लर्निंग मशीन्स (ELMs) प्रदर्शन के महत्वपूर्ण नुकसान के बिना पूरी तरह से पूर्णांक अंकगणित (integer arithmetic) पर काम कर सकती हैं, लेखक एक समाधान प्रदान करते हैं:

एम्बेडेड सिस्टम: उच्च-ऊर्जा DSPs के बिना जटिल इमेज क्लासिफिकेशन करने के लिए कम-शक्ति वाले, बैटरी-संचालित उपकरणों को सक्षम बनाना।
FPGA कार्यान्वयन: सिलिकॉन क्षेत्र और बिजली की खपत को नाटकीय रूप से कम करना, क्योंकि पूर्णांक लॉजिक फ्लोटिंग-पॉइंट लॉजिक की तुलना में बहुत अधिक कुशल है।
डेटा सेंटर: बड़े पैमाने के इन्फरेंस क्लस्टर्स के ऊर्जा पदचिह्न (energy footprint) को कम करना।

प्रस्तावित तकनीकें अन्य मैट्रिक्स-वेक्टर मल्टीप्लिकेशन-आधारित क्लासिफायर (जैसे, डिक्शनरी लर्निंग, डीप न्यूरल नेटवर्क) के लिए सामान्यीकृत की जा सकती हैं, जो मशीन लर्निंग हार्डवेयर की दक्षता पर व्यापक प्रभाव का संकेत देती हैं।