💬 NLP

SNAP-UQ: Self-supervised Next-Activation Prediction for Single-Pass Uncertainty in TinyML

यह शोध पत्र SNAP-UQ को प्रस्तुत करता है, जो एक संसाधन-कुशल, सिंगल-पास अनिश्चितता अनुमान विधि है जो टाइनीएमएल (TinyML) के लिए स्व-पर्यवेक्षित नेक्स्ट-एक्टिवेशन प्रेडिक्शन (next-activation prediction) का लाभ उठाती है ताकि बिना किसी टेम्पोरल बफर के या सख्त मेमोरी और लेटेंसी बाधाओं का उल्लंघन किए, माइक्रोकंट्रोलर्स पर विफलताओं और वितरण बदलावों (distribution shifts) का पता लगाया जा सके।

मूल लेखक: Ismail Lamaakal, Chaymae Yahyati, Khalid El Makkaoui, Ibrahim Ouahbi, Yassine Maleh

प्रकाशित 2026-02-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ismail Lamaakal, Chaymae Yahyati, Khalid El Makkaoui, Ibrahim Ouahbi, Yassine Maleh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक छोटा, बैटरी से चलने वाला रोबोट है (जैसे कि एक स्मार्ट थर्मोस्टेट या हियरिंग एड) जो निर्णय लेने के लिए एक छोटे से AI मस्तिष्क का उपयोग करता है। इस रोबोट को तेज़ और बहुत कम बिजली खर्च करने वाला होना चाहिए। लेकिन एक समस्या है: AI मस्तिष्क अति-आत्मविश्वासी होते हैं।

यदि आप इस रोबोट को बिल्ली की एक तस्वीर दिखाते हैं, तो यह 99% विश्वास के साथ कहता है "बिल्ली!"। लेकिन यदि आप इसे टोस्टर की एक तस्वीर दिखाते हैं जो थोड़ी बहुत बिल्ली जैसी दिखती है, तो यह शायद अभी भी 99% विश्वास के साथ "बिल्ली!" ही कहेगा, भले ही वह पूरी तरह से गलत हो। वास्तविक दुनिया में, सेंसर गंदे हो जाते हैं, रोशनी बदल जाती है, और ध्वनियाँ शोर भरी हो जाती हैं। रोबोट के पास यह कहने का एक तरीका होना चाहिए कि, "एक मिनट रुकिए, मुझे यकीन नहीं है," बिना किसी सुपरकंप्यूटर की मदद लिए।

यह पेपर SNAP-UQ पेश करता है, जो इन नन्हे रोबोटों को यह समझने के लिए एक चतुर, हल्का तरीका देता है कि क्या वे भ्रमित हैं।

पुराना तरीका: "दोबारा जांचने" की समस्या

आमतौर पर, यह जांचने के लिए कि क्या कोई AI अनिश्चित है, आपको उसी प्रश्न को कई बार पूछना पड़ता है (जैसे कि किसी दोस्त से, "क्या तुम पक्का हो?" तीन बार पूछना) या उत्तर पर वोट देने के लिए AI मस्तिष्क की एक पूरी टीम बनानी पड़ती है।

समस्या: नन्हे रोबोटों के पास इसके लिए बैटरी या मेमोरी नहीं होती है। यह एक पॉकेट वॉच में पूरा ऑर्केस्ट्रा फिट करने करने जैसा है।

नया तरीका: "अगला-कदम" भविष्यवाणी (SNAP-UQ)

SNAP-UQ अलग तरह से काम करता है। रोबोट को एक ही सवाल कई बार पूछने के बजाय, यह रोबोट की आंतरिक विचार प्रक्रिया को सुनता है।

कल्पना कीजिए कि रोबोट का मस्तिष्क एक फैक्ट्री असेंबली लाइन है।

कच्चा माल: एक इमेज अंदर जाती है।
स्टेशन 1: इमेज को किनारों (edges) में बदला जाता है।
स्टेशन 2: किनारों को आकृतियों (shapes) में बदला जाता है।
स्टेशन 3: आकृतियों को वस्तुओं (objects) में बदला जाता है।
अंतिम आउटपुट: "यह एक बिल्ली है!"

SNAP-UQ का विचार:
यह पेपर इन कुछ फैक्ट्री स्टेशनों से छोटे, सस्ते "जासूसों" (जिन्हें हेड्स/heads कहा जाता है) को जोड़ता है।

जासूस का काम: स्टेशन 2 पर मौजूद जासूस, स्टेशन 1 के आउटपुट को देखता है और यह अनुमान (predict) लगाने की कोशिश करता है कि स्टेशन 2 को आगे क्या बनाना चाहिए।
"आश्चर्य" का मीटर:
- सामान्य दिन: स्टेशन 1 एक स्पष्ट किनारा भेजता है। जासूस अनुमान लगाता है, "स्टेशन 2 एक आकृति बनाएगा।" स्टेशन 2 वह आकृति बनाता है। कोई आश्चर्य नहीं। रोबोट आत्मविश्वास महसूस करता है।
- बुरा दिन (खराब डेटा): इमेज धुंधली या शोर भरी है। स्टेशन 1 एक अजीब, उलझा हुआ सिग्नल भेजता है। जासूस अनुमान लगाता है, "स्टेशन 2 एक आकृति बनाएगा," लेकिन स्टेशन 2 भ्रमित हो जाता है और कुछ बिल्कुल अजीब बना देता है। बड़ा आश्चर्य! जासूस चिल्लाता है, "रुको, यह वैसा नहीं है जैसा मैंने उम्मीद की थी!"

यह क्यों एक गेम-चेंजर है

यह सिंगल-पास है: रोबोट इमेज को केवल एक बार देखता है। इसे पूरी प्रक्रिया को दोबारा चलाने की आवश्यकता नहीं है। यह अपने काम को लिखते समय उसे चेक करने जैसा है, न कि पूरे निबंध को तीन बार फिर से लिखने जैसा।
यह बहुत छोटा है: "जासूस" अविश्वसनीय रूप से छोटे हैं (केवल कुछ किलोबाइट मेमोरी)। वे माइक्रोकंट्रोलर की छोटी मेमोरी में आसानी से फिट हो जाते हैं।
यह गलतियों को जल्दी पकड़ लेता है: रोबोट अंतिम उत्तर तक पहुँचने से पहले ही समझ जाता है कि कुछ गलत है। यदि असेंबली लाइन बीच में ही टूट जाती है, तो रोबोट को पता चल जाता है कि रुकना है और कहना है, "मुझे नहीं पता," बजाय इसके कि वह आत्मविश्वास के साथ गलत उत्तर दे।

एक रचनात्मक उपमा: "उम्मीद बनाम वास्तविकता" का खेल

एक शेफ के बारे में सोचें जो सूप पका रहा है।

पुराना तरीका (Ensembles): सूप अच्छा है या नहीं, यह जांचने के लिए शेफ 5 अन्य शेफों से सूप चखने के लिए कहता है। इसमें समय लगता है और 5 अतिरिक्त शेफों की आवश्यकता होती है (जो एक छोटे किचन के लिए बहुत महंगा है)।
SNAP-UQ का तरीका: शेफ के पास एक मानसिक रेसिपी होती है। जैसे ही वह नमक डालता है, वह उम्मीद करता है कि सूप का स्वाद एक निश्चित तरीके का होगा।
- यदि वह नमक डालता है और वह नमकीन होता है, तो वह खुश होता है।
- यदि वह नमक डालता है और अचानक उसका स्वाद साबुन जैसा हो जाता है, तो उसका दिमाग कहता है, "वाह! मैंने जो सामग्री डाली थी उसके आधार पर यह वैसा नहीं है जिसकी मुझे उम्मीद थी!"
- उसे किसी और से पूछने की ज़रूरत नहीं है। उम्मीद और वास्तविकता के बीच का अंतर उसे तुरंत बता देता है कि कुछ गलत है।

परिणाम

इस पेपर का परीक्षण वास्तविक उपकरणों (छोटे माइक्रोकंट्रोलर) पर विज़न (कैमरा) और ऑडियो (वॉयस रिकग्निशन) के साथ किया गया।

गति: यह अन्य तरीकों की तुलना में 25–35% तेज़ है क्योंकि यह दोबारा जांचने में समय बर्बाद नहीं करता है।
मेमोरी: यह 40–60% कम मेमोरी का उपयोग करता है, जिसका अर्थ है कि यह सस्ते, छोटे चिप्स पर आसानी से फिट हो सकता है।
सुरक्षा: यह "बुरे डेटा" (जैसे कीचड़ से ढका कैमरा लेंस) को पिछले तरीकों की तुलना में बहुत बेहतर तरीके से पकड़ लेता है, जिससे रोबोट को खतरनाक गलतियाँ करने से रोका जा सके।

संक्षेप में

SNAP-UQ छोटे AI उपकरणों को एक "छठी इंद्री" देता है। अपने अंतिम उत्तर पर आँख मूंदकर भरोसा करने के बजाय, वे लगातार यह जांचते रहते हैं कि क्या उनके आंतरिक चरण तर्कसंगली हैं। यदि कदम "गलत" महसूस होते हैं, तो डिवाइस को पता चल जाता है कि रुकना है और कहना है, "मुझे यकीन नहीं है," जिससे हमारे स्मार्ट उपकरण दुनिया के बिखराव और गड़बड़ी के बावजूद सुरक्षित और विश्वसनीय बने रहते हैं।

यहाँ SNAP-UQ: TinyML के लिए सिंगल-पास अनिश्चितता हेतु सेल्फ-सुपरवाइज्ड नेक्स्ट-एक्टिवेशन प्रेडिक्शन शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बैटरी से चलने वाले माइक्रोकंट्रोलर्स (MCUs) पर तैनात की जाने वाली TinyML अनुप्रयोगों को एक महत्वपूर्ण चुनौती का सामना करना पड़ता है: विश्वसनीय अनिश्चितता अनुमान (Reliable Uncertainty Estimation)।

संदर्भ: एज डिवाइसेस पर लगे सेंसर अक्सर वितरण बदलावों (जैसे कि लाइटिंग में बदलाव, शोर, या सेंसर ड्रिफ्ट) का सामना करते हैं, जिससे Corrupted-In-Distribution (CID) या Out-of-Distribution (OOD) इनपुट उत्पन्न होते हैं। आधुनिक न्यूरल नेटवर्क इन परिदृश्यों में अत्यधिक आत्मविश्वासी (overconfident) होते हैं, जिससे वे त्रुटियों या सुरक्षा खतरों का पता लगाने में विफल रहते हैं।
सीमाएँ: मानक अनिश्चितता अनुमान विधियाँ (Deep Ensembles, Monte Carlo Dropout, Early Exits, Temporal Buffering) TinyML के लिए अव्यावहारिक हैं क्योंकि उन्हें निम्नलिखित की आवश्यकता होती है:
- कई फॉरवर्ड पासेज (जिससे लेटेंसी और ऊर्जा बढ़ती है)।
- अतिरिक्त मेमोरी बफ़र्स (स्टेटफुल इन्फरेंस)।
- महत्वपूर्ण Flash/RAM ओवरहेड (जो अक्सर किलोबाइट-स्केल की सीमाओं को पार कर जाता है)।
अंतराल (Gap): सिंगल-पास, लेबल-मुक्त, स्टेट-मुक्त अनिश्चितता तंत्रों की कमी है जो मिलीवाट और किलोबाइट बजट के भीतर फिट हो सकें और उच्च डिटेक्शन सटीकता बनाए रख सकें।

2. कार्यप्रणाली: SNAP-UQ (Methodology: SNAP-UQ)

लेखक SNAP-UQ (Self-supervised Next-Activation Prediction) प्रस्तावित करते हैं, जो एक नया फ्रेमवर्क है जो केवल अंतिम आउटपुट कॉन्फिडेंस पर निर्भर रहने के बजाय नेटवर्क लेयर्स के बीच की गतिशीलता (dynamics) को मॉडल करके अनिश्चितता का अनुमान लगाता है।

मुख्य अवधारणा (Core Concept)

यह पूछने के बजाय कि "मॉडल अपने अंतिम क्लास के प्रति कितना आश्वस्त है?", SNAP-UQ यह पूछता है: "पिछले लेयर के एक्टिवेशन से वर्तमान लेयर के एक्टिवेशन के बीच का संक्रमण (transition) कितना सामान्य है?"

परिकल्पना (Hypothesis): इन-डिस्ट्रीब्यूशन (ID) डेटा, लेयर्स के बीच सुचारू और पूर्वानुमेय (predictable) संक्रमण प्रेरित करता है। दूषित या शिफ्टेड डेटा असामान्य मध्यवर्ती रूपांतरण (atypical intermediate transformations) पैदा करता है, भले ही अंतिम सॉफ्टमैक्स अत्यधिक आत्मविश्वासी बना रहे।

आर्किटेक्चर और तंत्र (Architecture & Mechanism)

टैप चयन (Tap Selection): यह विधि एक फ्रोजन बैकबोन नेटवर्क (आमतौर पर एक मिड-ब्लॉक और पेनल्टीमाल्ट ब्लॉक) के विशिष्ट गहराई पर 2–3 "टैप्स" (छोटे सहायक हेड्स) संलग्न करती है।
नेक्स्ट-एक्टिवेशन प्रेडिक्शन (Next-Activation Prediction):
- प्रत्येक टैप $\ell$ के लिए, एक हल्का प्रोजेक्टर $P_\ell$ पिछले एक्टिवेशन $a_{\ell-1}$ को एक लो-रैंक रिप्रेजेंटेशन $z_\ell$ में संकुचित करता है।
- एक छोटा प्रेडिक्टर हेड $g_\ell$ (जो int8 तक क्वांटाइज्ड है) $z_\ell$ की स्थिति में अगले एक्टिवेशन $a_\ell$ के सांख्यिकी (मीन $\mu_\ell$ और लॉग-वेरिएंस $\log \sigma^2_\ell$ ) की भविष्यवाणी करता है।
- यह हेड एक कंडीशनल गॉसियन डिस्ट्रीब्यूशन को मॉडल करता है: $p(a_\ell | a_{\ell-1}) = \mathcal{N}(\mu_\ell, \text{diag}(\sigma^2_\ell))$ ।
सरप्राइज़ल गणना (Surprisal Calculation):
- सरप्राइज़ल (नेगेटिव लॉग-लाइक्लीहुड) को वास्तविक एक्टिवेशन $a_\ell$ और प्रेडिक्टेड मीन $\mu_\ell$ के बीच मानकीकृत स्क्वेर्ड एरर के रूप में कंप्यूट किया जाता है, जिसे $\sigma_\ell$ द्वारा स्केल किया जाता है।
- फॉर्मूला: $e_\ell(x) = \| (a_\ell - \mu_\ell) \odot \sigma_\ell^{-1} \|^2_2$ ।
एकत्रीकरण और कैलिब्रेशन (Aggregation & Calibration):
- प्रति-लेयर सरप्राइज़ल्स को एक एकल स्केलर स्कोर $S(x)$ में एकत्रित किया जाता है।
- एक हल्का, मोनोटोन कैलिब्रेटर (लॉजिस्टिक्स रिग्रेशन या आइसोटोनिक रिग्रेशन) $S(x)$ को अंतिम अनिश्चितता स्कोर $U(x) \in [0, 1]$ में मैप करता है।
- वैकल्पिक रूप से, बेहतर सेपरेबिलिटी के लिए $U(x)$ को इंस्टेंटेनियस क्लासिफायर कॉन्फिडेंस (मैक्स प्रोबेबिलिटी या मार्जिन) के साथ मिलाया जा सकता है।

TinyML के लिए कार्यान्वयन अनुकूलन (Implementation Optimizations)

सिंगल-पास (Single-Pass): कोई अतिरिक्त फॉरवर्ड पास नहीं; इसे मानक इन्फरेंस के दौरान ही कंप्यूट किया जाता है।
स्टेट-फ्री (State-Free): किसी भी टेम्पोरल बफ़र या हिस्ट्री की आवश्यकता नहीं है।
इंटीजर-फ्रेंडली (Integer-Friendly):
- हेड्स को int8 में क्वांटाइज किया गया है।
- एक्सपोनेंशियल को एक छोटे लुकअप टेबल (LUT) $\exp(-\frac{1}{2}\log \sigma^2)$ द्वारा बदला गया है।
- अंकगणित (Arithmetic) के लिए int32 एक्यूमुलेटर्स का उपयोग किया जाता है।
फुटप्रिंट (Footprint): यह फ्लैश में केवल दहाई किलोबाइट जोड़ता है और रैम पर नगण्य प्रभाव डालता है।

3. मुख्य योगदान (Key Contributions)

नया अनिश्चितता सिग्नल: डेप्थ-वाइज सरप्राइज़ल पेश करता है, जो एक लेबल-मुक्त सिग्नल है जो लेयर-टू-लेयर डायनेमिक्स से प्राप्त होता है। यह आउटपुट कॉन्फिडेंस की तुलना में डिस्ट्रीब्यूशन शिफ्ट के प्रति अधिक संवेदनशील है।
MCU-रेडी डिज़ाइन: यह सिंगल-पास, स्टेट-फ्री अनिश्चितता अनुमान प्रदान करता है जिसमें न्यूनतम ओवरहेड (कुछ KB फ्लैश, <2% MAC वृद्धि) है, जो इसे उन अल्ट्रा-लो-पावर डिवाइसेस के लिए व्यवहार्य बनाता है जहाँ डीप एन्सेम्बल्स या MC ड्रॉपआउट विफल हो जाते हैं।
सैद्धांतिक आधार (Theoretical Grounding):
- सिद्ध करता है कि सरप्राइज़ल स्कोर कंडीशनल नेगेटिव लॉग-लाइक्लीहुड का एक एफाइन ट्रांसफॉर्म है।
- यह दिखाता है कि यह कंडीशनल महलानोबिस डिस्टेंस (स्थिर क्लास सेंट्रॉइड्स के बजाय प्रेडिक्टेड डायनेमिक्स से विचलन को मापने वाला) के समकक्ष है।
- बैच नॉर्मलाइजेशन-जैसे रीस्केलिंग के प्रति एफाइन इनवेरिएंस (affine invariance) प्रदर्शित करता है।
मजबूत वेरिएंट्स (Robust Variants): बिना इन्फरेंस पाइपलाइन बदले भारी-पूंछ (heavy-tailed) वाले विचलनों को संभालने के लिए स्टूडेंट-टी (Student-t) और ह्यूबराइज़्ड (Huberized) लॉस फंक्शन्स का समर्थन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन दो MCU टियर्स (Big-MCU जिसमें ~MB फ्लैश है और Small-MCU जिसमें <1MB फ्लैश है) पर MNIST, CIFAR-10, TinyImageNet, और SpeechCommands पर किया गया।

प्रदर्शन मेट्रिक्स (Performance Metrics)

डिप्लॉयमेंट दक्षता (Deployment Efficiency):
- फ्लैश (Flash): अर्ली-एग्जिट एन्सेम्बल्स और डीप एन्सेम्बल्स की तुलना में 40–60% छोटा।
- लेटेंसी (Latency): डीप एन्सेम्बल्स और अर्ली-एग्जिट बेसलाइन्स की तुलना में 25–35% तेज़।
- व्यवहार्यता (Feasibility): SNAP-UQ उन Small-MCUs पर भी फिट बैठता है जहाँ डीप एन्सेम्बल्स और MC ड्रॉपआउट के कारण आउट-ऑफ-मेमोरी (OOM) त्रुटियां आती हैं।
अनिश्चितता का पता लगाना (Uncertainty Detection):
- CID मॉनिटरिंग: दूषित स्ट्रीम्स (MNIST-C, CIFAR-10-C, SpeechCmd-C) पर सटीकता में गिरावट का पता लगाने में बेसलाइन्स से बेहतर प्रदर्शन करता है। यह उच्च AUPRC और कम डिटेक्शन डिले प्राप्त करता है।
- विफलता का पता लगाना (Failure Detection): सही बनाम गलत भविष्यवाणियों (ID✓—ID×) और ID बनाम OOD नमूनों के बीच अंतर करने के लिए प्रतिस्पर्धी या बेहतर AUROC।
- कैलिब्रेशन: बेसलाइन सॉफ्टमैक्स की तुलना में इन-डिस्ट्रीब्यूशन डेटा पर अपेक्षित कैलिब्रेशन एरर (ECE) और नेगेटिव लॉग-लाइक्लीहुड (NLL) में सुधार करता है।
तुलना:
- यह सिंगल-पास बेसलाइन्स (Entropy, Energy, Mahalanobis) को पछाड़ता है और डिटेक्शन क्वालिटी में मल्टी-पास तरीकों (Deep Ensembles) के बराबर या उनसे बेहतर प्रदर्शन करता है, जबकि यह काफी सस्ता है।

5. महत्व और प्रभाव (Significance and Impact)

सुरक्षित TinyML को सक्षम बनाना: SNAP-UQ ऑन-डिवाइस सुरक्षा निगरानी के लिए एक व्यावहारिक समाधान प्रदान करता है, जिससे माइक्रोकंट्रोलर्स क्लाउड कनेक्टिविटी या भारी हार्डवेयर की आवश्यकता के बिना विफलताओं, सेंसर ड्रिफ्ट, या एडवरसैरियल इनपुट का पता लगा सकते हैं।
पैराडाइम शिफ्ट: यह अनिश्चितता अनुमान को "आउटपुट कॉन्फिडेंस" से बदलकर "आंतरिक निरंतरता" (internal consistency) की ओर ले जाता है, जो डिस्ट्रीब्यूशन शिफ्ट के लिए एक अधिक मजबूत सिग्नल प्रदान करता है जो क्लास लेबल्स को सुरक्षित रखते हुए फीचर डायनेमिक्स को बदल देते हैं।
संसाधन दक्षता: यह प्रदर्शित करता है कि उच्च-गुणवत्ता वाला अनिश्चितता अनुमान सख्त बाधाओं (मिलीवाट, किलोबाइट) के भीतर संभव है, जो सैद्धांतिक मजबूती और व्यावहारिक तैनाती के बीच के अंतर को पाटता है।
ओपन सोर्स: लेखक एक MCU-रेडी कार्यान्वयन और कोड प्रदान करते हैं, जो एज AI अनुप्रयोगों में इसके उपयोग को सुगम बनाता है।

संक्षेप में, SNAP-UQ सबसे सीमित संसाधनों वाले एज डिवाइसेस के लिए अनिश्चितता अनुमान को व्यवहार्य बनाने में एक बड़ी उपलब्धि है, जो वास्तविक दुनिया के TinyML डिप्लॉयमेंट में विश्वसनीयता सुनिश्चित करने के लिए एक सिंगल-पास, लेबल-मुक्त और अत्यधिक कुशल तंत्र प्रदान करता है।