🤖 machine learning

Laplace-Bridged Randomized Smoothing for Fast Certified Robustness

यह शोध पत्र लैप्लेस-ब्रिज्ड स्मूथिंग (LBS) को प्रस्तुत करता है, जो रैंडमाइज्ड स्मूथिंग का एक विश्लेषणात्मक पुनर्गठन है जो शोर-संवर्धित प्रशिक्षण (noise-augmented training) की आवश्यकता को समाप्त करता है और प्रमाणन लागत को नाटकीय रूप से कम करता है, जिससे संसाधन-बाधित एज उपकरणों पर तेज़ और औपचारिक रूप से प्रमाणित मजबूती सक्षम होती है।

मूल लेखक: Miao Lin, MD Saifur Rahman Mazumder, Feng Yu, Daniel Takabi, Rui Ning

प्रकाशित 2026-04-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Miao Lin, MD Saifur Rahman Mazumder, Feng Yu, Daniel Takabi, Rui Ning

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: "ब्लाइंड टेस्ट" की बाधा (The "Blind Taste Test" Bottleneck)

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट शेफ (एक डीप न्यूरल नेटवर्क) है जो सूप में मौजूद सामग्रियों को पहचान सकता है। आप 100% सुनिश्चित होना चाहते हैं कि यदि कोई चुपके से सूप में नमक का एक बहुत छोटा, अदृश्य चुटकी डाल दे, तो आपका रोबोट अचानक यह न मान ले कि यह कोई बिल्कुल अलग व्यंजन है (जैसे "स्ट्रॉबेरी आइसक्रीम")।

यह साबित करने के लिए कि रोबोट सुरक्षित है, आमतौर पर रैंडमाइज्ड स्मूथिंग (RS) नामक विधि का उपयोग किया जाता है। इसे एक "ब्लाइंड टेस्ट" की तरह समझें।

यह कैसे काम करता है: सूप सुरक्षित है या नहीं, यह जांचने के लिए, आप केवल एक बार सूप चखते नहीं हैं। आप नमक की एक रैंडम चुटकी डालते हैं, चखते हैं। फिर आप नमक की एक दूसरी रैंडम चुटकी डालते हैं, और फिर से चखते हैं। आप ऐसा 10,000 बार करते हैं।
तर्क: यदि रोबोट 10,000 में से 9,900 बार "सूप" कहता है, तो आप गणितीय रूप से आश्वस्त हो सकते हैं कि यदि कोई बुरा व्यक्ति इसमें थोड़ा सा बदलाव करने की कोशिश भी करता है, तो भी वह "सूप" ही कहेगा।
चुनौती: हर एक इमेज (चित्र) के लिए इसे 10,000 बार करना अविश्वसनीय रूप से धीमा और महंगा है। यह एक बाउल सूप को चेक करने के लिए 10,000 चखने वालों (tasters) को काम पर रखने जैसा है। यह इसे रास्पबेरी पाई (Raspberry Pi) या ड्रोन जैसे छोटे उपकरणों पर उपयोग करना असंभव बना देता है, क्योंकि उनके पास 10,000 टेस्ट चलाने की शक्ति नहीं होती।

साथ ही, आमतौर पर आपको रोबोट शेफ को इन "टेस्ट" (ट्रेनिंग के दौरान नमक मिलाना) को संभालने के लिए विशेष रूप से प्रशिक्षित करना पड़ता है। यह शेफ को खाना बनाना शुरू करने से पहले ही नमक के साथ खाना सिखाने जैसा है, जिसमें अतिरिक्त समय लगता है और कभी-कभी इससे उनका सामान्य खाना बनाना खराब हो सकता है।

समाधान: "क्रिस्टल बॉल" (Laplace-Bridged Smoothing)

इस पेपर के लेखक लैप्लेस-ब्रिज्ड स्मूथिंग (LBS) नामक एक नई विधि प्रस्तावित करते हैं। 10,000 टेस्टर्स को काम पर रखने के बजाय, उन्होंने एक क्रिस्टल बॉल बनाई है जो परिणाम का तुरंत अनुमान लगा लेती है।

यहाँ "क्रिस्टल बॉल" कैसे काम करती है, चरण-दर-चरण:

एक बार का स्वाद (The Single Taste): सूप को 10,000 बार चखने के बजाय, रोबोट शेफ सूप को सिर्फ एक बार चखता है।
नक्शा (द ब्रिज): लेखक एक गणितीय ट्रिक का उपयोग करते हैं जिसे "लैप्लेस ब्रिज" कहा जाता है। कल्पना करें कि रोबोट का दिमाग एक जटिल, उलझा हुआ भूलभुलैया (maze) है। 'ब्रिज' एक शॉर्टकट है जो इस उलझी हुई भूलभुलैया को एक सरल, साफ नक्शे में बदल देता है।
- पुराने तरीके में, आपको यह देखने के लिए पूरी भूलभुलैया में 10,000 बार चलना पड़ता था कि आप कहाँ पहुँचते हैं।
- नए तरीके में, ब्रिज तुरंत बता देता है कि आप कहाँ पहुँचने की संभावना है, उसका आकार क्या होगा। यह "शोर" (noise) को एक व्यवस्थित, अनुमानित पैटर्न (जिसे डिरिचलेट डिस्ट्रीब्यूशन कहा जाता है) में बदल देता है।
सिमुलेशन (The Simulation): एक बार जब ब्रिज आपको यह व्यवस्थित नक्शा दे देता है, तो आपको रोबोट शेफ को दोबारा चलाने की आवश्यकता नहीं होती। आप बस उस नक्शे पर एक छोटा, सुपर-फास्ट गणितीय सिमुलेशन करते हैं ताकि परिणाम देखे जा सकें। यह बारिश होने की भविष्यवाणी करने के लिए मौसम के नक्शे को देखने जैसा है, बजाय इसके कि यह देखने के लिए 10,000 घंटे बाहर बारिश में खड़े रहें कि बारिश हो रही है या नहीं।

यह एक बड़ी बात क्यों है

पेपर का दावा है कि इस नए "क्रिस्टल बॉल" दृष्टिकोण के साथ तीन बड़ी जीतें हैं:

1. यह बिजली की तरह तेज़ है (स्पीडअप)
क्योंकि LBS 10,000 टेस्ट को छोड़ देता है और केवल एक टेस्ट करता है, यह अविश्वसनीय रूप से तेज़ है।

परिणाम: शक्तिशाली कंप्यूटरों पर, यह लगभग 10 गुना तेज़ है।
जादू: रास्पबेरी पाई (Raspberry Pi) या NVIDIA Jetson (जो रोबोट और ड्रोन में उपयोग किए जाते हैं) जैसे छोटे, कमजोर उपकरणों पर, यह 494 गुना तक तेज़ है।
उपमा: यह 10 घंटे की यात्रा को 1 मिनट की पैदल यात्रा में बदल देता है। इसका मतलब है कि आप अंततः उन छोटे उपकरणों पर "सुरक्षा प्रमाणपत्र" (safety certificates) लगा सकते हैं जो पहले इस गणित को संभालने के लिए बहुत कमजोर थे।

2. इसे विशेष प्रशिक्षण की आवश्यकता नहीं है ("पोस्ट-हॉक" जीत)
आमतौर पर, एक अच्छा सुरक्षा प्रमाणपत्र प्राप्त करने के लिए, आपको रोबोट शेफ को नमक (noise-augmented training) के साथ प्रशिक्षित करना होता है।

समस्या: यह शेफ को काम पर रखने से पहले नमक के साथ अभ्यास करने के लिए मजबूर करने जैसा है, जिससे उनकी साधारण डिश को पूरी तरह से बनाने की क्षमता खराब हो सकती है।
LBS की जीत: पेपर दिखाता है कि LBS बहुत अच्छा काम करता है भले ही रोबलेट शेफ को बिना नमक के साफ, शुद्ध डेटा पर प्रशिक्षित किया गया हो। यह किसी भी "ऑफ-द-शेल्फ" मॉडल (जिसे आपने तैयार खरीदा है) को ले सकता है और बिना दोबारा प्रशिक्षित किए उसे तुरंत प्रमाणित कर सकता है।

3. यह अभी भी सुरक्षित है (गारंटी)
भले ही यह तेज़ है और 10,000 टेस्ट को छोड़ देता है, लेकिन गणित सिद्ध करता है कि यह उतना ही विश्वसनीय है।

लेखक दिखाते हैं कि उनकी "क्रिस्टल बॉल" गणितीय रूप से सुदृढ़ है। उन्होंने साबित किया है कि शॉर्टकट (ब्रिज) झूठ नहीं बोलता। यदि गणित कहता है कि रोबोट सुरक्षित है, तो वह सुरक्षित है।
उन्होंने मानक डेटासेट्स (CIFAR-10 और ImageNet) पर इसका परीक्षण किया और पाया कि LBS ने कई मामलों में पुराने तरीके की तुलना में अधिक मजबूत सुरक्षा गारंटी प्रदान की, जबकि इसे करने में बहुत कम समय लगा।

संक्षेप में (Summary in a Nutshell)

पुराना तरीका (RS): सुरक्षा की जांच करने के लिए मॉडल को 10,000 बार चलाना। धीमा, महंगा और विशेष प्रशिक्षण की आवश्यकता।
नया तरीका (LBS): मॉडल को एक बार चलाएं, फिर बाकी 9,999 टेस्ट के परिणाम का तुरंत अनुमान लगाने के लिए एक गणितीय "ब्रिज" का उपयोग करें।
परिणाम: आपको समान (या बेहतर) सुरक्षा गारंटी मिलती है, लेकिन यह 10,000 गुना तेज़ है, और आपको अपने मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।

यह वास्तविक दुनिया के उपकरणों जैसे कि सेल्फ-ड्राइविंग कारों, ड्रोन और मेडिकल सेंसर पर, जहाँ वे उपयोग किए जाते हैं, वहीं "सुरक्षा प्रमाणपत्र" लगाना संभव बनाता है, बिना किसी सुपरकंप्यूटर की आवश्यकता के।

यहाँ शोध पत्र "Laplace-Bridged Randomized Smoothing for Fast Certified Robustness" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उन दो महत्वपूर्ण बाधाओं को संबोधित करता है जो रैंडमाइज्ड स्मूथिंग (Randomized Smoothing - RS) के व्यावहारिक उपयोग में बाधा डालती हैं, जो कि डीप न्यूरल नेटवर्क के लिए औपचारिक $\ell_2$ रोबस्टनेस गारंटी प्रदान करने वाली एक प्रमुख विधि है:

नॉइज़-ऑगमेंटेड ट्रेनिंग पर निर्भरता (Dependency on Noise-Augmented Training): हालांकि RS सैद्धांतिक रूप से मॉडल-अग्नोस्टिक (model-agnostic) है, लेकिन व्यवहार में गैर-मामूली प्रमाणित रोबस्टनेस (non-trivial certified robustness) प्राप्त करने के लिए आमतौर पर बेस क्लासिफायर को नॉइज़ ऑग्मेंटेशन के साथ प्रशिक्षित करना आवश्यक होता है। इससे प्रशिक्षण लागत बढ़ जाती है, अक्सर 'क्लीन एक्यूरेसी' (clean accuracy) कम हो जाती है, और यह RS के "पोस्ट-हॉक" (post-hoc) मूल्य को कम कर देता है (अर्थात, बिना पुन: प्रशिक्षण के 'ऑफ-द-शेल्फ' मॉडल को प्रमाणित करना)।
कंप्यूटेशनल अक्षमता (Computational Inefficiency): मानक RS उच्च-आयामी इनपुट स्पेस में मोंटे कार्लो (Monte Carlo - MC) सैंपलिंग पर निर्भर करता है। सांख्यिकीय रूप से वैध सर्टिफिकेट प्राप्त करने के लिए, प्रति इनपुट दसियों हज़ार नॉइज़ी फॉरवर्ड पास की आवश्यकता होती है। यह बड़े डेटासेट के लिए प्रमाणन (certification) को अत्यधिक महंगा बनाता है और संसाधन-सीमित एज डिवाइसेस (जैसे Raspberry Pi, Jetson Nano) पर तैनाती को असंभव बना देता है जहाँ मेमोरी और कंप्यूट सीमित होते हैं।

2. कार्यप्रणाली: लैप्लेस-ब्रिज्ड स्मूथिंग (Methodology: Laplace-Bridged Smoothing - LBS)

लेखक लैप्लेस-ब्रिज्ड स्मूथिंग (LBS) प्रस्तावित करते हैं, जो RS का एक विश्लेषणात्मक पुनर्गठन (analytic reformulation) है जो स्टोकेस्टिक अनुमान (stochastic estimation) को उच्च-आयामी इनपुट स्पेस से निम्न-आयामी संभाव्यता स्पेस (low-dimensional probability space) में स्थानांतरित करता है।

मुख्य तंत्र (Core Mechanism):

लोकल लीनियराइजेशन और गॉसियन सन्निकटन (Local Linearization & Gaussian Approximation):
- इनपुट $x + \epsilon$ को सैंपल करने के बजाय, LBS शोर (noise) के तहत मॉडल के लॉजिट्स ( $z$ ) के वितरण का विश्लेषण करता है।
- यह मानता है कि फीचर एक्सट्रैक्टर $\phi(x)$ को प्रथम-क्रम टेलर विस्तार (first-order Taylor expansion) के माध्यम से स्थानीय रूप से लीनियर किया जा सकता है: $\phi(x+\epsilon) \approx \phi(x) + J_\phi(x)\epsilon$ ।
- अंतिम परत के वेट्स (weights) के पोस्टीरियर वितरण के लैप्लेस एप्रोक्सिमेशन (Laplace Approximation - LA) के साथ इसे जोड़कर, परिणामी लॉजिट वितरण $Z$ को एक मल्टीवेरिएट गॉसियन के रूप में अनुमानित किया जाता है: $Z \sim \mathcal{N}(\mu_z, \Sigma_z)$ ।
- मीन $\mu_z$ और कोवेरिएंस $\Sigma_z$ को फीचर एक्सट्रैक्टर के जैकोबियन (Jacobian) और लॉस फंक्शन के इनवर्स हेसियन (inverse Hessian) का उपयोग करके विश्लेषणात्मक रूप से प्राप्त किया जाता है (जो वेट अनिश्चितता को कैप्चर करता है)।
गॉसियन-डिरिचलेट ब्रिज (Gaussian–Dirichlet Bridge / Laplace Bridge):
- स्मूथ किया गया क्लासिफायर नॉइजी लॉजिट्स पर सॉफ्टमैक्स (Softmax) लागू करने के बाद उच्चतम संभाव्यता वाले क्लास की भविष्यवाणी करता है: $p = \text{softmax}(Z)$ ।
- लॉजिस्ट के वितरण $\text{softmax}(Z)$ से सीधे नमूने लेना कठिन है। LBS लॉजिट वितरण को संभाव्यता सिम्प्लेक्स (probability simplex) पर एक डिरिचलेट वितरण (Dirichlet distribution) में मैप करने के लिए लैप्लेस ब्रिज (Laplace Bridge - LB) का उपयोग करता है: $p \sim \text{Dir}(\alpha)$ ।
- डिरिचलेट पैरामीटर $\alpha$ को एक स्यूडो-इनवर्स मैपिंग के माध्यम से गॉसियन पैरामीटर्स ( $\mu_z, \Sigma_z$ ) का उपयोग करके क्लोज्ड-फॉर्म में कंप्यूट किया जाता है।
कुशल प्रमाणन (Efficient Certification):
- सैंपलिंग (Sampling): हजारों बार न्यूरल नेटवर्क चलाने के बजाय, LBS सीधे निम्न-आयामी डिरिचलेट वितरण (आयाम $K$ , जहाँ $K$ क्लास की संख्या है) से $N$ सैंपल लेता है।
- बाउंडिंग (Bounding): यह डिरिचलेट सैंपल्स पर एक वन-साइडेड बीटा क्वांटाइल (Clopper-Pearson interval) का उपयोग करके टॉप-क्लास संभाव्यता ( $p_A$ ) के निचले स्तर (lower bound) का अनुमान लगाता है।
- त्रिज्या गणना (Radius Calculation): इस लोअर बाउंड को मानक RS रेडियस फॉर्मूला में डाला जाता है: $R = \sigma \Phi^{-1}(p_A)$ ।

सैद्धांतिक गारंटी (Theoretical Guarantee):
पेपर एक सैद्धांतिक विश्लेषण (Theorem 4.2) प्रदान करता है जो दिखाता है कि वास्तविक स्मूथ वितरण और डिरिचलेट सरोगेट के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस, लॉजिट कोवेरिएंस नॉर्म ( $\|\Sigma_z\|_F$ ) के साथ रैखिक रूप से स्केल करता है। यह सुनिश्चित करता है कि सन्निकटन (approximation) सटीक है जब पोस्टीरियर केंद्रित होता है या सॉफ्टमैक्स मैप स्थानीय रूप से फ्लैट होता है—जो कि मजबूत प्रमाणन के लिए विशिष्ट स्थितियाँ हैं।

3. मुख्य योगदान (Key Contributions)

विश्लेषणात्मक पुनर्गठन (Analytic Reformulation): LBS पेश किया गया, जो उच्च-आयामी इनपुट-स्पेस MC सैंपलिंग को गॉसियन-डिरिचलेट ब्रिज के माध्यम से कुशल निम्न-आयामी डिरिचलेट सैंपलिंग से बदल देता है।
सैद्धांतिक आधार (Theoretical Foundation): लीनियरकृत गॉसियन लॉजिट सांख्यिकी से डिरिचलेट पैरामीटर्स तक एक क्लोज्ड-फॉर्म मैपिंग व्युत्पन्न की गई, जिससे सरोगेट वितरण की वैधता और सन्निकटन त्रुटि (approximation error) को सीमित किया गया।
पोस्ट-हॉक क्षमता (Post-Hoc Capability): प्रदर्शित किया गया कि LBS बिना नॉइज़-ऑगमेंटेड ट्रेनिंग की आवश्यकता के मजबूत प्रमाणित रोबस्टनेस प्राप्त करता है, जिससे यह मानक मॉडल्स को प्रमाणित करने की अनुमति देता है जो क्लीन डेटा पर प्रशिक्षित हैं।
एज डिप्लॉयमेंट (Edge Deployment): संसाधन-सीमित हार्डवेयर पर विधि को मान्य किया गया, जो वास्तविक दुनिया के एज एआई अनुप्रयोगों के लिए इसकी व्यवहार्यता को सिद्ध करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न आर्किटेक्चर (ResNet, ViT, DenseNet, EfficientNet) का उपयोग करके CIFAR-10 और ImageNet पर LBS का मूल्यांकन किया और इसकी तुलना विभिन्न अत्याधुनिक RS वेरिएंट्स से की।

प्रमाणित सटीकता (Certified Accuracy): LBS कई $\ell_2$ रेडियस पर मानक RS और अन्य त्वरण विधियों (जैसे ISS, ADRE, Betting CS) की तुलना में मजबूत प्रमाणित रोबस्टनेस प्राप्त करता है। विशेष रूप से, यह बिना नॉइज़-ऑगमेंटेड ट्रेनिंग के भी उच्च सटीकता बनाए रखता है, जहाँ अन्य विधियाँ अक्सर विफल हो जाती हैं या उन्हें पुन: प्रशिक्षण की आवश्यकता होती है।
कंप्यूटेशनल दक्षता (Computational Efficiency):
- सर्वर-साइड: LBS प्रमाणन समय को लगभग एक क्रम (order of magnitude) कम कर देता है (उदाहरण के लिए, CIFAR-10 पर प्रति सैंपल ~0.7s बनाम ~9.8s)।
- एज डिवाइसेस: सीमित हार्डवेयर पर स्पीडअप नाटकीय है।
  - NVIDIA Jetson Orin Nano: 33× तक की स्पीडअप।
  - Raspberry Pi 4: 494× तक की स्पीडअप (SqueezeNet के लिए प्रमाणन समय को ~690s से घटाकर ~1.4s कर दिया)।
सामान्यीकरण (Generalization): विधि का परीक्षण $\ell_1$ और $\ell_\infty$ थ्रेट मॉडल्स पर भी किया गया, जो विभिन्न नॉर्म्स और मॉडल आर्किटेक्चर में सुसंगत प्रदर्शन और स्थिरता दिखाता है।

5. महत्व (Significance)

यह कार्य प्रमाणित रोबस्टनेस (certified robustness) में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करता है, जो उस "दक्षता बनाम सटीकता" (efficiency vs. accuracy) के ट्रेड-ऑफ को हल करता है जिसने रैंडमाइज्ड स्मूथिंग को परेशान किया है।

व्यावहारिक तैनाती (Practical Deployment): कम्प्यूटेशनल बोझ को $O(n \cdot C_f)$ (जहाँ $n$ सैंपल्स हैं और $C_f$ फॉरवर्ड पास कॉस्ट है) से $O(K + N)$ तक कम करके, LBS औपचारिक मजबूती की गारंटी को रियल-टाइम, ऑन-डिवाइस अनुप्रयोगों (जैसे स्वायत्त वाहन, रोबोटिक्स, मेडिकल डिवाइस) के लिए व्यवहार्य बनाता है, जहाँ पिछली विधियाँ बहुत धीमी थीं।
पोस्ट-हॉक व्यवहार्यता (Post-Hoc Viability): प्रमाणन को नॉइज़-ऑगमेंटेड ट्रेनिंग से अलग करके, LBS, RS की "पोस्ट-हॉक" प्रकृति को बहाल करता है, जिससे संगठनों को पुन: प्रशिक्षण की लागत और सटीकता दंड के बिना अपने मौजूदा, प्रोडक्शन-रेडी मॉडल्स को प्रमाणित करने की अनुमति मिलती है।
स्केलेबिलिटी (Scalability): विश्लेषणात्मक दृष्टिकोण बड़े पैमाने पर पैरेललिज्म की आवश्यकता को समाप्त करता है, जिससे प्रमाणित रोबस्टनेस कम-शक्ति वाले सिंगल-बोर्ड कंप्यूटरों के लिए सुलभ हो जाता है।