🤖 machine learning

Improving Certified Robustness via Adversarial Distillation

यह शोध पत्र AD-CERT को प्रस्तुत करता है, जो एक प्रमाणित प्रशिक्षण ढांचा (certified training framework) है जो एक अनुभवजन्य रूप से सुदृढ़ शिक्षक (empirically robust teacher) से एडवरसेरियल डिस्टिलेशन (adversarial distillation) को इंटरवल बाउंड प्रोपेगेशन (Interval Bound Propagation) के साथ जोड़ता है ताकि अत्याधुनिक प्रमाणित सुदृढ़ता (certified robustness) प्राप्त की जा सके और मानक सटीकता (standard accuracy) एवं औपचारिक सत्यापन (formal verification) के बीच के संतुलन में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक कंप्यूटर प्रोग्राम) है, जिसे चित्रों को पहचानना सीखना है, जैसे कि बिल्लियाँ या कुत्ते। लेकिन इसमें एक पेंच है: कोई व्यक्ति चित्रों में बहुत सूक्ष्म, लगभग अदृश्य "शोर" (noise) जोड़कर छात्र को धोखा देने की कोशिश कर रहा है—जैसे कि धूल का एक कण जो एक बिल्ली को कंप्यूटर के लिए कुत्ता बना देता है। इसे एडवर्सरियल अटैक (adversarial attack) कहा जाता है।

यह शोध पत्र इस छात्र को प्रशिक्षित करने का एक नया तरीका पेश करता है, जिसे AD-CERT कहा जाता है, ताकि वह सामान्य चित्रों को पहचानने में भी स्मार्ट रहे और इन चालाकियों के खिलाफ भी अडिग रहे। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. दो समस्याएँ: मजबूत होना बनाम सुरक्षित होना

AI प्रशिक्षण की दुनिया में, आमतौर पर दो अलग-अलग दृष्टिकोण होते हैं, और वे अक्सर आपस में लड़ते हैं:

"स्ट्रीट फाइटर" (एडवर्सरियल ट्रेनिंग): यह विधि छात्र को धोखे वाले हजारों चित्रों दिखाकर प्रशिक्षित करती है। छात्र चालाकियों का मुकाबला करना सीखता है और चित्र बिगड़े होने पर भी सही उत्तर देता है। यह छात्र को वास्तविक दुनिया के परीक्षणों में बहुत मजबूत बनाता है, लेकिन उसका आंतरिक तर्क इतना जटिल और अव्यवस्थित हो जाता है कि कोई यह साबित नहीं कर सकता कि वह क्यों सुरक्षित है। यह एक ऐसे फाइटर की तरह है जो हर मैच जीतता तो है, लेकिन उसके पास अपने दांव-पेच समझाने के लिए कोई नियम पुस्तिका नहीं है।
"सेफ्टी इंस्पेक्टर" (सर्टिफाइड ट्रेनिंग): यह विधि गणितीय रूप से प्रयास करती है कि छात्र कभी भी धोखा न खाए। यह एक सख्त "सुरक्षा जाल" (जिसे IBP कहा जाता है) का उपयोग करती है जो यह जाँचता है कि चित्र को किस भी तरह से बदला जा सकता है। यह एक ऐसा मॉडल बनाता है जो प्रमाणित रूप से सुरक्षित है, लेकिन अक्सर, छात्र बहुत अधिक सावधान हो जाता है और सामान्य, साफ चित्रों पर गलतियाँ करने लगता है। यह एक ऐसे सुरक्षा निरीक्षक की तरह है जो दुर्घटनाओं को लेकर इतना चिंतित है कि वह किसी को गाड़ी चलाने ही नहीं देता।

2. नया समाधान: "ट्यूटर और सेफ्टी नेट"

लेखकों ने महसूस किया कि वे नॉलेज डिस्टिलेशन (Knowledge Distillation) का उपयोग करके दोनों दुनियाओं का सर्वश्रेष्ठ हिस्सा प्राप्त कर सकते हैं। इसे एक मास्टर टीचर और एक छात्र के रूप में सोचें।

टीचर (शिक्षक): वे पहले एक "टीचर" मॉडल को "स्ट्रीट फाइters" पद्धति का उपयोग करके प्रशिक्षित करते हैं। यह टीचर धोखे वाले चित्रों को संभालने में अविश्वसनीय रूप से अच्छा है (एम्पिरिकली रोबस्ट)।
स्टूडेंट (छात्र): इसके बाद वे एक "स्टूडेंट" मॉडल को प्रशिक्षित करते हैं। लेकिन केवल चालाकियों से अकेले लड़ने के बजाय, छात्र टीचर की बात सुनता है।

AD-CERT की रेसिपी:
छात्र दो-भागों वाली रेसिपी का उपयोग करके सीखता है:

टीचर की फुसफुसाहट (एडवर्सरियल डिस्टिलेशन): छात्र एक धोखे वाले चित्र को देखता है और टीचर की "सोच की प्रक्रिया" (यानी "लॉगिट्स" या आंतरिक स्कोर) से मेल खाने की कोशिश करता है। टीचर कहता है, "भले ही यह चित्र खराब है, मुझे 90% यकीन है कि यह एक बिल्ली है।" छात्र भी उसी तरह सोचना सीखता है। इससे छात्र को टीचर की 'स्ट्रीट-स्मार्ट' ताकत मिलती है।
सेफ्टी नेट (IBP): साथ ही, छात्र को सख्त "सेफ्टी इंस्पेक्टर" गणित से गुजरने के लिए मजबूर किया जाता है। यह सुनिश्चित करता है कि छात्र का अंतिम उत्तर गणितीय रूप से किसी भी संभावित चालाकी के खिलाफ सुरक्षित है।

3. यह क्यों विशेष है

आमतौरता पर, इन दोनों विधियों को मिलाना कठिन होता है क्योंकि वे अलग-अलग भाषाएँ बोलते हैं। "स्ट्रीट फाइटर" कठिन, विशिष्ट उदाहरणों का उपयोग करता है, जबकि "सेफ्टी इंस्पेक्टर" व्यापक, धुंधले गणित का उपयोग करता है।

पेपर का बड़ा अंतर्दृष्टि (insight) यह है कि टीचर की "फुसफुसाहट" कठिन गणित के लिए एक सरोगेट (प्रतिनिधि) के रूप में कार्य करती है।

कल्पना करें कि टीचर एक अनुभवी जासूस है जो जानता है कि अपराधी कैसे छिप सकता है।
छात्र को यह अनुमान लगाने की आवश्यकता नहीं है कि अपराधी कैसे छिपता है; उन्हें बस जासूस के अंतर्ज्ञान (intuition) की नकल करनी है।
वहीं, सेफ्टी नेट (IBP) यह सुनिश्चित करता है कि भले ही जासूस गलत हो, गणित यह साबित करता है कि छात्र सुरक्षित है।

4. परिणाम

इस पेपर का परीक्षण मानक इमेज डेटासेट्स (जैसे MNIST, CIFAR-10, और TinyImageNet) पर किया गया।

परिणाम: AD-CERT छात्र चैंपियन बना। इसने उच्चतम "सर्टिफाइड एक्यूरेसी" (गणितीय रूप से सुरक्षित होने की क्षमता) हासिल की, जो पिछले सभी तरीकों की तुलना में बेहतर थी।
समझौता (Trade-off): इसने "स्टैंडर्ड एक्यूरेसी" (सामान्य चित्रों को देखने की क्षमता) पर बहुत कम नुकसान उठाया। वास्तव में, यह अन्य सुरक्षित तरीकों की तुलना में अक्सर बेहतर था।
कमी: "स्ट्रीट फाइटर" टीचर और "सेफ" स्टूडेंट के बीच अभी भी एक अंतर है। छात्र बहुत सुरक्षित है, लेकिन कभी-कभी यह सामान्य चित्रों को पहचानने में उतना अच्छा नहीं होता जितना कि टीचर था। लेखक स्वीकार करते हैं कि बहुत कठिन पहेलियों पर इस अंतर को कम करना अगली बड़ी चुनौती है।

सारांश उपमा (Summary Analogy)

एक बैंक के सुरक्षा गार्ड को प्रशिक्षित करने के बारे में सोचें।

पुराना तरीका A: आप गार्ड को उन पर पत्थर फेंककर और उन्हें बचने की शिक्षा देकर प्रशिक्षित करते हैं। वे बचने में अच्छे हो जाते हैं, लेकिन आप यह साबित नहीं कर सकते कि वे किसी सूक्ष्म चाल से नहीं चूकेंगे।
पुराना तरीका B: आप गार्ड को एक सख्त नियम पुस्तिका सिखाते हैं जो हर संभव कोण को कवर करती है। वे पूरी तरह सुरक्षित हैं, लेकिन वे इतने कठोर हैं कि सामान्य दिनों में अपने ही पैरों से टकराकर गिर जाते हैं।
AD-CERT: आप एक दिग्गज, युद्ध-अनुभवी गार्ड (टीचर) को नियुक्त करते हैं जो एक नए रंगरूट (स्टूडेंट) को सिखाता है। नया रंगरूट पत्थरों से बचने के लिए दिग्गज गार्ड के सहज ज्ञान (डिस्टिलेशन) को सीखता है, जबकि साथ ही उसे एक सख्त, गणितीय सुरक्षा चेकलिस्ट (IBP) के विरुद्ध परखा जाता है। परिणाम एक ऐसा गार्ड है जो स्वाभाविक रूप से कठोर भी है और गणितीय रूप से सुरक्षित भी प्रमाणित है।

तकनीकी सारांश: एडवर्सरियल डिस्टिलेशन के माध्यम से प्रमाणित सुदृढ़ता (Certified Robustness) में सुधार

समस्या विवरण
न्यूरल नेटवर्क एडवर्सरियल उदाहरणों (adversarial examples) के प्रति संवेदनशील होते हैं, जहाँ इनपुट में सूक्ष्म परिवर्तन वर्गीकरण को गलत कर सकते हैं। जबकि एडवर्सरियल ट्रेनिंग (AT) अनुभवजन्य सुदृढ़ता (empirical robustness) में सुधार करती है, इसके परिणामस्वरूप बने मॉडल औपचारिक रूप से सत्यापित (formally verify) करना कठिन होता है। इसके विपरीत, प्रमाणित प्रशिक्षण (certified training) विधियाँ, जो सबसे खराब स्थिति के नुकसान (worst-case loss) के ऊपरी बाउंड (upper bounds) को अनुकूलित करती हैं (आमतौर पर इंटरवल बाउंड प्रोपेगेशन या IBP के माध्यम से), सत्यापन योग्य मॉडल तो बनाती हैं लेकिन अक्सर मानक सटीकता (standard accuracy) में गिरावट का सामना करती हैं। हालिया अत्याधुनिक दृष्टिकोण एडवर्सरियल लोअर बाउंड्स और IBP अपर बाउंड्स के बीच इंटरपोलेशन करके इसे संतुलित करने का प्रयास करते हैं। हालाँकि, मानक सटीकता और प्रमाणित सटीकता के बीच का ट्रेड-ऑफ एक महत्वपूर्ण चुनौती बना हुआ है, विशेष रूप से बढ़ते हुए परटर्बेशन रेडियस (perturbation radii) के साथ।

कार्यप्रणाली: AD-CERT
लेखक AD-CERT (प्रमाणीकरण के लिए एडवर्सरियल डिस्टिलेशन) प्रस्तावित करते हैं, जो एक नया प्रशिक्षण उद्देश्य है जो एडवर्सरियल नॉलेज डिस्टिलेशन को IBP बाउंड्स के साथ जोड़ता है। मुख्य परिकल्पना यह है कि एक अनुभवजन्य रूप से सुदृढ़ शिक्षक (teacher) से एडवर्सरियल ज्ञान को एक प्रमाणित छात्र (student) में स्थानांतरित करना, एडवर्सरियल लोअर बाउंड के लिए एक प्रभावी सरोगेट (surrogate) के रूप में कार्य कर सकता है, जिससे मानक-प्रमाणित सटीकता का ट्रेड-ऑफ बेहतर होता है।

AD-CERT लॉस फंक्शन दो पदों के रैखिक संयोजन के रूप में तैयार किया गया है:
$L_{AD-CERT} := (1 - \alpha) \underbrace{KL(P_{\theta_t}(x) \parallel P_{\theta_s}(x_{adv}))}_{\text{Adversarial Distillation}} + \alpha \underbrace{L_{CE}(-z^{\Delta}_{\theta_s}(x, y), y)}_{\text{IBP}}$

जहाँ:

$f_{\theta_t}$ एक फ्रीज़्ड टीचर (frozen teacher) नेटवर्क है जिसे मानक एडवर्सरियल ट्रेनिंग (PGD) के माध्यम से प्रशिक्षित किया गया है।
$f_{\theta_s}$ छात्र (student) नेटवर्क है जिसे प्रमाणन के लिए प्रशिक्षित किया जा रहा है।
$x_{adv}$ छात्र के विरुद्ध उत्पन्न किया गया एक एडवर्सरियल उदाहरण है।
एडवर्सरियल डिस्टिलेशन (AD) टर्म, साफ इनपुट्स ( $P_{\theta_t}(x)$ ) पर शिक्षक के प्रेडिक्टिव डिस्ट्रीब्यूशन और एडवर्सरियल इनपुट्स ( $P_{\theta_s}(x_{adv})$ ) पर छात्र के प्रेडिक्टिव डिस्ट्रीब्यूशन के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करता है।
IBP टर्म, इंटरवल बाउंड प्रोपेगेशन का उपयोग करके मानक प्रमाणित अपर बाउंड लॉस की गणना करता है।
$\alpha \in [0, 1]$ अनुभवजन्य और प्रमाणित उद्देश्यों के बीच संतुलन बनाता है।

सैद्धांतिक अंतर्दृष्टि
पेपर AD-CERT का लक्षण वर्णन करते हुए एक सैद्धांतिक विश्लेषण प्रदान करता है:

सरोगेट लोअर बाउंड: यह दिखाया गया है कि AD टर्म, सॉफ्ट टीचर लेबल्स के साथ एडवर्सरियल ट्रेनिंग के समान है, जो एक "टीचर-गाइडेड लोअर बाउंड सरोगेट" के रूप में कार्य करता है। मानक AT के विपरीत, जो एक हार्ड लोअर बाउंड को अनुकूलित करता है, AD-CERT शिक्षक के सॉफ्ट लेबल्स का उपयोग एडवर्सरियल उदाहरणों पर छात्र के व्यवहार को निर्देशित करने के लिए करता है।
स्केलेराइजेशन (Scalarisation): यह उद्देश्य एक सॉफ्ट-लेबल एडवर्सरियल लोअर बाउंड सरोगेट और एक प्रमाणित IBP अपर बाउंड के बीच स्केलेराइजेशन है।
ज्यामितीय अंतर: मानक AT के विपरीत, जो मनमाने ढंग से बड़े क्लास मार्जिन के लिए दबाव डालता है, AD ब्रांच लॉजिट स्पेस में एक परिमित लक्ष्य (finite target) को प्रेरित करती है जो शिक्षक के प्रेडिक्टिव डिस्ट्रीब्यूशन ( $\Delta z^*_{ij} = \log(P_{\theta_t}(x)_i / P_{\theta_t}(x)_j)$ ) द्वारा परिभाषित है। यह एक सुचारू ऑप्टिमाइज़ेशन लैंडस्केप का सुझाव देता है।

प्रायोगिक परिणाम
लेखकों ने CTBench लाइब्रेरी और $\alpha,\beta$ -CROWN वेरीफायर का उपयोग करके MNIST, CIFAR-10 और TinyImageNet पर AD-CERT का मूल्यांकन किया।

अत्याधुनिक प्रदर्शन (State-of-the-Art Performance): AD-CERT सभी मूल्यांकित ReLU-आधारित आर्किटेक्चर पर प्रमाणित सटीकता प्राप्त करता है।
- MNIST पर, यह मौजूदा विधियों की तुलना में निरंतर, मामूली सुधार प्रदान करता है।
- CIFAR-10 पर, यह सर्वश्रेष्ठ पूर्ववर्ती ReLU-आधारित प्रमाणित सटीकता में औसतन 0.37 प्रतिशत अंक का सुधार करता है, जिसमें सबसे बड़ी बढ़त $\epsilon = 2/255$ पर देखी गई।
- TinyImageNet पर, AD-CERT सभी तुलना की गई विधियों में उच्चतम प्रमाणित सटीकता प्राप्त करता है, जो पिछले गैर-डिस्टिलेशन प्रमाणित प्रशिक्षण विधियों की तुलना में मानक सटीकता में काफी सुधार करता है।
डिस्टिलेशन विधियों के साथ तुलना: CC-DIST (जो रोबस्ट फीचर-स्पेस डिस्टिलेशन करता है) के विरुद्ध एक नियंत्रित तुलना में, AD-CERT (लॉजिट-लेवल डिस्टिलेशन) उच्च प्रमाणित सटीकता प्राप्त करता है, जबकि CC-DIST थोड़ी उच्च मानक सटीकता बनाए रखता है। AD-CERT विशिष्ट सेटिंग्स में CC-DIST की तुलना में प्रमाणित सटीकता को 5.40 प्रतिशत अंक तक सुधारता है।
एब्लेशन स्टडीज (Ablation Studies):
- शुद्ध डिस्टिलेशन तकनीकों का परीक्षण करने के लिए IBP घटक को हटाने से पता चलता है कि केवल साफ इनपुट्स पर टीचर से मैच करना (Natural KL) एडवर्सरियल सुदृढ़ता को स्थानांतरित करने में विफल रहता है।
- एडवर्सरियल लॉजिट-लेवल डिस्टिलेशन (AD), जब इसे एम्पिरिकल एंडपॉइंट के रूप में उपयोग किया जाता है, तो फीचर-स्पेस डिस्टिलेशन या अन्य एडवर्सरियल डिस्टिलेशन वेरिएंट्स (जैसे RSLAD) की तुलना में शिक्षक-स्तर की सुदृढ़ता को अधिक प्रभावी ढंग से संरक्षित करता है।
- IBP गुणांक $\alpha$ की संवेदनशीलता विश्लेषण पुष्टि करता है कि IBP स्ट्रेंथ को कम करने से मानक सटीकता में सुधार होता है लेकिन अंततः प्रमाणित सटीकता में गिरावट आती है, जो एक्सप्रेसिव लॉस साहित्य के रुझानों के अनुरूप है।

महत्व और दावे
पेपर दावा करता है कि AD-CERT अनुभवजन्य सुदृढ़ता और औपचारिक सत्यापन के बीच के अंतर को सफलतापूर्वक पाटता है। एक प्रमाणित एंडपॉइंट (शुद्ध IBP का उपयोग करके) से अनुभवजन्य एंडपॉइंट (टीचर-गाइडेड लॉजिट-लेवल डिस्टिलेशन का उपयोग करके) को अलग करके, यह विधि पूर्ववर्ती कार्यों में पाए जाने वाले जटिल रूप से जुड़े एक्सप्रेसिव लॉसों से बचती है।

लेखक इस बात पर जोर देते हैं कि हालांकि AD-CERT बेहतर प्रमाणित प्रदर्शन प्राप्त करता है, फिर भी अनुभवजन्य रूप से सुदृढ़ शिक्षक और प्रमाणित रूप से सुदृढ़ छात्र के बीच एक महत्वपूर्ण अंतर बना हुआ है, विशेष रूप से बड़े परटर्बेशन रेडियस (जैसे, CIFAR-10 $\epsilon = 8/255$ पर) के लिए। पेपर निष्कर्ष निकालता है कि हालांकि लॉजिट-लेवल डिस्टिलेशन सुदृढ़ता को स्थानांतरित करने के लिए एक प्रभावी तंत्र है, भविष्य के कार्यों में मानक सटीकता से समझौता किए बिना अनुभवजन्य सुदृढ़ता को प्रमाणित सुदृढ़ता में स्थानांतरित करने के लिए मजबूत विधियों को विकसित करने की आवश्यकता है।

1. दो समस्याएँ: मजबूत होना बनाम सुरक्षित होना

2. नया समाधान: "ट्यूटर और सेफ्टी नेट"

3. यह क्यों विशेष है

4. परिणाम

सारांश उपमा (Summary Analogy)

इसी तरह के और पेपर