📊 statistics

Certified Causal Defense with Generalizable Robustness

यह शोध पत्र GLEAN का प्रस्ताव देता है, जो एक नवीन प्रमाणित रक्षा ढांचा (certified defense framework) है जो स्पूरियस सहसंबंधों (spurious correlations) से कारण संबंधों (causal relations) को अलग करने के लिए कॉज़ल फैक्टर लर्निंग का लाभ उठाता है, जिससे मॉडल को विभिन्न डेटा डोमेन में वितरण बदलावों (distribution shifts) का सामना करने पर भी प्रतिकूल हमलों (adversarial attacks) के विरुद्ध सैद्धांतिक मजबूती की गारंटी बनाए रखने में सक्षम बनाया जा सके।

मूल लेखक: Yiran Qiao, Yu Yin, Chen Chen, Jing Ma

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiran Qiao, Yu Yin, Chen Chen, Jing Ma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Certified Causal Defense with Generalizable Robustness" (GLEAN) के शोध पत्र की व्याख्या दी गई है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं में तोड़ा गया है।

बड़ी समस्या: वह "चतुर" छात्र जो नकल करता है

कल्प Imagine कीजिए कि आप एक छात्र (एक AI मॉडल) को तस्वीरों में जानवरों को पहचानने के लिए प्रशिक्षित कर रहे हैं।

लक्ष्य: छात्र को यह सीखना चाहिए कि एक शेर की गर्दन के बाल (mane) होते हैं और एक बाघ की धारियाँ होती हैं।
नकल (The Cheat): आपकी प्रशिक्षण कक्षा में, आपने गलती से केवल शेरों को सवाना (savanna) में और बाघों को जंगल में दिखाया। छात्र का स्कोर तो एकदम सटीक आता है, लेकिन वे वास्तव में जानवरों के बारे में नहीं सीख रहे हैं। वे बैकग्राउंड (spurious correlation) को याद करके "नकल" कर रहे हैं। वे सोचते हैं, "अगर मुझे घास दिखती है, तो यह शेर है। अगर मुझे पेड़ दिखते हैं, तो यह बाघ है।"

आपदा: जब आप इस छात्र को एक नई कक्षा (एक अलग डेटा डोमेन) में ले जाते हैं जहाँ शेर जंगल में हैं और बाघ सवाना में हैं, तो छात्र बुरी तरह विफल हो जाता है। वे भ्रमित हो जाते हैं क्योंकि उनका "चीट कोड" अब काम नहीं करता।

AI सुरक्षा की दुनिया में, यह एक बहुत बड़ी समस्या है। भले ही छात्र पहली कक्षा में "मजबूत" (robust) हो, वह दूसरी कक्षा में पूरी तरह बिखर जाता है। इसके अलावा, मानक सुरक्षा जाँच (Certified Defense) यह गारंटी नहीं दे सकती कि छात्र उस नई कक्षा में सुरक्षित रहेगा क्योंकि खेल के नियम बदल गए हैं।

समाधान: GLEAN (एक "सत्य की खोज करने वाला" जासूस)

लेखकों ने एक नया फ्रेमवर्क प्रस्तावित किया है जिसे GLEAN कहा जाता है। GLEAN को एक ऐसे जासूस के रूप में सोचें जो पृष्ठभूमि के दृश्यों को देखने से इनकार कर देता है। इसके बजाय, जासूस पूरी तरह से वस्तु के अनिवार्य, अपरिवलीनीय लक्षणों (causal factors) पर ध्यान केंद्रित करता है।

GLEAN कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

1. "असली" को "नकली" से अलग करना

GLEAN हर छवि को दो भागों में विभाजित करने के लिए एक विशेष लेंस का उपयोग करता है:

कारण कारक (Causal Factors - असली चीज़): ये वे चीजें हैं जो वास्तव में लेबल का कारण बनती हैं। शेर के लिए, यह उसके गर्दन के बाल और चेहरे का आकार है। चाहे शेर चिड़ियाघर में हो या जंगल में, ये चीजें समान रहती हैं।
भ्रामक कारक (Spurious Factors - भटकाव): ये आकस्मिक संकेत हैं, जैसे बैकग्राउंड का रंग या रोशनी। ये डोमेन से डोमेन में बदलते रहते हैं।

GLEAN AI को भटकाव को अनदेखा करने और केवल "असली चीज़" पर ध्यान केंद्रित करने के लिए प्रशिक्षित करता है।

2. "अटूट ढाल" (Lipschitz Constraint)

आमतौर पर, जब आप यह सिद्ध करने की कोशिश करते हैं कि एक AI सुरक्षित है, तो आपको यह जांचना पड़ता है कि हमलावर छवि को कितने भी तरीकों से बदल सकता है। यह समुद्र तट पर रेत के हर कण को गिनने की कोशिश करने जैसा है।

GLEAN एक गणितीय ट्रिक का उपयोग करता है जिसे Lipschitz continuity कहा जाता है। कल्पना कीजिए कि AI का मस्तिष्क एक रबर की शीट है। यदि आप शीट को चुभाते हैं (छवि में शोर/noise जोड़ते हैं), तो रबर की शीट खिंचती है, लेकिन वह बहुत अधिक नहीं खिंच सकती।

AI को एक "तंग" (tight) रबर शीट (1-Lipschitz) बनाने के लिए मजबूर करके, लेखक गणितीय रूप से गारंटी दे सकते हैं कि यदि आप छवि को थोड़ा सा छेड़ते हैं, तो उत्तर नहीं बदलेगा।
क्योंकि AI केवल "असली चीज़" (causal factors) को देख रहा है और रबर की शीट तंग है, यह गारंटी तब भी बनी रहती है जब छात्र एक नई कक्षा में जाता है।

3. "आंखों पर पट्टी" वाला टेस्ट (Randomized Smoothing)

AI की मजबूती को सिद्ध करने के लिए, GLEAN Randomized Smoothing नामक तकनीक का उपयोग करता है।

कल्पना कीजिए कि आप धुंधले कमरे में अपने दोस्त को पहचानने की कोशिश कर रहे हैं। आप उन्हें स्पष्ट रूप से नहीं देख पा रहे हैं।
GLEAN छवि में बहुत बार थोड़ा सा "कोहरा" (random noise) जोड़ता है।
यदि AI को कोहरे के बावजूद 99% बार लगता है कि "यह एक शेर है", तो हम गणितीय रूप से सिद्ध कर सकते हैं कि कोहे की एक छोटी मात्रा (हमला) इसे धोखा नहीं दे पाएगी।
क्योंकि GLEAN अपरिवलीनीय "असली चीज़" पर ध्यान केंद्रित करता है, यह कोहरे वाला टेस्ट नए क्लासरूम में भी काम करता है जहाँ बैकग्राउंड अलग होता है।

यह क्यों महत्वपूर्ण है (परिणाम)

इस शोध पत्र का परीक्षण तीन अलग-अलग परिदृश्यों पर किया गया:

CMNIST: एक नकली डेटासेट जहाँ संख्याओं को लाल या हरे रंग में रंगा गया है ताकि AI को भ्रमित किया जा सके।
CelebA: मशहूर हस्तियों की वास्तविक तस्वीरें जहाँ AI बालों के रंग बनाम मुस्कान से भ्रमित हो सकता है।
DomainNet: विभिन्न वास्तविक दुनिया के स्रोतों से ली गई तस्वीरों का एक विशाल डेटासेट।

परिणाम:
हर परीक्षण में, GLEAN पिछले तरीकों की तुलना में काफी बेहतर था।

पुराने तरीके: जब बैकग्राउंड बदला, तो उनकी सुरक्षा गारंटी (Certified Radius) गिरकर लगभग शून्य हो गई। वे उस छात्र की तरह थे जो नए टेस्ट में फेल हो गया।
GLEAN: डेटा वितरण बदलने के बावजूद उच्च सुरक्षा गारंटी बनाए रखी। इसने सिद्ध किया कि केवल कारण (जानवर) पर ध्यान केंद्रित करके, न कि सहसंबंध (बैकग्राउंड) पर, आप एक ऐसा AI बना सकते हैं जो स्मार्ट भी है और नए वातावरण में प्रमाणित रूप से सुरक्षित भी है।

सारांश उपमा

मौजूदा AI सुरक्षा प्रणालियों को ऐसे बॉडीगार्ड के रूप में सोचें जो रूट (रास्ता) को याद रखते हैं। यदि रूट बदल जाता है (डोमेन शिफ्ट), तो बॉडीगार्ड रास्ता भटक जाता है और VIP (भविदन) असुरक्षित हो जाता है।

GLEAN एक ऐसा बॉडीगार्ड है जो VIP के चेहरे को याद रखता है। VIP चाहे कहीं भी जाए, क्या पहनता हो, या बैकग्राउंड कैसा भी हो, बॉडीगार्ड जानता है कि वह कौन है और किसी भी छोटे भेष बदलने के प्रयास के खिलाफ उनकी सुरक्षा की गारंटी दे सकता है।

तकनीकी सारांश: GLEAN - सामान्यीकरण योग्य सुदृढ़ता के साथ प्रमाणित कारण रक्षा (Certified Causal Defense with Generalizable Robustness)

समस्या विवरण

मशीन लर्निंग मॉडल, विशेष रूप से डीप न्यूरल नेटवर्क, प्रतिकूल परिवर्तनों (adversarial perturbations) के प्रति संवेदनशील होते हैं। जबकि प्रमाणित रक्षा (certified defense) विधियाँ (जैसे, रैंडमाइज्ड स्मूथिंग) सैद्धांतिक गारंटी प्रदान करती हैं कि एक विशिष्ट परिवर्तन त्रिज्या (robust radius) के भीतर मॉडल का पूर्वानुमान स्थिर रहता है, वे डोमेन शिफ्ट के साथ इस सुदृढ़ता को सामान्यीकृत (generalize) करने में काफी हद तक विफल रहती हैं।

मौजूदा प्रमाणित रक्षा विधियाँ तब संघर्ष करती हैं जब उन्हें अनदेखे डोमेन में लागू किया जाता है क्योंकि मॉडल अक्सर इनवेरिएंट कॉज़ल कारकों (invariant causal factors) के बजाय स्पूरियस कोरिलेशन (spurious correlations) (जैसे, बैकग्राउंड का रंग जो ऑब्जेक्ट क्लास से संबंधित हो) पर निर्भर करते हैं। ये स्पूरियस कोरिलेशन विभिन्न डोमेन में बदलते रहते हैं; जब परीक्षण डोमेन में यह कोरिलेशन बदलता है, तो मॉडल का प्रेडिक्शन कॉन्फिडेंस गिर जाता है या गलत हो जाता है। इससे औसत प्रमाणित त्रिज्या (Average Certified Radius - ACR) में महत्वपूर्ण गिरावट आती है, जिससे नए वातावरणों में सुदृढ़ता की सैद्धांतिक गारंटी प्रभावी रूप से शून्य हो जाती है।

वर्तमान दृष्टिकोणों में एक एकीकृत ढांचे का अभाव है जो एक साथ:

स्पूरियस कोरिलेशन के नकारात्मक प्रभाव को समाप्त कर सके।
उन लेटेंट कॉज़ल कारकों पर होने वाले परिवर्तनों से रक्षा कर सके जो लेबल निर्धारित करते हैं।
डोमेन शिफ्ट के संदर्भ में प्रमाणित सुदृढ़ता के लिए सैद्धांतिक गारंटी प्रदान कर सके।

कार्यप्रणाली: GLEAN फ्रेमवर्क

लेखक GLEAN (GeneraLizable cErtified cAusal defeNse) प्रस्तावित करते हैं, जो सुदृढ़ता के सामान्यीकरण को प्राप्त करने के लिए प्रमाणित रक्षा में कॉज़ल इंफरेंस (causal inference) को एकीकृत करता है। यह दृष्टिकोण तीन मुख्य घटकों पर आधारित है:

1. कॉज़ल व्यू और इनवेरिएंट लर्निंग

GLEAN डेटा जनरेशन को एक कॉज़ल ग्राफ के माध्यम से मॉडल करता है जिसमें शामिल हैं:

$Y$ : लेबल।
$X$ : इनपुट (जैसे, इमेज)।
$C$ : कॉज़ल फैक्टर्स (इनवेरिएंट फीचर्स जो $Y$ को निर्धारित करते हैं)।
$S$ : स्पूरियस फैक्टर्स (गैर-कारण कारक जो विशिष्ट डोमेन में $Y$ के साथ सह-संबंधित होते हैं)।
$D$ : डोमेन वेरिएबल।

फ्रेमवर्क कॉज़ल इनवेरिएंस धारणा (Causal Invariance Assumption) पर निर्भर करता है: कंडीशनल प्रोबेबिलिटी $P(Y|C)$ डोमेन के across इनवेरिएंट रहती है, जबकि $P(Y|S)$ बदलती रहती है। GLEAN का लक्ष्य $X$ से $C$ का एक रिप्रेजेंटेशन सीखना है जो डोमेन शिफ्ट के प्रति इनवेरिएंट हो, जिससे $S$ के प्रभाव को फ़िल्टर किया जा सके।

2. प्रमाणित कॉज़ल फैक्टर लर्निंग

कॉज़ल फैक्टर्स को मजबूती से निकालने के लिए, GLEAN एक कॉज़ल एनकोडर ( $\Psi$ ) का उपयोग करता है जिसे दो विशिष्ट तंत्रों के साथ प्रशिक्षित किया गया है:

इनवेरिएंट रिस्क मिनिमाइजेशन (IRM): एनकोडर को प्रेडिक्शन लॉस को कम करने के लिए प्रशिक्षित किया जाता है और साथ ही एक डमी क्लासिफायर वेट के सापेक्ष लॉस के ग्रेडिएंट को दंडित (penalize) किया जाता है। यह सीखे गए लेटेंट रिप्रेजेंटेशन को डोमेन शिफ्ट के प्रति इनवेरिएंट बनाने के लिए प्रोत्साहित करता है, जिससे कॉज़ल फैक्टर्स को स्पूरियस कोरिलेशन से अलग किया जा सके।
लिप्सचिट्ज़ बाधाएं (Lipschitz Constraints): लेटेंट स्पेस में सर्टिफिकेशन सक्षम करने के लिए, एनकोडर को 1-लिप्सचिट्ज़ (1-Lipschitz) होने के लिए बाधित किया जाता है (लीनियर लेयर्स के लिए केली ट्रांसफॉर्म और एक्टिवेशन के लिए GroupSort का उपयोग करके)। यह सुनिश्चित करता है कि इनपुट स्पेस से लेटेंट कॉज़ल स्पेस का मैपिंग अत्यधिक परिवर्तनों को बढ़ाए नहीं, जो सैद्धांतिक बाउंड्स प्राप्त करने के लिए एक पूर्व शर्त है।

3. कॉज़ली सर्टिफाइड डिफेंस स्ट्रैटेजी

रक्षा प्रक्रिया दो चरणों में कार्य करती है:

लेटेंट स्पेस सर्टिफिकेशन: लेटेंट कॉज़ल रिप्रेजेंटेशन $z = \Psi(x)$ पर रैंडमाइज्ड स्मूथिंग (RS) लागू की जाती है। $z$ में गॉसियन नॉइज़ $\eta \sim \mathcal{N}(0, \sigma^2 I)$ जोड़कर, एक स्मूथ क्लासिफायर $g_\beta$ बनाया जाता है। सैद्धांतिक गारंटी (थ्योरम 1) सुनिश्चित करती है कि भविष्यवाणियाँ लेटेंट स्पेस में एक प्रमाणित त्रिज्या $CR_z$ के भीतर स्थिर रहती हैं।
इनपुट स्पेस मैपिंग: एनकोडर के लिप्सचिट्ज़ गुण ( $\|\Psi(x_1) - \Psi(x_2)\| \le L\|x_1 - x_2\|$ ) का उपयोग करते हुए, लेटेंट स्पेस में प्रमाणित त्रिज्या को इनपुट स्पेस में मैप किया जाता है। थ्योरम 2 स्थापित करती है कि इनपुट स्पेस में प्रमाणित त्रिज्या $CR \ge CR_z / L$ है। यह गारंटी देता है कि पूरा क्लासिफायर $f$ इनपुट स्पेस में होने वाले परिवर्तनों के विरुद्ध सुदृढ़ है, भले ही वह विभिन्न डोमेन में हो, बशर्ते कॉज़ल फैक्टर्स को सही ढंग से पहचाना गया हो।

मुख्य योगदान

समस्या की पहचान: पेपर प्रमाणित सुदृढ़ता को डोमेन के बीच सामान्यीकृत करने की अनछुए विषय की पहचान और विश्लेषण करता है, और स्पूरियस कोरिलेशन की भूमिका को रेखांकित करता है जो प्रमाणित त्रिज्या को कम करती है।
नया फ्रेमवर्क (GLEAN): यह एक कॉज़लिटी-प्रेरित फ्रेमवर्क प्रस्तावित करता है जो इनवेरिएंट रिस्क मिनिमाइजेशन को लिप्सचिट्ज़-कंस्ट्रेंड नेटवर्क्स के साथ जोड़ता है। यह मॉडल को स्पूरियस कोरिलेशन को बाहर करने और लेटेंट कॉज़ल फैक्टर्स पर प्रमाणित रक्षा करने की अनुमति देता है।
सैद्धांतिक गारंटी: लेखक नए थ्योरम (थ्योरम 1 और थ以上に 2) व्युत्पन्न करते हैं जो अनदेखे डोमेन में प्रमाणित सुदृढ़ता के लिए सैद्धांतिक सीमाएं प्रदान करते हैं। यह सुदृढ़ता के अनुभवजन्य अवलोकनों और कठोर सैद्धांतिक प्रमाणन के बीच के अंतर को पाटता है।
अनुभवजन्य सत्यापन: सिंथेटिक (CMNIST) और वास्तविक-दुनिया के डेटासेट्स (CelebA, DomainNet) पर व्यापक प्रयोगों से पता चलता है कि GLEAN डोमेन शिफ्ट के तहत प्रमाणित सटीकता और औसत प्रमाणित त्रिज्या (ACR) दोनों के मामले में मौजूदा प्रमाणित रक्षा बेसलाइन्स (Gaussian, MACER, SmoothAdv, Consistency) को काफी बेहतर बनाता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन डेटासेट्स पर मानक रैंडमाइज्ड स्मूथिंग-आधारित बेसलाइन्स के विरुद्ध GLEAN का मूल्यांकन किया:

CMNIST: एक सिंथेटिक डेटासेट जिसमें डिजिट कलर और क्लास के बीच एक मजबूत स्पूरियस कोरिलेशन है, जो टेस्ट डोमेन में उलट जाता है।
CelebA: एक वास्तविक दुनिया का डेटासेट जिसमें चेहरे के गुणों (जैसे, मुस्कुराना और बालों का रंग) के बीच स्पूरियस कोरिलेशन है।
DomainNet: एक डेटासेट जिसमें अलग-अलग बैकग्राउंड और स्टाइल वाले जटिल डोमेन शिफ्ट शामिल हैं।

मुख्य निष्कर्ष:

श्रेष्ठ सामान्यीकरण: GLEAN ने सभी डेटासेट्स और रेडियस के लिए उच्चतम प्रमाणित सटीकता और ACR प्राप्त किया। उदाहरण के लिए, CMNIST पर, GLEAN ने 0.2466 का ACR प्राप्त किया, जो अगले सर्वश्रेष्ठ बेसलाइन (SmoothAdv at 0.0518) से काफी बेहतर है।
शिफ्ट के प्रति सुदृढ़ता: जब ट्रेनिंग से टेस्ट डोमेन में जाने पर बेसलाइन्स ने गंभीर प्रदर्शन गिरावट का सामना किया (उदाहरण के लिए, मानक तरीकों के लिए CMNIST पर सटीकता ~72% से ~21% तक गिर गई), GLE केवल उच्च सुदृढ़ता बनाए रखने में सफल रहा।
एब्लेशन स्टडीज (Ablation Studies): इनवेरिएंस पेनल्टी को हटाने से प्रदर्शन में भारी गिरावट आई, जिससे पुष्टि हुई कि कॉज़ल फैक्टर्स को कैप्चर करना आवश्यक है। लिप्सचिट्ज़ बाधाओं को हटाने से थोड़ा कम प्रदर्शन हुआ, जो सैद्धांतिक प्रमाणन के लिए बाधा की आवश्यकता को प्रमाणित करता है।
पैरामीटर संवेदनशीलता: फ्रेमवर्क ने हाइपरपैरामीटर विकल्पों के प्रति सुदृढ़ता दिखाई, जिसमें इनवेरिएंस पेनल्टी वेट ( $\lambda$ ) के लिए एक निश्चित थ्रेशोल्ड के बाद प्रदर्शन स्थिर हो गया।

महत्व और दावे

पेपर का दावा है कि GLEAN वर्तमान एडवरसैरियल डिफेंस की एक महत्वपूर्ण सीमा को संबोधित करता है: नए डेटा डोमेन में सैद्धांतिक सुदृढ़ता गारंटी को स्थानांतरित करने में असमर्थता। कच्चे इनपुट फीचर्स के बजाय इनवेरिएंट कॉज़ल फैक्टर्स पर ध्यान केंद्रित करके, फ्रेमवर्क स्पूरियस कोरिलेशन के कारण होने वाली भेद्यता को कम करता है।

लेखक GLEAN को केवल मेट्रिक्स में सुधार के रूप में नहीं, बल्कि एक पद्धतिगत बदलाव के रूप में देखते हैं जो क्रॉस-डोमेन सुदृढ़ता के लिए सैद्धांतिक समर्थन प्रदान करता है। उनका तर्क है कि यह दृष्टिकोण स्वायत्त ड्राइविंग और स्वास्थ्य सेवा जैसे महत्वपूर्ण अनुप्रयोगों में मशीन लर्निंग मॉडल को तैनात करने का एक मार्ग प्रदान करता है जहाँ पर्यावरणीय परिवर्तनों के बावजूद सुरक्षा और विश्वसनीयता बनाए रखनी होती है। यह कार्य सुझाव देता है कि भविष्य के शोध को कॉज़लिटी-प्रेरित रक्षाओं और एडवरसैरियल सुदृढ़ता को सामान्य करने के लिए एकीकृत दृष्टिकोणों की खोज करनी चाहिए।