🤖 machine learning

When Interpretability Becomes a Liability: Adversarial Attacks on CBM Concept Layers

यह शोध पत्र प्रकट करता है कि कॉन्सेप्ट बॉटलनेक मॉडल्स (CBMs) में एक महत्वपूर्ण भेद्यता है जहाँ न्यूनतम इनपुट व्यवधान उनके सिमेंटिक कॉन्सेप्ट लेयर्स को विनाशकारी रूप से हेरफेर कर सकते हैं, और SPECTRA का प्रस्ताव करता है, जो एक नई रक्षा पद्धति है जो वर्गीकरण सटीकता को बनाए रखते हुए हमले की कठिनाई को नाटकीय रूप से बढ़ा देती है।

मूल लेखक: Aditya Sridhar

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aditya Sridhar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने पक्षियों के विभिन्न प्रकारों की पहचान करने के लिए एक बहुत ही स्मार्ट, पारदर्शी रोबोट बनाया है। एक "ब्लैक बॉक्स" AI के विपरीत जो केवल अनुमान लगाता है, यह रोबोट एक मानव विशेषज्ञ की तरह काम करता है: यह पहले विशिष्ट, समझने योग्य विशेषताओं (अवधारणाओं/concepts) को देखता है जैसे कि "मुड़ा हुआ चोंच है," "धारीदार पंख हैं," या "लंबी पूंछ है।" इन विशेषताओं की पुष्टि करने के बाद ही यह निर्णय लेता है कि, "यह एक बाज (Hawk) है।"

इस दृष्टिकोण को कॉन्सेप्ट बॉटलनैक मॉडल (CBM) कहा जाता है। यह इसलिए बेहतरीन है क्योंकि हम देख सकते हैं कि रोबोट ने अपना निर्णय क्यों लिया। लेकिन, यह शोध पत्र बताता है कि यह पारदर्शिता एक नई, खतरनाक कमजोरी पैदा करती है।

इस शोध पत्र के निष्कर्षों का विवरण यहाँ दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. नई कमजोरी: "कॉन्सेप्ट स्विच" (The Concept Switch)

एक सामान्य AI में, एक हैकर इसे धोखा देने के लिए चित्र में अदृश्य "शोर" (noise) जोड़ने की कोशिश कर सकता है (जैसे कि सूक्ष्म, अदृश्य पिक्सेल जो गणित को भ्रमित कर देते हैं)।

लेकिन इस "पारदर्शी" पक्षी रोबोट में, शोध पत्र दिखाता है कि हैकर को पिक्सेल के साथ छेड़छाड़ करने की आवश्यकता नहीं है। वे बस अवधारणाओं (concepts) के स्विच को पलट सकते हैं।

उपमा: कल्पना कीजिए कि रोबोट सैंडविच बनाने वाला एक शेफ है। वह एक चेकलिस्ट की जाँच करता है: "क्या ब्रेड है? हाँ। क्या चीज़ है? हाँ।" फिर वह कहता है, "चीज़ सैंडविच!"
हमला: हैकर को ब्रेड जलाने या चीज़ को पिघलाने की ज़रूरत नहीं है। वे बस रसोई में घुसकर चेकलिस्ट को बदलकर "नहीं ब्रेड" और "हाँ हैम" कर देते हैं। अचानक, रोबोट पूरे विश्वास के साथ कहता है, "हैम सैंडविच!" भले ही तस्वीर अभी भी चीज़ सैंडविच जैसी ही दिख रही हो।
खतरा: क्योंकि रोबोट इन विशिष्ट "अवधारणाओं" पर निर्भर करता है, एक हमलावर एक बहुत ही सूक्ष्म, लगभग अदृश्य बदलाव के साथ "मुड़ी हुई चोंच" को "सीधी चोंच" में बदल सकता है, जिससे रोबोट एक बाज को सारस (crane) के रूप में गलत पहचान सकता है।

2. प्रयोग: यह हैक करना कितना आसान है?

शोधकर्ताओं ने इसका परीक्षण पक्षियों की 200 प्रजातियों के एक डेटासेट पर किया। उन्होंने पाया कि मानक, असुरक्षित संस्करण वाले ये मॉडल अत्यंत नाजुक हैं।

परिणाम: रोबोट को धोखा देने में लगभग कोई प्रयास (एक सूक्ष्म गणितीय धक्का) नहीं लगा। सिस्टम को हैक करने की "लागत" (cost) अविश्वसनीय रूप से कम थी (0.46 का स्कोर)। यह एक ऐसे घर में घुसने की कोशिश करने जैसा था जिसका दरवाजा कागज का बना हो।

3. समाधान: SPECTRA (द "रिनफोर्स्ड डोर")

इसे ठीक करने के लिए, लेखकों ने SPECTRA नामक एक रक्षा पद्धति बनाई। इसे रोबोट को "जिद्दी" या "स्थिर" बनाने के रूप में सोचें।

यह कैसे काम करता है: प्रशिक्षण के दौरान, शोधकर्ताओं ने एक नियम जोड़ा जो रोबोट को दंडित करता था यदि उसे धोखा देना बहुत आसान था। उन्होंने रोबोट को यह सीखने के लिए मजबूर किया कि उसके "कॉन्सेप्ट स्विच" (जैसे चोंच का आकार) को बदलना बहुत कठिन होना चाहिए।
उपमा: कल्पना कीजिए कि रोबोट की चेकलिस्ट अब कागज के टुकड़े के बजाय पत्थर पर लिखी गई है। "मुड़ी हुई चोंच" को "सीधी चोंच" में बदलने के लिए, हैकर को अब एक हथौड़े का उपयोग करना होगा।

4. "फेज ट्रांज़िशन": टिपिंग पॉइंट (The Phase Transition)

इस शोध पत्र की सबसे दिलचस्प खोज यह है कि यह रक्षा धीरे-धीरे काम नहीं करती; यह एक लाइट स्विच की तरह काम करती है।

निष्कर्ष: जैसे-जैसे शोधकर्ताओं ने "जिद्दीपन" (stubbornness) प्रशिक्षण बढ़ाया, शुरुआत में कुछ नहीं हुआ। रोबोट अभी भी आसानी से हैक किया जा सकता था।
टिपिंग पॉइंट: फिर, उन्होंने एक विशिष्ट संख्या (जिसे 0.083 कहा जाता है) को छुआ। अचानक, रोबोट को हैक करना असंभव हो गया।
संख्याएँ: स्विच से पहले, हैक करने की लागत 0.46 थी। स्विच के बाद, यह बढ़कर 4,200 से अधिक हो गई।
- अनुवाद: यह आसानी से टूटने योग्य होने से लेकर, ब्रह्मांड में मौजूद कुल कंप्यूटर शक्ति से अधिक प्रयास की आवश्यकता वाले स्तर तक पहुँच गया। शोध पत्र इसे "फेज ट्रांज़िशन" कहता है।

5. ट्रेड-ऑफ: क्या यह सार्थक है?

आमतौर पर, जब आप किसी सिस्टम को अधिक सुरक्षित बनाते हैं, तो वह कम बुद्धिमान हो जाता है।

अच्छी खबर: SPECTRA के साथ, रोबोट पहले की तरह ही स्मार्ट रहा। इसकी सटीकता केवल लगभग 2.2% गिरी।
निर्णय: आपको एक ऐसा किला मिलता है जो लगभग अटूट है, और आप केवल थोड़ी सी गति या सटीकता खोते हैं।

सारांश

यह शोध पत्र चेतावनी देता है कि AI को "व्याख्या योग्य" बनाना (विशिष्ट अवधारणाओं की जाँच करवाकर) अनजाने में हैकर्स को इसे तोड़ने का एक नया तरीका दे देता है। हालांकि, लेखकों ने एक प्रशिक्षण तकनीक (SPECTRA) खोजी है जो इन नाजुक मॉडलों को चट्टान जैसे मजबूत किलों में बदल देती है।

उन्होंने प्रशिक्षण के लिए एक "जादुई नंबर" खोजा है। यदि आप अपने मॉडल को बिल्कुल सही तरीके से ट्यून करते हैं, तो आप इसे इतना कठिन बना सकते हैं कि इसे धोखा देने के लिए इतनी मेहनत करनी पड़े कि यह व्यावहारिक रूप से असंभव हो जाए, जबकि AI अपना काम करने के लिए पर्याप्त स्मार्ट बना रहे।

तकनीकी सारांश: जब व्याख्यात्मकता एक देन बन जाती है: CBM कॉन्सेप्ट लेयर्स पर एडवरसैरियल अटैक्स (Adversarial Attacks)

1. समस्या का विवरण (Problem Statement)

कॉन्सेप्ट बॉटलनैक मॉडल्स (CBMs) ने इनपुट को मानव-व्याख्या योग्य अवधारणाओं (concepts) में मैप करने ( $f: X \to C$ ) और फिर उन अवधारणाओं को लेबल में मैप करने ( $g: C \to Y$ ) के दो चरणों में विभाजित करके व्याख्यात्मक मशीन लर्निंग के लिए एक अग्रणी दृष्टिकोण के रूप में उभरकर सामने आए हैं। हालांकि यह आर्किटेक्चर पारदर्शिता प्रदान करता है, यह शोध एक महत्वपूर्ण, पूर्व में अनछुए सुरक्षा भेद्यता (security vulnerability) की पहचान करता है: स्वयं कॉन्सेप्ट बॉटलनैक लेयर।

पारंपरिक एडवरसैरियल अटैक्स के विपरीत, जो पिक्सेल-स्तरीय अदृश्य शोर (noise) पर निर्भर करते हैं, यह कार्य प्रदर्शित करता है कि CBMs कॉन्सेप्ट-स्तरीय एडवरसैरियल अटैक्स के प्रति संवेदनशील हैं। एक हमलावर अर्थपूर्ण सूचनाओं (semantic representations/concept activations) में हेरफेर कर सकता है ताकि विनाशकारी गलत वर्गीकरण (misclassification) प्रेरित किया जा सके। उदाहरण के लिए, पक्षी वर्गीकरण प्रणाली में, एक हमलावर "वक्र चोंच" (curved beak) की अवधारणा को "सीधी चोंच" (straight beak) में बदलकर एक बाज (hawk) को क्रेन (crane) के रूप में गलत वर्गीकृत कर सकता है। मेडिकल इमेजिंग जैसे उच्च-दांव वाले डोमेन में, निर्णय-महत्वपूर्ण अवधारणाओं (जैसे, "अनियमित बॉर्डर") को दबाने से एक घातक घाव (malignant lesion) को सौम्य (benign) के रूप में गलत वर्गीकृत किया जा सकता है। ये हमले इसलिए अलग हैं क्योंकि ये अर्थपूर्ण गुणों (semantic attributes) पर काम करते हैं, जिससे इन्हें डोमेन ज्ञान के साथ बनाना आसान और पिक्सेल शोर की तुलना में पहचानना कठिन हो जाता है।

2. कार्यप्रणाली (Methodology)

2.1. सैद्धांतिक ढांचा और अटैक सरफेस (Theoretical Framework and Attack Surface)

लेखक CBM को $F(x) = g_\phi(f_\theta(x))$ के रूप में औपचारिक रूप देते हैं, जहाँ $f_\theta$ इनपुट को कॉन्सेप्ट एक्टिवेशन में मैप करता है और $g_\phi$ आमतौर पर एक लीनियर क्लासिफायर होता है। अटैक सरफेस को लो-डायमेंशनल, व्याख्या योग्य कॉन्सेप्ट स्पेस के रूप में परिभाषित किया गया है।

इनपुट-कॉन्सेप्ट संबंध: पेपर एक सैद्धांतिक निचली सीमा (lower bound) स्थापित करता है जो सिद्ध करता है कि कॉन्सेप्ट स्पेस में आवश्यक न्यूनतम विक्षेपण (perturbation) में वृद्धि सीधे इनपुट पिक्सेल स्पेस में आवश्यक न्यूनतम विक्षेपण में वृद्धि में अनुवादित होती है (Lipschitz continuity के माध्यम से)। यह प्रमाणित करता है कि कॉन्सेप्ट लेयर की रक्षा करना वास्तविक इनपुट-स्तरीय सुरक्षा प्रदान करती है।
इष्टतम हमला एल्गोरिदम (Optimal Attack Algorithm): लेखक एक वास्तविक क्लास $y^*$ से लक्षित क्लास $t$ में भविष्यवाणी को बदलने के लिए आवश्यक न्यूनतम विक्षेपण $\delta$ के लिए एक क्लोज्ड-फॉर्म समाधान निकालते हैं। एक लीनियर क्लासिफायर के लिए, इसे एक कंस्ट्रेंड क्वाड्रेटिक प्रोग्राम के रूप में तैयार किया गया है। समाधान सभी क्लास बाउंड्रीज़ को एक साथ संतुष्ट करने के लिए मूर-पेनरोस स्यूडो-इनवर्स (Moore-Penrose pseudoinverse) का उपयोग करता है, जो "मिनिमल नॉर्म" अटैक की गणना के लिए एक कुशल विधि प्रदान करता है।

2.2. मजबूती का परिमाणीकरण (Robustness Quantification)

भेद्यता को मापने के लिए, पेपर निम्नलिखित पेश करता है:

अटैकेबिलिटी स्कोर ( $A$ ): न्यूनतम विक्षेपण नॉर्म ( $\rho$ ) का व्युत्क्रम (reciprocal)। एक उच्च स्कोर इंगित करता है कि एक सैंपल निर्णय सीमा के करीब है और आसानी से गलत वर्गीकृत किया जा सकता है।
सापेक्ष विक्षेपण नॉर्म (Relative Perturbation Norm): सफल होने के लिए आवश्यक विक्षेपण का परिमाण, जो हमले की कम्प्यूटेशनल लागत के प्रॉक्सी के रूप में कार्य करता है।

2.3. रक्षा तंत्र: SPECTRA

इन कमजोरियों को कम करने के लिए, पेपर SPECTRA (Semantic Perturbation-based Concept Training for Robustness against Attacks) प्रस्तावित करता है।

स्टेबिलिटी रेगुलराइजेशन (Stability Regularization): SPECTRA प्रशिक्षण के दौरान एक स्टेबिलिटी लॉस टर्म ( $L_{stability}$ ) पेश करता है जो छोटे न्यूनतम विक्षेपण नॉर्म्स को दंडित करता है। लॉस को $-\log(1 + \|\delta_{min}\|_2^2)$ के रूप में परिभाषित किया गया है।
प्रशिक्षण उद्देश्य (Training Objective): कुल लॉस कॉन्सेप्ट प्रेडिक्शन एक्यूरेसी, क्लासिफिकेशन एक्यूरेसी और स्टेबिलिटी टर्म को जोड़ता है: $L_{total} = \lambda_c L_{concept} + \lambda_y L_{class} + \lambda_s L_{stability}$ ।
तंत्र (Mechanism): कॉन्सेप्ट स्पेस में मार्जिन को अधिकतम करके, SPECTRA मॉडल को ऐसे प्रतिनिधित्व सीखने के लिए मजबूर करता है जहाँ छोटे अर्थपूर्ण परिवर्तन वर्गीकरण को नहीं बदलते हैं, प्रभावी रूप से कॉन्सेप्ट स्पेस को "हार्डन" (harden) करता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: CUB-200-2011 (फाइन-ग्रेन्ड बर्ड क्लासिफिकेशन), जिसमें 15 प्रजातियों और 312 बाइनरी विजुअल एट्रिब्यूट्स का उपसमुच्चय (subset) उपयोग किया गया है।
आर्किटेक्चर: फीचर एक्सट्रैक्शन के लिए ResNet-18 बैकबोन, जिसके बाद एक लीनियर कॉन्सेप्ट प्रेडिक्टर और एक लीनियर क्लासिफायर है।
मूल्यांकन: अध्ययन स्थिरता रेगुलराइजेशन पैरामीटर ( $\lambda_s$ ) के माध्यम से वर्गीकरण सटीकता और मजबूती के बीच ट्रेड-ऑफ का विश्लेषण करने के लिए स्वैप (sweep) करता है।

4. मुख्य परिणाम (Key Results)

4.1. मानक CBMs की भेद्यता (Vulnerability of Standard CBMs)

बेसलाइन CBMs ( $\lambda_s = 0$ ) गंभीर संवेदनशीलता प्रदर्शित करते हैं, जिनका अटैकेबिलिटी स्कोर 2.196 और न्यूनतम सापेक्ष विक्षेपण नॉर्म केवल 0.46 है। यह इंगित करता है कि मानक मॉडल्स को न्यूनतम प्रयास के साथ आसानी से मैनिपुलेट किया जा सकता है।

4.2. मजबूती में फेज ट्रांजिशन (Phase Transition in Robustness)

सबसे महत्वपूर्ण खोज रेगुलराइजेशन स्ट्रेंथ $\lambda_s$ के फलन (function) के रूप में मॉडल की मजबूती में एक फेज ट्रांजिशन है:

कमजोर शासन (Vulnerable Regime) ( $\lambda_s < 0.08$ ): मॉडल उच्च अटैकेबिलिटी स्कोर के साथ अत्यधिक संवेदनशील रहता है।
क्रिटिकल थ्रेशोल्ड (Critical Threshold) ( $\lambda_s \approx 0.083$ ): इस सटीक बिंदु पर, मॉडल अचानक बदलाव से गुजरता है। अटैकेबिलिटी स्कोर 86% (0.507 से 0.070 तक) गिर जाता है, और सापेक्ष विक्षेपण नॉर्म 1.97 से 14.30 तक बढ़ जाता है।
मजबूत शासन (Robust Regime) ( $\lambda_s > 0.083$ ): जैसे-जैसे $\lambda_s$ बढ़ता है, एक सफल हमले की लागत तेजी से बढ़ती है। $\lambda_s = 0.092$ पर, विक्षेपण नॉर्म 4,000 से अधिक हो जाता है, और $\lambda_s = 0.30$ पर, यह 49 मिलियन से अधिक हो जाता है, जिससे लक्षित कॉन्सेप्ट मैनिपुलेशन कम्प्यूटेशनल रूप से निषेध (prohibitive) हो जाता है।

4.3. सटीकता और स्पर्सिटी (Accuracy and Sparsity)

सटीकता संरक्षण (Accuracy Preservation): इष्टतम ऑपरेटिंग पॉइंट ( $\lambda_s = 0.083$ ) 70.2% की वर्गीकरण सटीकता बनाए रखता है, जो बेसलाइन (72.2%) की तुलना में न्यूनतम हानि है। उच्च रेगुलराइजेशन स्ट्रेंथ पर भी, सटीकता में गिरावट नियंत्रित रहती है (जैसे, $\lambda_s = 0.092$ पर 60.2%)।
स्पर्सिटी (Sparsity): स्टेबिलिटी रेगुलराइजेशन स्पार्सर कॉन्सेप्ट रिप्रेजेंटेशन को बढ़ावा देता है, जिससे अधिकतम रेगुलराइजेशन पर स्पर्सिटी लॉस 99% (0.9457 से 0.0084 तक) कम हो जाता है, जो दर्शाता है कि मॉडल निर्णय लेने के लिए कम, अधिक आवश्यक अवधारणाओं पर निर्भर करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इसने CBMs के व्यावहारिक परिनियोजन (deployment) के लिए कॉन्सेप्ट-लेवल एडवरसैरियल रोबस्टनेस को एक महत्वपूर्ण विचार के रूप में स्थापित किया है। इसके प्राथमिक योगदान हैं:

नया थ्रेट मॉडल: यह एक विशिष्ट थ्रेट मॉडल की पहचान करता है और उसे कैरेक्टराइज़ करता है जहाँ हमलावर केवल इनपुट पिक्सेल के बजाय अर्थपूर्ण मध्यवर्ती (semantic intermediate) रिप्रेजेंटेशन में हेरफेर करते हैं।
व्यवस्थित ढांचा: यह न्यूनतम-नॉर्म कॉन्सेप्ट-स्पेस विक्षेपण उत्पन्न करने के लिए पहला सैद्धांतिक ढांचा और एल्गोरिदम प्रदान करता है।
प्रभावी रक्षा: यह प्रदर्शित करता है कि लक्षित स्टेबिलिटी रेगुलराइजेशन (SPECTRA) एक अत्यधिक संवेदनशील आर्किटेक्चर को प्रदर्शन पर न्यूनतम प्रभाव के साथ एक मजबूत आर्किटेक्चर में बदल सकता है।
व्यावहारिक दिशानिर्देश: यह एक महत्वपूर्ण हाइपरपैरामीटर थ्रेशोल्ड ( $\lambda_s \approx 0.083$ ) की पहचान करता है जो एक "स्वीट स्पॉट" के रूप में कार्य करता है, जो स्वीकार्य सटीकता ट्रेड-ऑफ के साथ पर्याप्त सुरक्षा लाभ प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि CBMs में व्याख्यात्मकता नई कमजोरियां पैदा करती है, इन्हें सिद्धांतों पर आधारित रेगुलराइजेशन के माध्यम से व्यवस्थित रूप से कम किया जा सकता है, जो व्याख्यात्मक मशीन लर्निंग और एडवरसैरियल रोबस्टनेस के संगम पर एक नया अनुसंधान क्षेत्र खोलता है।