Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape

तकनीकी सारांश: क्या वर्गीकरण सुदृढ़ता (Classification Robustness) और स्पष्टीकरण सुदृढ़ता (Explanation Robustness) वास्तव में दृढ़ता से सहसंबंधित हैं?

समस्या विवरण
उच्च-जोखिम वाले क्षेत्रों (जैसे, चिकित्सा निदान, स्वायत्त वाहन) में विश्वसनीय मशीन लर्निंग सिस्टम की तैनाती के लिए, यह महत्वपूर्ण है कि मॉडल सटीक भविष्यवाणियों (वर्गीकरण सुदृढ़ता) और सुसंगत, व्याख्या योग्य तर्कों (स्पष्टीकरण सुदृढ़ता) दोनों को बनाए रखें। एक प्रचलित धारणा जो क्षेत्र में मौजूद है, वह इन दोनों गुणों के बीच एक मजबूत सकारात्मक सहसंबंध का दावा करती है: कि वर्गीकरण सुदृढ़ता में सुधार करने से स्वाभाविक रूप से स्पष्टीकरण सुदृढ़ता में भी सुधार होता है। यह शोध पत्र उस प्रतिमान को चुनौती देता है, यह जांचते हुए कि क्या वर्गीकरण सुदृढ़ता में सुधार करने के लिए इनपुट लॉस लैंडस्केप (loss landscape) को सपाट करने वाले तंत्र, स्पष्टीकरण सुदृढ़ता के लिए भी समान रूप से लागू होते हैं। विशेष रूप से, लेखक इस बात पर सवाल उठाते हैं कि क्या स्पष्टीकरण लॉस के संबंध में एक सपाट इनपुट लॉस लैंडस्केप, सुदृढ़ स्पष्टीकरणों के लिए एक आवश्यक शर्त है, और क्या ये दोनों प्रकार की सुदृढ़ताएँ स्वाभाविक रूप से जुड़ी हुई हैं।

कार्यप्रणाली (Methodology)
लेखक एक व्यवस्थित ढांचे का उपयोग करते हैं जो लॉस लैंडस्केप विश्लेषण, क्लस्टरिंग-आधारित मूल्यांकन और दोनों सुदृढ़ता आयामों को अलग करने के लिए एक नवीन प्रशिक्षण एल्गोरिदम को जोड़ता है।

1. लॉस लैंडस्केप विश्लेषण: अध्ययन स्पष्टीकरण लॉस ($L_e$) के संबंध में इनपुट लॉस लैंडस्केप को विज़ुअलाइज़ करने के लिए पीड़ित छवियों (victim images) में यादृच्छिक शोर (random noise) जोड़ता है और लॉस में परिवर्तन को मापता है। इसकी तुलना वर्गीकरण लॉस ($L_{sc}$) के स्थापित अवलोकन से की जाती है, जहाँ सपाट लैंडस्केप उच्च वर्गीकरण सुदृढ़ता से सहसंबंधित होता है।
2. मूल्यांकन के लिए क्लस्टर-आधारित नमूनाकरण (Cluster-Based Sampling): द्विघातीय नमूना युग्मों (quadratic sample pairings) की गणना संबंधी अव्यवहारिकता के बिना कुशलतापूर्वक स्पष्टीकरण सुदृढ़ता का मूल्यांकन करने के लिए, लेखक एक क्लस्टरिंग-आधारित नमूनाकरण विधि प्रस्तावित करते हैं। छवियों को क्लस्टर किया जाता है (उदाहरण के लिए, ResNet18 फीचर्स पर K-means का उपयोग करके) ताकि अर्थ संबंधी निरंतरता सुनिश्चित की जा सके। पीड़ित छवि से लक्ष्य छवि तक स्पष्टीकरण को हेरफेर करने के लिए आवश्यक "अटैक लॉस" को मापने के लिए इंट्रा-क्लस्टर और इंटर-क्लस्टर युग्मों से मूल्यांकन सेट बनाए जाते हैं।
3. TRADES फ्रेमवर्क: लेखक वर्गीकरण सुदृढ़ता के विभिन्न स्तरों (पैरामीटर $\alpha$ द्वारा नियंत्रित) वाले मॉडल उत्पन्न करने के लिए TRADES फ्रेमवर्क का उपयोग करते हैं, ताकि यह देखा जा सके कि वर्गीकरण सुदृढ़ता में परिवर्तन स्पष्टीकरण सुदृढ़ता और संबंधित लॉस लैंडस्केप को कैसे प्रभावित करता है।
4. SEP (PGD के माध्यम से अलग स्पष्टीकरण सुदृढ़ता): दोनों के संबंध का स्पष्ट परीक्षण करने के लिए, लेखक एक नई प्रशिक्षण विधि, SEP प्रस्तावित करते हैं। यह विधि प्रशिक्षण लॉस में एक रेगुलराइजेशन टर्म ($L_{SEP} = \|I(x + \zeta) - I(x)\|^2$) पेश करती है, जहाँ $\zeta$ यादृच्छिक शोर है और $I$ स्पष्टीकरण विधि है।
   • SEPpos ($\lambda > 0$): स्पष्टीकरण लॉस के संबंध में लॉस लैंडस्केप को सपाट बनाने के लिए निर्देशित करता है।
   • SEPneg ($\lambda < 0$): लॉस लैंडस्केप को अधिक तीक्ष्ण (sharper) बनाने के लिए निर्देशित करता है।
     यह लेखकों को वर्गीकरण सुदृढ़ता के स्वतंत्र रूप से स्पष्टीकरण लॉस लैंडस्केप की सपाटता को नियंत्रित करने की अनुमति देता है।

मुख्य निष्कर्ष और परिणाम
विभिन्न डेटासेट्स (MNIST, FMNIST, CIFAR-10, CIFAR-100, TinyImageNet) और आर्किटेक्चर (ConvNet, ResNet18, Wide ResNet, MobileNetV2) पर किए गए प्रयोग निम्नलिखित परिणाम देते हैं:

• सुदृढ़ता का अलगाव (Decoupling of Robustness): SEPpos और SEPneg के साथ प्रशिक्षित मॉडल समान वर्गीकरण सुदृढ़ता (एडवर्सरियल एक्यूरेसी, $Acc_{adv}$ द्वारा मापा गया) प्रदर्शित करते हैं, लेकिन काफी भिन्न स्पष्टीकरण सुदृढ़ता (अंतिम स्पष्टीकरण हमला लॉस, $L_{end}^e$ द्वारा मापा गया) दिखाते हैं। विशेष रूप से, SEPneg (तीक्ष्ण लैंडस्केप) उच्च स्पष्टीकरण सुदृढ़ता प्राप्त करता है, जबकि SEPpos (सपाट लैंडस्केप) कम स्पष्टीकरण सुदृढ़ता प्राप्त करता है।
• वर्गीकरण सुदृढ़ता के साथ विरोधाभास: वर्गीकरण सुदृढ़ता के व्यवहार के विपरीत, जहाँ एक सपाट लॉस लैंडस्केप बेहतर सुदृढ़ता का संकेत देता है, लेखक पाते हैं कि स्पष्टीकरण लॉस के लिए इनपुट लॉस लैंडस्けप को सपाट करने से वास्तव में स्पष्टीकरण सुदृढ़ता कम हो जाती है।
• स्पष्टीकरण सुदृढ़ता का तंत्र: विश्लेषण से पता चलता है कि स्पष्टीकरण सुदृढ़ता एक सपाट लॉस लैंडस्केप से नहीं, बल्कि हमले की शुरुआत में एक उच्च प्रारंभिक लॉस ($L_{start}^e$) से संचालित होती है। पीड़ित और लक्ष्य स्पष्टीकरणों के बीच उच्च प्रारंभिक दूरी वाले मॉडल पर हमला करना कठिन होता है, चाहे लैंडस्केप कितना भी सपाट क्यों न हो।
• सामान्यीकरण (Generalization): ये निष्कर्ष विभिन्न स्पष्टीकरण विधियों (Gradient, Guided Backpropagation, DeepLift, Integrated Gradients) और विभिन्न एडवर्सरियल ट्रेनिंग प्रोटोकॉल (Madry AT, TRADES) में समान रहते हैं।

मुख्य योगदान

1. कुशल मूल्यांकन: स्पष्टीकरण सुदृढ़ता का कुशलतापूर्वक और व्यापक रूप से मूल्यांकन करने के लिए क्लस्टरिंग-आधारित नमूनाकरण पद्धति का परिचय।
2. अनुभवजन्य विरोधाभास (Empirical Contradiction): यह प्रदर्शन करना कि स्पष्टीकरण सुदृढ़ता को बढ़ाने से स्पष्टीकरण लॉस के संबंध में इनपुट लॉस लैंडस्केप सपाट नहीं होता है, जो वर्गीकरण सुदृढ़ता में देखे गए व्यवहार का खंडन करता है।
3. नवीन प्रशिक्षण विधि (SEP): एक प्रशिक्षण एल्गोरिदम का विकास जो स्पष्ट रूप से स्पष्टीकरण लॉस लैंडस्केप की सपाटता को नियंत्रित करता है, जिससे यह सिद्ध होता है कि स्पष्टीकरण सुदृढ़ता को वर्गीकरण सुदृढ़ता से स्वतंत्र रूप से मैनिपुलेट किया जा सकता है।
4. सैद्धांतिक अंतर्दृष्टि: प्रमाण कि वर्गीकरण और स्पष्टीकरण सुदृढ़ता को नियंत्रित करने वाले तंत्र मौलिक रूप से भिन्न हैं, जो उनके अंतर्निहित सहसंबंध की धारणा को चुनौती देते हैं।

महत्व
शोध पत्र निष्कर्ष निकालता है कि वर्गीकरण सुदृढ़ता और स्पष्टीकरण सुदृढ़ता के बीच मजबूत सहसंबंध नहीं है। यह निष्कर्ष सुरक्षा और एआई सिस्टम की विश्वसनीयता के लिए महत्वपूर्ण निहितार्थ रखता है। यह सुझाव देता है कि विश्वसनीय स्पष्टीकरण सुनिश्चित करने के लिए वर्गीकरण सुदृढ़ता तकनीकों (जैसे एडवर्सरियल ट्रेनिंग) पर भरोसा करना अपर्याप्त है। इसके बजाय, लेखक तर्क देते हैं कि स्पष्टीकरण सुदृढ़ता के लिए अलग से विचार करने और अनुकूलन करने की आवश्यकता है, विशेष रूप से उन महत्वपूर्ण अनुप्रयोगों में जहाँ प्रतिकूल परिस्थितियों में भी भविष्य कहनेवाला सटीकता और व्याख्यात्मकता दोनों की आवश्यकता होती है। यह कार्य वर्गीकरण और स्पष्टीकरण लॉस के बीच के संबंध को समझने के लिए नए मार्ग खोलता है, जो एक एकल सुदृढ़ता मीट्रिक या प्रशिक्षण रणनीति से दोनों को गारंटी देने की धारणा से आगे बढ़ता है।