💻 computer science

When Can We Trust Deep Neural Networks? Towards Reliable Industrial Deployment with an Interpretability Guide

यह शोध पत्र एक नवीन पोस्ट-हॉक स्पष्टीकरण-आधारित पद्धति प्रस्तावित करता है जो औद्योगिक दोष पहचान नेटवर्क में फॉल्स नेगेटिव (false negatives) का सक्रिय रूप से पता लगाने के लिए क्लास-विशिष्ट और क्लास-अग्नोस्टिक डिस्क्रिमिनेटिव हीटमैप्स के बीच के अंतर का लाभ उठाती है, जिसे एडवरसेरियल तकनीकों द्वारा उन्नत किया गया है, जिससे सुरक्षा-महत्वपूर्ण एआई अनुप्रयोगों के लिए एक अधिक विश्वसनीय "डेटा-मॉडल-स्पष्टीकरण-आउटपुट" परिनियोजन प्रतिमान स्थापित होता है।

मूल लेखक: Hang-Cheng Dong, Yuhao Jiang, Yibo Jiao, Lu Zou, Kai Zheng, Bingguo Liu, Dong Ye, Guodong Liu

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hang-Cheng Dong, Yuhao Jiang, Yibo Jiao, Lu Zou, Kai Zheng, Bingguo Liu, Dong Ye, Guodong Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने कार के पुर्जों के निरीक्षण के लिए एक बेहद बुद्धिमान लेकिन थोड़े अति-आत्मविश्वासी रोबोट को काम पर रखा है। यह रोबोट अविश्वसनीय रूप से तेज़ है और आमतौर पर 99% बार सही होता है। हालाँकि, सुरक्षा-महत्वपूर्ण कार्यों की दुनिया में (जैसे चिकित्सा निदान या सेल्फ-ड्राइविंग कारें), इसकी 1% त्रुटि दर खतरनाक है। यदि रोबोट ब्रेक लाइन में एक सूक्ष्म दरार को अनदेखा कर देता है और पूरे आत्मविश्वास के साथ कहता है, "सब ठीक है!", तो एक आपदा आ सकती है।

समस्या यह है कि डीप लर्निंग रोबोट "ब्लैक बॉक्स" होते हैं। वे आपको एक उत्तर देते हैं, लेकिन वे यह नहीं बताते कि क्यों या वे कितने आश्वस्त हैं। यहाँ तक कि यदि वे गलत भी होते हैं, तो भी वे अक्सर ऐसे व्यवहार करते हैं जैसे कि वे सही हों।

यह शोध पत्र इन "आत्मविश्वास से भरी गलतियों" (confidently wrong) को पकड़ने का एक चतुर नया तरीका प्रस्तावित करता है। उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है:

1. रोबोट की दो "आंखें"

शोधकर्ताओं ने महसूस किया कि यह जाँचने के लिए कि क्या रोबोट झूठ बोल रहा है, आपको उसके सोचने की प्रक्रिया को दो अलग-अलग कोणों से देखने की आवश्यकता है। उन्होंने दो मौजूदा उपकरणों (जिन्हें "एक्सप्लेनेशन मेथड्स" कहा जाता है) का उपयोग किया जो हीटमैप की तरह काम करते हैं, जिससे पता चलता है कि रोबोट कहाँ देख रहा है:

"स्पेशलिस्ट" (विशेषज्ञ) आँख (Grad-CAM): यह आँख केवल उसी चीज़ को देखती है जिसे खोजने की कोशिश रोबोट कर रहा है (जैसे कि एक खरोंच)। यह बहुत केंद्रित है। यदि इसे खरोंच दिखती है, तो यह चमक उठती है। यदि नहीं दिखती, तो यह अंधेरी रहती है।
"जनरलिस्ट" (सामान्य) आँख (FullGrad): यह आँख बैकग्राउंड को छोड़कर छवि में मौजूद हर चीज़ को देखती है। यह एक सामान्य पर्यवेक्षक की तरह है जो कहता है, "हे, यहाँ कुछ दिलचस्प है, चाहे वह कुछ भी हो।"

2. "मिसमैच" (विसंगति) डिटेक्टर

मुख्य विचार यह है कि इन दोनों आँखों द्वारा देखी जा रही चीज़ों की तुलना करना। शोधकर्ता इसे $\Delta$ -IoU कहते हैं। इसे इस तरह समझें जैसे दो गवाहों के बीच कहानी की सहमति की जाँच करना।

परिदृश्य A: एक अच्छा पुर्जा (True Negative)।
- स्पेशलिस्ट आँख कहती है: "मुझे कुछ भी गलत नहीं दिख रहा।" (डार्क हीटमैप)।
- जनरलिस्ट आँख कहती है: "मैं कुछ बनावट (texture) देख रहा हूँ, लेकिन कोई स्पष्ट दोष नहीं है।" (थोड़ा सक्रिय हीटमैप)।
- परिणाम: वे पूरी तरह से मेल नहीं खाते, लेकिन अंतर सामान्य है। रोबोट संभवतः सच बोल रहा है।
परिदृश्य B: एक छिपा हुआ दोष (False Negative)।
- रोबोट को लगता है कि यह एक अच्छा पुर्जा है, इसलिए स्पेशलिस्ट आँख कहती है: "यहाँ कुछ नहीं है!" (डार्क)।
- लेकिन, जनरलिस्ट आँख वास्तव में छिपी हुई दरार की अजीब बनावट को देखती है और चमक उठती है!
- परिणाम: दोनों आँखों के बीच एक बड़ा मिसमैच (विसंगति) है। स्पेशलिस्ट उस चीज़ को अनदेखा कर रहा है जिसे जनरलिस्ट देख रहा है। यह मिसमैच एक बड़ा रेड फ्लैग (चेतावनी) है जो कहता है, "रुको! यहाँ कुछ गलत है!"

3. "प्रोडिंग" (उकसाने वाला) तरीका (Adversarial Enhancement)

कभी-कभी, छिपा हुआ दोष इतना सूक्ष्म होता है कि जनरलिस्ट आँख भी उसे नहीं देख पाती। रोबोट बहुत अधिक आत्मविश्वासी है कि वह उसे नोटिस न कर सके।

इसे ठीक करने के लिए, शोधकर्ताओं ने एक "नज" (धक्का) या "प्रोडिंग" चरण जोड़ा। उन्होंने छवि में थोड़ा बदलाव किया (जैसे कि एक विशिष्ट रोशनी डालना या वस्तु को हिलाना) ताकि छिपा हुआ दोष अधिक स्पष्ट हो सके। इसे एडवर्सरियल एन्हांसमेंट (Adversarial Enhancement) कहा जाता है।

यदि रोबोट केवल एक छोटी सी दरार के प्रति अंधा था, तो यह 'नज' उस दरार को अधिक दृश्यमान बनाने के लिए मजबूर करता है।
अब, जनरलिस्ट आँख इसे स्पष्ट रूप से देखती है, जबकि स्पेशलिस्ट आँख इसे अनदेखा करती रहती है (क्योंकि इसे अनदेखा करने के लिए प्रशिक्षित किया गया है), और मिसमैच बहुत बड़ा हो जाता है। अलार्म बज जाता है!

4. नया नियम: "डेटा-मॉडल-एक्सप्लेनेशन-आउटपुट"

पारंपरिक रूप से, AI एक फैक्ट्री लाइन की तरह काम करता है: डेटा $\rightarrow$ मॉडल $\rightarrow$ आउटपुट। आप इसे एक तस्वीर देते हैं, और यह "पास/फेल" का उत्तर देता है। आपको बस इस पर भरोसा करना होता है।

यह शोध पत्र तर्क देता है कि हमें बीच में एक मध्यस्थ डालना चाहिए: डेटा $\rightarrow$ मॉडल $\rightarrow$ एक्सप्लेनेशन $\rightarrow$ आउटपुट। इससे पहले कि रोबोट अंतिम उत्तर दे, हम उससे अपने तर्क की व्याख्या करने के लिए कहते हैं। यदि व्याख्या संदिग्ध लगती है (यदि "आंखें" आपस में सहमत नहीं हैं), तो हम उस आइटम को मानव जाँच के लिए चिह्नित करते हैं, भले ही रोबोट कह रहा हो कि "यह ठीक है।"

परिणाम

नए तरीके के बिना: रोबोट ने 19 छिपे हुए दोषों को मिस कर दिया।
नए तरीके के साथ (केवल मिसमैच चेक): इसने उनमें से 10 को पकड़ा।
नए तरीके के साथ (मिसमैच + "नज"): इसने 100% छिपे हुए दोषों को पकड़ा।

समझौता (Trade-off): हर एक छिपे हुए दोष को पकड़ने के लिए, सिस्टम कभी-कभी थोड़ा अत्यधिक सतर्क (paranoid) हो जाता है। यह सुरक्षा के लिए एक पूरी तरह से अच्छे पुर्जे को भी "संदिग्ध" के रूप में चिह्नित कर सकता है। लेकिन चिकित्सा या विमानन जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में, वास्तविक आपदा को चूक जाने की तुलना में कुछ गलत अलार्म (false alarms) आना कहीं बेहतर है।

संक्षेप में

यह शोध पत्र हमें सिखाता है कि हमें केवल रोबोट के अंतिम उत्तर पर भरोसा नहीं करना चाहिए। इसके बजाय, हमें उसकी "आंखों" (उसके आंतरिक तर्क) पर नज़र रखनी चाहिए। यदि उसकी आंखें एक-दूसरे से सहमत नहीं हैं, या यदि एक छोटा सा "नज" उसका मन बदल देता है, तो हमें पता चल जाता है कि रुकने और दोबारा जाँच करने की आवश्यकता है। यह AI को एक अंधे भविष्यवक्ता से एक पारदर्शी साथी में बदल देता है जिस पर हम वास्तव में भरोसा कर सकते हैं।

यहाँ शोध पत्र "When Can We Trust Deep Neural Networks? Towards Reliable Industrial Deployment with an Interpretability Guide" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप लर्निंग मॉडल, विशेष रूप से सुरक्षा-महत्वपूर्ण औद्योगिक डोमेन (जैसे, दोष निरीक्षण, स्वायत्त ड्राइविंग, चिकित्सा निदान) में, विश्वसनीयता की कमी से जूझते हैं। उच्च सटीकता प्राप्त करने के बावजूद, ये मॉडल बिना किसी आंतरिक तंत्र के "ब्लैक बॉक्स" के रूप में कार्य करते हैं जो अविश्वसनीय भविष्यवाणियों को चिह्नित कर सकें।

मुख्य भेद्यता (The Core Vulnerability): मौजूदा विधियाँ जैसे अनिश्चितता अनुमान (uncertainty estimation) या कॉन्फिडेंस थ्रेशोल्ड, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डेटा का पता लगाने में प्रभावी हैं, लेकिन "इन-डिस्ट्रीब्यूशन फिर भी आत्मविश्वास के साथ गलत" (in-distribution yet confidently wrong) भविष्यवाणियों के विरुद्ध विफल रहती हैं।
जोखिम: एक अन détected फॉल्स नेगेटिव (FN) (जैसे, एक महत्वपूर्ण दोष को अनदेखा करना) विनाशकारी परिणामों की ओर ले जा सकता है। वर्तमान प्रतिमान (paradigms) एक रैखिक Data → Model → Output पाइपलाइन पर निर्भर करते हैं, जिससे उपयोगकर्ताओं के पास यह सत्यापित करने का कोई तरीका नहीं बचता कि क्या मॉडल का तर्क (reasoning) उसके आउटपुट के अनुरूप है।

2. कार्यप्रणाली (Methodology)

लेखक एक पोस्ट-हॉक स्पष्टीकरण-आधारित ढांचे (post-hoc explanation-based framework) का प्रस्ताव करते हैं ताकि मॉडल को पुन: प्रशिक्षित (retraining) किए बिना या उसके आर्किटेक्चर को बदले बिना संदिग्ध नमूनों (संभावित त्रुटियों) का पता लगाया जा सके। मुख्य परिकल्पना यह है कि भविष्यवाणी की विश्वसनीयता का निर्णय विभिन्न प्रकार के आंतरिक दृश्य स्पष्टीकरणों (visual explanations) की तुलना करके किया जा सकता है।

A. सैद्धांतिक आधार: विभेदक बनाम वर्ग-अज्ञेयवादी स्पष्टीकरण (Discriminative vs. Class-Agnostic Explanations)

यह विधि एक ही इनपुट के लिए उत्पन्न दो प्रकार के हीटमैप्स के बीच विसंगति का लाभ उठाती है:

विभेदक स्पष्टीकरण (Discriminative Explanation - Class-Specific): यह Grad-CAM का उपयोग करता है। यह उन विशेषताओं को उजागर करता है जो विशिष्ट वर्ग (class) के लिए विशिष्ट हैं।
वर्ग-अज्ञेयवादी स्पष्टीकरण (Class-Agnostic Explanation - Non-Discriminative): यह FullGrad का उपयोग करता है। यह सभी परतों (बायस सहित) से ग्रेडिएंट जानकारी को एकत्रित करता है ताकि किसी भी विशिष्ट वर्ग के बिना सभी गैर-पृष्ठभूमि (non-background) विशेषताओं को हाइलाइट किया जा सके।

मुख्य अवलोकन:

ट्रू नेगेटिव्स (TN): दोष-मुक्त छवियों में, Grad-CAM (जो "दोष" वर्ग पर केंद्रित है) और Full-Grad (जो "किसी भी विशेषता" पर केंद्रित है) काफी भिन्न हीटमैप्स उत्पन्न करते हैं क्योंकि वहां हाइलाइट करने के लिए कोई दोष विशेषता मौजूद नहीं होती है।
फॉल्स नेगेटिव्स (FN): अनदेखे दोषों वाली छवियों में, दोनों विधियाँ एक ही दोष क्षेत्र को हाइलाइट करने की प्रवृत्ति रखती हैं (क्योंकि मॉडल उन्हें वर्गीकृत करने में विफल रहता है, लेकिन विशेषताएं मौजूद होती हैं), जिसके परिणामस्वरूप हीटमैप्स के बीच उच्च समानता होती है।

B. $\Delta$ -IoU संकेतक ( $\Delta$ -IoU Indicator)

इस विसंगति को मापने के लिए, लेखक $\Delta$ -IoU नामक एक मीट्रिक को परिभाषित करते हैं:

पॉजिटिव क्लास ( $E_{d}^{c1}$ ), नेगेटिव क्लास ( $E_{d}^{c0}$ ), और क्लास-अज्ञेयवादी दृश्य ( $E_{n}$ ) के लिए हीटमैप्स उत्पन्न करें।
हीटमैप्स को बाइनराइज़ करें (Otsu थ्रेशोल्डिंग का उपयोग करके)।
इंटरसेक्शन ओवर यूनियन (IoU) अंतर की गणना करें:
$\Delta IoU = IoU(E_{d}^{c1}, E_{n}) - IoU(E_{d}^{c0}, E_{n})$
तर्क: कम $\Delta$ -IoU यह दर्शाता है कि क्लास-विशिष्ट स्पष्टीकरण, क्लास-अज्ञेयवादी वाले के साथ निकटता से संरेखित है, जो यह सुझाव देता है कि मॉडल "भ्रमित" है या किसी ऐसी विशेषता को मिस कर रहा है जिसे उसे पहचानना चाहिए था। असामान्य $\Delta$ -IoU वाले नमूनों को संदिग्ध नमूने (Suspicious Samples) के रूप में चिह्नित किया जाता है।

C. एडवरसैरियल एन्हांसमेंट (Adversarial Enhancement)

100% रिकॉल (सभी फॉल्स नेगेटिव का पता लगाना) सुनिश्चित करने के लिए, लेखक एक एडवरसैरियल एन्हांसमेंट चरण पेश करते हैं:

$\Delta$ -IoU की गणना करने से पहले, इनपुट इमेज को फीचर्स को पॉजिटिव (दोष) क्लास की ओर स्थानांतरित करने के लिए पुनरावृत्ति (iteratively) के माध्यम से विचलित (perturb) किया जाता है।
फॉर्मूला: $x_t = x_{t-1} + \alpha \frac{\partial y_{c1}}{\partial x_{t-1}}$
यह सूक्ष्म दोष विशेषताओं को बढ़ाता है जिन्हें मूल मॉडल अनदेखा कर सकता था, जिससे Grad-CAM और FullGrad के बीच का अंतर अधिक स्पष्ट हो जाता है।

3. प्रमुख योगदान (Key Contributions)

प्रथम सक्रिय त्रुटि पहचान (First Proactive Error Detection): आउटपुट कॉन्फिडेंस के बजाय आंतरिक तर्क विसंगतियों के आधार पर संभावित त्रुटिपूर्ण नेटवर्क आउटपुट की सक्रिय रूप से पहचान करने के लिए पहला मानदंड प्रस्तावित करता है।
ट्रेनिंग-फ्री दृष्टिकोण (Training-Free Approach): इस पद्धति के लिए किसी आर्किटेक्चरल परिवर्तन या पुन: प्रशिक्षण की आवश्यकता नहीं है; यह एक पोस्ट-हॉक विश्लेषण उपकरण है।
नया प्रतिमान (New Paradigm): मानक AI पाइपलाइन को Data-Model-Output से बदलकर Data-Model-Interpretation-Output बनाने की वकालत करता है, जो व्याख्यात्मकता (interpretability) को सीधे निर्णय लेने के लूप में एकीकृत करता है।
एडवरसैरियल एन्हांसमेंट: सूक्ष्म दोषों का पता लगाने के लिए एक तकनीक पेश करता है, जो सुरक्षा-महत्वपूर्ण कार्यों में लगभग पूर्ण रिकॉल प्राप्त करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन दो औद्योगिक दोष पहचान बेंचमार्क: Kolektor SDD और Kolektor SDD2 पर किया गया।

बेसलाइन प्रदर्शन: मानक कॉन्फिडेंस-आधारित थ्रेशोल्ड अधिकांश फॉल्स नेगेटिव का पता लगाने में विफल रहे (उदाहरण के लिए, SDD2 में केवल 2/19 जोखिमों की पहचान की गई)।
$\Delta$ -IoU प्रदर्शन:
- Kolektor SDD पर, पद्धति ने 100% सटीकता के साथ 100% रिकॉल (0 FN) प्राप्त किया, हालांकि इसने कुछ ट्रू नेगेटिव्स को संदिग्ध के रूप में चिह्नित किया (रूढ़िवादी दृष्टिकोण)।
- Kolelector SDD2 पर, इसने रिकॉल को 82.7% (Origin) से बढ़ाकर 91.0% और सटीकता को 98.3% कर दिया।
एडवरसैरियल एन्हांसमेंट के साथ ( $\Delta$ -IoU $_{adv}$ ):
- CBAM-एन्हांस्ड VGG16 मॉडल पर, पद्धति ने 100% रिकॉल (0 FN शेष) प्राप्त किया।
- ट्रेड-ऑफ़ (Trade-off): 100% रिकॉल प्राप्त करने के लिए कई ट्रू नेगेटिव्स को संदिग्ध के रूप में चिह्नित करना आवश्यक था (पहचान कार्य में फॉल्स पॉजिटिव), जिससे 250 TNs तक गिर गया। यह सुरक्षा-महत्वपूर्ण संदर्भों में स्वीकार्य है जहाँ दोष को मिस करना एक गलत अलार्म से अधिक बुरा होता है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व: यह शोध पत्र व्याख्यात्मकता पर आधारित एक "सुरक्षा परत" जोड़कर सुरक्षा-महत्वपूर्ण उद्योगों में AI को तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है। यह सिद्ध करता है कि आंतरिक फीचर विसंगतियां मॉडल की विफलता के विश्वसनीय प्रॉक्सी के रूप में कार्य कर सकती हैं।
सीमाएं:
- फॉल्स पॉजिटिव: वर्तमान पद्धति कई ट्रू नेगेटिव्स को संदिग्ध के रूप में चिह्नित करती है (पहचान कार्य में उच्च फॉल्स पॉजिटिव दर), जो उच्च-गति वाली औद्योगिक लाइनों में थ्रूपुट को कम कर सकता है।
- फीचर ओरिजिन्स: विभेदक विशेषताओं (उथली बनाम गहरी परतों) के सटीक उद्गम की आगे जांच की आवश्यकता है।
- डोमेन ज्ञान: वर्तमान दृष्टिकोण में विशिष्ट डोमेन ज्ञान का अभाव है, जो दृश्य रूप से अस्पष्ट नमूनों के गलत वर्गीकरण में योगदान देता है।

निष्कर्ष: लेखक सफलतापूर्वक प्रदर्शित करते हैं कि विश्वसनीयता के लिए डिप्लॉयमेंट पाइपलाइन में व्याख्यात्मकता को एकीकृत करना आवश्यक है। पारंपरिक मेट्रिक्स द्वारा छोड़े गए "कॉन्फिडेंटली रोंग" (confidently wrong) विफलताओं का पता लगाकर, उनकी पद्धति मिशन-क्रिटिकल अनुप्रयोगों के लिए भरोसेमंद AI की नींव रखती है।