📊 statistics

CB-SLICE: Concept-Based Interpretable Error Slice Discovery

यह शोधपत्र CB-SLICE को पेश करता है, जो एक अवधारणा-आधारित (concept-based) त्रुटि स्लाइस खोज विधि है जो साझा अवधारणा-गलत-अनुमानों (shared concept mispredictions) वाले नमूनों को समूहित करके व्यवस्थित मॉडल विफलताओं की पहचान करने के लिए कॉन्सेप्ट बॉटलनेक मॉडल्स का लाभ उठाती है, जिससे मौजूदा दृष्टिकोणों की तुलना में अधिक निष्ठावान और व्याख्या योग्य स्पष्टीकरण प्राप्त होते हैं।

मूल लेखक: Yael Konforti, Mateo Espinosa Zarlenga, Elaf Almahmoud, Mateja Jamnik

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yael Konforti, Mateo Espinosa Zarlenga, Elaf Almahmoud, Mateja Jamnik

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक है जो अधिकांश कामों में माहिर है, लेकिन कभी-कभी यह अजीब और विशिष्ट गलतियाँ करता है। शायद वह झील पर एक पक्षी की तस्वीर को जलचर पक्षी समझ लेता है, भले ही वह जमीन पर रहने वाला पक्षी हो, या वह एक विशेष प्रकार के कुत्ते को बिल्ली समझ लेता है।

आमतौर पर, जब ये रोबोट विफल होते हैं, तो हम केवल इतना कह पाते हैं, "इससे गलती हुई।" हमें यह नहीं पता होता कि क्यों हुई। क्या इसने बैकग्राउंड (पृष्ठभूमि) को देखा? क्या इसने किसी विशिष्ट विशेषता को मिस कर दिया? इन गलतियों को खोजने के पारंपरिक तरीके एक ऐसे जासूस को काम पर रखने जैसा है जो रोबोट के आउटपुट को देखता है और सामान्य ज्ञान के आधार पर अनुमान लगाता है कि क्या गलत हुआ। यह जासूस सही हो सकता है, लेकिन वे अक्सर केवल अनुमान लगाते हैं और वास्तविक कारण को मिस कर सकते हैं।

CB-SLICE से मिलिए: "आंतरिक तर्क" वाला जासूस

यह पेपर एक नए टूल का परिचय देता है जिसे CB-SLICE कहा जाता है। इसे एक ऐसे जासूस के रूप में सोचें जो न केवल रोबोट के अंतिम उत्तर को देखता है, बल्कि वास्तव में रोबोट की मूल भाषा भी बोलता है।

यह कैसे काम करता है, इसे तीन सरल चरणों में नीचे समझाया गया है:

1. रोबोट की "विचार प्रक्रिया" (कॉन्सेप्ट बोटलनैक मॉडल्स - Concept Bottleneck Models)

CB-SLICE का उपयोग करने के लिए, रोबोट को एक विशेष तरीके से बनाया जाना चाहिए जिसे कॉन्सेप्ट बोटलनैक मॉडल (CBM) कहा जाता है।

सामान्य रोबोट: एक तस्वीर देखता है और तुरंत "कुत्ता" या "बिल्ली" का अनुमान लगा लेता है। यह एक 'ब्लैक बॉक्स' है; हमें इसके चरणों का पता नहीं होता।
CBM रोबोट: एक तस्वीर देखता है और पहले अपने "विचारों" या कॉन्सेप्ट्स (अवधारणाओं) को जोर से बोलकर बताता है। उदाहरण के लिए: "मुझे फर दिख रहा है," "मुझे नुकीले कान दिख रहे हैं," "मुझे एक पूंछ दिख रही है।" फिर, वह उन विचारों का उपयोग करके "कुत्ता" होने का अनुमान लगाता है।

क्योंकि रोबोट को पहले अपने विचार बताने होते हैं, इसलिए हम उन्हें सुन सकते हैं। CB-SLICE इस विशेषता का लाभ उठाता है।

2. "बुरे विचारों" को खोजना (त्रुटि-प्रवण कॉन्सेप्ट्स - Error-Prone Concepts)

जब CBM रोबोट गलती करता है, तो CB-SLICE पूछता है: "आपके किन विचारों ने आपको गलत रास्ते पर ले गया?"

यह गलत तस्वीरों के लिए रोबोट के "विचारों" (कॉन्सेप्ट्स) को देखता है।
यह एक विशेष परीक्षण का उपयोग करता है यह देखने के लिए कि कौन से विचार बदलने से गलती सुधर जाएगी।
यह "अच्छे विचारों" को फ़िल्टर करता है और केवल "त्रुटि-प्रवण कॉन्सेप्ट्स" (error-prone concepts) पर ध्यान केंद्रित करता है—वे विशिष्ट विचार (जैसे "मध्यम आकार" या "लाल रंग") जो रोबोट को लगातार भ्रमित कर रहे हैं।

3. गलतियों को समूहबद्ध करना (स्लाइसिंग - Slicing)

अब जब हम जानते हैं कि किन विचारों के कारण समस्या हो रही है, तो CB-SLICE उन गलतियों को एक साथ समूहबद्ध करता है।

कल्पना करें कि आपके पास गलत उत्तरों का एक ढेर है। CB-SLICE उन्हें इस आधार पर बकेट (बाल्टी) में वर्गीकृत करता है कि वे क्यों गलत थे।
बकेट A: वे सभी गलतियाँ जहाँ रोबोट ने सोचा कि पक्षी "मध्यम आकार" का था लेकिन वह वास्तव में छोटा था।
बकेट B: वे सभी गलतियाँ जहाँ रोबोट ने सोचा कि बैकग्राउंड "समुद्र" था लेकिन वह वास्तव में एक "झील" थी।

इन बकेट्स को एरर स्लाइस (Error Slices) कहा जाता है। गलतियों के एक बिखरे हुए ढेर के बजाय, अब आपके पास विशिष्ट विफलता प्रकारों के व्यवस्थित समूह हैं।

4. "क्यों" का स्पष्टीकरण (कीवर्ड डिस्कवरी - Keyword Discovery)

प्रत्येक बकेट के लिए, CB-SLICE कीवर्ड्स का उपयोग करके एक सरल स्पष्टीकरण तैयार करता है।

यह कहने के बजाय कि "मॉडल 500 छवियों पर विफल रहा," यह कहता है: "मॉडल तब विफल होता है जब वह झील (Lake) के बैकग्राउंड पर एक जमीन पर रहने वाले पक्षी (Landbird) को देखता है क्योंकि वह गलत तरीके से उसे मध्यम आकार (Medium Size) का समझ लेता है।"
यह शक्तिशाली है क्योंकि यह आपको सटीक रूप से बताता है कि रोबोट क्या गलत समझ रहा है। यह ऐसा है जैसे रोबोट स्वीकार कर रहा हो, "मैं भ्रमित हो गया क्योंकि मुझे लगा कि वह छोटा पक्षी वास्तव में मध्यम आकार का था।"

यह पुराने तरीके से बेहतर क्यों है?

पुराना तरीका (बाहरी जासूस): एक अलग AI का उपयोग करता है जो अनुमान लगाता है कि रोबोट क्यों विफल हुआ। वह कह सकता है, "ओह, रोबोट डार्क स्किन टोन पर विफल हुआ क्योंकि यह रात जैसा दिखता है।" लेकिन यह दूसरे AI का केवल एक अनुमान है। वह गलत हो सकता है या वास्तविक कारण को मिस कर सकता है।
CB-SLICE (आंतरिक जासूस): सीधे रोबोट के अपने "विचारों" को देखता है। यदि रोबोट ने "डार्क स्किन" को "रात" समझा, तो CB-SLICE उस विशिष्ट विचार को देखता है और उसकी रिपोर्ट करता है। यह रोबोट के वास्तविक तर्क के प्रति वफादार (faithful) है।

पेपर से वास्तविक दुनिया के उदाहरण

शोधकर्ताओं ने कई डेटासेट्स पर इसका परीक्षण किया:

पक्षी (Birds): उन्होंने पाया कि रोबोट अक्सर झील के बैकग्राउंड पर जमीन पर रहने वाले पक्षियों को जलचर पक्षियों के साथ भ्रमित करता है। CB-SLICE ने समझाया कि रोब de "झील" के बैकग्राउंड के साथ "मध्यम आकार" के कॉन्सेप्ट के कारण भ्रमित हो रहा था।
चेहरे (Faces): इसने पाया कि रोबोट को उन पुरुषों के साथ संघर्ष करना पड़ा जिनके "सुनहरे बाल" थे और "बड़ी नाक नहीं" थी, जो एक ऐसा विशिष्ट संयोजन था जिसे रोबोट ने अपने ट्रेनिंग के दौरान पर्याप्त रूप से नहीं देखा था।
अंक (Digits): इसने खोजा कि रोबोट व्यवस्थित रूप से कुछ स्थितियों में संख्या "3" को "2" के साथ भ्रमित कर रहा था, जिससे गलत योग (sums) निकल रहे थे।

मुख्य निष्कर्ष

CB-SLICE डेवलपर्स को उनके AI मॉडल्स को डीबग करने में मदद करने के लिए एक टूल है, जो गलतियों को उन विशिष्ट "विचारों" (कॉन्सेप्ट्स) के आधार पर समूहबद्ध करता है जिन्हें मॉडल ने गलत समझा। यह गलतियों के एक भ्रमित करने वाले ढेर को स्पष्ट, व्यवस्थित सूचियों में बदल देता है जिनमें सरल स्पष्टीकरण होते हैं, जिससे इंसानों को रोबोट के दिमाग को ठीक वहीं सुधारने में मदद मिलती है जहाँ उसे मदद की जरूरत है।

महत्वपूर्ण नोट: पेपर इस बात पर जोर देता है कि यह टूल तब सबसे अच्छा काम करता है जब रोबोट पहले से ही कॉन्सेप्ट्स में "सोचने" के लिए बनाया गया हो (एक CBM)। यदि रोबोट एक मानक "ब्लैक बॉक्स" है जो अपने विचार नहीं बताता, तो इस विशिष्ट टूल का सीधे उपयोग नहीं किया जा सकता है।

तकनीकी सारांश: CB-SLICE: अवधारणा-आधारित व्याख्यात्मक त्रुटि स्लाइस डिस्कवरी (Concept-Based Interpretable Error Slice Discovery)

समस्या विवरण (Problem Statement)

डीप लर्निंग मॉडल अक्सर औसत प्रदर्शन में मजबूत होते हैं, लेकिन वे विशिष्ट जनसंख्या समूहों पर व्यवस्थित त्रुटियाँ प्रदर्शित करते हैं, जिन्हें त्रुटि स्लाइस (error slices) के रूप में जाना जाता है। इन समूहों और उनके मूल कारणों की पहचान करना डिबगिंग और पूर्वाग्रह न्यूनीकरण (bias mitigation) के लिए महत्वपूर्ण है। हालाँकि, मौजूदा त्रुटि स्लाइस डिस्कवरी विधियाँ (SDMs) एक मौलिक सीमा का सामना करती हैं: वे व्याख्याएँ उत्पन्न करने के लिए आमतौर पर सहायक भाषा-आधारित मॉडलों (जैसे, CLIP) पर निर्भर करती हैं। फलस्वरूप, ये व्याख्याएँ मॉडल की आंतरिक अनुमान प्रक्रिया (internal inference process) से विच्छेदित होती हैं, जो वास्तविक त्रुटि स्रोत को प्रकट करने के बजाय केवल उसका अनुमान लगाती हैं। यह विच्छेद ऐसी व्याख्याओं की ओर ले जाता है जो गलत, भ्रामक या स्वयं सहायक मॉडल द्वारा पक्षपाती हो सकती हैं। इसके अलावा, मौजूदा विधियाँ अक्सर यह समझाने में विफल रहती हैं कि विशिष्ट अवधारणाओं (concepts) के संदर्भ में विफलता क्यों होती है जिन पर मॉडल निर्भर करता है।

कार्यप्रणाली: CB-SLICE

लेखक CB-SLICE प्रस्तावित करते हैं, जो एक अवधारणा-आधारित SDM है। यह त्रुटि स्लाइस डिस्कवरी और पूर्वाग्रह स्पष्टीकरण को एक एकल, मॉडल-जागरूक प्रक्रिया में एकीकृत करने के लिए कॉन्सेप्ट बॉटलनेक मॉडल्स (CBMs) का लाभ उठाता है। CBMs व्याख्यात्मक आर्किटेक्चर हैं जो पहले मानव-समझने योग्य अर्थपूर्ण अवधारणाओं (जैसे, "डार्क स्किन," "असममिति") की भविष्यवाणी करते हैं और फिर इन अवधारणाओं के आधार पर अंतिम कार्य लेबल की भविष्यवाणी करते हैं। CB-SLICE तीन अलग-अलग चरणों में कार्य करता है:

1. त्रुटि-प्रवण अवधारणा फ़िल्टरिंग (Error-Prone Concept Filtering)

यह विधि उन अवधारणाओं के उपसमुच्चय की पहचान करती है जो डाउनस्ट्रीम गलत वर्गीकरणों के लिए सबसे अधिक जिम्मेदार होने की संभावना रखती है।

तंत्र: यह एक्स्पेक्टेड चेंज इन टारगेट प्रेडिक्शन (ECTP) स्कोर का उपयोग करता है। प्रत्येक अवधारणा $i$ के लिए, ECTP स्कोर उस अवधारणा पर हस्तक्षेप (intervening) करने (मान को 0 या 1 पर सेट करने) पर डाउनस्ट्रीम कार्य वितरण में अपेक्षित परिवर्तन को मापता है।
प्रक्रिया: असंतुलन को कम करने के लिए ECTP स्कोर को क्लास-वार कंप्यूट किया जाता है। प्रत्येक क्लास के लिए उच्चतम स्कोर वाली शीर्ष- $t_e$ अवधारणाओं को त्रुटि-प्रवण अवधारणा सेट ( $C_{err}$ ) बनाने के लिए चुना जाता है। यह सुनिश्चित करता है कि बाद के स्लाइस निर्माण का ध्यान केवल उन अवधारणाओं पर केंद्रित हो जो त्रुटियों को संचालित करती हैं।

2. त्रुटि स्लाइस गठन (Error Slice Formation)

एक बार त्रुटि-प्रवण अवधारणाओं की पहचान हो जाने के बाद, विधि सुसंगत त्रुटि स्लाइस बनाने के लिए त्रुटिपूर्ण सत्यापन नमूनों को क्लस्टर करती है।

प्रतिनिधित्व: संभाव्यता स्पेस (probability spaces) के बजाय, CB-SLICE त्रुटि-प्रवण सेट $C_{err}$ तक सीमित कॉन्सेप्ट लॉजिट्स ( $H$ ) का उपयोग करता है। ये लॉजिट्स मॉडल के आत्मविश्वास को एनकोड करते हैं और गॉसियन वितरणों द्वारा अच्छी तरह से अनुमानित होते हैं।
क्लस्टरिंग: इन लॉजिट्स को क्लस्टर करने के लिए एक गॉसियन मिक्सचर मॉडल (GMM) को प्रशिक्षित किया जाता है। इसका ऑब्जेक्टिव फंक्शन निम्नलिखित को जोड़ता है:
- GMM लाइक्लीहुड ( $L_{GMM}$ ): अर्थपूर्ण सुसंगतता (semantic coherence) सुनिश्चित करने के लिए।
- सहायक लॉस ( $L_{ctrue}$ और $L_{cpred}$ ): दो लीनियर क्लासिफायर स्लाइस सदस्यता संभावनाओं के आधार पर ग्राउंड-ट्रुथ कॉन्सेप्ट लेबल और प्रेडिक्टेड कॉन्सेप्ट लेबल की भविष्यवाणी करते हैं। ये लॉस यह सुनिश्चित करने के लिए प्रेरित करते हैं कि स्लाइस उन नमूनों को समूहबद्ध करें जो समान सत्य और अनुमानित अवधारणा मान साझा करते हैं, जिससे यह सुनिश्चित होता है कि स्लाइस सुसंगत अवधारणा-स्तरीय त्रुटि पैटर्न कैप्चर करते हैं।
आउटपुट: स्लाइस का एक सेट $S = \{S_1, \dots, S_{t_g}\}$ ।

3. विफलता मोड स्पष्टीकरण (Failure Mode Explanation)

प्रत्येक खोजे गए स्लाइस के लिए, विधि उन विशिष्ट अवधारणाओं की पहचान करती है जो इसके गठन के लिए जिम्मेदार हैं।

तंत्र: यह विधि विशिष्ट अवधारणा पर हस्तक्षेप करने से किसी विशिष्ट स्लाइस की सदस्यता की पोस्टीरियर प्रोबेबिलिटी में होने वाले परिवर्तन को मापने के लिए ECTP स्कोर का विस्तार करती है, जिसे एक्स्पेक्टेड चेंज इन स्लाइस असाइनमेंट (ECSA) कहा जाता है।
आउटपुट: स्लाइस के लिए 'कीवर्ड-कॉन्सेप्ट्स' के रूप में उच्चतम ECSA स्कोर वाली शीर्ष- $t_k$ अवधारणाओं को चुना जाता है। इन अवधारणाओं की उपस्थिति या अनुपस्थिति को स्लाइस सदस्यों के बीच उनके प्रेडिक्शन के भारित औसत (weighted average) द्वारा निर्धारित किया जाता है।

स्लाइस प्राथमिकता (Slice Prioritization)

सभी खोजे गए स्लाइसों का विश्लेषण करने की अव्यवहारिकता को संबोधित करने के लिए, CB-SLICE एक इन्फॉर्मेटिवनेस स्कोर (SI) पर आधारित प्राथमिकता रणनीति पेश करता है। यह स्कोर निम्नलिखित को जोड़ता है:

मिस्प्रेडिक्शन कोहेरेंस (MC): एक स्लाइस के भीतर डाउनस्ट्रीम कार्य के गलत भविष्यवाणियों की निरंतरता।
सिमेंटिक कॉम्पैक्टनेस (SC): अवधारणा-लॉजिट स्पेस में स्लाइस सदस्यों के संकेंद्रण की डिग्री।
पेनल्टी फैक्टर: शोर (noise) से बचने के लिए बहुत छोटे स्लाइस को कम महत्व देने वाला एक कारक।

मुख्य योगदान (Key Contributions)

CB-SLICE फ्रेमवर्क: एक अभिनव SDM जो CBMs के माध्यम से खोजे गए व्याख्यात्मक कीवर्ड्स को सीधे मॉडल के आंतरिक निर्णय तर्क से जोड़ता है, जिससे सहायक-मॉडल-आधारित दृष्टिकोणों में निहित विच्छेद से बचा जा सके।
त्रुटि-प्रवण अवधारणा पहचान: स्लाइस गठन और विफलता मोड लक्षण वर्णन दोनों के लिए ECTP स्कोर का उपयोग करने वाला एक सिद्धांत आधारित तरीका।
स्लाइस प्राथमिकता: लक्षित विश्लेषण के लिए सबसे सूचनात्मक स्लाइस की ओर अभ्यासकर्ताओं का मार्गदर्शन करने के लिए एक रणनीति।
अनुभवजन्य सत्यापन: कई बेंचमार्क पर स्टेट-ऑफ-द-आर्ट बेसलाइन्स पर निरंतर सुधार प्रदर्शित किया गया।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ज्ञात त्रुटि स्लाइस वाले चार डेटासेट्स पर CB-SLICE का मूल्यांकन किया: Waterbirds, CelebA, MetaShift, और MNIST-Sum। उन्होंने Domino, GEORGE, HiBug2, Spotlight, और K-Means सहित बेसलाइन्स के विरुद्ध CB-तालबे (CB-SLICE) की तुलना की।

ज्ञात पूर्वाग्रहों की रिकवरी (Precision@10): CB-SLICE ने ग्राउंड-ट्रुथ त्रुटि स्लाइस को रिकवर करने में सभी बेसलाइन्स को लगातार पछाड़ दिया। उदाहरण के लिए, जॉइंटली ट्रेंड CBM के साथ Waterbirds डेटासेट पर, CB-SLICE ने 0.83 का Precision@10 प्राप्त किया, जो अगले सर्वश्रेष्ठ तरीके (Domino 0.62) से काफी अधिक है।
विफलता मोड अलाइनमेंट (MGF): CB-SLICE ने उच्च Matched Ground-Truth Group Frequency (MGF) वाले स्लाइस उत्पन्न किए, जो यह दर्शाता है कि खोजे गए स्लाइस अधिक सजातीय थे और विशिष्ट अंतर्निहित विफलता मोड को निष्ठापूर्वक कैप्चर करते थे।
व्याख्या निष्ठा (Explanation Fidelity): गुणात्मक विश्लेषण ने दिखाया कि CB-SLICE ने निष्ठावान, मॉडल-ग्राउंडेड स्पष्टीकरण प्रदान किए।
- उदाहरण: Waterbirds में, CB-SLICE ने पहचाना कि वॉटर बैकग्राउंड पर लैंडबर्ड्स के गलत वर्गीकरण आकार-संबंधी अवधारणाओं (जैसे, "मीडियम साइज") के व्यवस्थित गलत भविष्यवाणियों द्वारा संचालित थे, न कि केवल बैकग्राउंड द्वारा।
- उदाहरण: MNIST-Sum में, इसने एक विफलता मोड का खुलासा किया जहाँ अंक "3" को व्यवस्थित रूप से "2" के रूप में गलत पढ़ा गया था, जो एक ऐसा सूक्ष्म अंतर है जिसे टेक्स्ट-आधारित बेसलाइन्स ने मिस कर दिया था।
स्लाइस चयन: पेपर यह प्रदर्शित करता है कि CB-SLICE लॉस फंक्शन का अभिसरण (convergence) प्रदर्शन मेट्रिक्स के स्थिरीकरण के साथ संरेखित होता है, जो बिना ग्राउंड-ट्रुथ लेबल के स्लाइस की संख्या चुनने के लिए एक सिद्धांत आधारित मानदंड प्रदान करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CB-SLICE त्रुटि स्लाइस डिस्कवरी को एक मॉडल-जागरूक प्रक्रिया के रूप में पुनर्गठित करता है। इसके द्वारा खोजे गए स्पष्टीकरणों को मॉडल द्वारा वास्तव में सीखे गए प्रतिनिधित्व (concept logits) में स्थापित करके, यह पोस्ट-हॉक सहायक मॉडलों द्वारा पेश की गई अशुद्धियों और संभावित पूर्वाग्रहों से बचता है।

लेखक जोर देते हैं कि CB-SLICE दो अलग-अलग विफलता प्रकारों के बीच अंतर करता है:

स्लाइस जो व्यवस्थित अवधारणा गलत भविष्यवाणियों (जहाँ कॉन्सेप्ट एनकोडर $g$ विफल होता है) द्वारा संचालित होते हैं।
स्लाइस जो दुर्लभ, सही ढंग से अनुमानित अवधारणा संयोजनों (जहाँ विशिष्ट अवधारणा इंटरसेक्शन के लिए प्रशिक्षण डेटा की कमी के कारण लेबल प्रेडिक्टर $f$ विफल होता है) से उत्पन्न होते हैं।

यह कार्य CBMs को डिबगिंग के लिए एक सिद्धांत आधारित आधार के रूप में स्थापित करता है, जो त्रुटि स्रोतों के अधिक समृद्ध और निष्ठावान स्पष्टीकरण प्रदान करता है। लेखक नोट करते हैं कि विधि की प्रभावशीलता पूर्ण और निष्ठापूर्ण अवधारणा एनोटेशन की उपलब्धता पर निर्भर करती है, जो स्वयं CBM आर्किटेक्चर की एक सीमा है।