🤖 machine learning

Assessing Reliability of Symbol Detection in Concept Bottleneck Models

यह शोध पत्र प्रकट करता है कि कॉन्सेप्ट बॉटलनेक मॉडल्स (Concept Bottleneck Models) में उच्च कार्य सटीकता (task accuracy), स्प्यूरियस शॉर्टकट्स (spurious shortcuts) के कारण विश्वसनीय कॉन्सेप्ट डिटेक्शन की गारंटी नहीं देती है, और एक विश्वसनीयता-जागरूक प्रशिक्षण रणनीति (reliability-aware training strategy) प्रस्तावित करता है जो इस समस्या को कम करने के लिए कई हेड्स (heads) के माध्यम से साझा कॉन्सेप्ट डिटेक्टर्स को अनुकूलित करती है और डिटेक्टर्स एवं वर्गीकरण हेड्स (classification heads) की विनिमेयता (interchangeability) में महत्वपूर्ण सुधार करती है।

मूल लेखक: Javier Fumanal-Idocin, Javier Andreu-Perez

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Javier Fumanal-Idocin, Javier Andreu-Perez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पक्षियों की पहचान करने के लिए विशेषज्ञों की एक टीम को काम पर रख रहे हैं। आप चाहते हैं कि वे व्याख्यात्मक (explainable) हों, जिसका अर्थ है कि उन्हें केवल यह नहीं कहना चाहिए कि "यह एक रॉबिन है!" और रुक नहीं जाना चाहिए। इसके बजाय, उन्हें पहले उन विशेषताओं (features) की सूची बनानी चाहिए जो वे देख रहे हैं: "इसका सीना लाल है," "इसकी चोंच छोटी है," और "इसका पैर धूसर (grey) है।" इन "अवधारणाओं" (concepts) को सूचीबद्ध करने के बाद ही वे अंतिम अनुमान लगाएंगे।

कॉन्सेप्ट बॉटलनेक मॉडल (CBMs) इसी तरह काम करते हैं। वे AI में लोकप्रिय हैं क्योंकि वे पारदर्शी प्रतीत होते हैं। हालाँकि, यह शोध पत्र एक डरावना सवाल पूछता है: क्या ये विशेषज्ञ वास्तव में विशेषताओं को देख रहे हैं, या वे छिपे हुए शॉर्टकट के आधार पर केवल अनुमान लगा रहे हैं?

यहाँ इस शोध पत्र के निष्कर्षों और समाधानों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

1. समस्या: "चीट शीट" प्रभाव (The "Cheat Sheet" Effect)

एक मानक AI सेटअप में, "फीचर डिटेक्टर" (वह भाग जो लाल सीने को पहचानता है) और "क्लासिफायर" (वह भाग जो पक्षी का नाम बताता है) दोनों को एक साथ प्रशिक्षित किया जाता है।

लेखकों ने पाया कि जब आप उन्हें एक साथ प्रशिक्षित करते हैं, तो वे अक्सर एक गुप्त भाषा विकसित कर लेते हैं।

उपमा: कल्पना कीजिए कि एक छात्र (डिटेक्टर) और एक शिक्षक (क्लासिफायर) एक साथ एक परीक्षा के लिए तैयारी कर रहे हैं। छात्र वास्तव में यह नहीं सीखता कि "लाल सीना" कैसा दिखता है। इसके बजाय, वह गौर करता है कि हर बार जब शिक्षक फोटो में लाल बैकग्राउंड देखता है, तो उत्तर "रॉबिन" होता है। इसलिए, छात्र वास्तव में एक ब्लू जे (Blue Jay) होने पर भी "लाल सीना!" चिल्लाना शुरू कर देता है, क्योंकि उसने लाल बैकग्राउंड देख लिया है।
परिणाम: AI सही उत्तर (पक्षी का नाम) 100% बार प्राप्त करता है, लेकिन उसकी व्याख्या एक झूठ है। वह सोचता है कि वह लाल सीना देख रहा है, लेकिन वास्तव में वह केवल बैकग्राउंड के रंग पर प्रतिक्रिया दे रहा है। इसे सूचना रिसाव (information leakage) कहा जाता है।

2. स्ट्रेस टेस्ट: "स्वैप" प्रयोग (The "Swap" Experiment)

आपको कैसे पता चलेगा कि AI धोखाधड़ी कर रहा है? लेखकों ने एक चतुर परीक्षण बनाया: द स्वैप (The Swap)।

उपमा: कल्पना कीजिए कि आपके पास पाँच अलग-अलग छात्र (डिटेक्टर्स) और पाँच अलग-अलग शिक्षक (क्लासिफायर्स) हैं। आप उन सभी को अलग-अलग प्रशिक्षित करते हैं।
- परिदृश्य A (अच्छा): यदि छात्र 1 वास्तव में सीख रहा है कि "लाल सीना" कैसा दिखता है, तो वह अपने नोट्स किसी भी अन्य शिक्षक को सौंप सकेगा, और शिक्षक अभी भी पक्षी का सही नाम बता पाएगा।
- परिदृश्य B (बुरा/धोखा): यदि छात्र 1 केवल अपने विशिष्ट शिक्षक के लिए "लाल बैकग्राउंड = रॉबिन" याद कर रहा है, और आप उसे एक नए शिक्षक के साथ बदल देते हैं जो उस गुप्त कोड को नहीं जानता, तो सिस्टम बुरी तरह विफल हो जाएगा।
निष्कर्ष:
- एक वास्तविक दुनिया के पक्षी डेटासेट (CUB-200) पर, मॉडल आश्चर्यजनक रूप से ईमानदार थे। छात्रों और शिक्षकों को बदलने से सिस्टम पर ज्यादा असर नहीं पड़ा। "अवधारणाएं" वास्तविक थीं।
- एक नकली, नियंत्रित डेटासेट पर, लेखकों ने "ईमानदारी प्रशिक्षण" (concept supervision) को कम कर दिया। अचानक, मॉडल पक्षी का नाम तो सही बताते रहे, लेकिन जब आपने हिस्सों को बदला, तो सिस्टम पूरी तरह से विफल होकर रैंडम अनुमान लगाने लगा। अवधारणाएं पूरी तरह से फर्जी थीं; वे केवल शॉर्टकट थे।

3. समाधान: "ग्रुप प्रोजेक्ट" रणनीति (The "Group Project" Strategy)

लेखक इन मॉडलों को धोखा देने से रोकने के लिए उन्हें प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं।

पुराना तरीका: एक छात्र एक शिक्षक के साथ प्रशिक्षित होता है। वे बहुत सहज हो जाते हैं और गुप्त शॉर्टकट विकसित कर लेते हैं।
नया तरीका (विश्वसनीयता-जागरूक प्रशिक्षण - Reliability-Aware Training): एक छात्र को एक ही समय में पाँच अलग-अलग शिक्षकों के साथ काम करने के लिए मजबूर किया जाता है।
- उपमा: कल्पना कीजिए कि एक छात्र "लाल सीना" सीखने की कोशिश कर रहा है। यदि वह "लाल बैकग्राउंड" कहकर धोखाधड़ी करने की कोशिश करता है, तो शिक्षक A कह सकता है "नहीं, इस पक्षी के लिए यह गलत है।" शिक्षक B कह सकता है "वास्तव में, यह एक ब्लू जे है।" क्योंकि छात्र को एक साथ पाँचों शिक्षकों को संतुष्ट करना है, इसलिए वह ऐसे शॉर्टकट पर भरोसा नहीं कर सकता जो केवल एक के लिए काम करता हो। उन्हें मजबूर होकर वास्तविक विशेषता (लाल सीना) सीखनी होगी क्योंकि वही एकमात्र चीज़ है जो सभी को संतुष्ट करती है।
परिणाम: इस पद्धति ने धोखाधड़ी को काफी कम कर दिया। यहाँ तक कि जब प्रशिक्षण कठिन था, तब भी, बदले गए मॉडल बहुत बेहतर प्रदर्शन कर रहे थे, जिससे सिद्ध हुआ कि अवधारणाएं वास्तविक थीं, न कि केवल शॉर्टकट।

4. "कॉन्फिडेंस" मीटर की जाँच करना

शोध पत्र ने अनिश्चितता (Uncertainty) पर भी गौर किया।

उपमा: यदि पाँच छात्र एक पक्षी को देखते हैं और चार कहते हैं "धूसर पैर" और एक कहता है "पैर नहीं है," तो समूह भ्रमित है। शोध पत्र में पाया गया कि जब AI किसी विशिष्ट विशेषता (जैसे पैर का रंग) के बारे में भ्रमित होता है, तो यह आमतौर पर गलत अंतिम अनुमान की ओर ले जाता है।
इस "समूह असहमति" को मापकर, सिस्टम यह फ्लैग (चिह्नित) कर सकता है कि वह कमजोर साक्ष्यों के आधार पर अनुमान लगा रहा है।

सारांश

यह शोध पत्र व्याख्यात्मक AI (explainable AI) के लिए एक "सेंटी-चेक" (sanity check) है। यह दिखाता है कि सिर्फ इसलिए कि एक AI आपको अपने निर्णय के कारणों की सूची देता है, इसका मतलब यह नहीं है कि वे कारण सत्य हैं। वे प्रशिक्षण के दौरान सीखे गए चतुर झूठ (शॉर्टकट) हो सकते हैं।

लेखकों ने साबित किया कि AI को एक साथ कई अलग-अलग "जजों" को समझाने के लिए मजबूर करके, आप उसे ये झूठ सीखने से रोक सकते हैं और उसे वास्तविक विशेषताओं को सीखने के लिए मजबूर कर सकते हैं, जिससे AI सटीक और वास्तव में भरोसेमंद बनता है।

तकनीकी सारांश: कॉन्सेप्ट बॉटलनेक मॉडल में प्रतीक पहचान (Symbol Detection) की विश्वसनीयता का आकलन

1. समस्या विवरण (Problem Statement)

कॉन्सेप्ट बॉटलनेक मॉडल्स (CBMs) स्पष्टीकरण योग्य एआई (XAI) के लिए एक प्रमुख न्यूरो-सिम्बोलिक विधियों की श्रेणी हैं। ये इनपुट डेटा से मानव-व्याख्या योग्य अवधारणाओं (concepts) को निकालने और फिर इन अवधारणाओं को अंतिम भविष्यवाणियों से मैप करने के लिए एक हल्के, व्याख्या योग्य क्लासिफायर का उपयोग करने के सिद्धांत पर कार्य करते हैं। जबकि उच्च कार्य सटीकता (task accuracy) का उपयोग अक्सर मॉडल की गुणवत्ता के प्रॉक्सी के रूप में किया जाता है, यह शोध पत्र तर्क देता है कि सटीकता विश्वसनीय अवधारणा पहचान (faithful concept detection) की गारंटी नहीं देती है।

पहचाना गया मुख्य मुद्दा बॉटलनेक के भीतर सूचना रिसाव (information leakage या "shortcuts") है। जब कॉन्सेप्ट डिटेक्टर्स और क्लासिफिकेशन हेड्स को संयुक्त रूप से प्रशिक्षित किया जाता है, तो डिटेक्टर उन कार्य-विशिष्ट संकेतों को कॉन्सेप्ट एक्टिवेशन में एनकोड कर सकता है जो वर्गीकरण के लिए उपयोगी तो होते हैं, लेकिन अवधारणाओं के इच्छित अर्थ के साथ संरेखित नहीं होते हैं। फलस्वरूप, मॉडल वास्तविक अवधारणात्मक समझ के बजाय स्पूरियस सहसंबंधों (spurious correlations) पर निर्भर होकर उच्च सटीकता प्राप्त कर सकता है। यह मॉडल की व्याख्याओं को अविश्वसनीय बना देता है, क्योंकि मध्यवर्ती प्रतीक (symbols) उस चीज़ का प्रतिनिधित्व नहीं करते हैं जिसका वे दावा करते हैं।

2. कार्यप्रणाली (Methodology)

2.1 मिसअलाइनमेंट (Misalignment) को मापना

लेखक मानक सटीकता मेट्रिक्स से आगे बढ़कर, प्रतीक पहचान की विश्वसनीयता का आकलन करने के लिए नैदानिक उपकरणों (diagnostics) का एक समूह प्रस्तावित करते हैं:

ग्लोबल सिंबल रिलायबिलिटी (स्वैप टेस्ट): लेखक कई CBMs को स्वतंत्र रूप से प्रशिक्षित करते हैं। इसके बाद वे एक मॉडल के कॉन्सेप्ट डिटेक्टर को दूसरे मॉडल के क्लासिफिकेशन हेड के साथ बदलते (swap) हैं।
- यदि बदला हुआ मॉडल उच्च सटीकता बनाए रखता है, तो कॉन्सेप्ट डिटेक्टर और हेड एक मजबूत, अपरिवर्तनीय प्रतीकात्मक प्रतिनिधित्व साझा करते हैं।
- सटीकता में महत्वपूर्ण गिरावट ("swap drop") यह संकेत देती है कि डिटेक्टर और हेड अपनी मूल जोड़ी के विशिष्ट स्पूरियस एनकोडिंग के लिए सह-अनुकूलित (co-adapted) हो गए हैं।
सिंबल इंटरचेंजेबिलिटी (Symbol Interchangeability): यह परीक्षण करने के लिए कि क्या मॉडल अवधारणाओं की पहचान पर निर्भर है या केवल सक्रिय अवधारणाओं की संख्या पर, लेखक दो नल वितरणों (null distributions) का उपयोग करते हैं:
- कॉन्सेप्ट-डायमेंशन परम्यूटेशन: हेड को फीड करने से पहले कॉन्सेप्ट लेबल को बेतरतीब ढंग से शफल करना।
- विदिन-कॉन्सेप्ट सैंपल-शफल: नमूनों (samples) के बीच कॉन्सेप्ट वैल्यूज को बदलना।
- यदि इन परम्यूटेशन के तहत सटीकता उच्च बनी रहती है, तो प्रतीक विशिष्ट अवधारणाओं के रूप में पहचानने योग्य नहीं हैं, जो अविश्वसनीय पहचान का संकेत देता है।
व्यक्तिगत भविष्यवाणी विश्वसनीयता (Individual Prediction Reliability): स्वतंत्र रूप से प्रशिक्षित डिटेक्टर्स के एक एन्सेम्बल का उपयोग करते हुए, लेखक भविष्य कहने वाली अनिश्चितता को एलेयटोरिक (डेटा शोर) और एपिस्टेमिक (मॉडल असहमति) घटकों में विभाजित करते हैं। वे लेबल अनिश्चितता को विशिष्ट प्रतीकों के प्रति जोड़ते हैं, जो एन्सेम्बल सर्वसम्मति (consensus) तक व्यक्तिगत कॉन्सेप्ट प्रेडिक्शंस को फ्रीज करके और लेबल अनिश्चितता में कमी को मापकर किया जाता है।

2.2 प्रस्तावित समाधान: रिलायबिलिटी-अवेयर ट्रेनिंग (Reliability-Aware Training)

सूचना रिसाव को कम करने के लिए, यह शोध पत्र एक प्रशिक्षण रणनीति प्रस्तावित करता है जो डिटेक्टर और हेड के बीच सह-अनुकूलन (co-adaptation) को कम करती है:

मल्टी-हेड ट्रेनिंग: एक डिटेक्टर को एक हेड के साथ प्रशिक्षित करने के बजाय, एक साझा कॉन्सेप्ट डिटेक्टर $g_\theta$ $g_{θ}$ को $R$ $R$ स्वतंत्र रूप से इनिशियलाइज्ड क्लासिफिकेशन हेड्स $\{f^{(r)}_{\phi_r}\}$ ${f_{ϕ_{r}}^{(r)}}$ के एन्सेम्बल के विरुद्ध प्रशिक्षित किया जाता है।
- ऑब्जेक्टिव फंक्शन सभी हेड्स के बीच क्लासिफिकेशन लॉस का औसत निकालता है।
- कॉन्सेप्ट ड्रॉपआउट: हेड्स को एक ही समाधान की ओर अभिसरित (converge) होने से रोकने के लिए (जो एन्सेम्बल प्रभाव को निष्प्रभावी कर देगा), प्रत्येक हेड को एक स्वतंत्र रैंडम ड्रॉपआउट मास्क द्वारा मास्क किए गए कॉन्सेप्ट एक्टिवेशन प्राप्त होते हैं। यह डिटेक्टर को ऐसे प्रतिनिधित्व सीखने के लिए मजबूर करता है जो लापता जानकारी के प्रति रोबस्ट हों और सिंगल शॉर्टकट्स पर निर्भर न हों।
रिलायबिलिटी-अवेयर रेगुलराइजेशन:
- प्रत्येक अवधारणा के लिए एक ग्लोबल रिलायबिलिटी स्कोर $r_k$ की गणना वैलिडेशन सेट पर उसकी डिटेक्शन सटीकता के आधार पर की जाती है।
- प्रत्येक सिंबल के लिए इंस्टेंस-लेवल एपिस्टेमिक अनिश्चितता $U_{epi}(x_i, k)$ का अनुमान लगाया जाता है।
- एक अनरिलायबिलिटी वेट $\omega_{ik}$ की गणना की जाती है जो ग्लोबल रिलायबिलिटी और इंस्टेंस अनिश्चितता को जोड़ती है।
- लॉस फंक्शन में एक पेनल्टी टर्म जोड़ा जाता है जो क्लासिफायर को कम ग्लोबल रिलायबिलिटी या उच्च इंस्टेंस-लेवल अनिश्चितता वाले कॉन्सेप्ट्स पर निर्भर होने से रोकता है।

3. मुख्य परिणाम (Key Results)

3.1 CUB-200-2011 डेटासेट (फुल सुपरविजन)

फुल कॉन्सेप्ट सुपरविजन ( $\lambda=1$ ) के साथ बर्ड स्पीशीज क्लासिफिकेशन टास्क पर:

उच्च इंटरचेंजेबिलिटी: डिटेक्टर्स और हेड्स लगभग स्वतंत्र रूप से विनिमेय (interchangeable) हैं। स्वैप ड्रॉप न्यूनतम है (1 सटीकता अंक से नीचे), और रिलेटिव रिटेंशन 99% से ऊपर है।
रोबस्टनेस: कोई भी कॉन्सेप्ट चांस लेवल से नीचे डिटेक्ट नहीं किया गया, और एक सीड पर प्रशिक्षित हेड्स दूसरे सीड के डिटेक्टर्स पर लगभग बिना किसी नुकसान के ट्रांसफर हो गए।
अनिश्चितता: सिंबल-लेवल एपिस्टेमिक अनिश्चितता कम थी, लेकिन लेबल-लेवल अनिश्चितता काफी अधिक थी, जो दर्शाता है कि कई कॉन्सेप्ट्स के बीच छोटे-छोटे मतभेद क्लासिफिकेशन हेड पर संचयी (compound) प्रभाव डालते हैं।

3.2 सिंथेटिक डेटासेट (नियंत्रित लीकेज)

एक सिंथेटिक कलर्ड-शेप डेटासेट पर, लेखकों ने लीकेज को सिम्युलेट करने के लिए कॉन्सेप्ट-सुपरविजन वेट $\lambda$ को बदला:

लीकेज घटना: जैसे-जैसे $\lambda$ कम हुआ (कमजोर कॉन्सेप्ट सुपरविजन), मैच की गई सटीकता लगभग पूर्ण (~100%) रही, लेकिन स्वैप्ड एक्यूरेसी कोलैप्स होकर चांस लेवल (20–30%) पर आ गई। डिटेक्टेड कॉन्सेप्ट्स और ग्राउंड ट्रुथ के बीच सहमति भी गिरकर ~50% हो गई।
शमन (Mitigation): प्रस्तावित मल्टी-हेड और रिलायबिलिटी-अवेयर रणनीतियों ने इस लीकेज को काफी हद तक कम किया। कम $\lambda$ (0.1) पर, इन विधियों ने स्टैंडर्ड जॉइंट ट्रेनिंग की तुलना में स्वैप एक्यूरेसी को लगभग दोगुना (~26% से ~50%) कर दिया, जो पुष्टि करता है कि डिटेक्टर अधिक रोबस्ट और कम हेड-विशिष्ट प्रतिनिधित्व सीख रहा था।

3.3 डायग्नोस्टिक निष्कर्ष (Diagnostic Findings)

स्पूरियस फायरिंग: जॉइंट ट्रेनिंग शासन में, विशिष्ट कॉन्सेप्ट्स (जैसे पैर का रंग) ने एन्सेम्बल डिटेक्टर्स के बीच उच्च असहमति दिखाई। यह असहमति भविष्यवाणियों की त्रुटियों से सीधे जुड़ी हुई थी; विवादित सिंबल को सर्वसम्मति (consensus) पर फ्रीज करने से अक्सर गलत वर्गीकरण ठीक हो गया।
नल टेस्ट्स: स्टैंडर्ड जॉइंट CBMs पर प्रशिक्षित हेड्स कॉन्सेप्ट आइडेंटिटीज को परम्यूट करने पर लगभग चांस-एक्यूरेसी पर गिर गए, जिससे पुष्टि हुई कि मॉडल वास्तव में विशिष्ट कॉन्सेप्ट डिटेक्शन पर निर्भर था न कि आकस्मिक सहसंबंधों पर।

4. महत्व और दावे (Significance and Claims)

यह शोध पत्र CBMs की विश्वसनीयता के लिए एक कठोर स्ट्रेस-टेस्टिंग फ्रेमवर्क प्रदान करने का दावा करता है, जो उच्च सटीकता के अनुमान से परे जाता है कि उच्च सटीकता वफादार स्पष्टीकरण (faithful explanations) का संकेत है।

लीकेज का सत्यापन: लेखक प्रदर्शित करते हैं कि उच्च कार्य सटीकता उन प्रतीकों के साथ सह-अस्तित्व में रह सकती है जो "अब वह नहीं रहे जिसका वे दावा करते हैं," विशेष रूप से जब कॉन्सेप्ट सुपरविजन कमजोर हो या जॉइंट ट्रेनिंग शॉर्टकट्स को बढ़ावा देती हो।
व्यावहारिक शमन: कॉन्सेप्ट ड्रॉपआउट के साथ प्रस्तावित मल्टी-हेड ट्रेनिंग और रिलायबिलिटी-अवेयर रेगुलराइजेशन, कार्य प्रदर्शन को महत्वपूर्ण रूप से कम किए बिना सूचना रिसाव को कम करने का एक व्यावहारिक तरीका प्रदान करता है।
डायग्नोस्टिक उपयोगिता: स्वैप टेस्ट और अनिश्चितता अपघटन (uncertainty decomposition) विशिष्ट अवधारणाओं की पहचान करने के लिए कार्रवाई योग्य डायग्नोस्टिक्स प्रदान करते हैं जो स्पूरियस फायरिंग के प्रति संवेदनशील हैं, जिससे लक्षित हस्तक्षेप संभव होता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका रिलायबिलिटी-अवेयर ट्रेनिंग लीकेज को कम करता है, इसमें एक ट्रेड-ऑफ शामिल है, जो कभी-कभी समग्र सटीकता को थोड़ा कम कर देता है। उच्च प्रदर्शन और सख्त विश्वसनीयता को सामंजस्य बिठाना भविष्य के कार्य के लिए एक खुला विषय बना हुआ है। यह शोध पत्र सभी XAI समस्याओं को हल करने का दावा नहीं करता है, बल्कि विशेष रूप से CBMs में मध्यवर्ती प्रतीकात्मक परत (intermediate symbolic layer) की निष्ठा (fidelity) को संबोधित करता है।