💻 computer science

On the Faithfulness of Post-Hoc Concept Bottleneck Models

यह शोध पत्र प्रकट करता है कि पोस्ट-हॉक कॉन्सेप्ट बॉटलनेक मॉडल कोवैरिएट शिफ्ट और लेबल नॉइज़ के कारण अर्थहीन कॉन्सेप्ट प्रोजेक्शन सीखते हुए भी उच्च भविष्य कहनेवाला सटीकता प्राप्त कर सकते हैं, और टास्क परफॉर्मेंस से स्वतंत्र रूप से कॉन्सेप्ट फेथफुलनेस को डिकपल और मूल्यांकन करने के लिए नवीन मेट्रिक्स का प्रस्ताव करता है।

मूल लेखक: Laines Schmalwasser, Jan Blunk, Niklas Penzel, Julia Niebling, Joachim Denzler

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Laines Schmalwasser, Jan Blunk, Niklas Penzel, Julia Niebling, Joachim Denzler

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन रहस्यमय शेफ है (एक डीप लर्निंग AI) जो अद्भुत व्यंजन बना सकता है (जटिल समस्याओं को हल कर सकता है) लेकिन वह आपको यह बताने से इनकार करता है कि खाना इतना स्वादिष्ट क्यों है। आप पूछते हैं, "क्या यह नमक है? गर्मी है? या किसी विशेष प्रकार का काली मिर्च है?" शेफ बस कंधे उचका देता है और कहता है, "मुझे बस पता है कि यह काम करता है।"

इसे ठीक करने के लिए, वैज्ञानिकों ने एक "कॉन्सेप्ट बोटलनैक" (Concept Bottleneck) का आविष्कार किया। यह कुछ ऐसा है जैसे शेफ को व्यंजन परोसने से पहले सामग्री (concepts) की एक सूची लिखने के लिए मजबूर करना। उदाहरण के लिए, "पक्षी" (Bird) की भविष्यवाणी करने से पहले, उसे "पीला पेट" (Yellow Belly) और "काला ताज" (Black Crown) की पहचान करनी होगी। यदि AI सामग्री को सही पहचान लेता है, तो हम उसके अंतिम निर्णय पर भरोसा करते हैं।

हाल ही में, एक नई विधि जिसे पोस्ट-हॉक कॉन्सेप्ट बोटलनैक मॉडल (Post-Hoc Concept Bottleneck Models) कहा जाता है, लोकप्रिय हुई। AI को शुरुआत से सामग्री सिखाने के बजाय, ये मॉडल यह अनुमान लगाने की कोशिश करते हैं कि AI ने पहले से ही खाना बनाना सीख लिया है, तो उसकी सामग्री क्या रही होगी। वे सामग्री का अनुमान लगाने के लिए दो मुख्य तरकीबों का उपयोग करते हैं:

"एक जैसा दिखने वाला" (Look-Alike) तरीका: वे एक अलग, पहले से लेबल की गई कुकबुक (एक सहायक डेटासेट) को देखते हैं और उन नए व्यंजनों पर उन सामग्री नियमों को लागू करने की कोशिश करते हैं।
"AI सहायक" (AI Assistant) तरीका: वे एक सुपर-स्मार्ट AI सहायक (एक विजन-लैंग्वेज मॉडल जैसे CLIP) से उनके लिए सामग्री का वर्णन करने को कहते हैं।

समस्या:
लेखकों ने एक डरावना सच खोजा है: सिर्फ इसलिए कि AI सही अंतिम व्यंजन (उच्च सटीकता) प्राप्त करता है, इसका मतलब यह नहीं है कि वह वास्तव में सामग्री को जानता है।

उन्होंने पाया कि AI कभी-कभी पूरी तरह से गलत, निरर्थक "सामग्रियों" का उपयोग करके भी सही उत्तर प्राप्त कर सकता है। यह एक ऐसे शेफ की तरह है जिसने गलती से सही रेसिपी का अनुमान लगा लिया है क्योंकि उसने सिक्का उछालकर फैसला किया था, लेकिन आप उसे एक मास्टर शेफ समझते हैं क्योंकि खाना स्वादिष्ट है।

यह पेपर दो विशिष्ट तरीकों की पहचान करता है जिनसे ये "सामग्री अनुमान लगाने वाले" हमें धोखा दे सकते हैं:

1. "गलत रसोई" की समस्या (कोवेरिएट शिफ्ट - Covariate Shift)

कल्पना कीजिए कि आप एक शेफ को सुपरमार्केट के चमकदार, आदर्श सेबों वाली कुकबुक का उपयोग करके "लाल सेब" (Red Apples) पहचानना सिखाते हैं। फिर, आप उन्हें एक अव्यवस्थित, वास्तविक दुनिया के बगीचे में "लाल सेब" की पहचान करने के लिए कहते हैं जहाँ सेबों में खरोंचें हैं और वे मिट्टी से ढके हुए हैं।

भले ही अवधारणा अभी भी "लाल सेब" ही है, लेकिन सेब का "रूप" बदल गया है। पेपर दिखाता है कि यदि "प्रशिक्षण रसोई" (सहायक डेटासेट), "वास्तविक रसोई" (लक्ष्य कार्य) से बहुत अलग दिखती है, तो AI की सामग्री सूची अविश्वसनीय हो जाती है। वह यह सोचना शुरू कर सकता है कि "लाल" का अर्थ "खुरदरी त्वचा" है क्योंकि उसने प्रशिक्षण पुस्तक में यही देखा था।

समाधान: लेखकों ने एक "तनाव परीक्षण" (Stress Test) बनाया। वे मापते हैं कि दोनों रसोइयाँ एक-दूसरे से कितनी अलग दिखती हैं। यदि परीक्षण कहता है कि रसोइयाँ बहुत भिन्न हैं, तो हम जानते हैं कि AI की सामग्री सूची अविश्वसनीय होने की संभावना है, भले ही अंतिम व्यंजन का स्वाद ठीक हो।

2. "पक्षपाती सहायक" की समस्या (सिस्टमैटिक लेबल नॉइज़ - Systematic Label Noise)

अब कल्पना कीजिए कि आप एक AI सहायक से अपनी सामग्री का वर्णन करने के लिए कहते हैं। यदि सहायक रैंडम गलतियाँ करता है (कभी "वर्ग" को "वृत्त" कहता है, और कभी "वृत्त" को "वर्ग" कहता है), तो शेफ अभी भी इसे समझ सकता है क्योंकि गलतियाँ एक-दूसरे को संतुलित कर देती हैं।

हालाँकि, पेपर ने एक बदतर समस्या पाई: व्यवस्थित पक्षपात (Systematic Bias)।
क्या होगा यदि सहायक हमेशा "पानी" देखते ही "नाव" कहता है, भले ही वहां कोई नाव न हो? या क्या होगा यदि वह हमेशा "आकाश" को "बादलों" के साथ जोड़ता है? शेफ यह गलत नियम सीख जाता है: "यदि मैं पानी देखता हूँ, तो मुझे 'नाव' कहना चाहिए।"

AI केवल रैंडम गलतियाँ नहीं कर रहा है; वह एक निरंतर झूठ सीख रहा है। क्योंकि यह गलती हर बार एक ही पैटर्न में होती है, इसलिए शेफ (मुख्य AI) इस झूठ को एक वास्तविक सामग्री मान लेता है। अंतिम व्यंजन अभी भी अच्छा लग सकता है (उच्च सटीकता), लेकिन सामग्री की सूची पूरी तरह से फर्जी है।

समाधान: लेखकों ने एक नया "झूठ पकड़ने वाला यंत्र" (Lie Detector) बनाया। केवल यह जाँचने के बजाय कि सहायक सही है या गलत, वे यह जाँचते हैं कि क्या सहायक की गलतियाँ शेफ के अवलोकनों से जुड़ी हुई हैं। यदि गलतियाँ हमेशा तब होती हैं जब शेफ एक विशिष्ट पैटर्न देखता है, तो सिस्टम सामग्री सूची को अविश्वसनीय घोषित कर देता है।

मुख्य निष्कर्ष

यह पेपर तर्क देता है कि हम इन AI मॉडलों पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वे परीक्षणों पर उच्च स्कोर प्राप्त करते हैं। उच्च स्कोर एक भ्रम है।

रैंडम अनुमान कभी-कभी उच्च स्कोर प्राप्त कर सकते हैं।
गलत रसोइयाँ नकली सामग्री की ओर ले जा सकती हैं।
पक्षपाती सहायक AI को निरंतर झूठ सिखा सकते हैं।

लेखक पर्दे के पीछे झाँकने और यह जाँचने के लिए नए उपकरण (मेट्रिक्स) प्रदान करते हैं कि क्या AI वास्तव में अवधारणाओं को समझ रहा है या केवल अच्छे ग्रेड पाने के लिए पैटर्न को रट रहा है। वे सिद्ध करते हैं कि AI पर वास्तव में भरोसा करने के लिए, हमें अंतिम व्यंजन के "स्वाद" के बजाय सीधे "सामग्रियों" की जाँच करनी चाहिए।

तकनीकी सारांश: पोस्ट-हॉक कॉन्सेप्ट बॉटलनेक मॉडल्स की निष्ठा (Faithfulness) पर

समस्या विवरण (Problem Statement)

पोस्ट-हॉक कॉन्सेप्ट बॉटलनेक मॉडल्स (post-hoc CBMs) का लक्ष्य अपारदर्शी डीप लर्निंग रिप्रजेंटेशन और मानवीय समझ के बीच के अंतर को भरने के लिए लेटेंट फीचर्स को व्याख्या योग्य (interpretable) कॉन्सेप्ट स्पेस पर प्रोजेक्ट करना है। मानक CBMs के विपरीत, पोस्ट-हॉक वेरिएंट्स को लक्षित कार्य के लिए सघन कॉन्सेप्ट एनोटेशन की आवश्यकता नहीं होती है; इसके बजाय, वे (1) सहायक कॉन्सेप्ट डेटासेट (जैसे, Broden) या (2) विजन-लैंग्वेज मॉडल्स (VLMs) द्वारा उत्पन्न सरोगेट कॉन्सेप्ट लेबल्स पर निर्भर करते हैं।

मुख्य समस्या जिसे संबोधित किया गया है वह यह है कि वर्तमान मूल्यांकन पद्धतियां इन मॉडल्स की सफलता को आंकने के लिए अत्यधिक रूप से डाउनस्ट्रीम टास्क एक्यूरेसी (downstream task accuracy) पर निर्भर करती हैं। लेखक तर्क देते हैं कि उच्च सटीकता कॉन्सेप्ट फथफुलनेस (concept faithfulness)—अर्थात इस बात का पैमाना कि सीखा गया प्रोजेक्शन $\pi_\theta$ वास्तव में इच्छित सिमेंटिक कॉन्सेप्ट्स को निकालता है या नहीं—के लिए एक अपर्याप्त मीट्रिक है। अनुभवजन्य साक्ष्य (Empirical evidence) बताते हैं कि रैंडम, अर्थहीन प्रोजेक्शन भी सूचना संरक्षण गुणों (Johnson-Lindenstrauss lemma से संबंधित) के कारण प्रतिस्पर्धी डाउनस्ट्रीम एक्यूरेसी प्राप्त कर सकते हैं, जिससे यह छिप जाता है कि क्या मॉडल वास्तव में कॉन्सेप्ट्स के माध्यम से तर्क कर रहा है या केवल प्रेडिक्टिव आर्टिफैक्ट्स का लाभ उठा रहा है।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा (Theoretical Framework)

यह शोध पत्र निष्ठा (faithfulness) को वास्तविक कार्य वितरण $P_{task}(x, c)$ पर अपेक्षित जोखिम (expected risk) के न्यूनीकरण के रूप में औपचारिक रूप देता है, जहाँ प्रोजेक्शन $\pi_\theta$ बैकबोन एक्टिवेशन्स $f(x)$ से ग्राउंड-ट्रुथ कॉन्सेप्ट्स $c$ को पुनः प्राप्त करता है। लेखक अनफथफुलनेस (unfaithfulness) के दो प्राथमिक स्रोतों की पहचान करते हैं:

सहायक डेटासेट्स में कोवेरिएट शिफ्ट (Covariate Shift in Auxiliary Datasets): जब $\pi_\theta$ को एक सहायक डेटासेट $X_{aux}$ पर प्रशिक्षित किया जाता है जो लक्षित कार्य $X_{task}$ से भिन्न होता है, तो फीचर स्पेस में एक ज्यामितीय बदलाव (geometric shift) प्रोजेक्शन को अमान्य कर सकता है। लेखक डोमेन अडैप्टेशन थ्योरी [8] के आधार पर टारगेट जनरलाइजेशन एरर पर एक ऊपरी सीमा (upper bound) व्युत्पन्न करते हैं:
$J_{task}(\theta; L_1) \leq J_{aux}(\theta; L_1) + \frac{1}{2}\hat{d}_{\mathcal{H}\Delta\mathcal{H}}(\mathbb{X}_{task}, \mathbb{X}_{aux}) + \Omega + \lambda_{ideal}$
वे कोवेरिएट शिफ्ट (जहाँ $P(c|x)$ स्थिर रहता है लेकिन $P(x)$ बदल जाता है) को मानते हुए, व्यावहारिक मीट्रिक के रूप में एम्पिरिकल $\mathcal{H}\Delta\mathcal{H}$ -डाइवर्जेंस (एक डोमेन डिस्क्रिमिनेटर के माध्यम से अनुमानित) का उपयोग करने का प्रस्ताव देते हैं।
सरोगेट सुपरविजन में व्यवस्थित लेबल नॉइज़ (Systematic Label Noise in Surrogate Supervision): जब VLMs का उपयोग करके सरोगेट लेबल्स $\tilde{c}$ उत्पन्न किए जाते हैं, तो अनफथफुलनेस केवल त्रुटियों के परिमाण से नहीं, बल्कि व्यवस्थित त्रुटियों (systematic errors) से उत्पन्न होती है। प्रोजेक्शन को एक मल्टीवेरिएट जनरलाइज्ड लीनियर मॉडल (GLM) के रूप में मॉडल करके, लेखक दिखाते हैं कि सरोगेट ऑप्टिमम पर वास्तविक ऑब्जेक्टिव का ग्रेडिएंट, सरोगेट एरर $\delta(x) = \tilde{c}(x) - c^*(x)$ और बैकबोन एक्टिवेशन्स $f(x)$ के आउटर प्रोडक्ट के समानुपाती है।
- निष्ठा की स्थिति (Faithfulness Condition): मॉडल तब तक निष्ठावान रहता है यदि सरोगेट त्रुटियां या तो सटीक हों ( $\delta \approx 0$ ) या अपेक्षा में एक्टिवेशन स्पेस के ऑर्थोगोनल (orthogonal) हों ( $\mathbb{E}[\delta(x) \otimes f(x)] = 0$ )।
- विफलता मोड (Failure Mode): व्यवस्थित त्रुटियां (उदाहरण के लिए, जब "बादल" मौजूद हों तो VLM लगातार "आकाश" की भविष्यवाणी करता है) नॉन-ऑर्थोगोनल एरर कंपोनेंट्स बनाती हैं, जिससे भले ही सरोगेट लेबल्स औसत रूप से सटीक दिखें, फिर भी अनफथफुल प्रोजेक्शन होता है।

प्रस्तावित मीट्रिक्स (Proposed Metrics)

निष्ठा को प्रेडिक्टिव एक्यूरेसी से अलग करने के लिए, लेखक निम्नलिखित पेश करते हैं:

$\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ डाइवर्जेंस: सहायक डेटासेट्स का उपयोग करने पर कोवेरिएट शिफ्ट से उत्पन्न त्रुटि का एक प्रॉक्सी।
सरोगेट एरर ऑर्थोगोनैलिटी (Surrogate Error Orthogonality): सरोगेट लेबल त्रुटियों और बैकबोन एक्टिवेशन्स के बीच पूर्ण पियर्सन सहसंबंध (absolute Pearson correlation) $|\rho|$ । उच्च सहसंबंध व्यवस्थित विफलता का संकेत देता है।

प्रयोगात्मक सेटअप (Experimental Setup)

लेखक इन निष्कर्षों को निम्नलिखित पर सत्यापित करते हैं:

वास्तविक दुनिया के बेंचमार्क: CUB-200 (पक्षी) और CIFAR-10/100।
सिंथेटिक डेटासेट: Elements [48], जो सीधे संरेखण (alignment) को मापने के लिए ग्राउंड-ट्रुथ कॉन्सेप्ट एनोटेशन (आकार, रंग, बनावट) प्रदान करता है।
मॉडेल्स: विभिन्न पोस्ट-हॉक CBM कार्यान्वयन जैसे PCBM (सहायक डेटा), LFCBM (VLM टेक्स्ट एम्बेडिंग्स), और VLG-CBM (ग्राउंडेड ऑब्जेक्ट डिटेक्शन)।

मुख्य परिणाम (Key Results)

सटीकता भ्रामक है (Accuracy is Deceptive): प्रयोग पुष्टि करते हैं कि रैंडम कॉन्सेप्ट प्रोजेक्शन सार्थक कॉन्सेप्ट स्रोतों (जैसे, Broden, CLIP) द्वारा प्रशिक्षित मॉडल्स के समान डाउनस्ट्रीम एक्यूरेसी प्राप्त कर सकते हैं। जैसे-जैसे बॉटलनेक डायमेंशन $K$ बढ़ता है, रैंडम प्रोजेक्शन पर्याप्त ज्यामितीय जानकारी सुरक्षित रखते हैं जिससे डाउनस्ट्रीम क्लासिफायर मूल एक्टिवेशन्स को पुनर्गठित कर पाता है, जिससे एक्यूरेसी एक अविश्वसनीय प्रॉक्सी बन जाती है।
कोवेरिएट शिफ्ट का प्रभाव: आउट-ऑफ-डिस्ट्रीब्यूशन सहायक डेटा (जैसे, अमूर्त पैटर्न) पर प्रशिक्षित मॉडल, उच्च डाउनस्ट्रीम एक्यूरेसी बनाए रखने के बावजूद, इन-डोमेन ट्रेनिंग की तुलना में काफी कम कॉन्सेप्ट फथफुलनेस (ग्राउंड-ट्रुथ के साथ कोसाइन सिमिलरिटी द्वारा मापा गया) प्रदर्शित करते हैं। प्रस्तावित $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ मीट्रिक इस फथफुलनेस में गिरावट के साथ मजबूती से सहसंबंधित है।
व्यवस्थित बनाम रैंडम नॉइज़:
- रैंडम नॉइज़: ग्राउंड-ट्रुथ डेटा में 25% रैंडम लेबल नॉइज़ जोड़ने से निष्ठावान प्रोजेक्शन प्राप्त होते हैं क्योंकि त्रुटियां औसत हो जाती हैं (ऑर्थोगोनैलिटी बनी रहती है)।
- व्यवस्थित नॉइज़: VLMs (CLIP, DINOv3, Grounding DINO) विशिष्ट फीचर्स के साथ सहसंबंधित व्यवस्थित त्रुटियां पेश करते हैं। उदाहरण के लिए, Grounding DINO सफेद बैकग्राउंड पर ज्यामितिक आकृतियों के साथ संघर्ष करता है, जिससे सहसंबंधित त्रुटियां पैदा होती हैं जो अनफथफुल प्रोजेक्शन की ओर ले जाती हैं। प्रस्तावित सहसंबंध मीट्रिक इन विफलताओं को सफलतापूर्वक पहचान लेता है जहां मानक एक्यूरेसी मीट्रिक्स विफल हो जाते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह प्रेडिक्टिव परफॉरमेंस से स्वतंत्र रूप से पोस्ट-हॉक CBMs की निष्ठा (faithfulness) के मूल्यांकन के लिए पहला कठोर सैद्धांतिक और अनुभवजन्य ढांचा प्रदान करता है।

सैद्धांतिक योगदान: यह औपचारिक रूप देता है कि किन परिस्थितियों में रैंडम प्रोजेक्शन सिमेंटिक रीजनिंग की नकल कर सकते हैं (मैनिफोल्ड Johnson-Lindenstrauss lemma के माध्यम से) और उन विशिष्ट स्थितियों (एरर ऑर्थोगोनैलिटी) को व्युत्पन्न करता है जिनके तहत सरोगेट सुपरविजन विफल हो जाता है।
व्यावहारिक योगदान: यह नए मीट्रिक्स पेश करता है जो अभ्यासकर्ताओं को अनफथफुल व्यवहारों का पता लगाने में सक्षम बनाते—विशेष रूप से कोवेरिएट शिफ्ट और व्यवस्थित VLM बायस—जो मानक एक्यूरेसी-आधारित मूल्यांकन में अदृश्य रहते हैं।
निहितार्थ: लेखक तर्क देते हैं कि केवल डाउनस्ट्रीम एक्यूरेसी पर निर्भर रहना व्याख्यात्मकता (interpretability) का एक "भ्रम" पैदा करता है। सच्ची व्याख्यात्मकता के लिए कॉन्सेप्ट प्रोजेक्शन $\pi_\theta$ का सीधा निरीक्षण आवश्यक है ताकि यह सुनिश्चित किया जा सके कि यह मानवीय अर्थों के साथ संरेखित है, जिसके लिए प्रस्तावित फथफुलनेस मीट्रिक्स का उपयोग अनिवार्य है।

यह कार्य कोई नया प्रशिक्षण एल्गोरिदम प्रस्तावित नहीं करता है, बल्कि एक महत्वपूर्ण मूल्यांकन ढांचा प्रदान करता है ताकि यह सुनिश्चित किया जा सके कि कॉन्सेप्ट बॉटलनेक मॉडल्स में "बॉटलनेक" वास्तव में मानव-समझने योग्य कॉन्सेप्ट्स का है, न कि कच्चे फीचर्स का एक संकुचित प्रतिनिधित्व।