💻 computer science

Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

यह शोध पत्र CREDENCE को प्रस्तुत करता है, जो एक क्रेडल एन्सेम्बल कॉन्सेप्ट बॉटलनेक मॉडल (Credal Ensemble Concept Bottleneck Model) ढांचा है जो संभाव्यता अंतराल (probability intervals) और एन्सेम्बल असहमति (ensemble disagreement) का उपयोग करके अवधारणा-स्तरीय अनिश्चितता को एपिस्टेमिक (epistemic) और एलियटोरिक (aleatoric) घटकों में विभाजित करता है, जिससे स्वचालित रूटिंग, लक्षित डेटा संग्रह और मानव समीक्षा जैसी अधिक कार्रवाई योग्य निर्णय लेने की रणनीतियों को सक्षम बनाया जा सके।

मूल लेखक: Tanmoy Mukherjee, Thomas Bailleux, Pierre Marquis, Zied Bouraoui

प्रकाशित 2026-04-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tanmoy Mukherjee, Thomas Bailleux, Pierre Marquis, Zied Bouraoui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रेस्टोरेंट क्रिटिक (समीक्षक) हैं जो यह तय करने की कोशिश कर रहे हैं कि कोई समीक्षा सकारात्मक है या नकारात्मक। कभी-कभी, समीक्षा बिल्कुल स्पष्ट होती है: "खाना लाजवाब था!" आप जानते हैं कि आपको क्या करना है। लेकिन कभी-कभी, समीक्षा पेचीदा होती है: "वेटर कुशल था, मुझे ऐसा लगता है।"

क्या यह एक तारीफ है? एक शिकायत है? या बस कोई अनिश्चित है?

वर्तमान AI मॉडल अक्सर इस उत्तर के लिए आपको एक एकल संख्या देते हैं, जैसे कि "60% संभावना कि यह सकारात्मक है।" लेकिन यह एकल संख्या एक बड़ी समस्या को छिपा लेती है। यह आपको यह नहीं बताती कि AI क्यों अनिश्चित है। क्या AI इसलिए भ्रमित है क्योंकि उसने अपने प्रशिक्षण में इस तरह के पर्याप्त उदाहरण नहीं देखे हैं? या वाक्य इतना अस्पष्ट है कि एक मानव विशेषज्ञ भी इस पर बहस कर सकता है?

यह पेपर CREDENCE (क्रेडेंस - Credal Ensemble Concept Estimation) नामक एक नया सिस्टम पेश करता है जो इसे एक अकेले जासूस के बजाय 'जासूसों की एक टीम' की तरह काम करके हल करता है।

समस्या: "भ्रमित" बनाम "अस्पष्ट"

लेखकों का कहना है कि वर्तमान AI दो बहुत अलग प्रकार की अनिश्चितताओं को मिला देता है:

एपिस्टेमिक अनिश्चितता (Epistemic Uncertainty - "मैंने इसे अभी तक सीखा नहीं है" वाली समस्या): AI इसलिए भ्रमित है क्योंकि उसके पास अनुभव की कमी है। यदि आप उसे और उदाहरण दिखाते, तो वह उत्तर सीख सकता था।
एलियटोरिक अनिश्चितता (Aleatoric Uncertainty - "यह बस अस्पष्ट है" वाली समस्या): इनपुट स्वयं अस्पष्ट है। भले ही AI अनंत काल तक अध्ययन कर ले, मनुष्य अभी भी उत्तर पर बहस करेंगे क्योंकि वाक्य स्वाभाविक रूप से अस्पष्ट है।

इन दोनों को मिलाना खतरनाक है। यदि AI भ्रमित है, तो आपको इसे और अधिक प्रशिक्षित करना चाहिए। यदि वाक्य अस्पष्ट है, तो आपको किसी इंसान से निर्णय लेने के लिए कहना चाहिए। लेकिन यदि आप केवल एक "कम आत्मविश्वास" वाला स्कोर देखते हैं, तो आप नहीं जान पाएंगे कि कौन सा कदम उठाना है।

समाधान: जासूसों की एक टीम (CREDENCE)

CREDENCE AI के सोचने के तरीके को बदल देता है। एक अकेले AI से उत्तर का अनुमान लगाने के लिए कहने के बजाय, यह एक पाँच थोड़े अलग AI "हेड्स" (Heads) (सोचिए कि ये पाँच जासूस हैं जिनके पास अलग-अलग आवर्धक लेंस हैं) की एक टीम का उपयोग करता है जो एक ही वाक्य को देखते हैं।

यह कैसे काम करता है, चरण-दर-चरण:

1. जासूसों की टीम (Ensemble Heads)
कल्पना कीजिए कि पाँच जासूस वाक्य "वेटर कुशल था, मुझे ऐसा लगता है" को देख रहे हैं।

जासूस A (एक साधारण लेंस के साथ प्रशिक्षित) सोचता है: "शायद सकारात्मक।"
जासूस B (एक विस्तृत लेंस के साथ प्रशिक्षित) सोचता है: "शायद नकारात्मक।"
जासूस C सोचता है: "यह एक अनिर्णायक स्थिति है।"

यदि पाँचों जासूस सहमत हैं, तो AI आत्मविश्वासी (Confident) है। यदि वे सभी असहमत हैं, तो AI जानता है कि वह भ्रमित (Confused) है (एपिस्टेमिक अनिश्चितता)। यह असहमति सिस्टम को बताती है: "हे, हमें इस तरह के वाक्यों को संभालने के लिए सीखने हेतु अधिक प्रशिक्षण डेटा की आवश्यकता है।"

2. "अस्पष्टता मीटर" (Aleatoric Head)
अलग से, इस सिस्टम में एक विशेष सेंसर है जिसे यह पहचानने के लिए प्रशिक्षित किया गया है कि मनुष्य स्वयं कब असहमत होते हैं। यह वाक्य को देखता है और पूछता है: "क्या यह वाक्य इतना अस्पष्ट है कि लोगों का एक समूह भी इस पर बहस करेगा?"
यदि उत्तर हाँ है, तो सिस्टम इसे एलियटोरिक अनिश्चितता (Aleatoric Uncertainty) के रूप में चिह्नित करता है। यह सिस्टम को बताता है: "इस पर प्रशिक्षण देकर समय बर्बाद न करें; इसे एक मानव समीक्षक के पास भेज दें।"

**3. "इंटरवल" (Interval) उत्तर
एक एकल संख्या (जैसे 60%) देने के बजाय, CREDENCE एक रेंज (सीमा) देता है (जैसे "40% और 80% के बीच")।

एक संकीर्ण रेंज का अर्थ है कि जासूस सहमत हैं (कम अनिश्चितता)।
एक विस्तृत रेंज का अर्थ है कि वे आपस में लड़ रहे हैं (उच्च अनिश्चितता)।

आप इसके साथ क्या कर सकते हैं?

क्योंकि CREDENCE "भ्रम" को "अस्पष्ट इनपुट" से अलग करता है, यह आपको क्या करना है इसके लिए एक विशिष्ट निर्देश दे सकता है। पेपर का परीक्षण रेस्टोरेंट समीक्षाओं को पढ़ने और विषाक्त टिप्पणियों (toxic comments) को पहचानने जैसे कार्यों पर किया गया है।

उन्होंने चार अलग-अलग स्थितियाँ पाईं, जो AI निर्णयों के लिए एक ट्रैफिक लाइट सिस्टम की तरह हैं:

🟢 विश्वास (कम भ्रम, कम अस्पष्टता): जासूस सहमत हैं, और वाक्य स्पष्ट है। कार्रवाई: AI को इसे स्वचालित रूप से संभालने दें।
🟡 डेटा (उच्च भ्रम, कम अस्पष्टता): जासूस लड़ रहे हैं, लेकिन वाक्य स्पष्ट है। इसका मतलब है कि AI ने अभी तक पर्याप्त उदाहरण नहीं देखे हैं। कार्रवाई: AI को सिखाने के लिए अधिक प्रशिक्षण डेटा एकत्र करें।
🟠 समीक्षा (कम भ्रम, उच्च अस्पष्टता): जासूस सहमत हैं, लेकिन वाक्य इतना अजीब या अस्पष्ट है कि मनुष्य इस पर बहस करेंगे। कार्रवाई: इसे मानव समीक्षक के पास भेजें। AI गलत नहीं है; स्थिति बस मानवीय निर्णय की मांग करती है।
🔴 परहेज (उच्च भ्रम, उच्च अस्पष्टता): जासूस लड़ रहे हैं, और वाक्य पूरी तरह से उलझा हुआ है। कार्रवाई: बिल्कुल भी अनुमान न लगाएं। कार्य को अस्वीकार कर दें या किसी विशेषज्ञ को सौंप दें।

परिणाम

पेपर ने कई डेटासेट्स (जैसे रेस्टोरेंट समीक्षा और भावना पहचान) पर इसका परीक्षण किया। उन्होंने पाया कि:

जब AI ने गलती की, तो यह आमतौर पर इसलिए था क्योंकि "जासूस" असहमत थे (उच्च भ्रम)।
जब AI ने किसी वाक्य को "अस्पष्ट" के रूप में चिह्नित किया, तो यह लगभग हमेशा इसलिए था क्योंकि वास्तविक मनुष्यों ने वास्तव में लेबल करने के बारे में असहमति जताई थी (उच्च अस्पष्टता)।
सबसे महत्वपूर्ण बात यह है कि यदि आपने "अस्पष्ट" वाक्यों को सुधारकर AI को ठीक करने की कोशिश की, तो आपको "भ्रमित" वाक्यों को ठीक करने की तुलना में बहुत बेहतर परिणाम मिले। यह सुझाव देता है कि जो चीजें मनुष्यों को अस्पष्ट लगती हैं, वे वास्तव में निर्णय लेने की प्रक्रिया के सबसे महत्वपूर्ण हिस्से हैं।

संक्षेप में

CREDENCE एक एकल "चेतावनी" लाइट के बजाय एक डैशबोर्ड देने जैसा है जिसमें दो अलग-अलग चेतावनी लाइटें हैं। एक लाइट बताती है, "हमें और अध्ययन करने की आवश्यकता है," और दूसरी बताती है, "यह मशीन के लिए बहुत कठिन है, किसी इंसान को बुलाएं।" इन दो समस्याओं को अलग करके, सिस्टम सटीक रूप से जानता है कि कैसे प्रतिक्रिया देनी है, जिससे यह वास्तविक दुनिया के निर्णयों के लिए अधिक सुरक्षित और उपयोगी बन जाता है।

यहाँ शोध पत्र "Credal Concept Bottleneck Models for Epistemic–Aleatoric Uncertainty Decomposition" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

उच्च-जोखिम वाले नेचुरल लैंग्वेज प्रोसेसिंग (NLP) अनुप्रयोगों (जैसे स्वास्थ्य सेवा, कानूनी, वित्त) में, मानक मॉडल एक एकल कॉन्फिडेंस स्कोर आउटपुट करते हैं जो दो अलग-अलग प्रकार की अनिश्चितताओं को मिला देता है:

एपिस्टेमिक अनिश्चितता (Epistemic Uncertainty): यह मॉडल की अज्ञानता या अपर्याप्तता के कारण होने वाली कम करने योग्य अनिश्चितता है (जैसे, मॉडल ने पर्याप्त समान प्रशिक्षण उदाहरण नहीं देखे हैं)।
एलेयटोरिक अनिश्चितता (Aleatoric Uncertainty): यह इनपुट डेटा में अंतर्निहित अस्पष्टता या शोर के कारण होने वाली अपरिहार्य अनिश्चितता है (जैसे, मानव एनोटेटर्स लेबल पर वास्तव में असहमत हैं)।

वर्तमान दृष्टिकोणों की सीमाएँ:

कॉन्सेप्ट बॉटलनेक मॉडल्स (CBMs): जबकि CBMs मध्यवर्ती मानव-समझने योग्य अवधारणाओं (concepts) की भविष्यवाणी करके व्याख्यात्मकता (interpretability) में सुधार करते हैं, वे आमतौर पर पॉइंट प्रोबेबिलिटीज (एकल मान) आउटपुट करते हैं। यह एपिस्टेमिक और एलेयटोरिक अनिश्चितता को एक साथ मिला देता है, जिससे यह निर्धारित करना असंभव हो जाता है कि भविष्यवाणी क्यों अनिश्चित है।
एक्शनेबिलिटी गैप (Actionability Gap): अपघटन (decomposition) के बिना, अभ्यासकर्ता यह अंतर नहीं कर सकते कि किन मामलों में मॉडल को अधिक प्रशिक्षण डेटा की आवश्यकता है (उच्च एपिस्टेमिक) बनाम किन मामलों में इनपुट की अस्पष्टता के कारण मानव समीक्षा की आवश्यकता है (उच्च एलेयटोरिक)।

2. कार्यप्रणाली: CREDENCE

लेखक CREDENCE (Credal Ensemble Concept Estimation) प्रस्तावित करते हैं, जो निर्माण के आधार पर अवधारणा स्तर पर अनिश्चितता का अपघटन करता है।

मुख्य वास्तुशिल्प नवाचार (Core Architectural Innovations)

क्रेडल भविष्यवाणियाँ (अंतराल/Intervals): एक एकल संभाव्यता $p_k$ के बजाय, प्रत्येक अवधारणा $k$ को एक संभाव्यता अंतराल $[p_k, \bar{p}_k]$ के रूप में भविष्यवाणी किया जाता है। यह अंतराल एक क्रेडल सेट (Credal Set) का प्रतिनिधित्व करता है, जो संभावित संभावनाओं की सीमा को कैप्चर करता है।
अनिश्चितता का संरचनात्मक पृथक्करण: आर्किटेक्चर यह सुनिश्चित करता है कि एपिस्टेमिक और एलेयटोरिक सिग्नल अलग-अलग स्रोतों से आएं ताकि वे एक एकल स्कोर में न मिलें।
- एपिस्टेमिक अनिश्चितता ( $U_{epi}$ ): यह एन्सेम्बल डिसएग्रीमेंट (ensemble disagreement) से प्राप्त होती है। मॉडल विविध हल्के वजन वाले हेड्स (LoRA एडेप्टर) का उपयोग करता है जिनके विभिन्न रैंक और ड्रॉपआउट दरें होती हैं। उनके भविष्यवाणियों में भिन्नता (variance) मॉडल के भ्रम को मापती है।
- एलेयटोरिक अनिश्चितता ( $U_{ale}$ ): यह एक समर्पित हेड (dedicated head) से प्राप्त होती है जिसे विशेष रूप से एनोटेटर डिसएग्रीमेंट (अस्पष्टता) की भविष्यवाणी करने के लिए प्रशिक्षित किया गया है। यह हेड एक मान आउटपुट करना सीखता है जो किसी दिए गए कॉन्सेप्ट के लिए मानव लेबल्स के विचरण (variance) के समानुपाती होता है।

पाइपलाइन चरण (Pipeline Stages)

एनकोडर (Encoder): एक फ्रोजन प्री-ट्रेंड मॉडल (जैसे, RoBERTa, LLMs) इनपुट टेक्स्ट $x$ को एक रिप्रेजेंटेशन $h$ में एनकोड करता है।
एन्सेम्बल हेड्स (Ensemble Heads): $H$ विविध LoRA हेड्स कॉन्सेप्ट प्रोबेबिलिटीज $\hat{p}_h^{(k)}$ की भविष्यवाणी करते हैं।
क्रेडल एग्रीगेशन (Credal Aggregation):
- अंतराल सीमाएँ बनाई जाती हैं: $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$ ।
- एपिस्टेमिक अनिश्चितता हेड्स के बीच विचरण के रूप में गणना की जाती है: $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$ ।
एलेयटोरिक हेड (Aleatoric Head): एक अलग हेड $\sigma_\theta^{(k)}$ की भविष्यवाणी करता है, जिसे प्रशिक्षण के दौरान देखे गए एनोटेटर डिसएग्रीमेंट रेट (ग्राउंड ट्रुथ) से मेल खाने के लिए प्रशिक्षित किया गया है।
वर्गीकरण और निर्णय (Classification & Decision):
- अंतिम लेबल कॉन्सेप्ट प्रोबेबिलिटीज के माध्य (mean) का उपयोग करके भविष्यवाणी किए जाते हैं।
- निर्णय नियम (Decision Rules): सिस्टम अपघटित सिग्नल्स का उपयोग नमूनों को रूट करने के लिए करता है:
  - विश्वास (Trust): कम Epi, कम Ale $\rightarrow$ ऑटोमेट करें।
  - डेटा संग्रह (Data Collection): उच्च Epi, कम Ale $\rightarrow$ अधिक प्रशिक्षण डेटा एकत्र करें।
  - मानव समीक्षा (Human Review): कम Epi, उच्च Ale $\rightarrow$ मनुष्यों के पास भेजें (इनपुट अस्पष्ट है)।
  - परहेज (Abstain): उच्च Epi, उच्च Ale $\rightarrow$ भविष्यवाणी करने से मना करें।

3. मुख्य योगदान (Key Contributions)

क्रेडल CBM फॉर्मूलेशन: एक नया CBM वेरिएंट जो अवधारणा भविष्यवाणियों को पॉइंट एस्टीमेट के बजाय संभाव्यता अंतराल के रूप में प्रस्तुत करता है, जिससे सिद्धांत आधारित अनिश्चितता मात्रा निर्धारण (uncertainty quantification) सक्षम होता है।
संरचनात्मक अपघटन (Structural Decomposition): एक विधि जो अलग-अलग वास्तुशिल्प घटकों (एन्सेम्बल विचरण बनाम सुपरवाइज्ड एंबिग्युटी हेड) का उपयोग करके एपिस्टेमिक (मॉडल भ्रम) और एलेयटोरिक (डेटा अस्पष्टता) सिग्नल्स को अलग करती है, जिससे सिग्नल कोलैप्स को रोका जा सकता है।
क्रियात्मक निर्देशात्मक मार्गदर्शन (Actionable Prescriptive Guidance): यह प्रदर्शित करता है कि अनिश्चितता का अपघटन विशिष्ट, अनुकूलित हस्तक्षेपों (जैसे, एपिस्टेमिक त्रुटियों के लिए डेटा संग्रह को प्राथमिकता देना बनाम एलेयटोरिक मामलों के लिए मानव समीक्षा) की अनुमति देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन CEBaB, GoEmotions, HateXplain, और SST-2 जैसे डेटासेट्स का उपयोग करके कई NLP कार्यों (Sentiment, Emotion, Toxicity) पर किया गया।

अपघटन वैधता (RQ1 और RQ2):
- एपिस्टेमिक सहसंबंध (Epistemic Correlation): CREDENCE एपिस्टेमिक अनिश्चितता और भविष्यवाणी त्रुटियों के बीच एक मजबूत सकारात्मक सहसंबंध दिखाता है ( $\rho_{epi} \approx 0.287$ CEBaB पर)। जब मॉडल गलत होता है, तो एन्सेम्बल हेड्स असहमत होते हैं।
- एलेयटोरिक सहसंबंध (Aleatoric Correlation): एलेयटोरिक अनिश्चितता एनोटेटर डिसएग्रीमेंट के साथ दृढ़ता से सहसंबद्ध है ( $\rho_{ale} \approx 0.785$ CEBaB पर), जो बेसलाइन्स (जैसे, CBM+Ensemble $\rho_{ale} \approx 0.356$ ) से कहीं बेहतर है।
- पृथक्करण (Separation): SST-2 पर (जिसमें एनोटेटर डिसएग्रीमेंट लेबल्स की कमी है), एलेयटोरिक अनिश्चितता सही ढंग से कोई सहसंबंध नहीं दिखाती है, जो यह सिद्ध करता है कि यह मॉडल की विफलता नहीं, बल्कि अस्पष्टता को मापता है।
क्रियाशीलता (Actionability) (RQ3):
- कॉन्सेप्ट इंटरवेंशन (Concept Intervention): उच्च एलेयटोरिक अनिश्चितता वाली अवधारणाओं को ग्राउंड-ट्रुथ लेबल्स से बदलने से उच्च एपिस्टेमिक अवधारणाओं को बदलने की तुलना में काफी अधिक सटीकता लाभ ( $\Delta Acc \approx 18.9\%$ ) मिलता है ( $\Delta Acc \approx 4.3\%$ की तुलना में)। यह सुझाव देता है कि अस्पष्ट अवधारणाएं कार्य परिणामों को मॉडल भ्रम की तुलना में अधिक संचालित करती हैं।
- रूटिंग दक्षता (Routing Efficiency): चार-चतुर्थांश (four-quadrant) निर्णय ढांचा उन "मानव समीक्षा" मामलों (Low Epi, High Ale) की पहचान करता है जहाँ मॉडल वास्तव में सही है लेकिन मनुष्य असहमत हैं, जो सही ढंग से रूट किए जाने पर उच्चतम संभावित सटीकता लाभ ( $85.7\%$ ) प्राप्त करता है।
दक्षता (Efficiency): CREDENCE फुल डीप एन्सेम्बल्स की तुलना में न्यूनतम ओवरहेड (LoRA एडेप्टर का उपयोग करके) के साथ ये परिणाम प्राप्त करता है, जिससे समृद्ध अनिश्चितता सिग्नल प्रदान करते हुए प्रतिस्पर्धी सटीकता बनी रहती है।

5. महत्व और प्रभाव (Significance and Impact)

सिद्धांत और व्यवहार के बीच सेतु: यह शोध पत्र अनिश्चितता मात्रा निर्धारण से आगे बढ़कर निर्देशात्मक (prescriptive) क्रियाएं प्रदान करता है। यह अभ्यासकर्ताओं को बताता है कि अनिश्चितता के प्रकार के आधार पर क्या करना है (जैसे, "डेटा एकत्र करें" बनाम "मानव को भेजें")।
विषयनिष्ठता (Subjectivity) को संभालना: उन NLP कार्यों में जहाँ "ग्राउंड ट्र truth" अक्सर विवादित मानवीय निर्णयों का मिश्रण होता है (विषयनिष्ठता), मॉडल की अज्ञानता और अंतर्निहित अस्पष्टता के बीच अंतर करना महत्वपूर्ण है। CREDENCE इस अंतर को स्पष्ट रूप से मॉडल करने वाला पहला CBM फ्रेमवर्क प्रदान करता है।
मानव-AI सहयोग: यह पहचानकर कि मानव निर्णय कब आवश्यक है (उच्च एलेयटोरिक) बनाम कब मॉडल को केवल अधिक प्रशिक्षण की आवश्यकता है (उच्च एपिस्टेमिक), यह ढांचा मानव संसाधनों और डेटा संग्रह बजट के आवंटन को अनुकूलित करता है।
मजबूती (Robustness): यह विधि विभिन्न मॉडल स्केल्स (66M पैरामीटर एनकोडर से लेकर 8B पैरामीटर LLMs तक) और विविध NLP कार्यों पर सामान्यीकृत होती है।

संक्षेप में, CREDENCE अनिश्चितता को एक एकल, अपारदर्शी कॉन्फिडेंस स्कोर से एक संरचित, क्रियात्मक नैदानिक उपकरण (diagnostic tool) में बदल देता है, जिससे उच्च-जोखिम वाले वातावरण में अधिक विश्वसनीय और कुशल AI सिस्टम की तैनाती संभव होती है।