💬 NLP

Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

यह शोध पत्र डायरेक्शनल कंसन्ट्रेशन अनसर्टेंटी (DCU) को प्रस्तुत करता है, जो एक लचीला, हीयुरिस्टिक-मुक्त ढांचा है जो von Mises-Fisher वितरण के माध्यम से आउटपुट एम्बेडिंग्स के ज्यामितीय फैलाव को मापकर जनरेटिव मॉडल अनसर्टेंटी को परिमाणित करता है, जिससे मौजूदा विधियों के तुलनीय या बेहतर अंशांकन प्रदर्शन प्राप्त होता है और मल्टी-मोडल एवं एजेंटिक कार्यों में प्रभावी ढंग से सामान्यीकरण होता है।

मूल लेखक: Souradeep Chattopadhyay, Brendan Kennedy, Sai Munikoti, Soumik Sarkar, Karl Pazdernik

प्रकाशित 2026-02-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Souradeep Chattopadhyay, Brendan Kennedy, Sai Munikoti, Soumik Sarkar, Karl Pazdernik

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, रचनात्मक रोबोट मित्र (एक जनरेटिव एआई) है जो आपके सवालों के जवाब देता है। कभी-कभी, यह आपको एक शानदार, आत्मविश्वास से भरा जवाब देता है। अन्य समय में, यह केवल अनुमान लगा रहा होता है, भ्रमित (hallucinating) हो रहा होता है, या बस मनगढ़ंत बातें बना रहा होता है।

बड़ी समस्या यह है: आप कैसे जानें कि रोबोट पर कब भरोसा करना है?

यह शोध पत्र रोबोट के आत्मविश्वास को जांचने का एक नया तरीका पेश करता है, जिसे डायरेक्शनल कंसन्ट्रेशन अनसर्टेंटी (Directional Concentration Uncertainty - DCU) कहा जाता है। यहाँ इसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है।

पुराना तरीका: "सिमेंटिक क्लस्टरिंग" गेम

इस नए तरीके से पहले, शोधकर्ता 'सिमेंटिक एंट्रॉपी' (Semantic Entropy) नामक तकनीक का उपयोग करके अनिश्चितता को मापने की कोशिश करते थे।

उपमा: कल्पना कीजिए कि आप रोबोट से पूछते हैं, "Hamlet किसने लिखा था?" और आप उससे 10 बार उत्तर मांगते हैं।
- रोबोट के उत्तर: "शेक्सपियर," "विलियम शेक्सपियर," "द बार्ड," "शेक्स," "शेक्सपियर ने इसे लिखा था," आदि।
- पुराने तरीके का काम: एक इंसान (या एक जटिल कंप्यूटर प्रोग्राम) को उन सभी 10 उत्तरों को पढ़ना होगा और अर्थ के आधार पर उन्हें "बकेट" (buckets) में समूहबद्ध करना होगा।
  - बकेट A: "शेक्सपियर" (और इसके सभी रूप)।
  - बकेट B: "पिकासो" (यदि रोबोट भ्रमित हो गया हो)।
- परिणाम: यदि सभी 10 उत्तर बकेट A में आते हैं, तो रोबोट निश्चित (certain) है। यदि उत्तर कई अलग-अलग बकेटों में बिखरे हुए हैं, तो रोबोट अनिश्चित (uncertain) है।
समस्या: यह मोजों के एक मिले-जुले ढेर को यह पूछकर छांटने जैसा है कि क्या वे मेल खाते हैं, जिसके लिए इंसान को हर एक मोजे पर लगे लेबल को पढ़ना पड़ता है। यह सरल प्रश्नों (जैसे "शेक्सपियर ने Hamlet क्यों लिखा?") के लिए बहुत अच्छा काम करता है, लेकिन जब उत्तर लंबे, जटिल या चित्रों से संबंधित होते हैं, तो यह विफल हो जाता है। यह बहुत कठोर है और इसके लिए हर कार्य के लिए "अर्थ" की एक विशिष्ट परिभाषा की आवश्यकता होती है।

नया तरीका: "डायरेक्शनल कंसन्ट्रेशन" (DCU)

लेखक एक स्मार्ट और अधिक लचीला तरीका प्रस्तावित करते हैं जिसे डायरेक्शनल कंसन्ट्रेशन अनसर्टेंटी (DCU) कहा जाता है। शब्दों को पढ़कर उन्हें समूहबद्ध करने के बजाय, वे उत्तरों के आकार (shape) को देखते हैं।

उपमा: कल्पना कीजिए कि रोबोट के उत्तर केवल शब्द नहीं हैं, बल्कि एक विशाल ग्लोब पर एक विशिष्ट दिशा में इशारा करने वाले तीर (arrows) हैं।
- हर बार जब रोबोट उत्तर देता है, तो वह एक तीर खींचता है।
- यदि रोबोट आत्मविश्वास (confident) से भरा है, तो सभी 10 तीर लगभग बिल्कुल एक ही दिशा में इशारा करते हैं। वे एक साथ मजबूती से जुड़े होते हैं।
- यदि रोबोट भ्रमित (confused) है, तो तीर सभी अलग-अलग दिशाओं में इशारा करते हैं, पूरे ग्लोब पर फैल जाते हैं।
यह कैसे काम करता है:
1. सिस्टम रोबोट के 10 उत्तरों को गणितीय "तीरों" (embeddings) में बदल देता है।
2. यह जाँचता है कि वे तीर आपस में कितनी मजबूती से गुच्छे के रूप में एक साथ हैं।
3. मजबूत गुच्छा? = कम अनिश्चितता (रोबोट जानता है कि वह क्या कर रहा है)।
4. बिखरे हुए तीर? = उच्च अनिश्चितता (रोबोट केवल अनुमान लगा रहा है)।

यह बेहतर क्यों है?

"अर्थ" की आवश्यकता नहीं: आपको यह तय करने के लिए किसी इंसान या जटिल प्रोग्राम की आवश्यकता नहीं है कि "शेक्सपियर" और "द बार्ड" एक ही हैं। गणित बस देख लेता है कि उन दोनों उत्तरों के "तीर" एक ही दिशा में इशारा कर रहे हैं।
हर जगह काम करता है: पुराना तरीका विजुअल क्वेश्चन अनस्वियरिंग (एक तस्वीर देखकर सवाल का जवाब देना) जैसे जटिल कार्यों में संघर्ष करता था। नया तरीका वहां भी उतना ही अच्छा काम करता है क्योंकि इसे इस बात से फर्क नहीं पड़ता कि उत्तर टेक्स्ट है, किसी छवि का विवरण है, या कुछ और। इसे बस "तीरों" की दिशा से मतलब है।
लचीलापन: यह एक सिंगल पेचकस के बजाय स्विस आर्मी नाइफ होने जैसा है। यह बिना दोबारा प्रोग्राम किए सरल सामान्य ज्ञान, जटिल सारांश और यहाँ तक कि मल्टीमीडिया कार्यों को भी संभाल सकता है।

परिणाम

शोधकर्ताओं ने पुराने तरीके के मुकाबले इस नए तरीके का परीक्षण किया:

सरल टेक्स्ट प्रश्नों पर: नया तरीका पुराने तरीके जितना ही अच्छा प्रदर्शन करता है।
जटिल विजुअल प्रश्नों पर: पुराना तरीका संघर्ष करता और भ्रमित हो जाता, लेकिन नया तरीका (DCU) शांत रहा और बहुत बेहतर परिणाम दिए।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र हमें AI को अधिक भरोसेमंद बनाने के लिए एक नया उपकरण देता है। AI झूठ बोल रहा है या नहीं, यह जांचने के लिए हर संभव उत्तर के अर्थ को समझने के बजाय, हम बस AI के "दिशा" (direction) की निरंतरता को देखते हैं। यदि AI के उत्तर एक ही दिशा में इशारा कर रहे हैं, तो हम उस पर भरोसा कर सकते हैं। यदि वे गोल-गोल घूम रहे हैं, तो हमें सावधान रहना चाहिए।

यह जानने के लिए कि रोबोट पर कब भरोसा करना है, यह एक सरल, तेज़ और अधिक सार्वभौमिक तरीका है।

यहाँ शोध पत्र "Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जेनरेटिव मॉडल, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs), संवेदनशील क्षेत्रों में विश्वसनीयता और पारदर्शिता की कमी रखते हैं। जबकि अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification - UQ) मॉडल की अविश्वसनीयता का पता लगाने के लिए आवश्यक है, मौजूदा पद्धतियों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

कठोरता (Rigidity): कई वर्तमान दृष्टिकोण कठोर ह्यूरिस्टिक्स (heuristics) पर निर्भर करते हैं जो विभिन्न कार्यों या मोडैलिटीज (modalities) में सामान्यीकृत नहीं हो पाते।
सिमेंटिक एंट्रॉपी (Semantic Entropy - SE) की सीमाएँ: अत्याधुनिक विधि, सिमेंटिक एंट्रॉपी, सिमेंटिक समानता (semantic equivalence) (एंटेलमेंट मॉडल का उपयोग करके) के आधार पर उत्पन्न आउटपुट्स को क्लस्टर करने पर निर्भर करती है। यह छोटे, संरचित प्रश्न-उत्तर (QA) के लिए तो अच्छा काम करता है, लेकिन जटिल, ओपन-एंडेड या मल्टी-मोडल कार्यों के लिए विफल हो जाता है क्योंकि लंबे या विविध टेक्स्ट के लिए "सिमेंटिक समानता" को परिभाषित करना एक 'एड हॉक' (ad hoc) और कठिन प्रक्रिया है।
सामान्यीकरण की आवश्यकता (Need for Generalization): एक ऐसे UQ फ्रेमवर्क की आवश्यकता है जो लचीला, कार्य-अज्ञेय (task-agnostic) हो, और बिना किसी विशेष सिमेंटिक मैचिंग मॉडल के मल्टी-मोडल डेटा (जैसे, टेक्स्ट + इमेज) को संभालने में सक्षम हो।

2. कार्यप्रणाली: डायरेक्शनल कंसन्ट्रेशन अनसर्टेंटी (Directional Concentration Uncertainty - DCU)

लेखक डायरेक्शनल कंसन्ट्रेशन अनसर्टेंटी (DCU) प्रस्तावित करते हैं, जो एक ज्यामितीय (geometric) ढांचा है जो सिमेंटिक क्लस्टरिंग करने के बजाय एक निरंतर एम्बेडिंग स्पेस (continuous embedding space) में मॉडल आउटपुट्स के फैलाव को मापकर अनिश्चितता को परिमाणित करता है।

मुख्य कार्यप्रवाह (Core Workflow):

सैंपलिंग (Sampling): दिए गए इनपुट $x$ के लिए, मॉडल $N$ स्वतंत्र आउटपुट्स $\{y_1, y_2, ..., y_N\}$ उत्पन्न करता है।
एम्बेडिंग (Embedding): प्रत्येक आउटपुट को एक प्री-ट्रेन्ड एम्बेडिंग मॉडल $\phi(\cdot)$ का उपयोग करके $d$ -आयामी वेक्टर में मैप किया जाता है।
नॉर्मलाइजेशन (Normalization): एम्बेडिंग्स को यूनिट हाइपरस्फीयर ( $S^{d-1}$ ) पर स्थित होने के लिए $\ell_2$ -नॉर्मलाइज किया जाता है:
$z_i = \frac{\phi(y_i)}{\|\phi(y_i)\|}$
सांख्यिकीय मॉडलिंग (vMF): नॉर्मलाइज्ड एम्बेडिंग्स को वॉन मिसेस-फिशर (vMF) वितरण का उपयोग करके मॉडल किया जाता है, जो एक हाइपरस्फीयर पर परिभाषित है। यह वितरण निम्नलिखित द्वारा पैरामीटराइज्ड है:
- मीन डायरेक्शन ( $\mu$ ): एम्बेडिंग्स की औसत दिशा।
- कंसन्ट्रेशन पैरामीटर ( $\kappa$ ): यह मापता है कि नमूने (samples) माध्य दिशा के आसपास कितनी मजबूती से क्लस्टर होते हैं।
अनिश्चितता गणना (Uncertainty Calculation):
- कंसन्ट्रेशन पैरामीटर $\kappa$ का अनुमान MLE (Maximum Likelihood Estimation) के माध्यम से लगाया जाता है।
- उच्च $\kappa$ का अर्थ है टाइट क्लस्टरिंग (कम अनिश्चितता/उच्च निरंतरता)।
- निम्न $\kappa$ का अर्थ है उच्च फैलाव (उच्च अनिश्चितता/असंगति)।
- अंतिम अनिश्चितता स्कोर को व्युत्क्रम कंसन्ट्रेशन (inverse concentration) के रूप में परिभाषित किया गया है: $\kappa^{-1}$ ।

सिमेंटिक एंट्रॉपी (SE) से भिन्नता:

SE: उत्तरों को समूहों (clusters) में वर्गीकृत करने के लिए युग्मवार सिमेंटिक तुलना (जैसे, NLI मॉडल का उपयोग करके) की आवश्यकता होती है, फिर क्लस्टर संभावनाओं पर एंट्रॉपी की गणना की जाती है।
DCU: सीधे निरंतर एम्बेडिंग्स पर कार्य करता है। इसके लिए किसी डिस्क्रीट क्लस्टर असाइनमेंट, एंटेलमेंट मॉडल, या कार्य-विशिष्ट सिमेंटिक समानता की परिभाषा की आवश्यकता नहीं होती है।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: DCU का परिचय, जो एक ज्यामितीय UQ विधि है जो एम्बेडिंग स्पेस में डायरेक्टिंग कंसन्ट्रेशन विश्लेषण के माध्यम से सिमेंटिक क्लस्टरिंग को प्रतिस्थापित करती है।
मोडैलिटी अज्ञेयता (Modality Agnosticism): टेक्स्ट सिमेंटिक्स के बजाय एम्बेडिंग्स पर निर्भर रहने के कारण, DCU को किसी भी मोडैलिटी (टेक्स्ट, इमेज, मल्टी-मोडल) पर लागू किया जा सकता है, बशर्ते एक उपयुक्त एनकोडर मौजूद हो।
बेहतर सामान्यीकरण (Superior Generalization): यह प्रदर्शित किया गया कि DCU मानक QA कार्यों पर SE के प्रदर्शन से मेल खाता है या उससे बेहतर है, और उन जटिल, मल्टी-मोडल कार्यों पर SE से काफी बेहतर प्रदर्शन करता है जहाँ सिमेंटिक क्लस्टरिंग विफल हो जाती है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): पेपर तर्क देता है कि SE जैसे सैंपलिंग-आधारित तरीकों की सफलता मौलिक रूप से मॉडल के आउटपुट वितरण की निरंतरता द्वारा संचालित होती है, जिसे सिमेंटिक क्लस्टरिंग की तुलना में ज्यामितीय कंसन्ट्रेशन के माध्यम से अधिक कुशलता से कैप्चर किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA-2, Falcon, Mistral (केवल टेक्स्ट) और LLaVA, Gemma 3 (मल्टी-मोडल) का उपयोग करके कई डेटासेट्स पर SE के विरुद्ध DCU का मूल्यांकन किया।

A. टेक्स्ट-ओनली QA कार्य (TriviaQA, SQuAD, NQ-Open)

प्रदर्शन: DCU ने SE के तुलनीय AUROC स्कोर प्राप्त किए। कई मामलों में (जैसे, NQ-Open पर Falcon), DCU ने SE के बराबर या उससे थोड़ा बेहतर प्रदर्शन किया।
स्थिरता: दोनों पद्धतियों ने बूटस्ट्रैप रीसैंपलिंग (bootstrap resampling) में कम विचरण (variance) दिखाया, जो मजबूत अनिश्चितता संकेतों को दर्शाता है।
निष्कर्ष: DCU सिमेंटिक क्लस्टरिंग के कम्प्यूटेशनल ओवरहेड के बिना SE के समान अनिश्चितता संकेतों को सफलतापूर्वक कैप्चर करता है।

B. विजुअल क्वेश्चन आंसरिंग (ScienceQA)

चुनौती: इस कार्य में मल्टी-मोडल इनपुट (टेक्स्ट + इमेज) शामिल है और यह मानक QA की तुलना में अधिक जटिल है।
SE का प्रदर्शन: SE ने खराब प्रदर्शन किया (LLaVA के लिए AUROC ~0.51), जो दर्शाता है कि यह सही और गलत उत्तरों के बीच अंतर करने में विफल रहा। टेक्स्टुअल एंटेलमेंट मॉडल पर इसकी निर्भरता मल्टी-मोडल संदर्भ में टूट गई।
DCU का प्रदर्शन: DCU ने SE की तुलना में काफी बेहतर प्रदर्शन किया (LLaVA के लिए SE के 0.51 के मुकाबले DCU का AUROC 0.67)।
महत्व: यह सिद्ध करता है कि प्रतिनिधित्व आधारित दृष्टिकोण (representational approach) जटिल, मल्टी-मोडल डोमेन में सामान्यीकृत होता है जहाँ ह्यूरिस्टिक सिमेंटिक क्लस्टरिंग विफल हो जाती है।

5. महत्व और भविष्य के निहितार्थ (Significance and Future Implications)

मोडैलिटी बाधाओं को तोड़ना: DCU "सिमेंटिक समानता" पर निर्भरता को समाप्त करता है, जो गैर-टेक्स्ट या जटिल जेनरेटिव कार्यों के लिए अपरिभाषित है। यह इसे एजेंटिक सिस्टम (agentic systems) और मल्टी-मोडल पाइपलाइन्स में UQ के लिए एक व्यवहार्य उम्मीदवार बनाता है।
दक्षता (Efficiency): हालांकि DCU के लिए अभी भी कई सैंपलिंग रन की आवश्यकता होती है (एक लागत जो SE के साथ साझा की जाती है), यह महंगे युग्मवार एंटेलमेंट चेक की आवश्यकता को समाप्त कर देता है, जिससे जटिल परिदृश्यों में कम्प्यूटेशनल ओवरहेड कम हो सकता है।
भविष्य की दिशाएं:
- किसी भी मोडैलिटी (इमेज जनरेशन, ऑडियो) के लिए अनुप्रयोग।
- एजेंटिक वर्कफ़्लो में एकीकरण ताकि अनिश्चितता के प्रसार (uncertainty propagation) का पता लगाया जा सके और उसे रोकने के लिए सीमित किया जा सके, इससे पहले कि वह डाउनस्ट्रीम निर्णयों को प्रभावित करे।
- सीमाएँ: विधि के लिए अभी भी जेनरेटिव मॉडल से बार-बार सैंपलिंग की आवश्यकता होती है, जो वास्तविक समय के अनुप्रयोगों में कम्प्यूटेशनल रूप से महंगा हो सकता है। हालांकि, लेखक नोट करते हैं कि एनकोडर की लागत जेनरेटिव मॉडल की लागत की तुलना में कम है।

निष्कर्ष (Conclusion)

यह शोध पत्र स्थापित करता है कि डायरेक्शनल कंसन्ट्रेशन अनसेंटर्टी (DCU), सिमेंटिक एंट्रॉपी का एक मजबूत, लचीला और सामान्यीकरण योग्य विकल्प है। डिस्क्रीट सिमेंटिक क्लस्टरिंग से निरंतर ज्यामितीय कंसन्ट्रेशन की ओर ध्यान केंद्रित करके, DCU अनिश्चितता मात्रा निर्धारण के लिए एक एकीकृत ढांचा प्रदान करता है जो सरल टेक्स्ट QA से लेकर जटिल मल्टी-मोडल रीजनिंग कार्यों तक प्रभावी ढंग से स्केल करता है।