🤖 machine learning

Structurally Separated Uncertainty in Supervised Latent Variable Models

यह शोध पत्र सुपरवाइज्ड लेटेंट-वेरिएबल मॉडल्स के लिए एक "स्ट्रक्चरल सेपरेशन" (संरचनात्मक पृथक्करण) डिजाइन सिद्धांत प्रस्तावित करता है जो एपिस्टेमिक और एलियटोरिक अनिश्चितता को अलग-अलग प्रशिक्षण लक्ष्यों वाले विविक्त पैरामीटर पथों को सौंपता है, जिससे भविष्य कहनेवाला प्रदर्शन बनाए रखते हुए कम सहसंबंध के साथ ऑपरेशनल रूप से सु distinguishable (विभेदित करने योग्य) अनिश्चितता अनुमान प्राप्त किया जा सके।

मूल लेखक: Tanmoy Mukherjee, Marius Kloft, Pierre Marquis, Zied Bouraoui

प्रकाशित 2026-07-30

📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tanmoy Mukherjee, Marius Kloft, Pierre Marquis, Zied Bouraoui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह दो बहुत अलग चीजों को समझ सके: पहला, यह कि वह पर्याप्त रूप से नहीं जानता क्योंकि उसने पर्याप्त उदाहरण नहीं देखे हैं (जैसे एक छात्र जिसने अभी तक अध्याय का अध्ययन नहीं किया है); और दूसरा, यह कि उत्तर वास्तव में भ्रमित करने वाला या जटिल है, चाहे वह कितना भी अध्ययन क्यों न कर ले (जैसे एक पहेली जिसके दो समान रूप से अच्छे उत्तर हों)। आर्टिफिशियल इंटेलिजेंस की दुनिया में, भ्रम के पहले प्रकार को एपिस्टेमिक अनसर्टेंटी (epistemic uncertainty) (वह "मुझे और डेटा चाहिए" वाला प्रकार) कहा जाता है, और दूसरे प्रकार को एलियटोरिक अनसर्टेंटी (aleatoric uncertainty) (वह "दुनिया अस्पष्ट है" वाला प्रकार) कहा जाता है।

यह क्यों मायने रखता है? क्योंकि यदि रोबोट अंतर नहीं कर पाता है, तो वह भयानक गलतियाँ कर सकता है। यदि वह सोचता है कि एक भ्रमित करने वाले चिकित्सा लक्षण को केवल डेटा की कमी है, तो वह मानव डॉक्टर से मदद मांगने के बजाय मनमाने ढंग से अनुमान लगा सकता है। यदि वह सोचता है कि एक गायब तथ्य केवल एक उलझाने वाली पहेली है, तो वह हार मान सकता है जबकि वह थोड़े और प्रशिक्षण के साथ उत्तर सीख सकता था। वर्षों से, वैज्ञानिकों ने ऐसे रोबोट बनाने की कोशिश की है जो इन दोनों के बीच अंतर कर सकें, लेकिन अधिकांश प्रयास विफल रहे। उन्होंने ऐसे सिस्टम बनाए जहाँ रोबोट का "भ्रम मीटर" और उसका "अस्पष्टता मीटर" आपस में चिपके हुए थे, इसलिए जब एक बढ़ता था, तो दूसरा भी बढ़ जाता था, जिससे यह जानना असंभव हो जाता था कि रोबोट वास्तव में किस समस्या का सामना कर रहा है।

यह शोध पत्र उस 'गोंद' को ठीक करने का एक चतुर नया तरीका पेश करता है। लेखक, जो "कॉन्सेप्ट्स" (जैसे किसी मूवी रिव्यू को "भोजन", "सेवा" और "माहौल" में तोड़ना) का उपयोग करने वाले एक प्रकार के AI मॉडल के साथ काम कर रहे हैं, एक डिज़ाइन प्रस्तावित करते हैं जिसे स्ट्रक्चरल सेपरेशन (structural separation) कहा जाता है। इस विचार के अनुसार, रोबोट द्वारा अनुमान लगाने के बाद भ्रम को सुलझाने की कोशिश करने के बजाय, वे रोबोट को शुरू से ही दो पूरी तरह से अलग आंतरिक मार्गों के साथ बनाते हैं। एक मार्ग को विशेष रूप से यह पहचानने के लिए प्रशिक्षित किया जाता है कि रोबोट के पास जानकारी की कमी है, जबकि दूसरा मार्ग यह पहचानने के लिए प्रशिक्षित किया जाता है कि इनपुट स्वयं अव्यवस्थित है या उसके कई वैध उत्तर हैं।

शोधकर्ताओं ने मूवी रिव्यूज, हेट स्पीच डिटेक्शन और कठिन प्रश्नों सहित पांच अलग-अलग डेटासेट्स पर इस विचार का परीक्षण किया। उन्होंने पाया कि उनके नए डिज़ाइन ने अनिश्चितता के दोनों प्रकारों को सफलतापूर्वक अलग कर दिया। उनके सर्वश्रेष्ठ परिणामों में, "मुझे नहीं पता" सिग्नल और "यह भ्रमित करने वाला है" सिग्नल के बीच का सहसंबंध (correlation) एक मजबूत 0.84 (जहाँ वे लगभग एक ही चीज़ थे) से गिरकर लगभग 0.05 (जहाँ वे लगभग पूरी तरह से स्वतंत्र थे) हो गया। इसका अर्थ है कि रोबोट अब "मुझे और अध्ययन करने की आवश्यकता है" और "इस प्रश्न का कोई एक सही उत्तर नहीं है" के बीच अंतर कर सकता है। शोध पत्र सुझाव देता है कि इन दोनों प्रकार की अनिश्चितताओं को एक एकल भविष्यवाणी से बाहर निकालने के बजाय, मॉडल के भीतर उनके अपने समर्पित "मस्तिष्क" देकर, हम ऐसे AI सिस्टम बना सकते हैं जो यह बेहतर निर्णय ले सकें कि कब अनुमान लगाना है, कब मदद मांगनी है, और कब बस यह स्वीकार करना है कि उत्तर स्पष्ट नहीं है।

तकनीकी सारांश: एपिस्टेमिक और एलियटोरिक अनिश्चितता का संरचनात्मक पृथक्करण (Structural Separation of Epistemic and Aleatoric Uncertainty)

1. समस्या विवरण (Problem Statement)

भवितिक अनिश्चितता (Predictive uncertainty) को पारंपरिक रूप से एपिस्टेमिक अनिश्चितता (EU) (घटनीय मॉडल अज्ञानता) और एलियटोरिक अनिश्चितता (AU) (स्थिर डेटा अस्पष्टता) में विभाजित किया जाता है। हालांकि ये वैचारिक रूप से भिन्न हैं, इन मात्राओं का अनुमान लगाने वाली मानक विधियाँ अक्सर इन्हें अनुभवजन्य रूप से अलग करने में विफल रहती हैं। मोंटे कार्लो ड्रॉपआउट (Monte Carlo dropout), डीप एन्सेम्बल्स (deep ensembles), और एविडेंशियल नेटवर्क्स (evidential networks) जैसी तकनीकें इन दोनों अनुमानों को एक ही प्रेडिक्टिव डिस्ट्रीब्यूशन $p(y|x)$ से प्राप्त करती हैं।

यह एक "बीजगणितीय जाल" (algebraic trap) बनाता है: क्योंकि EU और AU दोनों एक ही वितरण के फलन (functions) हैं, वे एक साझा बीजगणितीय निर्भरता विरासत में प्राप्त करते हैं। हालिया बेंचमार्क संकेत देते हैं कि ये घटक अक्सर अत्यधिक सह-संबंधित होते हैं ( $\rho \ge 0.78$ ), जिससे यह अंतर करना असंभव हो जाता है कि मॉडल भ्रमित है (उच्च EU) या डेटा स्वाभाविक रूप से संदिग्ध है (उच्च AU)। औपचारिक परिणाम (जैसे, टॉमवव एट अल., 2026) सुझाव देते हैं कि $p(y|x)$ का कोई भी पोस्ट-हॉक फलन (post-hoc function) घटनीय त्रुटि (reducible error) और अंतर्निहित अस्पष्टता (intrinsic ambiguity) के बीच विशिष्ट रूप से अंतर नहीं कर सकता, क्योंकि विभिन्न अंतर्निहित अनिश्चितता अवस्थाएं समान इष्टतम प्रेडिक्टिव डिस्ट्रीब्यूशन उत्पन्न कर सकती हैं।

2. कार्यप्रणाली: संरचनात्मक पृथक्करण (Methodology: Structural Separation)

यह शोध पत्र इस बीजगणितीय जुड़ाव को तोड़ने के लिए एक डिज़ाइन सिद्धांत के रूप में संरचनात्मक पृथक्करण का प्रस्ताव करता है। दोनों अनिश्चितताओं को एक ही प्रेडिक्टिव ऑब्जेक्ट से प्राप्त करने के बजाय, लेखक सुपरवाइज्ड लेटेंट वेरिएबल मॉडल्स (SLVMs) के भीतर विभक्त पैरामीटर पथों (disjoint parameter paths) को EU और AU को सौंपते हैं।

मुख्य आर्किटेटेक्चर: क्रेडल कॉन्सेप्ट बॉटलनेक मॉडल (CBM)

प्राथमिक इंस्टेंशिएशन एक फ्रोजन एनकोडर (जैसे, DistilBERT) पर आधारित एक 'क्रेडल CBM' है। यह आर्किटेक्चर तीन ऑर्थोगोनल (orthogonal) पैरामीटर पथ पेश करता है:

मीन पाथ ( $\mu$ ): कॉन्सेप्ट्स के पॉइंट एस्टीमेट की भविष्यवाणी करता है, जो टास्क हेड को फीड करता है।
एपिस्टेमिक हेड ( $\sigma_{epi}$ ): घटनीय प्रेडिक्शन एरर को ट्रैक करने के लिए प्रशिक्षित है। यह एक अलग सेट $\phi_{epi}$ द्वारा पैरामीट्रिक है और इसे प्रेडिक्शन एरर (स्टॉप-ग्रेडिएंट्स के साथ ताकि गेमिंग को रोका जा सके) और एक हॉसडॉर KL रेगुलराइज़र (Hausdorff KL regularizer) के संयोजन वाले लॉस से सुपरवाइज किया जाता है।
एलियटोरिक हेड ( $\sigma_{ale}$ ): स्थिर लेबल अस्पष्टता को ट्रैक करने के लिए प्रशिक्षित है। यह एक अलग सेट $\phi_{ale}$ द्वारा पैरामीट्रिक है और इसे सीधे ग्राउंड-ट्रुथ लेबल डिस्ट्रीब्यूशन ( $H[\hat{p}^*]$ ) के एंट्रॉपी से सुपरवाइज किया जाता है, जो मल्टी-एनोटेटर असहमति या कॉर्पस-व्युत्पन्न उत्तर वितरण से प्राप्त होता है।

मुख्य तंत्र (Key Mechanisms)

विभक्त पैरामीट्राइजेशन (Disjoint Parameterization): एपिस्टेमिक और एलियटोरिक हेड्स गैर-अतिव्यापी (non-overlapping) पैरामीटर सेट्स ( $\phi_{epi} \cap \phi_{ale} = \emptyset$ ) का उपयोग करते हैं।
ऑर्थोगोनल प्रोजेक्शन (Orthogonal Projections): एनकोडर आउटपुट $h$ को ऑर्थोगोनल सबस्पेस ( $W_{epi}h$ , $W_{ale}h$ ) में प्रोजेक्ट किया जाता है ताकि यह सुनिश्चित हो सके कि हेड्स को गैर-अतिव्यापी फीचर इनपुट प्राप्त हों।
ग्रेडिएंट आइसोलेशन (Gradient Isolation): ट्रेनिंग लॉस को इस तरह से विघटित किया जाता है कि एपिस्टेमिक लॉस ( $L_{epi}$ ) केवल $\phi_{epi}$ पर निर्भर करता है और एलियटोरिक लॉस ( $L_{ale}$ ) केवल $\phi_{ale}$ पर निर्भर करता है। लेखक सिद्ध करते हैं (थ्योरम 3.3) कि इन स्थितियों के तहत, क्रॉस-ग्रेडिएंट्स शून्य होते हैं ( $\nabla_{\phi_{epi}} L_{ale} = 0$ और $\nabla_{\phi_{ale}} L_{epi} = 0$ )।
क्रेडल सेट्स (Credal Sets): मॉडल कॉन्सेप्ट्स को एक मीन $\mu$ और एक एपिस्टेमिक कोवेरिएंस $\Sigma_{epi}$ द्वारा परिभाषित क्रेडल सेट्स (प्रोबेबिलिटी डिस्ट्रीब्यूशन के उत्तल सेट्स) के रूप में प्रस्तुत करता है, जबकि एलियटोरिक वेरिएंस $\sigma_{ale}$ को क्रेडल सेट के बाहर अलग से मॉडल किया जाता है।

3. मुख्य योगदान (Key Contributions)

संरचनात्मक पृथक्करण सिद्धांत (Structural Separation Principle): यह पेपर SLVMs के लिए एक फ्रेमवर्क पेश करता है जहाँ EU और AU को $p(y|x)$ के पोस्ट-हॉक डिकंपोजिशन के बजाय अलग-अलग सुपरवाइज्ड पैरामीटर पथों से कंप्यूट किया जाता है।
ग्रेडिएंट-आइसोलेशन थ्योरम (Gradient-Isolation Theorem): एक औपचारिक प्रमाण जो यह दर्शाता है कि अलग-अलग पैरामीटर्स और अलग-अलग लॉस टर्म्स के साथ, EU और AU हेड्स ट्रेनिंग के दौरान एक-दूसरे से अलग रहते हैं, जिससे पूर्ववर्ती कार्यों में पहचाने गए बीजगणितीय जाल से बचा जा सके।
क्रेडल CBM इंस्टेंशिएशन (Credal CBM Instantiation): एक विशिष्ट कार्यान्वयन जो ऑर्थोगोनल प्रोजेक्शन और हाइब्रिड लॉस फंक्शन का उपयोग करके एक क्रेडल कॉन्सेप्ट बॉटलनेक मॉडल बनाता है, जो इस पृथक्करण को प्राप्त करने में सक्षम है।
व्यापक डायग्नोस्टिक्स (Comprehensive Diagnostics): लेखक न केवल डिकोरिलेशन, बल्कि सिमेंटिक वैधता का परीक्षण करने के लिए मेट्रिक्स पेश करते हैं और उन्हें मान्य करते हैं:
- ग्रेडिएंट आइसोलेशन: शून्य क्रॉस-ग्रेडिएंट्स को सत्यापित करना।
- सहसंबंध (Correlation): $\rho(U_{epi}, U_{ale})$ को मापना।
- डेटा-स्केलिंग रिड्यूसिबिलिटी: यह जांचना कि क्या डेटा बढ़ने के साथ EU कम होता है।
- एम्बिग्युटी ट्रैकिंग: यह सत्यापित करना कि क्या AU ग्राउंड-ट्रुथ एम्बिग्युटी ( $H[\hat{p}^*]$ ) के साथ सह-संबंधित है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन पांच बेंचमार्क पर किया गया: तीन कॉन्सेप्ट-बॉटलनेक डेटासेट (CEBaB, HateXplain, GoEmotions) जिनमें एनोटेटर-व्युत्पन्न अस्पष्टता थी, और दो QA डेटासेट (MAQA*, AmbigQA*) जिनमें कॉर्पस-व्युत्पन्न अस्पष्टता थी।

डिकोरिलेशन (Decorrelation): संरचनात्मक पृथक्करण ने स्टैंडर्ड मेथड्स जैसे डीप एन्सेम्बल्स और MC ड्रॉपआउट में देखे गए बेसलाइन रेंज $\rho \in [0.75, 0.84]$ से घटकर $\rho \approx 0.05$ तक स्पियरमैन सहसंबंध (Spearman correlation) को कम कर दिया। बिना किसी स्पष्ट डिकोरिलेशन पेनल्टी ( $\lambda_d = 0$ ) के भी, सहसंबंध कम ( $\rho \in [0.12, 0.23]$ ) रहा, जो "पोस्ट-हॉक फ्लोर" से काफी नीचे है।
सिमेंटिक वैलिडिटी (Semantic Validity):
- एलियटोरिक ट्रैकिंग: एलियटोरिक हेड ने ग्राउंड-ट्रुथ एम्बिग्युटी के साथ मजबूत सहसंबंध दिखाया ( $\rho(\sigma_{ale}, H) \in [0.42, 0.74]$ ), जबकि बेसलाइन्स बहुत कमजोर ट्रैकिंग दिखाते हैं।
- एपिस्टेमिक सेंसिटिविटी: एपिस्टेमिक हेड प्रेडिक्शन एरर के प्रति संवेदनशील रहा और इसने अपेक्षित रिड्यूसिबिलिटी सिग्नेचर (बढ़ते ट्रेनिंग डेटा के साथ घटते ग्रेडिएंट नॉर्म्स) को प्रदर्शित किया।
डाउनस्ट्रीम यूटिलिटी (Downstream Utility): इस विधि ने क्वाड्रेंट-आधारित रूटिंग (quadrant-based routing) को सक्षम बनाया, जो सफलतापूर्वक निम्नलिखित के बीच अंतर कर सका:
- DATA (डेटा): (उच्च EU, निम्न AU): वे मामले जिन्हें अधिक डेटा की आवश्यकता है (जैसे, अस्पष्ट तथ्य)।
- REVIEW (समीक्षा): (निम्न EU, उच्च AU): वे मामले जिन्हें अंतर्निहित अस्पष्टता के कारण मानव समीक्षा की आवश्यकता है (जैसे, व्यक्तिपरक विचार)।
  स्टैंडर्ड बेसलाइन्स इन विशिष्ट मामलों को एक डायगोनल (विकर्ण) पर समेट देते हैं, जिससे वे इन परिचालन निर्णयों का समर्थन करने में विफल रहते हैं।
मजबूती (Robustness): परिणाम विभिन्न एनकोडर आर्किटेक्चर (DistilBERT, BERT, RoBERTa) में स्थिर रहे और एक सेल्फ-एक्सप्लेनिंग न्यूरल नेटवर्क (SENN) इंस्टेंशिएशन पर भी पुष्ट किए गए।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सुपरवाइज्ड लेटेंट-वेरिएबल आर्किटेक्चर संरचनात्मक पृथक्करण के माध्यम से ऐसी अनिश्चितता अनुमान प्रदान करने का एक व्यावहारिक मार्ग प्रदान करते हैं जो केवल डिकोरिलेटेड ही नहीं बल्कि ऑपरेशनली डिस्टिंग्विशेबल (परिचालन योग्य रूप से सुलभ) भी हैं।

असंभवता को पार करना (Overcoming Impossibility): अनुमान को आउटपुट स्पेस (जो $p(y|x)$ के फलन हैं) से हटाकर पैरामीटर स्पेस (अलग-अलग हेड्स और अलग-अलग ग्रेडिएंट्स) में ले जाकर, यह दृष्टिकोण उन असंभवता परिणामों को दरकिनार करता है जो पोस्ट-हॉक डिकंपोजिशन पर लागू होते हैं।
परिचालन अंतर (Operational Distinction): प्राथमिक महत्व केवल सांख्यिकीय डिकोरिलेशन नहीं है, बल्कि अलग-अलग निर्णय लेने की क्षमता है: उच्च EU अधिक डेटा या मॉडल सुधार की आवश्यकता का संकेत देता है, जबकि उच्च AU परहेज (abstention) या मानव समीक्षा की आवश्यकता का संकेत देता है।
सीमाएँ (Limitations): लेखक विनम्रतापूर्वक नोट करते हैं कि यह फ्रेमवर्क सुपरवाइज्ड लेटेंट स्ट्रक्चर (कॉन्सेप्ट्स) और एम्बिग्युटी-संबंधित सुपरविजन सिग्नल्स (जैसे, मल्टी-एनोटेटर डेटा) की उपलब्धता पर निर्भर करता है। वे स्वीकार करते हैं कि बड़े LLMs के एंड-टू-एंड फाइन-ट्यूनिंग तक स्केलिंग करने के लिए पृथक्करण बनाए रखने हेतु सावधानीपूर्वक ग्रेडिएंट रूटिंग की आवश्यकता होगी, और वर्तमान बेंचमार्क विशेष रूप से निर्मित और अपेक्षाकृत छोटे हैं।

संक्षेप में, यह पेपर तर्क देता है कि आर्किटेक्चरल सेपरेशन, विशिष्ट सुपरविजन टारगेट्स के साथ मिलकर, ऐसी अनिश्चितता अनुमान प्राप्त करने के लिए एक आवश्यक और प्रभावी शर्त है जो सिमेंटिक रूप से वैध और निर्णय लेने के लिए उपयोगी है।