💬 NLP

Uncertainty Estimation for the Open-Set Text Classification systems

यह शोध पत्र ओपन-सेट टेक्स्ट क्लासिफिकेशन के लिए होलिस्टिक अनसर्टेन्टी एस्टीमेशन (HolUE) पद्धति को टेक्स्ट और गैलरी अनसर्टेन्टी दोनों को संबोधित करने के लिए अनुकूलित करने का प्रस्ताव करता है, जो कई डेटासेट्स पर प्रेडिक्शन रिजेक्शन प्रदर्शन में महत्वपूर्ण सुधार प्रदर्शित करता है और इस कार्य के लिए एक नया बेंचमार्क प्रस्तुत करता है।

मूल लेखक: Leonid Erlygin, Alexey Zaytsev

प्रकाशित 2026-04-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Leonid Erlygin, Alexey Zaytsev

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "सब कुछ जानने वाला" AI की समस्या

कल्पना कीजिए कि आपने किताबों को विशिष्ट अलमारियों में—जैसे "कुकिंग," "साइ-फाई," और "इतिहास"—सॉर्ट करने के लिए एक बहुत ही बुद्धिमान लेकिन अति-आत्मविश्वासी लाइब्रेरियन (आपका AI सिस्टम) को काम पर रखा है।

एक आदर्श दुनिया में, लाइब्रेरियन के पास आने वाली हर किताब इन तीन अलमारियों में से किसी एक की होनी चाहिए। लेकिन वास्तविक दुनिया में, लोग अजीब चीजें लेकर आते हैं: जैसे सैंडविच की रेसिपी, एक कॉमिक बुक, या कागज का एक खाली टुकड़ा।

समस्या:
ज्यादातर AI सिस्टम उस अति-आत्मविश्वासी लाइब्रेरियन की तरह होते हैं। यदि आप उन्हें कागज का एक खाली टुकड़ा देते हैं, तो वे यह नहीं कहेंगे, "मुझे नहीं पता कि यह क्या है।" इसके बजाय, वे उसे "इतिहास" की शेल्फ में डाल देंगे क्योंकि वह सबसे करीबी मैच है, भले ही वह गलत हो। वे आत्मविश्वासी होते हैं, लेकिन गलत होते हैं। यह तब खतरनाक हो जाता है जब AI बैंक खातों, चिकित्सा सलाह, या कानूनी दस्तावेजों जैसे निर्णय ले रहा हो।

इस शोध पत्र का लक्ष्य:
लेखक AI को यह सिखाना चाहते हैं कि वह कहना सीखे, "मुझे इस बारे में यकीन नहीं है," और गलती करने से पहले रुक जाए। वे चाहते हैं कि AI अपनी अनिश्चितता (uncertainty) को मापे।

"भ्रम" के दो प्रकार

यह शोध पत्र तर्क देता है कि AI दो बहुत अलग कारणों से भ्रमित होता है। इसे ठीक करने के लिए, आपको दोनों को समझना होगा:

1. "धुंधली फोटो" की समस्या (एम्बेडिंग अनसर्टेन्टी)

उपमा: कल्पना कीजिए कि आप भीड़ में अपने दोस्त को पहचानने की कोशिश कर रहे हैं, लेकिन उन्होंने एक भारी धुंधला मास्क पहना हुआ है, या उनकी फोटो बहुत दानेदार (grainy) है। भले ही आप जानते हों कि आपका दोस्त कैसा दिखता है, लेकिन इनपुट खराब है।
टेक्स्ट में: ऐसा तब होता है जब कोई यूजर खराब व्याकरण, स्लैंग, या स्पेलिंग की गलतियों के साथ कोई क्वेरी टाइप करता है। AI अर्थ को स्पष्ट रूप से "देख" नहीं पाता।
समाधान: AI को यह महसूस करने की जरूरत है, "हे, यह वाक्य अव्यवस्थित है। मैं अपने अनुमान पर भरोसा नहीं कर सकता।"

2. "जुड़वां भाइयों" की समस्या (गैलरी अनसर्टेन्टी)

उपमा: कल्पना कीजिए कि आप अपने दोस्त को पहचानने की कोशिश कर रहे हैं, लेकिन उसके ठीक बगल में उसका जुड़वां भाई खड़ा है। भले ही फोटो एकदम साफ हो, लेकिन यह बताना असंभव है कि कौन कौन है क्योंकि वे बिल्कुल एक जैसे दिखते हैं।
टेक्स्ट में: ऐसा तब होता है जब दो अलग-अलग श्रेणियां (categories) बहुत समान होती हैं। उदाहरण के लिए, एक यूजर पूछ रहा है "मैं अपना बैंक बैलेंस कैसे चेक करूँ?" जो "मैं अपनी क्रेडिट कार्ड लिमिट कैसे चेक करूँ?" के बहुत करीब है। AI दोनों उत्तर जानता है, लेकिन सवाल दोनों के बीच की रेखा पर खड़ा है।
समाधान: AI को यह महसूस करने की जरूरत है, "यह सवाल दो श्रेणियों के बीच की सीमा पर है। मुझे अनुमान नहीं लगाना चाहिए।"

नया टूल: "HolUE" (होलिस्टिक डिटेक्टिव)

लेखकों ने HolUE (होलिस्टिक अनसर्टेन्टी एस्टीमेशन) नामक एक नई विधि बनाई है। इसे एक ऐसे जासूस के रूप में सोचें जो न केवल संदिग्ध (टेक्स्ट) को देखता है, बल्कि अपराध स्थल (ज्ञात उत्तरों के डेटाबेस) को भी देखता है।

पुराने तरीके:
- विधि A (दूरी जांचने वाला): केवल यह देखता है कि टेक्स्ट ज्ञात उत्तरों से कितनी दूर है। यदि यह दूर है, तो यह "अज्ञात" कहता है। यदि यह पास है, तो यह "ज्ञात" कहता है। दोष: यह "जुड़वां भाई" वाली समस्या को पकड़ नहीं पाता।
- विधि B (गुणवत्ता जांचने वाला): केवल यह देखता है कि टेक्स्ट कितना स्पष्ट है। यदि टेक्स्ट अव्यवस्थित है, तो यह "अज्ञात" कहता है। दोष: यह "जुड़वां भाई" वाली समस्या को पकड़ नहीं पाता। एक स्पष्ट टेक्स्ट भी अस्पष्ट हो सकता है।
HolUE विधि:
यह जासूस दोनों दृष्टिकोणों को जोड़ता है।
1. क्या इनपुट अव्यवस्थित है? (धुंधली फोटो की जांच)।
2. क्या इनपुट दो समान श्रेणियों के बीच फंसा हुआ है? (जुड़वां भाई की जांच)।
यदि दोनों में से कोई भी सच है, तो AI रेड फ्लैग दिखाता है: "उच्च अनिश्चितता! अभी निर्णय न लें।"

उन्होंने इसका परीक्षण कैसे किया

उन्होंने इस नए जासूस का परीक्षण तीन अलग-अलग "कार्यों" पर किया:

लेखक पहचान का कार्य (Authorship Job): यह अनुमान लगाना कि किसने किताब लिखी है।
- चुनौती: एक असली लेखक और एक जालसाज (forger) के बीच अंतर करना जो बिल्कुल उनकी तरह लिखता है।
- परिणाम: HolUE जालसाजों को पहचानने में बहुत बेहतर था बिना असली लेखक पर गलत आरोप लगाए।
इरादा पहचानने का कार्य (Intent Job): यह अनुमान लगाना कि यूजर क्या चाहता है (जैसे, "टैक्सी बुलाओ" बनाम "मौसम की जांच करें")।
- चुनौती: यूजर्स अक्सर ऐसे अजीब सवाल पूछते हैं जो किसी भी श्रेणी में फिट नहीं बैठते।
- परिणाम: HolUE ने अजीब सवालों को गलत श्रेणी में डालने के बजाय उन्हें सफलतापूर्वक खारिज कर दिया।
विषय वर्गीकरण का कार्य (Topic Job): समाचार लेखों को "खेल" या "राजनीति" जैसे विषयों में छांटना।
- चुनौती: कुछ लेख दोनों विषयों के बारे में हो सकते हैं, या पूरी तरह से नए विषय पर हो सकते हैं।
- परिणाम: HolUE ने पुराने तरीकों की तुलना में सटीकता में भारी सुधार किया (कुछ मामलों में 365% तक बेहतर!)।

निष्कर्ष

इस शोध पत्र का मुख्य संदेश सरल है: "सटीक" होना काफी नहीं है; आपको "विनम्र" होने की भी आवश्यकता है।

एक वास्तव में स्मार्ट AI सिस्टम को केवल हर बार सही उत्तर पाने की कोशिश नहीं करनी चाहिए। उसे यह जानने के लिए भी स्मार्ट होना चाहिए कि वह उत्तर नहीं जानता है। AI को उसकी अपनी उलझन (अनिश्चितता) मापने के लिए शिक्षित करके, हम ऐसे सिस्टम बना सकते हैं जो सुरक्षित, अधिक भरोसेमंद और अज्ञात परिस्थितियों में शर्मनाक या खतरनाक गलतियाँ करने से बचने वाले हों।

संक्षेप में: लेखकों ने AI को उसके अपने आत्मविश्वास के लिए एक "झूठ पकड़ने वाले यंत्र" (lie detector) दिया है, जिससे वह गलत अनुमान लगाने के बजाय यह कह सके, "मुझे यकीन नहीं है, चलिए किसी इंसान से पूछते हैं।"

यहाँ L. A. Erlygin और A. A. Zaytsev के शोध पत्र "Uncertainty Estimation for the Open-Set Text Classification Systems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ओपन-सेट टेक्स्ट क्लासिफिकेशन (OSTC) की समस्या को संबोधित करता है, जो नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में एक महत्वपूर्ण चुनौती है जहाँ एक सिस्टम को इनपुट टेक्स्ट को ज्ञात वर्गों (गैलरी) के सेट में से किसी एक में वर्गीकृत करना होता है या उसे अज्ञात मानकर अस्वीकार करना होता है। क्लोज्ड-सेट क्लासिफिकेशन के विपरीत, OSTC अनुमान (inference) के दौरान आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) नमूनों की उपस्थिति को मानता है।

पहचाना गया मुख्य मुद्दा यह है कि मौजूदा OSTC विधियाँ मुख्य रूप से पहचान सटीकता (recognition accuracy) या OOD डिटेक्शन दरों (जैसे, फॉल्स एक्सेप्टेंस/रिजेक्शन को कम करना) को अधिकतम करने पर ध्यान केंद्रित करती हैं, लेकिन वे कैलिब्रेटेड अनसर्टेन्टी एस्टीमेशन (calibrated uncertainty estimates) प्रदान करने में विफल रहती हैं। सटीक अनसर्टेनिटी एस्टीमेशन के बिना, सिस्टम यह निर्धारित करने में सक्षम नहीं हो पाते कि उन्हें निर्णय लेने से कब बचना चाहिए, जो कि कन्वर्सेशनल एजेंट, ऑथरशिप वेरिफिकेशन और कंटेंट फिल्टरिंग जैसे जोखिम-संवेदनशील अनुप्रयोगों के लिए अत्यंत महत्वपूर्ण है।

लेखक OSTC में भविष्यवाणी त्रुटियों के दो प्राथमिक स्रोतों के बीच अंतर करते हैं:

गैलरी अनसर्टेन्टी (Gallery Uncertainty): यह एम्बेडिंग स्पेस की ज्यामितीय संरचना (geometric structure) से उत्पन्न होती है (उदाहरण के लिए, एक नमूना दो ज्ञात वर्गों के बीच के निर्णय सीमा के पास स्थित होना)।
एम्बेडिंग अनसर्टेन्टी (Embedding Uncertainty): यह इनपुट डेटा की गुणवत्ता या अस्पष्टता से उत्पन्न होती है (उदाहरण के लिए, शोर युक्त शब्दावली, स्लैंग, या शैलीगत भिन्नता जो एम्बेडिंग में उच्च विचरण/वेरिएंस का कारण बनती है)।

2. कार्यप्रणाली (Methodology)

लेखक होलिस्टिक अनसर्टेन्टी एस्टीमेशन (HolUE) फ्रेमवर्क को, जिसे मूल रूप से बायोमेट्रिक फेस रिकग्निशन के लिए विकसित किया गया था, टेक्स्ट डोमेन के अनुकूल बनाने का प्रस्ताव देते हैं। यह कार्यप्रणाली तीन मुख्य घटकों से मिलकर बनी है:

A. प्रोबेबिलिस्टिक टेक्स्ट एम्बेडिंग्स (Probabilistic Text Embeddings)

डिटरमिनिस्टिक पॉइंट एस्टीमेट्स के बजाय, सिस्टम ट्रांसफॉर्मर्स (BERT) के लिए अनुकूलित स्फेरिकल कॉन्फिडेंस फेस (SCF) आर्किटेक्चर का उपयोग करके प्रोबेबिलिस्टिक एम्बेडिंग्स उत्पन्न करता है:

फीचर एक्सट्रैक्शन (Feature Extraction): इनपुट टेक्स्ट को एक प्री-ट्रेन्ड BERT मॉडल के माध्यम से एनकोड किया जाता है, जिसमें [CLS] टोकन निकाला जाता है और उसे एक MLP बॉटलनेक के माध्यम से प्रोजेक्ट किया जाता है।
प्रोबेबिलिस्टिक हेड (Probabilistic Head): दो समानांतर हेड्स बॉटलनेक फीचर्स को प्रोसेस करते हैं:
1. एक मीन वेक्टर $\mu(x)$ जो हाइपरस्फीयर पर दिशा का प्रतिनिधित्व करता है।
2. एक कंसंट्रेशन पैरामीटर $\kappa(x)$ जो इनवर्स वेरिएंस का प्रतिनिधित्व करता है।
डिस्ट्रीब्यूशन (Distribution): ये पैरामीटर्स हाइपरस्फीयर पर एक वॉन मिसेस-फिशर (vMF) डिस्ट्रीब्यूशन $p(z|x)$ को परिभाषित करते हैं। कम $\kappa$ उच्च अनसर्टेन्टी (अस्पष्ट/शोर युक्त इनपुट) को दर्शाता है।

B. बेयसियन अनसर्टेन्टी मॉडलिंग (Bayesian Uncertainty Modeling)

फ्रेमवर्क पोस्टीरियर क्लास डिस्ट्रीब्यूशन $p(c|x)$ को पुनर्गठित करने के लिए OSTC को एक बेयसियन प्रोबेबिलिक फ्रेमवर्क के भीतर फॉर्मुलेट करता है। यह प्रोबेबिलिस्टिक एम्बेडिंग डिस्ट्रीब्यूशन को गैलरी स्ट्रक्चर के साथ एकीकृत करता है:

गैलरी मॉडलिंग (Gallery Modeling): ज्ञात वर्गों को क्लास प्रोटोटाइप्स के आसपास केंद्रित vMF डिस्ट्रीबशंस के रूप में मॉडल किया जाता है। अज्ञात वर्गों को स्फीयर पर एक यूनिफॉर्म डिस्ट्रीब्यूशन के रूप में मॉडल किया जाता है।
अनसर्टेन्टी क्वांटिफिकेशन (Uncertainty Quantification): सिस्टम पोस्टीरियर डिस्ट्रीब्यूशन $p(c|x)$ $p (c ∣ x)$ और प्रायर क्लास डिस्ट्रीब्यूशन $p(c)$ $p (c)$ के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस की गणना करता है।
- $KL_1$ (गैलरी अनसर्टेन्टी): ज्यामितीय संरचना (जैसे, निर्णय सीमाओं की निकटता) से संबंधित अस्पष्टता को मापता है।
- $KL_2$ (एम्बेडिंग अनसर्टेन्टी): नमूना गुणवत्ता (एम्बेडिंग का विचरण) से संबंधित अनसर्टेन्टी को मापता है।

C. कैलिब्रेशन और फ्यूजन (Calibration and Fusion)

इन दोनों KL घटकों को एक वैलिडेशन सेट के सांख्यिकी का उपयोग करके नॉर्मलाइज़ किया जाता है और एक लाइटवेट मल्टी-लेयर परसेप्ट्रॉन (MLP) का उपयोग करके फ्यूज किया जाता है। इस MLP को एक निश्चित फॉल्स पॉजिटिव आइडेंटिफिकेशन रेट (FPIR) पर एरर डिटेक्शन को ऑप्टिमाइज़ करने के लिए प्रशिक्षित किया जाता है, जिससे यह सुनिश्चित होता है कि अंतिम अनसर्टेन्टी स्कोर कैलिब्रेटेड है और सीधे रिकग्निशन एरर की संभावना के साथ सह-संबंधित है।

3. प्रमुख योगदान (Key Contributions)

अनसर्टेन्टी के स्रोतों की पहचान: शोध पत्र स्पष्ट रूप से क्वेरी एम्बिग्युटी (एम्बेडिंग अनसर्टेन्टी) और गैलरी स्ट्रक्चर (गैलरी अनसर्टेन्टी) को NLP-आधारित ओपन-सेट रिकग्निशन में त्रुटियों के दो प्राथमिक चालकों के रूप में पहचानता है और उन्हें औपचारिक रूप देता है।
टेक्स्ट के लिए HolUE का अनुकूलन: लेखक बायोमेट्रिक और टेक्स्ट-आधारित OSR के बीच के अंतर को ट्रांसफॉर्मर-आधारित टेक्स्ट एम्बेडिंग्स के लिए HolUE फ्रेमवर्क को अनुकूलित करके सफलतापूर्वक पाटते हैं।
नया बेंचमार्क: वे PAN डेटासेट पर आधारित एक चुनौतीपूर्ण OSR बेंचमार्क पेश करते हैं, जिसमें डायनेमिक गैलरी सेटअप है जहाँ वास्तविक दुनिया की स्थितियों का अनुकरण करने के लिए टेस्टिंग फेज के दौरान ज्ञात लेखकों (authors) को पेश किया जाता है।
व्यापक मूल्यांकन: विभिन्न कार्यों (इंटेंट क्लासिफिकेशन, ऑथरशिप एट्रिब्यूशन, और टॉपिक क्लासिफिकेशन) पर व्यापक प्रयोग यह प्रदर्शित करते हैं कि दोनों अनसर्टेन्टी स्रोतों को कैप्चर करने वाला तरीका केवल सैंपल क्वालिटी या एक्सेप्टेंस स्कोर पर निर्भर करने वाली विधियों की तुलना में काफी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रस्तावित HolUE विधि का मूल्यांकन Yahoo Answers, AGNews, DBPedia, PAN-20-AV, और CLINC150 जैसे विविध डेटासेट्स पर AccScr (डिसीजन बाउंड्री से दूरी) और SCF (केवल सैंपल क्वालिटी) सहित बेसलाइन के विरुद्ध किया गया।

प्रदर्शन मेट्रिक (Performance Metric): प्राथमिक मेट्रिक प्रेडिक्शन रिजेक्शन रेशियो (PRR) था, जो यह मापता है कि कोई विधि त्रुटिपूर्ण भविष्यवाणियों को होने से पहले कितनी प्रभावी ढंग से फ़िल्टर करती है (उच्च मान बेहतर है)।

मुख्य निष्कर्ष:

श्रेष्ठ प्रदर्शन: HolUE ने सभी डेटासेट्स और FPIR थ्रेशोल्ड पर लगातार सभी बेसलाइन को पछाड़ दिया।
- Yahoo Answers: SCF की तुलना में 365% सुधार (FPIR 0.1 पर PRR 0.79 बनाम 0.17)।
- DBPedia: SCF की तुलना में 347% सुधार (PRR 0.85 बनाम 0.19)।
- PAN Authorship: SCF की तुलना में 240% सुधार (FPIR 0.5 पर PRR 0.51 बनाम 0.15)।
- CLINC150: SCF की तुलना में 40% सुधार (PRR 0.73 बनाम 0.52)।
एरर डिटेक्शन: HolUE ने तीनों प्रकार के OSR एरर को सफलतापूर्वक डिटेक्ट किया:
- मिसआइडेंटिफिकेशन (Misidentification): गैलरी स्ट्रक्चर विश्लेषण ( $KL_1$ ) के माध्यम से डिटेक्ट किया गया।
- फॉल्स रिजेक्शन (False Rejection): एम्बेडिंग वेरिएंस एस्टीमेशन ( $KL_2$ ) के माध्यम से डिटेक्ट किया गया।
- फॉल्स एक्सेप्टेंस (False Acceptance): दोनों के संयोजन के माध्यम से डिटेक्ट किया गया।
मजबूती (Robustness): जबकि SCF (सैंपल क्वालिटी) PAN डेटासेट पर विफल रहा (जहाँ शैलीगत अस्पष्टता उच्च-गुणवत्ता वाले इनपुट की नकल करती है), और AccScr टॉपिक क्लासिफिकेशन पर विफल रहा (जहाँ सीमाएँ कम स्पष्ट होती हैं), HolUE ने दोनों सूचना स्रोतों का लाभ उठाकर मजबूत प्रदर्शन बनाए रखा।

5. महत्व (Significance)

यह कार्य महत्वपूर्ण है क्योंकि यह पारंपरिक लक्ष्य "सटीकता में सुधार" से आगे बढ़कर सिस्टम ट्रस्टवर्दीनेस (विश्वसनीयता) और जोखिम प्रबंधन पर ध्यान केंद्रित करता है।

जोखिम-नियंत्रित परिनियोजन (Risk-Controlled Deployment): एक कैलिब्रेटेड अनसर्टेन्टी स्कोर प्रदान करके, सिस्टम कम आत्मविश्वास होने पर निर्णय को मानव ऑपरेटरों को सौंप सकता है, जिससे महत्वपूर्ण अनुप्रयोगों (जैसे वित्तीय इंटेंट क्लासिफिकेशन या फोरेंसिक ऑथरशिप विश्लेषण) में महंगी गलतियों को रोका जा सकता है।
डोमेन एग्नोस्टिक (Domain Agnosticism): बायोमेट्रिक अनसर्टेन्टी सिद्धांतों का टेक्स्ट में सफल स्थानांतरण यह सुझाव देता है कि प्रोबेबिलिस्टिक एम्बेडिंग दृष्टिकोण एक शक्तिशाली, डोमेन-स्वतंत्र समाधान है।
भविष्य की दिशाएं: लेखक सुझाव देते हैं कि इस फ्रेमवर्क को जनरेटिव लैंग्वेज मॉडल्स में 'हैलुसिनेशन' का पता लगाने के लिए विस्तारित किया जा सकता है, जो ओपन-एंडेड टेक्स्ट जनरेशन की विश्वसनीयता बढ़ाने का एक मार्ग प्रदान करता है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि टेक्स्ट क्लासिफिकेशन में सटीक अनसर्टेन्टी एस्टीमेशन के लिए ज्ञात वर्गों की ज्यामितीय संरचना और इनपुट डेटा की आंतरिक गुणवत्ता दोनों के समग्र दृष्टिकोण की आवश्यकता होती है, जिसे HolUE सफलतापूर्वक लागू करता है।