💻 computer science

Entity-Level Post-Hoc Reliability Calibration for Named Entity Recognition via Multi-Source Features

यह शोध पत्र नेम्ड एंटिटी रिकग्निशन (Named Entity Recognition) के लिए एक पोस्ट-हॉक एंटिटी-स्तरीय विश्वसनीयता अंशांकन (reliability calibration) विधि प्रस्तावित करता है जो एक हल्के कैलिब्रेटर को प्रशिक्षित करने के लिए बहु-स्रोत विशेषताओं का लाभ उठाता है, जो अंतर्निहित मॉडल को संशोधित किए बिना आत्मविश्वास सटीकता और परिनियोजन सुदृढ़ता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Junhui Yang, Feifan Xiao

प्रकाशित 2026-08-11

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junhui Yang, Feifan Xiao

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पुराने पत्रों का एक ढेर पढ़कर एक रहस्य को सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में। आपके पास एक सुपर-स्मार्ट सहायक (एक AI) है जो किसी भी अन्य व्यक्ति की तुलना में इन पत्रों को तेज़ी से पढ़ सकता है और टेक्स्ट में छिपे हुए लोगों, स्थानों और संगठनों के नामों की ओर इशारा कर सकता है। इसे 'नेम्ड एंटिटी रिकग्निशन' (Named Entity Recognition) या NER कहा जाता है। लंबे समय तक, लक्ष्य केवल सहायक को यथासंभव सटीक बनाना था। लेकिन यहाँ एक पेंच है: कभी-कभी, भले ही सहायक गलत हो, वह सही होने के बारे में अत्यधिक आश्वस्त होता है। वह किसी यादृच्छिक शब्द की ओर इशारा कर सकता है और कह सकता है, "मुझे 99% यकीन है कि यह एक व्यक्ति का नाम है!" उसी दृढ़ता के साथ जैसे वह तब उपयोग करता है जब वह वास्तव में सही होता है। यह खतरनाक है। यदि आप मेडिकल रिकॉर्ड को फ़िल्टर करने या नौकरी के आवेदनों की स्क्रीनिंग करने के लिए एक सिस्टम बना रहे हैं, तो आपको न केवल यह जानने की आवश्यकता है कि सहायक ने क्या पाया, बल्कि यह भी कि आप उस पर कितना भरोसा कर सकते हैं। बड़ा सवाल केवल यह नहीं है कि "क्या उसने नाम ढूँढ लिया?" बल्कि यह है कि "क्या सहायक का आत्मविश्वास स्कोर एक झूठ है?"

यह शोध पत्र ठीक इसी समस्या से निपटता है। लेखकों, जुनहुई यांग और फीफ़ान ज़ियाओ ने महसूस किया कि AI के आत्मविश्वास की जाँच करने के मौजूदा तरीके बहुत व्यापक थे—वे पूरे वाक्य या पूरे दस्तावेज़ को देखते थे, इस तथ्य को नज़रअंदाज़ करते हुए कि एक वाक्य में एक विशिष्ट नाम गलत हो सकता है जबकि अन्य एकदम सही हो सकते हैं। वे एक चतुर "पोस्ट-हॉक" (घटना के बाद का) समाधान प्रस्तावित करते हैं। विशाल, जटिल AI मॉडल को फिर से प्रशिक्षित करने के बजाय (जो कि एक बेहतर स्पीडोमीटर जोड़ने के लिए कार के इंजन को फिर से बनाने जैसा है), वे आउटपुट के साथ एक छोटा, हल्का "विश्वसनीयता परीक्षक" (reliability checker) जोड़ देते हैं। यह परीक्षक AI के उत्तर को देखता है और पूछता है, "रुको, क्या यह वास्तव में समझ में आता है?" और यह पाँच अलग-अलग कोणों से सुराग इकट्ठा करके काम करता है: AI के निर्णय में कितनी अस्थिरता थी, AI के मस्तिष्क के भीतर शब्द कैसा दिखता है, क्या वह शब्द अपनी श्रेणी में फिट बैठता है, वाक्यांश कितना लंबा है, और वह अन्य चीजों के कितना समान है जो AI ने पहले देखी हैं।

AI के लिए "कॉन्फिडेंस पुलिस"

एक मानक AI मॉडल को एक परीक्षा देने वाले छात्र के रूप में सोचें। छात्र उत्तर लिखता है और प्रत्येक के लिए खुद को एक ग्रेड (कॉन्फिडेंस स्कोर) देता है। आमतौर पर, यदि छात्र एक प्रश्न का सही उत्तर देता है, तो वह आश्वस्त महसूस करता है। लेकिन कभी-कभी, छात्र एक प्रश्न गलत करता है और फिर भी बहुत आश्वस्त महसूस करता है क्योंकि उसने एक ऐसा पैटर्न याद कर लिया है जो पूरी तरह से फिट नहीं बैठता। लेखकों ने इस पेपर में एक "कॉन्फिडेंस पुलिस" अधिकारी बनाया है जो छात्र के पीछे खड़ा होता है। यह अधिकारी छात्र के उत्तरों को नहीं बदलता; वे बस छात्र के काम और आसपास के सुरागों को देखते हैं ताकि यह तय किया जा सके कि छात्र का आत्मविश्वास स्कोर भरोसेमंद है या नहीं।

यह शोध पत्र एक ऐसी विधि पेश करता है जो AI द्वारा खोजे गए प्रत्येक नाम को एक छोटी सी केस फाइल की तरह मानती है। केवल उस अंतिम "मैं 90% निश्चित हूँ" संख्या को देखने के बजाय जो AI देता है, नई विधि यह पता लगाने के लिए कि क्या वह उत्तर वास्तव में सही है, पाँच प्रकार के सुराग एकत्र करती है:

"हिचकिचाहट" का सुराग (अनिश्चितता): क्या AI संघर्ष कर रहा था? यदि AI ने सोचा, "क्या यह एक व्यक्ति है या एक स्थान? शायद 50/50," तो यह एक बुरा संकेत है। यदि वह 99% निश्चित था, तो यह आमतौर पर अच्छा होता है, लेकिन हमेशा नहीं। परीक्षक देखता है कि AI का चुनाव कितना "तीक्ष्ण" या "धुंधला" था।
"ब्रेन स्कैन" का सुराग (प्रतिनिधित्व): AI की एक गुप्त आंतरिक भाषा (छिपे हुए प्रतिनिधित्व) होती है जिसका उपयोग वह शब्दों को समझने के लिए करता है। परीक्षक AI के मस्तिष्क में शब्द के "आकार" को देखता है। यदि AI सोचता है कि "एप्पल" एक फल है, लेकिन आंतरिक आकार एक कार जैसा दिखता है, तो परीक्षक जानता है कि कुछ गड़बड़ है, भले ही AI कहे कि वह निश्चित है।
"कॉमन सेंस" का सुराग (टाइप सिमेंटिक्स): क्या शब्द लेबल के अनुकूल है? यदि AI "खाना पकाने" के बारे में एक वाक्य को "स्थान" के रूप में लेबल करता है, तो यह अजीब है। परीक्षक शब्द के अर्थ की तुलना लेबल के अर्थ से करता है ताकि यह देखा जा सके कि क्या वे मेल खाते हैं।
"आकार" का सुराग (संरचना): नाम कितना लंबा है? क्या यह एक छोटा शब्द है या एक लंबा, जटिल वाक्यांश? कुछ नाम सही होने में कठिन होते हैं। परीक्षक नोट करता है कि क्या AI एक विशेष रूप से कठिन, लंबे या नेस्टेड वाक्यांश को हल करने की कोशिश कर रहा है।
"भीड़" का सुराग (पड़ोस): परीक्षक AI के पिछले प्रशिक्षण डेटा को देखता है। "हे, यह शब्द उन अन्य शब्दों जैसा दिखता है जो मैंने पहले देखे हैं। क्या वे सही थे या गलत?" यदि AI एक ऐसा शब्द देख रहा है जो उसके द्वारा पहले की गई गलतियों के समूह जैसा दिखता है, तो परीक्षक विश्वास स्कोर को कम कर देता है।

परिणाम: सही उत्तरों पर भरोसा करना

लेखकों ने इस "कॉन्फिडेंस पुलिस" का परीक्षण तीन अलग-अलग टेक्स्ट सेटों पर किया: समाचार लेख (CoNLL-2003), मेडिकल टेक्स्ट (GENIA), और सामान्य एनोटेटेड टेक्स्ट (OntoNotes 4.0)। उन्होंने उन कठिन स्थितियों में भी इसका परीक्षण किया जहाँ टेक्स्ट AI के प्रशिक्षण से अलग था, जैसे कि ऐसे शब्द जिनका उपयोग AI ने पहले कभी नहीं किया था (Out-of-Vocabulary) या पूरी तरह से अलग विषय का टेक्स्ट (Out-of-Distribution)।

परिणाम काफी उत्साहजनक थे। परीक्षक जोड़ने से पहले, AI के कच्चे आत्मविश्वास स्कोर अक्सर भ्रामक होते थे। उदाहरण के लिए, समाचार डेटासेट पर, गलत उत्तरों को पहचानने (Error Detection) की क्षमता में उल्लेखनीय सुधार हुआ। पेपर रिपोर्ट करता है कि त्रुटि का पता लगाने का मीट्रिक (AUPRC) 0.9490 से बढ़कर 0.9929 हो गया। इसका मतलब है कि परीक्षक "अच्छे" उत्तरों को "बुरे" उत्तरों से अलग करने में बहुत बेहतर हो गया।

शायद इससे भी अधिक महत्वपूर्ण "सिलेक्टिव प्रेडिक्शन" (चयनात्मक भविष्यवाणी) का परिणाम है। यह कहने की क्षमता है कि, "मैं इस बारे में अनिश्चित हूँ, इसलिए मैं इसे छोड़ दूँगा और एक इंसान को इसकी जाँच करने दूँगा।" पेपर दिखाता है कि परीक्षक के साथ, सिस्टम सबसे जोखिम भरे उत्तरों को खारिज कर सकता है जबकि स्वीकृत उत्तरों की सटीकता को बहुत उच्च रख सकता है। समाचार डेटासेट पर, एक गलत उत्तर रखने का "जोखिम" 0.0514 से गिरकर 0.0095 हो गया। यह एक बड़ी गिरावट है, जिसका अर्थ है कि सिस्टम वास्तविक दुनिया में उपयोग के लिए बहुत सुरक्षित है।

लेखकों ने यह भी पाया कि यह विधि तब सबसे अच्छा काम करती है जब AI भ्रमित होता है। जब टेक्स्ट अजीब या नया था (जैसे कि "आउट-ऑफ-डिस्ट्रीब्यूशन" टेस्ट), तो कच्चा AI आत्मविश्वास बहुत गलत था, लेकिन नए परीक्षक ने इसे ठीक कर दिया, जिससे त्रुटि पहचान स्कोर 0.8291 से बढ़कर 0.9409 हो गया। यह सुझाव देता है कि पाँच सुराग मिलकर उन कमियों को भरते हैं जब AI अंधे होकर उड़ रहा होता है।

इसका भविष्य के लिए क्या अर्थ है

यह पेपर तर्क देता है कि हमें अपने विशाल AI मॉडल को सुरक्षित बनाने के लिए उन्हें फिर से बनाने की आवश्यकता नहीं है। हमें बस इसके ऊपर एक छोटा, स्मार्ट "विश्वसनीयता स्तर" जोड़ने की आवश्यकता है। यह एक कार में डैशबोर्ड चेतावनी लाइट जोड़ने जैसा है जो पहले से ही अच्छी चलती है। लेखक सुझाव देते हैं कि यह दृष्टिकोण विशेष रूप से उन वास्तविक दुनिया के अनुप्रयोगों के लिए उपयोगी है जहाँ गलतियाँ महंगी पड़ती हैं, जैसे कि चिकित्सा निदान या कानूनी दस्तावेज़ समीक्षा। इन पाँच सुरागों का उपयोग करके, सिस्टम एक इंसान को बता सकता है, "हे, मुझे यह नाम मिला, लेकिन मैं केवल 40% आश्वस्त हूँ, इसलिए कृपया इसकी दोबारा जाँच करें," बजाय इसके कि वह आत्मविश्वास के साथ एक गलत उत्तर चिल्लाए।

अध्ययन निष्कर्ष निकालता है कि जबकि AI का कच्चा आत्मविश्वास अक्सर एक झूठ बोलने वाला होता है, एक बहु-स्रोत परीक्षक सच बोल सकता है। यह केवल नंबरों को बेहतर नहीं बनाता है; यह वास्तव में हमें खतरनाक गलतियों को छानने और सही उत्तरों पर भरोसा करने में मदद करता है, जिससे AI मानव के लिए एक बहुत अधिक विश्वसनीय साथी बन जाता है।

तकनीकी सारांश: मल्टी-सोर्स फीचर्स के माध्यम से नेम्ड एंटिटी रिकग्निशन (NER) के लिए एंटिटी-लेवल पोस्ट-हॉक रिलायबिलिटी कैलिब्रेशन

1. समस्या की परिभाषा

जबकि प्री-ट्रेन्ड लैंग्वेज मॉडल्स (PLMs) ने स्टैंडर्ड बेंचमार्क्स (जैसे CoNLL-2003) पर नेम्ड एंटिटी रिकग्निशन (NER) के प्रदर्शन को संतृप्ति (saturation) की ओर धकेल दिया है, मौजूदा मूल्यांकन प्रोटोकॉल काफी हद तक प्रेडिक्शन कॉन्फिडेंस की विश्वसनीयता की अनदेखी करते हैं। वास्तविक दुनिया के परिनियोजन (deployment) में, मॉडल अक्सर "अति-आत्मविश्वासी लेकिन गलत" (overconfident but wrong) की घटना प्रदर्शित करते हैं, विशेष रूप से डोमेन ट्रांसफर (आउट-ऑफ-डिस्ट्रीब्यूशन/OOD), आउट-ऑफ-वोकैबुलरी (OOV) टोकन और शोर (typos) जैसे वितरण बदलावों (distribution shifts) के तहत।

वर्तमान सीमाएँ शामिल हैं:

ग्रैनुलैरिटी मिसमैच (Granularity Mismatch): अधिकांश कैलिब्रेशन विधियाँ वाक्य या टोकन स्तर पर कार्य करती हैं, जो व्यक्तिगत एंटिटी प्रेडिक्शन्स की सूक्ष्म-स्तरीय विश्वसनीयता को संबोधित करने में विफल रहती हैं।
सिग्नल की सीमा (Signal Limitation): मौजूदा एंटिटी-लेवल कैलिब्रेशन (जैसे जगन्नाथ और यू, 2020) केवल आंतरिक मॉडल प्रोबेबिलिटी स्कोर पर निर्भर करता है, जो रिप्रेजेंटेशन स्टेट्स, टाइप सिमेंटिक्स और स्ट्रक्चरल कॉन्टेक्स्ट जैसे मल्टी-सोर्स सूचनाओं की अनदेखी करता है।
कैलिब्रेशन बनाम डिटेक्शन तनाव (Calibration vs. Detection Tension): पारंपरिक कैलिब्रेशन विधियाँ एक्सपेक्टेड कैलिब्रेशन एरर (ECE) में सुधार कर सकती हैं लेकिन अनजाने में सही और गलत प्रेडिक्शन्स के बीच विभाज्यता (separability) को कम कर सकती हैं, जिससे एरर डिटेक्शन और सिलेक्टिव प्रेडिक्शन क्षमताओं में बाधा आती है।

यह शोध एक ऐसे फ्रेमवर्क की आवश्यकता को संबोधित करता है जो अंडरलाइंग NER बैकबोन को संशोधित किए बिना प्रत्येक प्रेडिक्टेड एंटिटी के लिए एक कैलिब्रेटेड करेक्टनेस प्रोबेबिलिटी आउटपुट करता है, जिससे एरर डिटेक्शन, रिस्क रैंकिंग और प्रेडिक्शन रिजेक्शन जैसे डाउनस्ट्रीम कार्यों को सक्षम बनाया जा सके।

2. कार्यप्रणाली (Methodology)

प्रस्तावित दृष्टिकोण एक पोस्ट-हॉक रिलायबिलिटी कैलिब्रेशन फ्रेमवर्क है। यह बैकबोन NER मॉडल को एक फ्रोजन ब्लैक बॉक्स के रूप में मानता है, और इसके सेंटेंस-लेवल प्रेडिक्शन्स को एक लाइटवेट कैलिब्रेटर को प्रशिक्षित करने के लिए स्वतंत्र एंटिटी-लेवल सैंपल्स में परिवर्तित करता है।

2.1 एंटिटी-लेवल सैंपल कंस्ट्रक्शन

बैकबोन मॉडल प्रेडिक्टेड एंटिटीज $\hat{E}$ का एक सेट जेनरेट करता है। प्रत्येक एंटिटी को एक बाइनरी सुपरवाइजरी लेबल ( $y=1$ गोल्ड एंटिटीज के साथ स्ट्रिक्ट एग्जैक्ट मैच के लिए, $y=0$ अन्यथा) के साथ एक सैंपल में परिवर्तित किया जाता है। यह विश्वसनीयता मॉडलिंग को मूल NER ऑब्जेक्टिव से अलग (decouple) करता है।

2.2 पांच-आयामी मल्टी-सोर्स फीचर सिस्टम

मुख्य नवाचार प्रत्येक प्रेडिक्टेड एंटिटी के लिए एक फीचर वेक्टर $\phi_i$ निकालना है, जिसमें पांच पूरक आयाम (dimensions) शामिल हैं:

अनिश्चितता फीचर्स (Uncertainty Features): क्लास प्रोबेबिलिटी डिस्ट्रीब्यूशन $p(c|\hat{e}, x)$ $p (c ∣ \overset{e}{^}, x)$ से व्युत्पन्न।
- मैक्सिमम क्लास प्रोबेबिलिटी ( $s_{max}$ ): सीधा कॉन्फिडेंस सिग्नल।
- प्रेडिक्टिव एंट्रॉपी ( $H$ ): डिस्ट्रीब्यूशन डिस्पर्जन को मापता है।
- मार्जिन ( $M$ ): टॉप दो क्लास प्रोबेबिलिटीज के बीच का अंतर, जो इंटर-क्लास कॉम्पिटिशन को कैप्चर करता है।
रिप्रेजेंटेशन फीचर्स (Representation Features): आंतरिक सिमेंटिक और बाउंड्री स्टेट्स को कैप्चर करता है।
- स्पैन रिप्रेजेंटेशन ( $h_{span}$ ): एंटिटी स्पैन के मीन-पूल किए गए हिडन स्टेट्स।
- बाउंड्री रिप्रेजेंटेशन्स ( $h_{start}, h_{end}$ ): स्टार्ट और एंड टोकन्स के हिडन स्टेट्स, जो बाउंड्री शिफ्ट और ट्रंकेशन का पता लगाने के लिए महत्वपूर्ण हैं।
टाइप-सिमेंटिक फीचर्स (Type-Semantic Features): प्रेडिक्टेड एंटिटी स्पैन और उसकी कैटेगरी के बीच निरंतरता को संबोधित करता है।
- मेट्रिक बायस (metric bias) को रोकने के लिए स्पष्ट क्रॉस-स्पेस कोसाइन सिमिलरिटी के बजाय, यह विधि प्रेडिक्टेड टाइप के सिमेंटिक वेक्टर ( $z_{c_{pred}}$ ) (एक प्री-ट्रेन्ड एनकोडर द्वारा एनकोडेड) को सीधे अन्य फीचर्स के साथ कॉन्कैटनेट करती है।
स्ट्रक्चरल फीचर्स (Structural Features): एंटिटी की अंतर्निहित कठिनाई को दर्शाने वाले स्पष्ट स्ट्रक्चरल संकेत।
- इसमें एंटिटी लेंथ, सेंटेंस लेंथ, रिलेटिव पोजीशन, और नेस्टेड/डिस्कंटीन्यूअस स्पैन्स के लिए बाइनरी इंडिकेटर्स शामिल हैं।
- जटिलता को डिस्क्रीटाइज करने के लिए इसमें एक स्पैन-लेंथ बकेट इंडेक्स भी शामिल है।
नेबरहुड फीचर्स (Neighbourhood Features): ट्रेनिंग रिप्रेजेंटेशन स्पेस के स्थानीय स्ट्रक्चर का लाभ उठाता है।
- ट्रेनिंग स्पैन रिप्रेजेंटेशन्स पर एक FAISS इंडेक्स का उपयोग करते हुए, यह विधि $k$ निकटतम पड़ोसियों (nearest neighbors) को रिट्रीव करती है।
- फीचर्स में शामिल हैं: औसत दूरी ( $\bar{d}_k$ ), न्यूनतम दूरी ( $d_{min}$ ), सही पड़ोसियों का अनुपात ( $\rho_{corr}$ ), लोकल डेंसिटी ($dens $), और नेबरहुड के भीतर लेबल एंट्रॉपी ($ H_{knn}$)।

2.3 लाइटवेट कैलिब्रेटर

एक मल्टी-लेयर परसेप्ट्रॉन (MLP) जिसमें दो हिडन लेयर्स हैं, कॉन्कैटनेटेड फीचर वेक्टर को एक स्केलर करेक्टनेस प्रोबेबिलिटी $r(\hat{e}) \in (0, 1)$ में मैप करता है।

ट्रेनिंग: कैलिब्रेटर को वैलिडेशन सेट से एंटिटी-लेवल सैंपल्स का उपयोग करके क्लास वेटिंग के साथ बाइनरी क्रॉस-एंट्रॉपी लॉस का उपयोग करके प्रशिक्षित किया जाता है।
इन्फरेंस: बैकबोन मॉडल के पैरामीटर्स और डिकोडिंग रिजल्ट्स फ्रीज रहते हैं; कैलिब्रेटर एक नॉन-इनवेसिव पोस्ट-प्रोसेसिंग मॉड्यूल के रूप में कार्य करता है।

3. मुख्य योगदान

फ्रेमवर्क डिजाइन: एक एंटिटी-लेवल पोस्ट-हॉक कैलिब्रेशन फ्रेमवर्क प्रस्तावित करता है जो बैकबोन आर्किटेक्चर को बदले बिना एरर डिटेक्शन, रिस्क रैंकिंग, रिजेक्शन जैसे डाउनस्ट्रीम कार्यों के लिए उपयुक्त कैलिब्रेटेड करेक्टनेस प्रोबेबिलिटी आउटपुट करता है।
फीचर इंजीनियरिंग: एक पांच-आयामी मल्टी-सोर्स फीचर सिस्टम (अनिश्चितता, रिप्रेजेंटेशन, टाइप-सिमेंटिक्स, स्ट्रक्चर, नेबरहुड) डिजाइन करता है और एब्लेशन स्टडीज के माध्यम से प्रत्येक आयाम के स्वतंत्र और पूरक योगदान को प्रमाणित करता है।
डिप्लॉयमेंट-ओरिएंटेड इवैल्यूएशन: इन-डिस्ट्रीब्यूशन (ID) और डिस्ट्रीब्यूशन शिफ्ट (OOD, OOV, Typos) परिदृश्यों को कवर करने वाला एक व्यापक मूल्यांकन तैयार करता है, जिसमें तीन कोर मेट्रिक्स का उपयोग किया गया है:
- AUPRC: एरर डिटेक्शन क्षमता (गलत एंटिटीज की तुलना में सही एंटिटीज को रैंक करना)।
- AURC: सिलेक्टिव प्रेडिक्शन क्वालिटी (रिस्क बनाम कवरेज ट्रेड-ऑफ)।
- ECE: प्रोबेबिलिटी कैलिब्रेशन क्वालिटी (प्रेडिक्टेड स्कोर्स और एम्पिरिकल एक्यूरेसी के बीच संरेखण)।

4. प्रयोगात्मक परिणाम

प्रयोग CoNL-2003, GENIA, और OntoNotes 4.0 पर किए गए।

4.1 इन-डिस्ट्रीब्यूशन परफॉरमेंस

एरर डिटेक्शन: सभी डेटासेट्स पर AUPRC में महत्वपूर्ण सुधार हुआ। CoNLL-2003 पर, AUPRC 0.9490 से बढ़कर 0.9929 हो गया।
सिलेक्टिव प्रेडिक्शन: AURC (रिस्क-कवरेज) में भारी कमी आई, जो समान कवरेज पर कम जोखिम को दर्शाता है। CoNLL-2003 पर, AURC 0.0514 से गिरकर 0.0095 (81.5% की कमी) हो गया।
कैलिब्रेशन: ECE में सुधार हुआ, CoNLL-2003 में यह 0.0648 से घटकर 0.0156 हो गया।

4.2 डिस्ट्रीब्यूशन शिफ्ट परफॉरमेंस

विधि ने डिस्ट्रीब्यूशन शिफ्ट के तहत मजबूती प्रदर्शित की:

OOD (डोमेन ट्रांसफर): सबसे स्पष्ट सुधार देखा गया, जहाँ AUPRC 0.8291 से बढ़कर 0.9409 हो गया। नेबरहुड फीचर्स यहाँ विशेष रूप से प्रभावी थे, जो आउट-ऑफ-डोमेन एंटिटीज के लिए रेफरेंस सिग्नल प्रदान करते हैं।
OOV और Typos: निरंतर सुधार देखे गए, हालांकि OOV परिदृश्यों में लाभ थोड़ा कम था क्योंकि अनसीन टोकन्स के लिए निकटतम पड़ोसी अनुपलब्ध थे।

4.3 तुलना और एब्लेशन

बेसलाइन्स: प्रस्तावित विधि ने AUPRC और AURC पर Platt Scaling और Temperature Scaling को काफी पीछे छोड़ दिया, हालांकि बेसलाइन्स ने कुछ मामलों में बेहतर ECE दिखाया (क्योंकि वे केवल प्रोबेबिलिटी एलाइनमेंट पर ध्यान केंद्रित करते हैं)।
एब्लेशन: किसी भी फीचर डायमेंशन को हटाने से आम तौर पर प्रदर्शन गिर गया, हालांकि विशिष्ट मेट्रिक्स ने सूक्ष्म ट्रेड-ऑफ दिखाए। रिप्रेजेंटेशन फीचर्स ने AUPRC में सबसे बड़ी छलांग (0.9502 से 0.9890) प्रदान की। जबकि "Full" कॉन्फ़िगरेशन (नेबरहुड फीचर्स के साथ) ने सबसे कम ECE (0.0100) प्राप्त किया, "Full (w/o Neigh)" कॉन्फ़िगरेशन ने वास्तव में थोड़ा अधिक AUPRC (0.9921 बनाम 0.9922) और कम AURC (0.0102 बनाम 0.0103) प्राप्त किया। यह इंगित करता है कि जबकि नेबरहुड फीचर्स प्रोबेबिलिटी कैलिब्रेशन की गुणवत्ता में महत्वपूर्ण सुधार करते हैं, इन-डिस्ट्रीब्यूशन परिदृश्यों में एरर डिटेक्शन रैंकिंग पर उनका मामूली प्रभाव सीमित है, फिर भी वे ECE को कम करने के लिए महत्वपूर्ण बने हुए हैं।

5. महत्व और दावे

पेपर का दावा है कि इसकी प्राथमिक महत्ता "सही होने की भविष्यवाणी करने" से बदलकर "विश्वसनीयता का अनुमान लगाने" की ओर NER रिलायबिलिटी प्रतिमान (paradigm) को स्थानांतरित करने में है।

रिस्क कंट्रोल: कैलिब्रेटेड स्कोर्स प्रभावी ढंग से हाई-रिस्क प्रेडिक्शन्स की पहचान करते हैं। उदाहरण के लिए, CoNL-2003 पर, केवल 2.9% प्रेडिक्शन्स (जो कम कैलिब्रेटेड स्कोर वाले हैं) को रिजेक्ट करने से शेष सेट की एक्यूरेसी बढ़कर 94.76% हो गई, जबकि रिजेक्ट किए गए सेट में 82.93% एरर्स थे।
इंजीनियरिंग व्यवहार्यता: बैकबोन रिट्रेनिंग या जटिल डिकोडिंग रीडिजाइन की आवश्यकता वाले तरीकों के विपरीत, यह दृष्टिकोण प्लग-एंड-प्ले है। इसके लिए केवल वैलिडेशन डेटा पर प्रशिक्षित एक लाइटवेट MLP की आवश्यकता होती है, जो इसे वास्तविक दुनिया के परिनियोजन के लिए अत्यधिक व्यवहार्य बनाता है।
व्यापक विश्वसनीयता: यह तरीका कैलिब्रेशन और एरर डिटेक्शन के बीच के तनाव को हल करता है, प्रोबेबिलिटी एलाइनमेंट (ECE) और एरर्स को फ़िल्टर करने की क्षमता (AUPRC/AURC) दोनों में एक साथ सुधार करता है।

लेखक निष्कर्ष निकालते हैं कि यह फ्रेमवर्क ओपन-वर्ल्ड वातावरण में जहाँ डिस्ट्रीब्यूशन शिफ्ट और शोर प्रचलित है, NER सिस्टम की व्यावहारिक प्रयोज्यता को बढ़ाने के लिए एक मजबूत, नॉन-इनवेसिव तंत्र प्रदान करता है। भविष्य के कार्य के रूप में इसे अन्य स्ट्रक्चर्ड प्रेडिक्शन टास्क (रिलेशन/इवेंट एक्सट्रैक्शन) और जेनेरेटिव NER प्रतिमानों तक विस्तारित करने का सुझाव दिया गया है।